walledeo
本站致力于IT相关技术的分享
开始阅读
采用TDD方法构建集成Pandas、Milvus与MobX的实时特征探索系统 采用TDD方法构建集成Pandas、Milvus与MobX的实时特征探索系统
我们面临的第一个挑战，是如何缩短机器学习中特征工程的反馈周期。传统的流程是分离的：数据科学家在Jupyter Notebook中用Pandas探索、清洗、构建特征，然后将特征向量批量导入一个系统进行评估或检索。这个过程充满了等待和上下文切换
2023-11-15 架构与设计
FastAPI MobX TDD Pandas Milvus
基于 Consul 服务发现构建动态自适应的 Vector 可观测性管道 基于 Consul 服务发现构建动态自适应的 Vector 可观测性管道
在跨多个云服务商部署的动态微服务环境中，维护一套静态的可观测性配置是一项艰巨且易错的任务。每当一个服务实例上线、下线或迁移，都需要手动更新 Prometheus 的抓取目标或类似配置，这不仅效率低下，还极易导致监控盲点或配置漂移。真正的挑战
2023-10-27 可观测性
Consul Grafana Vector 云服务商 Vitest
构建基于 MLflow 与 Google Cloud Functions 的可观测 Serverless 推理架构 构建基于 MLflow 与 Google Cloud Functions 的可观测 Serverless 推理架构
将一个训练好的 MLflow 模型部署到 Google Cloud Functions (GCF) 似乎是实现低成本、自动扩缩容推理服务的捷径。但这条捷径在生产环境中往往通向一个调试与监控的黑洞。当一个请求的延迟突然飙升，或者模型开始返回异
2023-10-27 MLOps
MLflow Google Cloud Functions 可观测性 Serverless OpenTelemetry
构建一个利用spaCy进行实体识别的动态SQL血缘解析引擎 构建一个利用spaCy进行实体识别的动态SQL血缘解析引擎
我们的数据平台遇到了一个棘手的可维护性问题。随着微服务数量增长到数百个，它们与后端PostgreSQL集群的交互变得极其复杂。一个核心的痛点是数据血缘的完全失控：当需要修改一个核心数据表的结构时，我们无法准确、快速地定位到所有依赖该表的上游
2023-10-27 数据工程
SQL Consul spaCy 测试
构建基于OpenTelemetry的PyTorch模型全链路可观测性与组件化调试方案 构建基于OpenTelemetry的PyTorch模型全链路可观测性与组件化调试方案
一个训练好的PyTorch模型部署到生产环境后，往往会迅速变成一个难以捉摸的黑盒。我们团队遇到的问题很典型：一个图像字幕生成模型的API，在某些请求下响应异常缓慢，或者生成质量不符合预期的文本。传统的日志打印 (print 或 loggin
2023-10-27 MLOps
OpenTelemetry PyTorch ELK Stack Storybook
Serverless WebSocket 架构下实时 PyTorch 特征推送至 Android 客户端的工程实践 Serverless WebSocket 架构下实时 PyTorch 特征推送至 Android 客户端的工程实践
业务需求的变化往往是推动技术架构演进最直接的动力。我们面临的挑战是：在 Android 客户端上实现一个动态的、由机器学习模型驱动的“智能推荐卡片”功能。这个卡片需要根据用户的实时行为，结合离线计算出的复杂特征，近乎实时地更新其展示内容。传
2023-10-27 后端架构
Serverless PyTorch WebSockets 数据湖与仓库 Android 开发
1 / 5