walledeo
本站致力于IT相关技术的分享
构建基于Playwright微服务和事件驱动架构的弹性数据采集管道 构建基于Playwright微服务和事件驱动架构的弹性数据采集管道
传统的单体式爬虫脚本在面对动态、高反扒的现代Web应用时，其脆弱性暴露无遗。一个简单的cron任务，执行一个庞大的Python脚本，往往因为一个JavaScript渲染超时、一个选择器变更或是一个临时的网络波动而全盘崩溃。更糟糕的是，这类脚
2023-10-27 数据工程
数据湖与仓库 Playwright 微服务 Docker
构建基于ScyllaDB与OpenTelemetry的高基数指标监控系统的实践复盘 构建基于ScyllaDB与OpenTelemetry的高基数指标监控系统的实践复盘
我们的告警系统在周一早上7点15分崩溃了。不是因为它承载的业务系统出了故障，而是因为监控系统本身不堪重负。问题根源在于高基数（high cardinality）指标。随着业务从单体架构迁移到数百个微服务，再加上按租户、地域、实例ID等维度进
2023-10-27 可观测性
OpenTelemetry Ruby on Rails ScyllaDB Sass/SCSS Matplotlib
在 Istio 服务网格中构建混合 API 架构：FastAPI RESTful 端点与 tRPC 内部通信的统一管理实践 在 Istio 服务网格中构建混合 API 架构：FastAPI RESTful 端点与 tRPC 内部通信的统一管理实践
一个微服务系统在演进到一定阶段后，必然会面临内外部通信模型的抉择。外部通信，尤其是面向公众或第三方开发者的 API，通常要求具备良好的自描述性、广泛的客户端支持和成熟的生态系统。而内部服务间的通信，则更侧重于极致的性能、严格的类型安全和低廉
2023-10-27 分布式架构
Istio FastAPI RESTful API tRPC
构建基于CDC与Python的Meilisearch实时索引服务以支持iOS端 构建基于CDC与Python的Meilisearch实时索引服务以支持iOS端
我们的iOS应用最初的搜索功能是直接查询生产环境的PostgreSQL数据库，使用了几个LIKE '%query%'。这个方案在用户量过百后迅速崩溃，不仅查询缓慢，还给主库带来了不必要的压力。第一个迭代是引入Meilisea
2023-10-27 后端架构
Python iOS 开发 Meilisearch Kafka Debezium CDC
在Kubernetes上利用Cilium L7策略为Azure Functions与OpenCV工作负载构建零信任网络模型 在Kubernetes上利用Cilium L7策略为Azure Functions与OpenCV工作负载构建零信任网络模型
一个典型的技术痛点，始于一个看似简单的需求：构建一个事件驱动的视频处理服务。当新视频上传到对象存储时，自动触发一个函数，使用OpenCV进行帧提取和初步分析。在云厂商的托管Serverless平台上，这几乎是教科书级的应用场景。但在生产环境
2023-10-27 云原生
Kubernetes OpenCV Azure Functions Cilium eBPF KEDA
使用 Tyk Python 插件、NumPy 与 Argo CD 构建 API 流量异常检测系统 使用 Tyk Python 插件、NumPy 与 Argo CD 构建 API 流量异常检测系统
标准的 API 网关速率限制策略，无论是基于 IP、令牌还是全局计数，都存在一个根本性的缺陷：它们是“哑”的。一个配置为每分钟 100 次请求的限制，无法区分 100 次正常的业务调用和 100 次旨在探测漏洞的恶意扫描。在真实项目中，我们
2023-10-27 API 网关
可观测性 NumPy Argo CD Tyk Cypress GitOps
3 / 5