归档: 2023/10 | setgopro

2023

10

27

我们的技术挑战明确且棘手：需要为数百万活跃的iOS设备构建一个高吞吐、低延迟的时序数据采集后端。这些数据具备典型的高基数（High Cardinality）特征——每个设备ID都是一个独立的标签维度。同时，团队规模决定了我们必须寻求运维复杂

2023-10-27 后端架构

Envoy Proxy 时序 iOS 开发 Docker Swarm ORM

27

技术痛点：视觉载荷中的隐形威胁传统的网络防火墙在L3/L4层工作得很好，甚至一些L7应用层防火墙也能深度解析HTTP、SQL等协议，但它们普遍存在一个盲区：对非结构化的二进制载荷，特别是图像、视频等视觉数据内部所隐藏的威胁束手无策。一个典型

2023-10-27 后端架构

AWS Lambda 防火墙 Rust OpenCV Consul

27

在处理带有状态的应用，尤其是那些后端依赖于数据库分片架构的应用时，执行金丝雀发布是一项高风险任务。简单的流量切分方案在无状态服务上或许可行，但一旦涉及数据库 schema 的变更，它就变得脆弱不堪，极易引发生产事故。问题的核心在于，新旧版本

2023-10-27 架构设计

ActiveMQ 数据库分片 Cypress 配置中心 Nuxt.js

27

我们团队的NLP模型迭代流程曾经是一场混乱的手工作坊。算法工程师在本地Jupyter环境中用Transformers和TensorFlow调优模型，完成后将一堆脚本和权重文件打包，通过内部聊天工具发给运维工程师。运维再手动编写Dockerf

2023-10-27 MLOps

Hugging Face Transformers TensorFlow Podman Kanban

27

团队扩张后，机器学习项目中的特征工程流程开始失控。最初，特征的定义和生成逻辑散落在各个Jupyter Notebook和独立的Python脚本里。数据科学家们各自为战，一个新特征的上线，往往意味着手动执行一段未经严格测试的SQL，更新一个共

2023-10-27 后端架构

Feature Store Envoy Proxy Koa DVC SQL MLOps

27

在维护一个大型Java后端系统时，核心痛点之一是如何在不频繁重启核心服务的前提下，实现业务功能的快速迭代与扩展。传统的单体架构每次微小的变更都需要完整的构建、测试和部署流程，这在追求敏捷的团队中是不可接受的。我们的目标是构建一个微内核（Mi

2023-10-27 架构与设计

MongoDB Flux CD Java tRPC