调度、容错、集群运维,以及它们延伸到在轨计算时发生的变形。
这里是一个 AI Infra 从业者的个人技术记录站。日常围绕大模型基础设施展开——模型服务怎么调度、故障怎么兜底、集群怎么运维,这些都是工作里的真实问题。
写得比较多的是两类内容:一类是地面侧的工程实践,比如推理服务的调度策略、容错设计、资源利用率优化;另一类是太空算力方向的技术观察,看在轨计算、星间组网这些场景下,地面的那套假设哪些还成立、哪些直接失效。
所有内容均为个人学习整理,免费公开阅读,不提供任何付费服务。
从 K8s 的调度原语出发,看在推理场景下哪些约束是新的:显存成为硬边界、请求有状态、扩缩容有冷启动代价。
在轨计算不是把服务器搬上天。能源、热控、链路窗口三个约束会重塑调度模型,地面那套 oversell 思路基本不适用。
Contact Plan、CGR 这类概念,本质是在用可预测的拓扑变化换取路由效率。和地面动态路由的取舍完全相反。
DTN 存在的理由是:端到端时延和中断在太空是常态而非异常。TCP 的重传假设在这里代价极高。
一个微信小程序,做台钓钓组的参数管理与调漂教学。和上面这些技术话题无关,纯粹是因为自己喜欢钓鱼,顺手用 AI 写出来的。微信里搜索「钓组实验室」可以找到。
技术讨论欢迎邮件:hi@ailibrary.work
日常更新在公众号「张量叙事」。