AI Builders Digest 0617：AI 推理芯片的三种路线

追踪真正在 building 的人——研究员、创始人、PM 和工程师，而非信息二道贩子。

最近 AI 硬件领域有一个正在升温的讨论：GPU 到底是不是 AI 推理的最优解？

这期 Latent Space 播客请到了 Alex——他先后在 Groq 和 SambaNova 工作过，两家公司分别代表着 AI 推理芯片的非主流路线。他的判断是：当前市场过度关注训练侧，而推理效率和成本才是决定 AI 大规模落地的关键。

围绕这个判断，几位 Builder 其实从不同角度给出了印证。

Groq 的确定性推理，和 Jim Fan 的“边缘”视角

GPU 不是为推理设计的。它的调度机制存在不确定性——同一个请求，延迟可能波动 30%。对于语音对话、实时翻译这类场景，这是致命问题。

Groq 的 LPU 采用数据流架构，核心差异在于确定性：每个请求的响应时间都是可预测的。

NVIDIA 的 Jim Fan 从另一个角度呼应了这个痛点。他长期关注具身智能（Embodied AI）——机器人、自动驾驶这类物理世界中的 AI。在这些场景里，延迟波动不仅是体验问题，而是安全问题。一辆自动驾驶汽车不能接受“这次刹车响应比上次慢了 200 毫秒”。Jim Fan 的研究方向——Foundation Agent——本质上需要的就是确定性推理。

三条路线，Nat Friedman 会怎么选

GPU（NVIDIA）：生态最成熟，CUDA 护城河极深，但推理效率并非最优。 数据流架构（Groq / SambaNova）：确定性推理，延迟可预测，但生态在建设。 ASIC（Google TPU）：极致优化，灵活性最差。

Nat Friedman 在开源 AI 项目上的投资逻辑可以作为一个参考框架。他投的项目通常满足两个条件：1）解决真实痛点，2）有清晰的生态策略。从这个角度看，数据流架构卡在第二点上——技术很好，但生态没起来之前企业不会买单。这也是为什么 Groq 早期选择免费 API 吸引开发者：先有生态，再谈商业化。

推理是持续成本，Sam Altman 比谁都清楚

训练 GPT-4 花了几个亿，但那是“一次性成本”。推理是“持续成本”——每个用户每次使用都在烧钱。

Sam Altman 对此的回应是：OpenAI 自研芯片。这不是秘密——OpenAI 一直在招募芯片设计团队，目标就是降低推理成本。Amjad Masad（Replit CEO）也在做类似的事，只不过在他的场景里，推理成本体现在 AI 辅助编程的每次代码生成上。Replit 的 AI Agent 每多生成一行代码，成本就多一分。如果推理效率不提升，这类“高频推理”产品的商业模型很难跑通。

开源模型改变规则，Karpathy 一直在说的事

Llama、Mistral 的崛起意味着硬件厂商不能只为一个模型做优化了。

Andrej Karpathy 这几年一直在强调一件事：理解底层原理比追逐最新工具更重要。这个观点放在硬件领域同样成立——当模型生态碎片化时，依赖单一模型优化的硬件策略就会失效。Karpathy 的 AI 教育内容（他的神经网络系列）本质上是在培养一代能理解“模型怎么在硬件上跑”的工程师，这些人未来会推动软硬件协同设计。

趋势

• 模型小型化：蒸馏和量化让小模型在特定任务上匹敌大模型
• 推理转向边缘：Jim Fan 的具身智能需要的就是边缘推理
• 软硬件协同设计：Karpathy 的教育和 Amjad Masad 的产品实践都在朝这个方向走

本期涉及的内容源

以上就是本期 AI Builders Digest。我们下期再见！🚀