在AI技术从实验室走向规模化落地的进程中,推理(Inference)环节正成为决定体验与成本的核心竞争——专门为推理优化的芯片,已然成为科技行业的新风口。要理解这股热潮,首先要厘清AI工作流中训练与推理的本质差异。
自从 ChatGPT 问世以后,LLM 相关技术对人工智能技术领域形成了冲击性的影响,许多围绕 LLM 的技术架构的发展也一直在如火如荼的展开,比如 RAG 和 AI-Agent,以及时下比较火爆的 Model Context Protocol (MCP)[1]。在展开之前结合行业现实,笔者认为解释清楚 LLM Inference ...
加密基础设施项目 Inference Labs 宣布完成 630 万美元融资,投资方包括 DACM、Delphi Ventures、Arche Capital、Lvna Capital,以及由 Native Capital 牵头的 Echo Syndicate 社区轮。公司正在开发基于零知识证明的“Proof of Inference”协议,用于验证 AI 代理和链下计算的输出结果,在 ...