2023 年以来，全球掀起了一场有关大模型的“热潮”，国内外企业纷纷入局参与大模型的研发与训练，调研和推动大模型技术与产业结合落地方案，大模型生态蓬勃发展。 2023 年过半，我们发现，业内对于大模型技术的关注点已经逐渐从“AI 大模型可以做到什么 ...

LangChain 很火，有关它的前途命运也有很多争议，但一个相对肯定的结论是：LangChain 已经成为了 AI 应用开发的新手村。22 年 11 月初，Hacker News 上“如何入门 AI”的帖子回复中，LangChain 第一次被列进入门套装： 看 Fast.ai 和 Andrej Karpathy 的 YouTube 频道。在本地试试 ...

大模型竞赛中，算力不再只是堆显卡，更是抢效率。 面对H20等推理卡在主流算子库下难以跑满性能的痛点，腾讯混元AI Infra团队正式开源生产级高性能LLM推理核心算子库HPC-Ops。 该算子库采用CUDA和CuTe从零构建，通过抽象化工程架构、微架构深度适配及指令级极致 ...

IT之家 2 月 4 日消息，腾讯混元 AI Infra 团队今日宣布推出开源生产级高性能 LLM 推理核心算子库 HPC-Ops。 该算子库宣称基于生产环境痛点，采用 CUDA 和 CuTe 从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等，降低底层算子开发门槛，将核心 ...

第一个被广泛接受的LLM应用开发框架。 LangChain 很火，有关它的前途命运也有很多争议，但一个相对肯定的结论是：LangChain 已经成为了 AI 应用开发的新手村。22 年 11 月初，Hacker News 上“如何入门 AI”的帖子回复中，LangChain 第一次被列进入门套装： 看 Fast.ai 和 ...

腾讯(00700.HK)旗下大语言模型腾讯混元AI Infra团队宣布，推出开源生产级高性能LLM推理核心算子库HPC-Ops，基於生产环境痛点，采用CUDA和CuTe从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等，降低底层算子开发门槛，将核心算子性能逼近硬件 ...

华人研究者解决LLM过度思考，提升推理效率。 大模型虽然推理能力增强，却常常「想太多」，回答简单问题也冗长复杂。Rice大学的华人研究者提出高效推理概念，探究了如何帮助LLM告别「过度思考」，提升推理效率。 LLM的推理能力显著增强，然而，这个「超级 ...