IT之家 4 月 29 日消息，蚂蚁集团旗下的百灵大模型今日宣布， Ling-2.6-flash 正式开源 。同步提供 BF16、FP8、INT4 等多个版本，方便开发者根据不同硬件环境、推理成本和部署需求灵活选择。

32位与16位格式的混合精度训练，正是当前深度学习的主流。 最新的英伟达核弹GPU H100，刚刚添加上对8位浮点数格式FP8的支持。 英伟达首席科学家Bill Dally现在又表示，他们还有一个“秘密武器”： 在IEEE计算机运算研讨会上，他介绍了一种实验性5nm芯片，可以 ...

受 Kimi K2 团队启发，SGLang RL 团队成功落地了 INT4 量化感知训练（QAT） 流程方案。通过 “训练端伪量化 + 推理端真实量化（W4A16）” 的方案组合，我们实现了媲美 BF16 全精度训练的稳定性与训推一致性，同时 INT4 极致压缩也将 1TB 级超大模型的采样任务容纳于 ...

对于 AI 推断，在提供与浮点相媲美的精度的同时，INT8 的性能优于浮点。然而在资源有限的前提下，INT8 却不能满足性能要求，INT4 优化则是解决之道。通过 INT4 优化，与现有的 INT8 解决方案相比，赛灵思在实际硬件上可实现高达 77% 的性能提升。 赛灵思在其硬件 ...

4月29日，蚂蚁百灵宣布，Ling-2.6-flash正式开源。同步提供BF16、FP8、INT4等多个版本，方便开发者根据不同硬件环境、推理成本和部署需求灵活选择。据蚂蚁百灵介绍，开发者不仅可以调用模型，还可以自由地验证、部署和定制模型能力，将Ling-2.6-flash更深入地接入自己的业务系统、开发工具链与 ...

4月29日消息，蚂蚁集团旗下的百灵大模型今日宣布，Ling-2.6-flash 正式开源。同步提供 BF16、FP8、INT4 等多个版本，方便开发者根据不同硬件环境、推理成本和部署需求灵活选择。 据了解，Ling-2.6-flash 是一款总参数量 ...

企业日益重视基于 AI 的系统在数据中心、汽车、工业和医疗等领域中的产品化。 这带来了两大挑战： AI 推断需要完成的计算量成数量级增加，同时还要保持价格、功耗、时延和尺寸大小不变。 AI 科学家继续日复一日地在算法和模型上开展创新，需要各种不同的 ...

当现代工业自动化、航空航天和关键基础设施系统对通信可靠性的要求达到「零容忍」级别时，传统解决方案往往力不从心。系统需要确保数据包精确准时到达，不容许毫秒级的延迟或丢失。虹科合作伙伴SOC-E公司的SocTek IP核产品应运而生，专门为FPGA平台提供高 ...

当下人工智能技术正加速发展，渗透到云、边、端和应用的各个层面，与海量IoT设备进行深度融合，不断拓展应用场景。然而在AIoT场景中，嵌入式设备往往算力有限，难以承载庞大的AI模型。如何在资源有限的终端场景实现 AI 模型的有效部署，是加速AI落地的 ...

前述内容由第一财经“星翼大模型”智能生成，相关AI内容力求但不保证准确性、时效性、完整性等。请用户注意甄别，第一财经不承担由此产生的任何责任。 如您有疑问或需要更多信息，可以联系我们 yonghu@yicai.com 方案为国产芯片在大模型本地化运行探索可行 ...