芯片算力
欧洲云服务企业 OVH 涉足 AI 模型,开源发布 Olala mini 7A1B
👁 24 · ⚡ 12
硅基要点
- IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。
- Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、激活参数 10 亿,使用 BF16 数据格式。
- 该模型将以 Apache 2.0 许可开源发布在 Hugging Face 上 。
电讯正文
综合 IT之家 等公开报道整理:欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。
事件脉络方面,Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、激活参数 10 亿,使用 BF16 数据格式。该模型将以 Apache 2.0 许可开源发布在 Hugging Face 上 。其 可在 8GB 显存的 GPU 上运行 ,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。
公开信息还提到:OVH 表示,Olala mini 7A1B 在三台欧洲公共超级计算机上利用 NVIDIA 的 GH200、A100、H100 训练而成, 总开销达到 700 万欧元 (约合 5,142.8 万元人民币) 。Olala mini 7A1B 模型初始版本上下文长度为 32K,预计今年底推出的 1.1 版本将扩展至 128K 上下文并具备更好的数学能力。OVH 后续将持续开发 AI 模型, Olala 2.0 的参数规模将>100B 。
---
来源台:IT之家 · 原文链接