1月22日，在上海举行的百度文心Moment大会上，文心大模型5.0正式版上线。
文心大模型5.0正式版参数达2.4万亿，采用原生全模态统一建模技术，具备全模态理解与生成能力，支持文本、图像、音频、视频等多种信息的输入与输出。
受访者供图
在40余项权威基准的综合评测中，文心5.0正式版的语言与多模态理解能力稳居国际第一梯队。图像与视频生成能力与垂直领域专精模型相当，整体处于全球领先水平。
目前，用户可在文心APP、文心一言官网体验，企业与开发者可通过百度千帆平台进行调用。
百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜介绍，与业界多数采用“后期融合”的多模态方案不同，文心5.0的技术路线采用统一的自回归架构进行原生全模态建模，将文本、图像、视频、音频等多源数据在同一模型框架中进行联合训练，使得多模态特征在统一架构下充分融合并协同优化，实现原生的全模态统一理解与生成。
此外，文心5.0采用超大规模混合专家结构，具备超稀疏激活参数，激活参数比低于3%，在保持模型强大能力的同时，有效提升推理效率。同时，得益于原生全模态建模，文心5.0在多模理解、代码生成、创意写作等能力上实现显著突破。