混元大模型是腾讯自研的通用大语言模型,参数规模超千亿,预训练语料超过2万亿tokens,具备强大的中文理解和创作能力、逻辑推理及任务执行能力。它支持多轮对话、内容创作。
混元大模型的技术架构
采用混合专家模型(MoE)架构,参数规模从千亿级升级至万亿级,预训练语料达7万亿tokens,推理效率较前代提升100%,成本降低50%。全链路自研技术覆盖模型算法、机器学习框架(如Angel)及AI基础设施,有效减少“幻觉”问题30%-50%。
混元大模型的核心能力
- 中文处理:在文本生成、数理逻辑、多轮对话等领域领先,中文效果整体超过GPT-3.5。
- 多模态:支持文生图、文生视频(如生成超写实视频)及3D内容生成,部分模型已开源并免费商用。
- 任务执行:覆盖专业问答、代码生成(内部23%代码由混元生成)、文档创作、广告素材生成等场景,日均调用量达2亿次。
混元大模型的应用前景
- 腾讯内部超700个业务接入,包括腾讯元宝、微信读书、腾讯会议等,并通过云服务开放API接口。
- 提供灵活部署方案:用户可直接调用API,或在公有云上精调模型,输入/输出成本分别低至0.015元/千tokens和0.05元/千tokens。
腾讯混元大模型通过持续迭代(如2024年9月发布的混元Turbo),在性能与成本间实现平衡,推动AI技术在各产业落地。