学界首家!武智院“紫东太初”大模型完成中国信通院“可信AI”大模型评测
大规模预训练模型(以下简称“大模型”)作为人工智能领域的重大突破之一,近年来参数规模和模型性能不断创出新高,逐步夯实人工智能技术底座,加速推进人工智能实用化、通用化和普惠化发展。中国信息通信研究院(以下简称“中国信通院”)高度重视大模型技术及产业发展态势,依托人工智能关键技术和应用评测工业和信息化部重点实验室成立大模型工作组。目前,大模型工作组已吸纳成员单位60余家,覆盖大模型头部企业、互联网企业、科研院所、电信运营商、金融机构等,围绕技术研讨、产业交流、标准研制、评估测试、案例征集等方面开展多项工作,并初步取得成效。
中国信通院联合工作组60余家单位,共同研制了《大规模预训练模型技术和应用评估方法》系列标准,包含模型开发、模型能力、模型应用和可信要求四个重要部分。目前模型开发、模型能力两部分标准已发布,模型开发标准包括数据构建、模型训练、模型管理、模型部署4个能力域、16个能力子域、60余个能力项,全面评估研究主体开发大模型的能力;模型能力标准包含功能丰富度、性能优越度、服务成熟度3个评测维度、8个能力域、30余个能力项,全面评估大模型的各项技术能力。模型应用标准初步定稿,包含应用丰富度、服务成熟度、运营管理能力3个能力域、14个能力子域、30余个能力项,综合评估大模型应用成熟度。可信要求标准正在前期研究中,近期将启动编制工作。
2023年2月12日至3月3日,中国科学院自动化研究所、武汉人工智能研究院研发的“紫东太初”大模型参与中国信通院组织的可信AI评测工作,顺利完成模型开发和模型能力两部分评测并最终获得4+级评分,成为国内首家通过该项评测的学术机构。此次评测,依据《大规模预训练模型技术和应用评估方法 第1部分:模型开发》、《大规模预训练模型技术和应用评估方法 第2部分:模型能力》开展,共涉及7个维度、20余个能力域及40余项关键指标,多维度评估大模型的开发流程完备度、能力丰富度及性能的优越性。 参与本次评测的“紫东太初”大模型在模型开发和模型能力两个方面均表现优异。在模型开发方面,模型开发流程及工具链较为完备,从数据管理、模型训练、模型管理到模型部署,全方位支撑大模型开发工作,助力实现研发运营一体化。在模型能力方面,该大模型支持智能语义、智能视觉、智能语音和跨模态四个任务领域,支持语义分析、对话系统、情感分析、文本分类、文本生成、知识图谱、文本内容推荐、OCR、人脸识别、图像分类、语义分割、动作识别、语音识别、语音合成、图文生成、图文检索等多项任务,且相应能力项均具备较高的准确率和可接受度。 中国科学院自动化研究所、武汉人工智能研究院研发的“紫东太初”大模型是基于全场景昇思MindSpore AI框架构建起性能优良的图像、文本和语音预训练模型,并通过跨模态语义关联实现以图生音和以音生图,完成了从“一专一能”到“多专多能”的跨越式突破。该模型开创性地实现了图像、文本、语音三模态数据间的统一表示与相互生成,理解和生成能力更接近人类,加速了通用人工智能落地进程。
|
|||||||||||