【打印】
【进入博客】
【推荐给朋友】
【CMIC讯】11月4日,第二届开放原子开源基金会 OpenHarmony技术大会在京召开。中国工程院院士、清华大学计算机系教授郑纬民在会上表示,要大力开展基于国产AI芯片大模型基础设施研究,完善国内AI生态系统建设,做好整体系统工程化,关注软硬件协同设计,解决大模型基础设施建设的关键问题。
郑纬民坦言,国内AI生态尚未建设完善,“国产AI芯片只要达到国外芯片60%的性能,如果生态做好了,客户也会满意。大多数任务不会因为国产芯片性能只有(国外芯片性能的)60%而有明显感知,大家感觉到的不好用还是生态不行。即使硬件做的很好,甚至比国外做的更好,但如果生态没有做好,依然不被喜欢。”
软件主要提供的是灵活性和效率提升,硬件算力提供了最基本的资源基础。要建好生态,首先要做好整体系统工程化、软硬件协同设计。当前,新型硬件的使用对软件系统设计提出了巨大挑战。比如,随着应用程序对算力需求的日益提升和摩尔定律的逐渐放缓,新型计算硬件,特别是异构加速处理器,成为了高性能计算发展的主流;为了打破存储墙对应用程序计算性能的桎梏,新型存储器件,如固态存储设备SSD等,也被广泛应用于高性能计算机。
与此同时,人工智能、图计算、大数据等的广泛应用让软件也变得更为复杂。如何在新型硬件系统上设计与优化新型应用程序,新的硬件、新的软件如何做优化设计、做适配,成为一个亟待解决的关键问题。
人工智能计算具有计算密度高、需要大量低精度计算的特点。郑纬民指出,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的单机单卡模式已经无法满足超大模型进行训练的要求,包括数据并行、模型并行、专家并行在内的并行训练已成为大模型训练的“标配”。
比如在国产的新一代神威高性能计算机中,包含了96000个节点、37440000个核心以及互连网络。神威采用的是新一代体系结构芯片--神威26010pro,以及支持MPI通信的国产自主高速网络。神威超级计算机契合了大规模预训练模型的需求。据悉,郑纬民院士团队在国产E级高性能计算机上训练了一个170万亿参数的超大规模预训练模型,模型参数可与人脑中的突触数量相媲美。
“在训练这一超大规模预训练模型中,需要考虑四个问题:一是半精度运算性能与双精度运算性能的平衡;二是网络平衡设计;三是内存平衡设计;四是核心子系统平衡设计。这四点做好了,别人要用1万块AI芯片训练大模型,我们只用9000块就可以了。”郑纬民感叹说道。
生态是一切产业发展的基础。完善的生态可以加速知识、技术、应用场景的积累,使创新成果更快地转化为产品,连接产业链上下游,也可以为人才的培养和流动提供良好平台。
郑纬民表示,在数字经济时代,摩尔定律的持续实现,为人工智能的进一步发展提供了关键的基础,需要通过软硬件密切协同,才能进一步加速算力提升和使用效率。算力、网络具备很强的公共基础设施特性,只有加快建立一个开放性的产业生态,把选择权交给用户,才能驱动行业百花齐放,从而真正促进大模型产业的健康发展。