当前，以信息技术为代表的新一轮科技革命正在加速兴起，数字经济已成为经济发展的新赛道、现代化国家的产业基础。
数据显示，2020年数字经济增加值总规模，全球可统计范围内达到32.6万亿美元。同年，中国数字经济规模达到39.2万亿元，占GDP比重38.6%，预计2022年这一比重有望升至41%。
在数字经济加速发展的时代背景下，全球数据总量和算力规模呈现高速增长态势，券商龙头中信建投表示，数字经济将成为助力国内经济复苏的新动能，建议关注基础设施的信创化、数据要素的市场化以及人工智能的工具化，坚持信创、数据要素、AI三大主线不动摇。在以ChatGPT为代表的大模型技术逐步走向商用的过程中，中信建投建议继续重视AI算力板块的投资机会。
算力，即对数据的处理能力，如果说数据是AI模型的“燃油”，那算力就是AI模型的“发动机”，训练ChatGPT需要使用大量算力资源。据微软官网，微软Azure为OpenAI开发的超级计算机是一个单一系统，具有超过28.5万个CPU核心、1万个GPU和400 GB/s的GPU服务器网络传输带宽。据英伟达，使用单个Tesla架构的V100GPU对1746亿参数的GPT-3模型进行一次训练，需要用288年时间。此外，算力资源的大量消耗，必然伴随着算力成本的上升，据Lambda，使用训练一次1746亿参数的GPT-3模型所需花费的算力成本超过460万美元。虽然GPT-3.5在模型参数量上有了明显下降，但考虑到GPT-3、GPT-3.5均为OpenAI独家拥有，其他厂商复刻难度较高，巨量参数或仍将是模型开发过程的必经之路，预计未来大模型开发的算力成本仍将较高。
据OpenAI测算，自2012年以来，全球头部AI模型训练算力需求3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍。与仅能处理NLP的GPT-3.5相比，支持多模态的GPT-4能够同时处理图像及文本输入，并生成文本输出。GPT-4可以完成一些传统的视觉语言任务，如图像描述、生成字幕、图像分类等；此外，它还具有较强的逻辑分析能力。GPT-4在完成这一系列更为丰富和复杂的任务的同时，其对算力的需求也达到GPT3.0的数倍。
需求端，AI大模型对于算力资源的需求主要体现在以下三类场景：
1、模型预训练带来的算力需求
模型预训练过程是消耗算力的最主要场景。ChatGPT采用预训练语言模型，核心思想是在利用标注数据之前，先利用无标注的数据，即纯文本数据训练模型，从而使模型能够学到一些潜在的跟标注无关的知识，最终在具体的任务上，预训练模型就可以利用大量的无标注数据知识。在Transformer的模型架构下，语言预训练过程可以根据上下文一次处理所有输入，实现大规模并行计算。通过堆叠多个解码模块，模型的层数规模也会随着提升，可承载的参数量同步增长。与之相对应的，模型训练所需要消耗的算力也就越大。
有数据统计，训练一次ChatGPT模型需要的算力约27.5PFlop/s-day。据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》，训练一次13亿参数的GPT-3 XL模型需要的全部算力约为27.5PFlop/s-day，训练一次1746亿参数的GPT-3模型需要的算力约为3640 PFlop/s-day。考虑到ChatGPT训练所用的模型是基于13亿参数的GPT-3.5模型微调而来，参数量与GPT-3 XL模型接近，因此预计训练所需算力约27.5PFlop/s-day，即以1万亿次每秒的速度进行计算，需要耗时27.5天。
此外，预训练过程还存在几个可能的算力需求点：
1）模型开发过程很难一次取得成功，整个开发阶段可能需要进行多次预训练过程；
2）随着国内外厂商相继入局研发类似模型，参与者数量增加同样带来训练算力需求；
3）从基础大模型向特定场景迁移的过程，如基于ChatGPT构建医疗AI大模型，需要使用特定领域数据进行模型二次训练。
同时，日常运营带来的算力需求旺盛。
预计ChatGPT单月运营需要算力约4874.4PFlop/s-day，对应成本约616万美元。在完成模型预训练之后，ChatGPT对于底层算力的需求并未结束，日常运营过程中，用户交互带来的数据处理需求同样也是一笔不小的算力开支。据SimilarWeb数据，2023年1月ChatGPT官网总访问量为6.16亿次。据Fortune杂志，每次用户与ChatGPT互动，产生的算力云服务成本约0.01美元。基于此，我们测算得2023年1月OpenAI为ChatGPT支付的运营算力成本约616万美元。
从模型迭代的角度来看，ChatGPT模型并不是静态的，而是需要不断进行Finetune模型调优，以确保模型处于最佳应用状态。这一过程中，一方面是需要开发者对模型参数进行调整，确保输出内容不是有害和失真的；另一方面，需要基于用户反馈和PPO策略，对模型进行大规模或小规模的迭代训练。因此，模型调优同样会为OpenAI带来算力成本，具体算力需求和成本金额取决于模型的迭代速度。
从供给端来看，核心环节有望率先受益。
算力芯片：AI算力基石，需求有望大规模扩张
GPU架构更适合进行大规模AI并行计算，需求有望大规模扩张。从ChatGPT模型计算方式来看，主要特征是采用了并行计算。对比上一代深度学习模型RNN来看，Transformer架构下，AI模型可以为输入序列中的任何字符提供上下文，因此可以一次处理所有输入，而不是一次只处理一个词，从而使得更大规模的参数计算成为可能。而从GPU的计算方式来看，由于GPU采用了数量众多的计算单元和超长的流水线，因此其架构设计较CPU而言，更适合进行大吞吐量的AI并行计算。基于此，随着大模型训练需求逐步增长，下游厂商对于GPU先进算力及芯片数量的需求均有望提升。
互联网巨头亦强势入局AI芯片，腾讯领投的燧原科技推出推理侧产品云燧i20，INT8算力达256TOPS；百度孵化的昆仑芯推出训推一体AI芯片R200，INT8算力达256TOPS；背靠阿里的平头哥亦早在2019年就推出推理侧AI芯片含光800。
服务器：AI服务器有望持续放量
ChatGPT主要进行矩阵向量计算，AI服务器处理效率更高。从ChatGPT模型结构来看，基于Transformer架构，ChatGPT模型采用注意力机制进行文本单词权重赋值，并向前馈神经网络输出数值结果，这一过程需要进行大量向量及张量运算。而AI服务器中往往集成多个AI GPU，AI GPU通常支持多重矩阵运算，例如卷积、池化和激活函数，以加速深度学习算法的运算。因此在人工智能场景下，AI服务器往往较GPU服务器计算效率更高，具备一定应用优势。
服务器是算力输出的重要载体，以联想集团为例，作为服务器、存储赛道的全球龙头及全球最重要的算力公司，也再次被推至台前，随着算力需求的爆发式增长在未来持续受益，并有望成为行业最先受益者。联想目前也已成为全球三大服务器供应商之一，自2001年以来，联想共创下800余项性能基准测试世界纪录，是创造服务器世界纪录数量最多的IT厂商；截至2022年12月1日，联想保持着294项世界纪录。
此外，联想集团目前已拥有横跨公有云、私有云和混合云的交付能力，可以为多种算力需求客户提供更“普慧”的算力产品。并在异构计算与负载均衡、设备之间的互联互通、数据安全与隐私保护、模型本身的伸缩性与扩展性等方面有长期且深厚的技术积累。
数据中心：核心城市集中算力缺口或将加剧
IDC算力服务是承接AI计算需求的直接形式。ChatGPT的模型计算主要基于微软的 Azure云服务进行，本质上是借助微软自有的IDC资源，在云端完成计算过程后，再将结果返回给OpenAI。可见，IDC是承接人工智能计算任务的重要算力基础设施之一，但并不是所有企业都需要自行搭建算力设施。从国内数据中心的业务形态来看，按照机房产权归属及建设方式的角度，可分为自建机房、租赁机房、承接大客户定制化需求以及轻资产衍生模式四种。
0 留言