（原标题：大模子期间的存储改换：云厂商加快产物才气迭代）

21世纪经济报谈记者白杨 北京报谈

2024年，AI大模子的火热态势仍在握续，从客岁的单模态到本年的多模态，大模子才气抵制进化。

与此同期，与大模子研讨的本事也在抵制迭代。

当今业界也曾明确，决定大模子才气的除了算法、算力、数据等中枢身分，还有诡计、齐集、存储等基础步伐才气。

以存储为例，大模子的研发坐褥经由精真金不怕火可分为数据网罗与清洗、模子磨练、推理三大才气，在每个才气，都对存储才气有着极高的条目。

大模子需要更强的存储性能

最初在数据网罗与清洗才气，工程师需要从公开齐集上采集原始数据，并进行数据清洗，将重迭、无理、无效的数据过滤掉。

由于数据开始各样且限制达到PB级别，该才气的存储系统需要复古多种条约，并能提供超大读取带宽。

跟大数据场景访佛的是，AI大模子也需要使用灌入无数的非结构化数据，当今业界趋势是使用spark诡计引擎（数据湖）。

在大数据场景下，为了种植总计链路的成果，庸俗会将数据预处理算法作念并行化实行。关联词，AI大模子的原始数据集确实太大，以往磨练数据的清洗场景中数据量为 GB 级别（数十或者数百 GB），AI大模子的数据是TB和PB级别。

这对存储的读写性能，尤其是朦拢条目很高。作念数据清洗，要把上T的数据读到诡计引擎中，这对存储带宽有很大压力。在传统的有策画中，仅读取数据的时分就要30多分钟。

而在AI大模子磨练场景下，需要反复地将磨练数据从对象存储COS拉取到文献存储中，再从文献存储读取到缓存顶用于模子磨练与诡计，在这个过程中需要无数的读取、写入或者创建删除等操作，条目超高的IOPS（每秒读写次数）。

另外，大模子磨练集群庸俗为几百到数千台诡计节点，集群限制大，机器、欺诈等颠倒出现次数相对多。一朝出现该情况，要是模子莫得保存，十分于前功尽弃。

因此，为了减少诡计节点的物理损坏带来的吃亏，大模子需要周期性地进行保存刻下的阶段，也即是checkpoint（查验点），以便在机器宕掉的时候，不错快速收复。庸俗，2-4小时保存一次checkpoint，上千台机器并发，会带来百GB/s的读写朦拢。这个阶段，也条目存储大略在高并发的情况下，具备快速读写数据的才气。

云厂商加快产物才气迭代

为了符合大模子期间的存储需求，昔时一年，各个云厂商也在加快对自身的存储处理有策画进行升级。4月8日，腾讯云交出了其最新升级的云存储处理有策画。

据先容，腾讯云AIGC云存储处理有策画由对象存储COS、高性能并行文献存储CFS Turbo、数据加快器GooseFS和数据万象CI等产物构成，是国内首个兑现有储引擎全面自研的云存储处理有策画。

关于上文提到的一些场景，腾讯云也进行了针对性升级。比如面向大模子磨练场景，腾讯云自主研发的并行文献存储CFS Turbo，每秒总读写朦拢可达TiB/s级别，每秒元数据性能达百万OPS，这使得3TB checkpoint的写入时分从10分钟镌汰至10秒内。

腾讯云存储总司理马文霜在摄取21世纪经济报谈采访时打了个譬如，“要是存储是仓库，诡计是加工场，数据是货色，把数据喂给大模子进行磨炼就像把货色从仓库运到加工场进行加工。”

而传统的漫衍式存储（NFS条约）像传统仓库，是单链路传输，这导致朦拢存在性能瓶颈。腾讯云CFS Turbo则像先进仓库，是N条链路同期传输。

“咱们提供的并行探问，十分于把高大仓库分了区域，并开了很多扇门，这就允许每个客户径直从仓库的各个区域径直取货。同期，除了仓库自己，还在仓库前有一派离客户更近的前置仓（缓存），成心用于存放各个客户最近庸俗购买的东西，或者扬弃最近运送来存储的货色，这么要是客户要买以至都无须进到仓库里拿或取，径直从前置仓即可取得，镌汰时分，这则至智能缓存”。马文霜示意。

据马文霜先容，当今，也曾有80%的头部大模子企业遴荐了腾讯云AIGC云存储处理有策画，包括百川智能、智谱、元象等明星大模子企业。其中，CFS Turbo也被欺诈于自动驾驶与工业仿真场景。

在大模子期间。数据也曾成为至关进攻的坐褥要素，其也为社会发展带来新动能。IDC发布的《数据期间2025》见识，2018年我国数据圈（以数据圈代表每年被创建、采集或是复制的数据皆集）为7.6ZB，展望到2025年将增至48.6ZB，成为巨匠最大的数据圈。2018年至2025年年均复合增长率将达到30.35%

而数据的快速增长也在激动数据存储需求大幅增多，是以接下来，将存储才气的快速迭代，以符合商场需求，仍会是云厂商重心发力的一个标的。