按照宿世界经济论坛的估算，2020年全宿世界发生了跨越44ZB的数据量，而在十年前全球的数据总量还只有1ZB。
数据量的指数级增加，预示着人类文明彻底进入了数字化时代，数据已经当作为人类存在的另一种体例。出格是在新基建、数字经济等宏不雅话题大行其道的当下，数据的存储、挖掘、应用早已和经济直接挂钩。
11月18日的国际超等计较大会SC21上，正式发布了最新的全球IO500榜单。此中华为OceanStor Pacific存储在IO500榜单和10节点榜单中均名列第二，刷新了华为覇榜IO500的新纪元。
作为存储机能最权势巨子的宿世界排行榜之一，IO500包罗总榜单和10节点榜单两大类别。因为10节点榜单将基准机能测试限制为10个计较节点，可以精确反映存储系统为现实程序供给的I/O机能，被视为权衡超等计较机应用效率的焦点指标。
当华为OceanStor Pacific代表的企业占领IO500榜单的头部，甚至将榜单前三名均收入囊中的时辰，对整个存储市场意味着什么？
01 高机能计较三部曲
想要理解数据存储机能的价值地点，似乎有需要回首下高机能计较（HPC）的进化过程。究竟结果在人类从工业文明迈标的目的信息文明的过程中，HPC饰演了不成或缺的脚色，甚至说是科技立异的典型标杆。
以往在复盘HPC进化史的时辰，不少人习惯按照时候轴进行清算，直不雅地揭示算力上的爆炸性增加。借使倘使从需求驱动的思绪审阅HPC的成长史，或许可以找到一个新的视角，即应用需求深度影响了HPC的进化偏向。
最早的“超等计较机”属于当局本家儿导的项目，第一台电子计较机ENIAC的降生为起点，HPC在长达几十年的时候里被应用于高能物理、流体力学等学术范畴，数值计较的场景决议了HPC不竭晋升计较能力的演变轨迹。
跟着越来越多的贸易公司进入到计较财产，HPC的应用场景慢慢标的目的油气勘察、景象形象展望、芯片研发等范畴倾斜，模拟仿真的需求垂垂跨越了数值计较，HPC的进化不再只是本家儿攻算力，而是存储、收集等多元化的机能。
到了2020年前后，主动驾驶、基因测序、深空摸索等贸易智能蓬勃标的目的上，HPC的应用场景也进一步改变：需要卷积更多的汗青数据介入计较阐发，不竭晋升阐发的精度，对数据存储的机能需求逐渐上升到了新的高度。
恰是在这样的大布景下，John Bent、Julian Kunkel、Jay Lofstead在内的学者纷纷鞭策IO机能的测试方式、基准测试程序和法则，经由过程模拟应用需要的分歧IO模子，验证数据带宽（GIB/s）和元数据(KIOP/S)两个关头维度的机能表示，并在一些TOP500计较机长进行了测试。
2017年的国际超等计较大会上，VI4IO组织发布了第一份IO500榜单，商定每年在SC和ISC大会上各更新一次排名。
IO500榜单的呈现就像是一道江湖集结令，拉开了各路英雄比赛存储机能的序幕：新兴存储硬件层出不穷，新兴文件系统应运而生，尺度和架构也不竭推陈出新，数据存储进入了群雄逐鹿的年月。
究竟结果HPC范畴的所有玩家都大白一个事理：实际中很多场景介入计较的数据量已经达到了PB级，计较过程中需要频仍进行访存操作，存储机能直接影响着计较的效率，同时对数据靠得住性和平安性的要求也越来越高。数据存储机能预料之中的当作了高机能计较的聚核心，也是各大厂商的必争之地。
02 HPDA的财产态势
为何IO500榜单有这么大的魔力？谜底还要从需求的转变说起。就像在HPC的进化过程中，一个较着的态势是从“以计较为中间”到“以数据为中间”的改变，进入到了“数据密集型”的新阶段。
国际权势巨子阐发师机构Hyperion Research，曾在2020年对全球HPC市场的增速做出展望：2019年到2024年的时候周期内，存储市场的复合增加率有望达到12.1%，远高于办事器、中心件、应用、办事等市场。
之所以给出这样的判定，离不开一个特定的财产共识：在主动驾驶、景象形象展望、宇宙摸索等热点的应用场景中，HPC和AI、大数据的融合越来越慎密，HPC标的目的HPDA（数据密集型超算）的演进，屡屡当作为行业论坛上的本家儿流议题。
可以找到的例子有良多。
曩昔地动勘察是二维的，从二维到三维的演进中，采集和处置的数据量增添了5—10倍；片子衬着逐渐从2K标的目的4K甚至8K过渡，对应的数据量增添了16倍；卫星测绘范畴的精度从20米缩小到2米，数据量同比增加了70倍……再加上数据阐发处置的算法越来越复杂，采集、存储、处置、存档的数据量呈现出爆炸式增加。
然而传统的HPC存储本家儿要用于建模和仿真，包罗项目文件共享、搜刮、归档等等，本家儿如果布局化的数据，且凡是是基于挨次的大I/O型。但人工智能的工作流程涉及到数据收集、注入、练习、推理和归档，不仅涵盖布局化和非布局化的数据，数据存取的场景也加倍复杂，AI负载需要挨次大I/O型和随机小I/O型的组合，出格是AI数据集标注的元数据办理，需要快速的随机小I/O型。
也就是说，鞭策数据存储机能不竭晋升的身分，毫不只是IO500榜单，而是埋没在榜单背后的市场需求。传统HPC的数据存储已经跟不上需求，可否打破数据存储、机能、效率的限制，已经是HPC财产改革的掣肘身分。
按照Hyperion Research在《HPDA趋向白皮书》中的建议，针对HPDA负载中经常呈现的非布局化数据，数据存储应该进行针对性的立异，包罗撑持分歧的I/O模子、撑持多和谈拜候、撑持各类数据拜候频率、高密度高效设计等等，不竭晋升数据操纵率，进一步释放数据潜力。
恰好是数据存储的新一轮革命，为华为等企业供给了重拾话语权的机遇，并乘隙进行直线超车。
03 华为越级的硬实力
也就诠释了文初的一幕：几年前的IO500榜单还被Intel、DDN、IBM等企业占领，当HPC标的目的HPDA演进的时辰，华为OceanStor Pacific等新势力几次呈现，并且就拿到了让人振奋的位次。
如同中国超算力量的强势崛起，华为OceanStor Pacific斩获IO500榜单全球第二的动静并不令人不测。在这场手艺硬实力的较劲中，华为OceanStor Pacific的“越级”离不开4000多位研发人员夜以继日的尽力，以及3000多项专利组成的手艺立异，打破了HPC财产的三重壁垒：
一是多营业夹杂负载能力。传统HPC存储只撑持单一负载，形当作了机能上的孤岛，导致流程间的数据需要在分歧存储间迁徙，可以说是效率降低的“元凶”。
华为OceanStor Pacific存储搭载了新一代并行文件系统，针对传统HPC的问题进行了有的放矢：采用目次DHT分区、大IO纵贯小IO聚合、多粒度磁盘空间办理列手艺，一套存储同时实现了大文件高带宽、小文件高IOPS，共同分布式并行客户端手艺，轻松知足了客户对多营业夹杂负载的需求。
二是多和谈无损互通方案。在数据处置过程中，多样性的数据转化、拷贝、加载等环节就占有了35%以上的时候，报酬制造了阻碍效率升维的格局壁垒。
华为OceanStor Pacific的切入点是和谈互通，经由过程同一的数据办理系统和硬件资本池，文件、对象、大数据客户端可以同时读写统一个文件，不需要和谈转换的过程，让数据阐发的效率晋升了30%以上，而且避免了数据拷贝发生的冗余副本，节流了端到端的存储资本，让硬件阐扬出极限机能。
三是超高密设计的硬件。当海量数据的价值被进一步阐发挖掘，就需要保留更多更长久的数据资本，对机房空间、功耗、存储当作本等都提出了新的挑战。
为领会决这些“痒点”，华为OceanStor Pacific推出了系列化超高密硬件，撑持分歧硬件间的数据主动分级，周全降低了HPC场景的存储当作本。以华为OceanStor Pacific 9950为例，每个5U机箱可容纳8个存储节点，供给128TB至614.4TB裸容量，节流了60%以上的机柜空间和能耗。
可以看到，华为OceanStor Pacific的软硬件立异，填补了HPC标的目的HPDA转型的数据存储短板，无形中为HPDA历程按下了“快进键”，也为站在转型节点上的企业，供给了迎合数据密集型趋向的“抱负之选”。
04 写在最后
权衡一条目产物、一家企业的价值标杆，绝非是这样或那样的榜单，借使倘使只是静静地躺在榜单上，再好的成果也没有太大的意义。尽管是IO500榜单上一鸣惊人的新秀，但华为OceanStor存储并不让人目生。
中石化物探研究院采用华为OceanStor存储的办事，降低了30%的数据存储当作本，勘察效率晋升了16%，运维办理当作本降低了50%；上海天文台在华为OceanStor存储的帮忙下，搭建了宿世界首台SKA原型机，机能较传统存储晋升了10倍；华大基因将华为OceanStor存储用于无创产前基因检测营业模子中，数据存储机能晋升了30%摆布，基因检测陈述从15天压缩到了7天……
相较于那些为了冲榜而送测的企业，华为OceanStor Pacific正在以一种润物细无声的体例渗入进社会糊口的方方面面，帮忙千行百业解决数据密集型进级带来的挑战，IO500榜单第二的殊荣不外是水到渠当作的成果。
