AI是数据吃豆人。赢得胜利需要一种新颖的存储策略。

 
在数据方面，人工智能就像吃豆人。硬盘驱动器，NAS，常规数据中心和基于云的存储方案无法满足AI对速度和容量(尤其是实时性)的狂热需求。如今玩游戏需要对存储进行根本性的重新思考，以此作为机器学习，深度学习，图像处理和神经网络成功的基础。
“ AI和大数据正在主导决策和运营的各个方面，”全闪存存储和服务提供商Vast Data的产品副总裁兼联合创始人Jeff Denworth说。 “对大量快速数据的需求使传统的存储金字塔已过时。将新思想应用于许多最棘手的问题，有助于实时地简化存储和访问大量数据储备的工作，从而获得前所未有的见解。”
人工智能推动存储激增
各种新技术和体系结构正在重塑存储，这些新技术和体系结构可以提供各种类型的AI所需的高带宽，大容量，快速I / O，低延迟和灵活的可伸缩性。其中的关键是固态磁盘(SSD)，闪存驱动器和缓存软件，NVMe，DAOS，存储级内存(SCM)，以及诸如Intel Optane介质之类的混合设备，它们可以缩小存储与内存之间的差距。
像5G，物联网，流分析以及AI时代其他速度和数据魔鬼一样的进步推动了全球存储需求的激增。
麦肯锡表示，到2025年，全球AI应用程序所需的合并存储量将从每年80艾字节增加到845艾字节，增长十倍。 (Exabyte = 1,048,576 TB)。这表示细分市场每年增长25-30%。到2023年，医疗保健将采用AI的比例将达到54%，医疗保健将成为主要动力，许多行业的AI和DL培训也将如此。
“优化的AI和ML工作流程需要在计算，内存和存储之间达到适当的平衡，” Moor Insights&Strategy创始人Patrick Moorhead说道。 “关于优化的ML计算的讨论很多，但关于存储的讨论却不多。”这种情况正在迅速改变。
“马上给我喂!”容量和带宽是关键
原因很简单：人工智能应用程序消耗并生成令人难以置信的数据量-每个项目最多数百PB或更多。
例如，英特尔研究表明：
一家智能医院将每天产生3,000 GB
自动驾驶汽车每天将产生超过4,000 GB的流量
联网飞机每天将产生5,000 GB
相连的工厂每天将产生100万GB
考虑：识别一个男人或女人的简单面部识别大约需要1亿张图像。所需的8位文件的总存储量最大为4.5 PB。
但这不只是数量庞大。这些海量数据通常依赖实时分析以使其有价值。不幸的是，提供GPU和其他需要大量数据的AI计算节点的能力和经济性远远超过了硬盘驱动器。
通过一个64KB的计算，大约需要5,000个HDD来提供使运行速度为20GB / s的GPU服务器达到饱和所需的随机读取IOP / S。 (相比之下，NVMe闪存驱动器可提供高达此工作负载1000倍的性能。)
另一个难题：人工智能工作负载通常起源于边缘或网络分支，而不是集中式数据中心。这给组织带来了额外的架构挑战，组织必须借助临时的云爆发或永久的云基础架构来应对内部容量的建设。不管它们在哪里运行，“ AI工作负载都呈现出波动的访问模式，可变的读/写混合以及不断变化的块大小，这些都需要高吞吐量和极低的延迟，”英特尔存储市场经理Roger Corell说。
所有这些需求明确表明，需要一种新的方法来为AI大规模，可扩展地存储。
常规解决方案：不认真的竞争者
不幸的是，人工智能暴露了存储和内存层次结构中的巨大空白。
Corell说，传统的NAND SSD可能需要满足整个数据流水线的这些要求。 Moorhead指出，大多数文件系统并未针对NVMe Flash等高性能存储技术进行优化。他指出，它们也没有提供足够的数据保护或支持临时的云数据移动。
其他方法也遇到了HDD的技术缺陷，并添加了一些自己的方法：
现成的NAS可以作为AI的快速简便解决方案。但是降低性能和增加成本使它成为大型项目的不佳选择。同样：大多数NAS设备不能扩展到几个PB。
云服务提供商(CSP)可能无法提供专用AI工作负载所需的性能和配置灵活性。其他潜在障碍：有限的网络和存储带宽会影响延迟和吞吐量，以及“嘈杂”的托管邻居会降低应用程序性能。
4项关键技术
所以那是行不通的。什么事
四项基础技术在现代，基于闪存的存储中也起着关键作用，这些存储足够强大，足以应付AI的需求。
从广义上讲，SSD提供了许多AI应用程序所需的速度和低延迟。诸如Intel Optane DC SSD之类的新系统通过在低队列深度下提供高吞吐量来消除性能AI瓶颈，这是在大数据工作负载中缓存临时数据的必要条件。改进的读取等待时间性能可为数据分析洞察提供更快，更一致的时间。
与其他形式的闪存相比，QLC 3D NAND技术在每个单元中容纳的存储量增加了33%，使其成为构建AI闪存存储的最经济的方式。新的数据方案可以更快地处理较大的块，从而抵消了较慢的写入性能和持久性。将QLC的密度与节省空间的新型外形尺寸(如EDSFF)结合使用，可以在同一机架空间中最多增加3倍的驱动器。
架构上的NVMe可以实现新型的存储扩展和分解。所有CPU无需协调，即可使用通过数据中心以太网或InfiniBand连接的多个SSD并具有DAS(直接连接存储)延迟的独立运行。
存储级内存(SCM)可以提高闪存的存储性能，它还可以通过不使驱动器磨损的方式将数据放入闪存中，从而起到缓冲作用。
启用新的AI业务和应用程序
AI不仅需要重新思考存储的使用方式，还需要重新构建和部署存储。先进的存储技术使新应用以及基于AI的新服务和业务成为可能。
获取大量数据。这家纽约公司提供下一代存储设备和服务。全闪存设计使存储具有足够的速度和可扩展性，足以满足ML和HPC，金融服务和生命科学等苛刻应用的需求。 Vast的“通用存储体系结构”实质上是用于分析和归档的一大闪存。联合创始人丹沃思(Denworth)解释说：“优势无处不在，因此公司可以轻松释放新见解并提出长期数据问题。”
在2018年前不可能提供此类支持AI的存储(如公司喜欢说的那样，“第5层经济体具有第1层性能”)。传统的HDD和云服务在技术或经济上根本无法实现这种性能。
Denworth解释说，通过将NVMe，SCM和QLC与全局压缩结合在一起，可以使用一种全新的，“分解的”数据和存储方法。从本质上讲，每个服务器都拥有并共享每个媒体和数据。
斑马：放射学分析即服务
Zebra Medical Vision是基于AI和现代存储的业务的另一个很好的例子。这家以色列公司由一群MIT毕业生于2014年创立，提供自动化，实时医学图像诊断即服务。每次检查的费用为$ 1或更少，放射科医生和其他医疗保健提供者可以通过CT扫描和X射线获得准确的帮助来检测和分析癌症以及其他医疗状况。
创新的存储技术使Vast的客户Zebra秉承自己的座右铭：“利用AI的力量来改变患者的护理。”该公司的AI1解决方案使用数百万个成像和相关的临床记录来创建高性能算法，可以识别问题，高危患者，确定紧急情况的优先级并管理成本。
Zebra表示，只有借助新存储技术支持的AI才能实现其业务。 Zebra Medical的CTO Eyal Toledano表示，实时诊断和分析要求“性能要优于传统NAS。”他补充说，拥有“一种简单，可扩展的设备，无需进行部署和管理即可”。公司专注于快速增长，而不是AI基础架构。
策略：不同阶段，不同需求
就像没有单一类型的AI一样，也没有单一的最佳“单一大小适合所有人”的AI存储策略。像所有好的游戏一样，这是一个不断变化的目标。因此，智能规划需要在更广泛的AI基础架构设计的背景下进行严格的分析。
对于初学者来说，人工智能的存储需求在整个生命周期中都在变化。在训练期间，系统在完善算法时必须存储大量数据。 Flash和NVMe非常适合此I / O密集阶段。在推论期间，仅必须存储将来训练所需的数据。相反，深度学习系统需要不断访问数据以对其进行重新训练。
在某些情况下，人工智能系统的输出可能足够小，无法由分层的现代企业存储系统处理。但是，在大多数情况下，前端AI功能将需要更新的灵活存储。
以下资源可帮助您为AI应用程序选择最佳技术组合。
建立与购买
您是否应该购买，构建，调整用途或外包存储资源以实现图像识别，自然语言处理或预测性维护工作负载?
与往常一样，“正确的组合”取决于您的应用和情况。此图表提供了一些基本准则，可帮助您做出最佳选择。
吞噬或吞噬
性感的AI算法和芯片可能会引起更多关注。但是精明的参与者意识到存储和存储基础架构所扮演的关键角色。吞噬或吞噬。
更深入：要了解有关AI存储的更多信息，请参阅：
探索从人工智能理论到真实商业价值的道路
您的存储设备准备好用于AI了吗?
全闪存AI基础架构
选择最佳基础设施策略以支持您的AI解决方案
赞助文章是由公司付费或与VentureBeat有业务关系的公司制作的内容，并且始终带有明确的标记。我们编辑团队制作的内容绝不会受到广告商或赞助商的任何影响。