DUG Technology:百万兆级闪存存储

Telescope points to heaven to demonstrate how DUG Technology switched from HDD to petabytes of SSD flash storage to conduct exascale computation
Telescope points to heaven to demonstrate how DUG Technology switched from HDD to petabytes of SSD flash storage to conduct exascale computation

从机械硬盘迁移到固态硬盘

DUG Technology 从硬盘驱动器转向由英特尔®(现为 Solidigm™)技术支持的 PB 级闪存存储。

  • DUG Technology 处于高性能计算 (HPC) 的前沿,将创新的硬件和软件解决方案相结合,使客户端能够利用大型复杂的数据集。
  • 为了构建一个能够拓展到新市场的弹性和自适应存储环境,DUG 弃用硬盘驱动器,而转用具有 VAST 的 PB 级闪存

Solidigm 固态硬盘有助于地震数据切实可行

地震分析是一门高性能计算 (HPC) 学科,仅靠声音的反射整理出地下的状况。要想获得有用的 3D 分析,就需要拍字节 (PB) 的数据和数千台具有大量固态硬盘存储的强大计算机。

石油公司不具备在内部开展所有此类分析所需的计算资源,因此他们求助于 DUG Technology 之类的公司,从海量数据中梳理出细节。

高性能计算即服务

DUG 将此功能称为 HPC 即服务 (HPCaaS):按需提供专业的全栈百亿亿级计算。 传统上,DUG 的计算即服务技术仅适用于特定客户,例如大型石油和天然气公司。然而,随着市场注意到此技术的能力,DUG 将其产品拓展到其他垂直行业,而这些垂直行业使用该服务满足各种极端的计算需求。 DUG 决定为能源行业以外的企业带来同样的“自带数据”便捷服务。正是因为面向 HPC 的专门 DUG McCloud 服务,所以 DUG 知道其可以低廉成本满足这些新兴垂直行业的需求。VAST Data 通用存储由 Solidigm 技术支持,巩固了 DUG McCloud 并使 DUG 成功进入新的垂直领域,包括学术界、天体物理学、医学和基因组学、野火建模和新冠肺炎研究。 然而,要做到这一点,DUG 需要彻底改变其原本处理存储的方式。 Solidigm 固态硬盘接受挑战 在运营的第一个十年中,DUG 一直致力于部署和管理基于机械硬盘的存储,以提供其地震工作负载所需的规模和成本经济性。在那段时间里,DUG 彻底优化其应用程序,不仅利用基于 Lustre 机械硬盘的基础架构,而且克服了局限性。为了在提高生产力与降低成本两方面达到平衡,DUG 不得不做出妥协。例如,当 Lustre 文件系统客户端的给定工作流达到峰值吞吐量时,共享同一文件系统的其他用户便会遇到速度下降的情况。尽管 DUG 设计了软件防止机械硬盘故障,但每周不得不更换故障驱动器,这一直是 DUG 的心头之痛,推高了时间成本和资源成本。

HPCaaS 新应用程序需要新的存储解决方案

虽然 DUG 的应用程序针对 Lustre 和机械硬盘存储做了很好的优化,但 DUG 正在开发新的应用程序,以不同的方式处理存储输入/输出 (I/O)。这些应用程序需要存储具备多功能和多租户的特点。DUG 需要新的解决方案,支持百亿亿次级的各类要求。DUG 还需要存储解决方案能够处理不同应用的多种吞吐量要求。DUG 寻求基于固态硬盘 (SSD) 的存储来提高性能和可靠性。然而,在 Lustre 上迁移到固态硬盘的成本会高得令人望而却步,而对于 DUG 来说,负担能力是首要考虑因素。 为了构建一个能够扩展到新市场的弹性自适应存储环境,DUG 需要一种新的存储方法。 解决方案:使用 Solidigm 固态硬盘的 VAST Data 通用存储DUG 选择了 VAST Data 通用存储来扩展其业务并支持各种新市场和客户的需求。通用存储产品将并行文件系统的速度和规模与全新级别的闪存可负担性和多租户相结合,为 DUG 带来了全面的技术飞跃。VAST Data 的分解共享一切 (DASE) 架构还通过隔离未优化的 I/O 来提供一致的性能,以免影响其他租户。

借助 DASE 方法,VAST Data 消除了并行存储的并发挑战,为特定工作负载提供高性能,而不会以牺牲其他工作负载为代价。

除了显著改善客户性能体验之外,VAST Data 还提供可靠性、管理和支持,而这些是传统 HPC 存储技术无法提供的。

借助 VAST Data 的 DASE 架构,实现百亿亿次级可扩展性;

VAST Data 的 DASE 架构提供百亿亿次级可扩展性,使 DUG 能够增长到数十 PB 的闪存。这种架构也可以从故障中快速恢复,因为没有单点故障。DASE 架构的可靠性“免费”,是因为 VAST Data 数据保护效率和架构无状态而直接带来的。

除了弹性之外,VAST 数据通用存储还简化了 DUG 的部署和管理体验。集成的横向扩展设备始终推出新功能,只要系统在线时便会自动应用,因此 DUG 没有停机时间。

使用 Solidigm 存储技术的 VAST 数据通用存储概述

VAST Data 通用存储提供了一个单一的全局命名空间,因此每个应用程序都可以访问该工作负载的所有关联数据。VAST Data 解决方案结合了:

  • 全闪存驱动器性能
  • 大规模可扩展性
  • 档案存储的经济性

Solidigm 固态硬盘为 VAST Data 通用存储的成本效益和可靠性奠定了硬件基础。Solidigm 将垂直浮栅技术和互补金属氧化物半导体 (CMOS) 阵列下架构配对,在每单元相同比特的情况下,提供业界最高的面积密度(每平方毫米千兆字节的存储)。1

这意味着 Solidigm QLC 3D NAND 固态硬盘不仅面积密度大于上一代的三层单元 (TLC) 介质,而且面积密度和可靠性也胜于基于电荷捕获技术的四层单元 (QLC) 竞品。1 Solidigm 的架构创新使 VAST Data 解决方案能够经济地将所有数据存储在闪存驱动器上。

dug-technology-article-supported-clients

结论

英特尔(现为 Solidigm)QLC 3D NAND 固态硬盘的成本效益和高可靠性为 VAST Data 的架构奠定了基础,与机械硬盘相比,成本降低高达 85%,10 年内每千兆字节 (GB) 成本与机械硬盘系统相差无几。[2 ,3]

如需了解更多信息,请单击此处更多信息,请单击此处阅读 VAST 数据百亿亿级 NAS 白皮书。