DUG Technology:百万兆级闪存存储

从机械硬盘转向固态硬盘

DUG Technology 从普通硬盘转换为采用 Solidigm™ 技术的 PB 级闪存存储。

Large dataset gathered by astrophotography and deep space listening stored on Solidigm SSDs for best use in DUG technology.
Large dataset gathered by astrophotography and deep space listening stored on Solidigm SSDs for best use in DUG technology.
  • DUG Technology 处于高性能计算 (HPC) 的前沿,将创新的硬件和软件解决方案相结合,使客户端能够利用大型复杂的数据集。
  • 为构建弹性和自适应存储环境,从而能够拓展到新市场,DUG 从机械硬盘转向了使用 VAST 的 PB 级闪存。

Solidigm 的固态硬盘使得地震数据具备可操作性

地震分析是一门高性能计算 (HPC) 学科,通过声音的反射查明地球表面下的活动。要进行有用的 3D 分析,需要 PB 级数据、数千台功能强大的计算机和大量的固态硬盘存储。

大多数石油和天然气公司内部不具备足以进行此种分析的必要资源。即便业内的龙头企业能够使用性能强大的计算机,往往也需要借助 DUG Technology 等企业的力量,才能更快速、更精准地低成本获取这些结果。

高性能计算即服务

DUG 将此功能称为 HPC 即服务 (HPCaaS):按需提供专业的全栈百亿亿级计算。传统上,DUG 的计算即服务技术仅适用于特定客户,例如大型石油和天然气公司。然而,随着市场注意到此技术的能力,DUG 将其产品拓展到其他垂直行业,而这些垂直行业使用该服务满足各种极端的计算需求。

DUG 决定为能源行业以外的企业带来同样的“只带你的数据”的便捷服务。DUG 深知,借助专门的 DUG HPC 云服务,它可以经济地服务于这些新的垂直行业。VAST Data 平台含有由 Solidigm 技术支持的存储基础层,巩固了 DUG HPC Cloud 并使 DUG 成功进入新的垂直领域,包括学术界、天体物理学、医学和基因组学、野火建模和防务领域。然而,要做到这一点,DUG 需要颠覆其原本处理存储的方式。

Solidigm 固态硬盘接受挑战

在运营的第一个十年中,DUG 一直致力于部署和管理基于普通硬盘的存储,以提供其地震工作负载所需的规模和成本经济性。在那段时间里,DUG 彻底优化其应用程序,不仅利用基于 Lustre 机械硬盘的基础架构,而且克服了局限性。

为了在提高生产力与降低成本两方面达到平衡,DUG 不得不做出妥协。例如,当 Lustre 文件系统客户端的给定工作流达到峰值吞吐量时,共享同一文件系统的其他用户便会遇到速度下降的情况。尽管 DUG 设计了软件防止机械硬盘故障,但每周不得不更换故障驱动器,这一直是 DUG 的心头之痛,推高了时间成本和资源成本。

HPCaaS 新应用程序需要新的存储解决方案

虽然 DUG 的应用程序针对 Lustre 和机械硬盘存储做了很好的优化,但 DUG 正在开发新的应用程序,独辟蹊径,处理存储输入/输出 (I/O)。这些应用程序需要存储具备多功能和多租户的特点。DUG 需要新的解决方案,支持百亿亿次级的各类要求。

DUG 还需要存储解决方案能够处理不同应用的多种吞吐量要求。DUG 寻求基于固态硬盘 (SSD) 的存储来提供更高的性能和可靠性。然而,在 Lustre 上迁移到固态硬盘的成本会高得令人望而却步,而对于 DUG 来说,负担能力是最重要的。

为了构建一个能够扩展到新市场的弹性自适应存储环境,DUG 需要一种新的存储方法。

解决方案:使用 Solidigm 固态硬盘的 VAST Data 通用存储

DUG 选择了 VAST Data 平台来扩展其业务并支持各种新市场和客户的需求。此平台将并行文件系统的速度和规模与全新级别的闪存可负担性和多租户相结合,为 DUG 带来了全面的技术飞跃。VAST Data 的分解共享一切 (DASE) 架构还通过隔离未优化的 I/O 来提供一致的性能,以免影响其他租户。

借助 DASE 方法,VAST Data 消除了并行存储的并发挑战,为特定工作负载提供高性能,而不会以牺牲其他工作负载为代价。

除了显著改善客户性能体验之外,VAST Data 还提供可靠性、管理和支持,而这些是传统 HPC 存储技术无法提供的。

借助 VAST Data 的 DASE 架构,实现百亿亿次级可扩展性 

VAST Data 的 DASE 架构能提供百亿亿次级可扩展性,使 DUG 能够增长到数十个 PB 的闪存。因为没有单点故障,这种架构也可以从故障中快速恢复。DASE 架构的可靠性是“免费的”:它是 VAST Data 数据保护效率和架构无状态的直接结果。

除了具有弹性之外,VAST Data 平台还能简化 DUG 的部署和管理体验,其所集成的横向扩展设备能在系统在线时始终如一地推出自动应用的新功能,因此 DUG 没有停机时间。

采用 Solidigm 存储技术的 VAST Data 通用存储概述

VAST Data 平台提供了一个单一的全局命名空间,以便每个应用程序都可以访问该工作负载的所有相关数据。VAST Data 解决方案融合了以下方面:

  • 全闪存驱动器性能
  • 大规模可扩展性
  • 档案存储的经济性
  • 简洁的即插即用网络附加存储 (NAS) 连接
  • 全面多协议支持(SMB 2.1、3.0,NFS v3、v4.1,使用 NVMe/TCP 进行块储存访问的 S3)

Solidigm 的 D5-P5336 为 VAST Data 平台的成本效益和可靠性提供了硬件基础。Solidigm 运用互补金属氧化物半导体 (CMOS) 下阵列架构,为每个单元的相同位提供业界最高的面密度(每平方毫米千兆字节存储)。1

这意味着,Solidigm QLC 3D NAND 固态硬盘不仅能提供比上一代三层单元 (TLC) 介质更高的面密度,而且与作为竞争对手的四级单元 (QLC) 设计相比,它还能提供更大的面密度和更高的可靠性。 

SUG 解决方案基于 Solidigm 固态硬盘,采用大规模的分解式共享一切 (DASE) 架构。


注释和免责声明

[1] Solidigm 的架构创新使 VAST Data 解决方案能够经济地将所有数据存储在闪存驱动器上。

所有产品计划、路线图、规格和产品说明如有更改,恕不另行通知。

本文中的任何内容均无意作出任何明示或默示的担保,包括但不限于关于适销性、适合特定目的及不侵权的默示保证,或在履行合同、交易过程或贸易惯例中产生的任何担保。 
 
本文所述产品可能存在设计缺陷或错误,已在勘误表中注明,可能会使产品偏离已经发布的技术规范。可应要求提供最新特征勘误表。 
 
请在下单之前联系您的 Solidigm 代表或经销商以获取最新规格。 
 
如需本文档、其中引用的文档或其他 Solidigm 文献的副本,请联系您的 Solidigm 代表。 
​​​​​​​  
所有此处涉及的产品、计算机系统、日期和数字信息均为依据当前期望得出的初步结果,可随时更改,恕不另行通知。 
​​​​​​​ 
© Solidigm。“Solidigm”是 SK hynix NAND 产品解决方案公司 (d/b/a Solidigm) 的商标。文中涉及的其他名称及商标属于各自所有者资产。