正睿科技和 Solidigm 固态硬盘

正睿科技依托 Solidigm 高密度存储加速畜牧业科研创新

DNA strand for modern livestock breeding using Solidigm high-cap SSDs for data lakes.
DNA strand for modern livestock breeding using Solidigm high-cap SSDs for data lakes.

现代化的畜牧业满足了人类对肉、蛋、奶等动物性食品的增长需求,也为大规模的科学育种、基因研究带来了可能。借助基因组选择、智能繁育、智能饲喂、疾病诊断、智能监控与管理、数据挖掘与决策支持等流程,AI 技术优化了牲畜遗传育种,提高了牲畜的生产效益和健康状况,推动着畜牧业的发展。

人工智能 (AI) 技术在优化牲畜遗传育种方面具有多种典型应用场景。部分示例包括:

  1. 基因组选择:可以通过对大量基因组数据进行深度学习和分析,预测个体的遗传性状,如生长速度、产肉量、产奶量等,从而优化育种方案。
  2. 智能繁育:可借助 AI 技术预测母畜的繁殖性能和子畜的遗传性状。通过对基因组信息、生理信息和环境信息的综合分析,AI 能够提高繁殖成功率。
  3. 智能饲喂:根据牲畜的生理需求、生长阶段和环境因素,智能调整饲喂量和营养成分,提高牲畜的生长速度和生产效益。
  4. 疾病诊断:AI 技术可以通过对牲畜的行为和生理指标进行实时监测,及时发现异常情况,并通过对历史数据的分析,预测疾病的发生和传播,从而实现早期诊断和治疗。
  5. 智能监控与管理:通过对养殖场的环境参数(如温度、湿度、二氧化碳浓度等)进行实时监测和自动调节,提高养殖环境的舒适度和牲畜的健康状况。
  6. 数据挖掘与决策支持:对养殖数据进行深度挖掘和分析,为养殖户和管理者提供决策支持,如制定最优的育种计划、饲喂方案和疾病防控策略等。

正睿科技的客户——某畜牧业研究院所,借助 AI 技术收集和标注了大量基因组、产能表型等生物数据,训练了牲畜疾病智能识别、育种价值预测等深度学习模型。AI 与基因技术的结合,让畜牧行业的发展能以崭新的方式和速度前进。

正在查看从使用 Solidigm 大容量固态硬盘的 AI 和遗传技术组合中所获取生物数据的研究人员。

畜牧业的人工智能应用

随着大数据 AI 应用、机器学习、多模态模型及畜牧业其他技术的广泛应用,数据仓库概念发生了重大的改变。在 AI 得以协助分析数据前,电子化的畜牧业传统手工记录已经面临瓶颈,无法发挥其价值。大量数据并没有发挥充分价值,而是随着归档变为“冷数据”,没能提供有效见解。AI 技术让畜牧者和管理人员重新挖掘归档数据的价值,并进一步扩大数据的采集范围、频次,使得大量未经过设计的、原始的、非结构化的数据大量涌入“数据湖”,进而用于管理和繁育的决策。

畜牧业研究所每天可产生 TB 级的数据,传统数据存管模型无法应对大规模复杂数据的快速处理,包括结构化数据、半结构化数据、无结构数据和二进制数据(图像、音频和视频)。AI 让数据湖中的数据得以由原生数据转换为目标数据,用于报告、可视化、分析和机器学习。

配置详情

该畜牧业研究所构建了以 4 台大数据计算服务器、4 台推理服务器、8 台存储服务器为基础设施的算力基础。

  • 计算服务器各配置 4 块英伟达 A100 GPU,主要用于数据挖掘、训练
  • 推理服务器各配置 8 块英伟达 RTX 3090 GPU,对大量图片、视频数据进行视觉神经网络运算
  • 存储服务器配置了大容量机械硬盘组成分布式存储
  • 服务器网络以 200G InfiniBand 交换机链接

数据概述

随着历史数据的导入,以及日常研发、运营的数据积累,存储与算力的限制逐步显现出来。研发、运营过程中涉及庞大的数据量,但数据价值密度日趋降低,存在大量重复数据,导致有效数据稀疏。读取负荷过大,原存储系统的读取效率明显下降,算力无法充分发挥,研发效率降低。为了改善数据质量,还需要进行大量的数据预处理工作,由此引入了更多的读写操作,占用大量资源。

研究人员审核数据湖预处理的 AI 训练数据,以改善畜牧业 AI 的数据质量。

重新审视 AI 数据湖对存储系统的要求

对于小型数据湖,机械硬盘可提供优质读取吞吐量,书写吞吐量则受限于网络带宽。但是,随着数据规模的增长,分布式存储的跨节点访问消耗了大量网络资源,即使使用高性能的 100G 以太网或者 InfiniBand 网络也难以忽视其中的效率问题。对于高速网络而言,这是一笔不菲的开销。

比网络成本更突出的是算力的闲置。随着 GPU、TPU 等 AI 算力的快速发展,需要更大的数据吞吐量以满足计算需求,对存储系统的性能提出了更高的要求。考虑到 AI 算力的昂贵价格,因等待数据而导致的算力闲置是一种巨大的浪费。

为了应对存储性能的高要求,改用固态硬盘作为存储介质是一种顺理成章的思路。但这个转变需要面临几种问题:

  1. 全闪方案需平衡成本和容量。
  2. 混合存储或分层存储在训练大型 AI 数据集中不理想。在训练过程中必须多次访问数据,因而机械硬盘上的“冷”存储会成为瓶颈。
  3. 高性能云存储的成本偏高。大数据应用的一种典型模式是将计算托管,存储上云,利用公有云厂商的技术实力解决数据安全冗余、分层等方面的管理成本。但高性能云存储的溢价远高于基础云服务,对于长期运营而言的成本压力十分沉重。另外,日常数据采集的流量费用也是一笔难以忽视的开销。

传统分布式存储痛点

  1. 性能制约:存储系统面临着百 TB 级的数据增长,读取效率下降,分布式计算时间拉长,严重制约了研究进度。
  2. 本效难全:云计算中心的存储成本过高,无法持续,而使用商用小容量固态硬盘则面临可靠性及管理瓶颈。原本的多台存储服务器架构落后、占地面积大、相较当下大容量固态硬盘发热量与功耗齐高。

Solidigm 第 4 代 QLC SSD 提供破局之道

我们对上述存储问题的答案是 Solidigm 192 层 3D NAND。其提供了业界领先的 18.6Gb/mm² 密度,大幅度领先于竞品同期的公布的量密度。Solidigm 提供了无与伦比的高存储密度固态硬盘,能够解决业内的高密度、高能效、高吞吐量痛点。

Solidigm D5-P5336 属于 Solidigm 面向数据中心的第 4 代 QLC SSD 产品,可提供行业领先的高容量组合(高达 122.88 TB*)以及读取优化的性能,并且支持高吞吐量读取和数据密集型工作负载。其架构设计旨在高效加速和扩展日益庞大的数据集,广泛适用于高读取密集型的工作负载,同时提高存储密度,降低总成本,并比 TLC SSD 和基于硬盘的解决方案更能实现可持续的存储基础设施

高达 122.88TB 的 Solidigm 固态硬盘外形 表 1. Solidigm 固态硬盘外形 U.2 和 E1.L 提供高达 122.88TB 容量,E3.S 提供高达 30.72TB 容量。

随着高容量、高性能的 Solidigm QLC 固态硬盘进入市场,构建基于单层存储的全闪存服务器如今在技术上和经济上都已成为可能。单层存储设计显著降低了开发和部署存储服务器的技术难度,并可提供更一致、可预测的性能。

部署高密度 QLC 固态硬盘的存储服务器能够实现机械硬盘无法达到的单节点存储容量,达到 PB 级。单层存储介质设计还节省了缓存盘占用的容量、空间和能耗,进一步巩固了每个节点在存储密度上的优势。

高密度存储节点还节省了机架空间、能耗和网络端口开销。如果用户的目标存储容量可以在单个节点上实现,就将大大降低部署、操作和维护的难度。Solidigm D5-P5336 122.88TB 容量的 U.2 外形可在标准的 1U 服务器中实现高达 4PB 的容量,这可以帮助企业将数据完全转移到全闪存存储中,使其有机会挖掘闲置或“冷”数据的价值。

表格显示,Solidigm D5-P5336 122.88TB U.2 外形可助企业数据转移至全闪存存储,以存储冷数据。
表 2. Solidigm D5-P5336 特性1
D5-P5336 高容量全近线存储带来的 TCO 节省对比 TLC 或混合阵列。
表 3. D5-P5336 TCO 节省对比其他存储配置。1

正睿科技 Solidigm 密切合作:助力 AI 推理,加速存储革新

正睿科技采用 Solidigm 的大容量 QLC NVMe 固态硬盘打造了一套畜牧业生物基因数据存储解决方案。高密度、高可靠、高扩展性的存储平台为客户带来本效两全的满意体验。

正睿科技的服务器能够容纳 24 块 Solidigm 固态硬盘,最多存储 700TB 数据。

图 1. 正睿科技的服务器能够容纳 24 块 Solidigm 固态硬盘,最多存储 700TB 数据。

特点

  1. 采用全闪存技术,最高可支持 24 块热拔插 NVMe SSD,运行在全速的 PCIe 4.0 Solidigm D5-P5336 30.72TB 固态硬盘上。高 IOPS 与极高容量密度相辅相成,单个节点可提供100万+ IOPS、700TB 以上的存储空间。
  2. 搭载的第 4 代/第 5 代英特尔至强可扩展处理器也为 AI 加速提供了核心支持。有了新存储端的加持,能够在数据写入时就过滤掉非关键数据,减轻网络负载,数据可靠性出色。
  3. 2U 全闪服务器充分发挥存储密度优势,仅 1 个机柜就能妥当存放原先数个机柜的数据,极大提升了空间利用率,有效降低用户的总体拥有成本。
各种存储设备的 AI 数据湖存储配置及效率值。
表 4. AI 数据湖存储配置及效率值2

Solidigm 携手正睿科技量身打造的这套解决方案得到了客户的认可,帮助他们解决了多个痛点:结合数据量级,采用大容量的 QLC 单盘

在这一典型 AI 部署中,数十个存储设备之间容易因争抢资源而产生性能热点,导致计算任务等待数据。Solidigm QLC 硬盘可满足 PB 级数据的存储,低延迟且稳定可靠。

更强大的可扩展性

从 18TB HDD 和 TLC 切换到 30.72TB Solidigm D5-P5336 SSD 时,机架空间减少了79%。2这实际上减少了存储机柜和机架空间的占用,并在特定空间预算内为增加计算节点提供了更多的灵活性。

节省能源消耗,降低空间占用

这极大地减少了所部署的存储设备数量,降低了整体部署的电力消耗和冷却能源需求,从而对建设和运营成本产生积极影响。混合方案(18TB HDD 和 TLC)的功耗为 57,600W,而全闪存方案 (Solidigm D5-P5336 SSD) 为 12,000W,功耗降低了79%。

正睿科技和 Solidigm 阵列对比传统混合闪存存储 图 2. 正睿科技和 Solidigm 阵列对比传统混合闪存存储

即使是采取混闪的存储模式,依旧要面对大量空间占用和复杂的管理调度逻辑等一系列伴生问题。

正睿 + Solidigm 方案只需要 2U 空间,就可实现 700TB 级存储。若想进一步提升存储密度,还可考虑采用 61.44TB 或 122.88TB 单盘,或进一步引入 EDSFF外形支持

结论

超高密度全闪存存储可为计算中心提供稳定高效的 IO 支持,改善整体计算吞吐率,确保结果输出。使用 Solidigm QLC 固态硬盘,客户可简化服务器机房运营,减少建设和管理支出,降本增效。


免责声明和注释

*Solidigm D5-P5336 122.88TB 2025 年一季度上市。

  1. D5-P5336 产品简介
  2. Solidigm 不对第三方数据承担任何控制或审计的责任。您应参考其他信息来源以评估准确性。

所有产品计划、路线图、规格和产品说明如有更改,恕不另行通知。 
 
本文中的任何内容均无意作出任何明示或默示的担保,包括但不限于关于适销性、适合特定目的及不侵权的默示保证,或在履行合同、交易过程或贸易惯例中产生的任何担保。 
 
本文所述产品可能存在设计缺陷或错误,已在勘误表中注明,可能会使产品偏离已经发布的技术规范。可应要求提供最新特征勘误表。 
 
请在下单之前联系您的 Solidigm 代表或经销商以获取最新规格。 
 
如需本文档、其中引用的文档或其他 Solidigm 文献的副本,请联系您的 Solidigm 代表。 
​​​​​​​  
所有此处涉及的产品、计算机系统、日期和数字信息均为依据当前期望得出的初步结果,可随时更改,恕不另行通知。 
​​​​​​​ 
© Solidigm。“Solidigm”是 SK hynix NAND 产品解决方案公司 (d/b/a Solidigm) 的商标。文中涉及的其他名称及商标属于各自所有者资产。