现代化的畜牧业满足了人类对肉、蛋、奶等动物性食品的增长需求,也为大规模的科学育种、基因研究带来了可能。借助基因组选择、智能繁育、智能饲喂、疾病诊断、智能监控与管理、数据挖掘与决策支持等流程,AI 技术优化了牲畜遗传育种,提高了牲畜的生产效益和健康状况,推动着畜牧业的发展。
人工智能 (AI) 技术在优化牲畜遗传育种方面具有多种典型应用场景。部分示例包括:
正睿科技的客户——某畜牧业研究院所,借助 AI 技术收集和标注了大量基因组、产能表型等生物数据,训练了牲畜疾病智能识别、育种价值预测等深度学习模型。AI 与基因技术的结合,让畜牧行业的发展能以崭新的方式和速度前进。
随着大数据 AI 应用、机器学习、多模态模型及畜牧业其他技术的广泛应用,数据仓库概念发生了重大的改变。在 AI 得以协助分析数据前,电子化的畜牧业传统手工记录已经面临瓶颈,无法发挥其价值。大量数据并没有发挥充分价值,而是随着归档变为“冷数据”,没能提供有效见解。AI 技术让畜牧者和管理人员重新挖掘归档数据的价值,并进一步扩大数据的采集范围、频次,使得大量未经过设计的、原始的、非结构化的数据大量涌入“数据湖”,进而用于管理和繁育的决策。
畜牧业研究所每天可产生 TB 级的数据,传统数据存管模型无法应对大规模复杂数据的快速处理,包括结构化数据、半结构化数据、无结构数据和二进制数据(图像、音频和视频)。AI 让数据湖中的数据得以由原生数据转换为目标数据,用于报告、可视化、分析和机器学习。
该畜牧业研究所构建了以 4 台大数据计算服务器、4 台推理服务器、8 台存储服务器为基础设施的算力基础。
随着历史数据的导入,以及日常研发、运营的数据积累,存储与算力的限制逐步显现出来。研发、运营过程中涉及庞大的数据量,但数据价值密度日趋降低,存在大量重复数据,导致有效数据稀疏。读取负荷过大,原存储系统的读取效率明显下降,算力无法充分发挥,研发效率降低。为了改善数据质量,还需要进行大量的数据预处理工作,由此引入了更多的读写操作,占用大量资源。
对于小型数据湖,机械硬盘可提供优质读取吞吐量,书写吞吐量则受限于网络带宽。但是,随着数据规模的增长,分布式存储的跨节点访问消耗了大量网络资源,即使使用高性能的 100G 以太网或者 InfiniBand 网络也难以忽视其中的效率问题。对于高速网络而言,这是一笔不菲的开销。
比网络成本更突出的是算力的闲置。随着 GPU、TPU 等 AI 算力的快速发展,需要更大的数据吞吐量以满足计算需求,对存储系统的性能提出了更高的要求。考虑到 AI 算力的昂贵价格,因等待数据而导致的算力闲置是一种巨大的浪费。
为了应对存储性能的高要求,改用固态硬盘作为存储介质是一种顺理成章的思路。但这个转变需要面临几种问题:
我们对上述存储问题的答案是 Solidigm 192 层 3D NAND。其提供了业界领先的 18.6Gb/mm² 密度,大幅度领先于竞品同期的公布的量密度。Solidigm 提供了无与伦比的高存储密度固态硬盘,能够解决业内的高密度、高能效、高吞吐量痛点。
Solidigm D5-P5336 属于 Solidigm 面向数据中心的第 4 代 QLC SSD 产品,可提供行业领先的高容量组合(高达 122.88 TB*)以及读取优化的性能,并且支持高吞吐量读取和数据密集型工作负载。其架构设计旨在高效加速和扩展日益庞大的数据集,广泛适用于高读取密集型的工作负载,同时提高存储密度,降低总成本,并比 TLC SSD 和基于硬盘的解决方案更能实现可持续的存储基础设施。
随着高容量、高性能的 Solidigm QLC 固态硬盘进入市场,构建基于单层存储的全闪存服务器如今在技术上和经济上都已成为可能。单层存储设计显著降低了开发和部署存储服务器的技术难度,并可提供更一致、可预测的性能。
部署高密度 QLC 固态硬盘的存储服务器能够实现机械硬盘无法达到的单节点存储容量,达到 PB 级。单层存储介质设计还节省了缓存盘占用的容量、空间和能耗,进一步巩固了每个节点在存储密度上的优势。
高密度存储节点还节省了机架空间、能耗和网络端口开销。如果用户的目标存储容量可以在单个节点上实现,就将大大降低部署、操作和维护的难度。Solidigm D5-P5336 122.88TB 容量的 U.2 外形可在标准的 1U 服务器中实现高达 4PB 的容量,这可以帮助企业将数据完全转移到全闪存存储中,使其有机会挖掘闲置或“冷”数据的价值。
正睿科技采用 Solidigm 的大容量 QLC NVMe 固态硬盘打造了一套畜牧业生物基因数据存储解决方案。高密度、高可靠、高扩展性的存储平台为客户带来本效两全的满意体验。
图 1. 正睿科技的服务器能够容纳 24 块 Solidigm 固态硬盘,最多存储 700TB 数据。
Solidigm 携手正睿科技量身打造的这套解决方案得到了客户的认可,帮助他们解决了多个痛点:结合数据量级,采用大容量的 QLC 单盘
在这一典型 AI 部署中,数十个存储设备之间容易因争抢资源而产生性能热点,导致计算任务等待数据。Solidigm QLC 硬盘可满足 PB 级数据的存储,低延迟且稳定可靠。
从 18TB HDD 和 TLC 切换到 30.72TB Solidigm D5-P5336 SSD 时,机架空间减少了79%。2这实际上减少了存储机柜和机架空间的占用,并在特定空间预算内为增加计算节点提供了更多的灵活性。
这极大地减少了所部署的存储设备数量,降低了整体部署的电力消耗和冷却能源需求,从而对建设和运营成本产生积极影响。混合方案(18TB HDD 和 TLC)的功耗为 57,600W,而全闪存方案 (Solidigm D5-P5336 SSD) 为 12,000W,功耗降低了79%。
即使是采取混闪的存储模式,依旧要面对大量空间占用和复杂的管理调度逻辑等一系列伴生问题。
正睿 + Solidigm 方案只需要 2U 空间,就可实现 700TB 级存储。若想进一步提升存储密度,还可考虑采用 61.44TB 或 122.88TB 单盘,或进一步引入 EDSFF外形支持。
超高密度全闪存存储可为计算中心提供稳定高效的 IO 支持,改善整体计算吞吐率,确保结果输出。使用 Solidigm QLC 固态硬盘,客户可简化服务器机房运营,减少建设和管理支出,降本增效。
*Solidigm D5-P5336 122.88TB 2025 年一季度上市。
所有产品计划、路线图、规格和产品说明如有更改,恕不另行通知。
本文中的任何内容均无意作出任何明示或默示的担保,包括但不限于关于适销性、适合特定目的及不侵权的默示保证,或在履行合同、交易过程或贸易惯例中产生的任何担保。
本文所述产品可能存在设计缺陷或错误,已在勘误表中注明,可能会使产品偏离已经发布的技术规范。可应要求提供最新特征勘误表。
请在下单之前联系您的 Solidigm 代表或经销商以获取最新规格。
如需本文档、其中引用的文档或其他 Solidigm 文献的副本,请联系您的 Solidigm 代表。
所有此处涉及的产品、计算机系统、日期和数字信息均为依据当前期望得出的初步结果,可随时更改,恕不另行通知。
© Solidigm。“Solidigm”是 SK hynix NAND 产品解决方案公司 (d/b/a Solidigm) 的商标。文中涉及的其他名称及商标属于各自所有者资产。