EN

新闻动态

天目山实验室在万亿级高通量材料数据库与边缘计算框架方面取得重要进展

日期:2026-10-08阅读: 次

近日,天目山实验室材料数字化(IDM)团队提出了一种集成高通量计算与数据管理共享的框架,可面向多种材料体系的大规模组分空间高效探索,并以六主元高熵合金为示范构建了万亿级数据库,实现了边缘设备上的高效计算与查询。该成果是实验室围绕高性能航空材料这一主攻方向产出的最新基础研究成果,为航空关键材料的数据驱动研发提供了高效的基础设施支撑。

研究成果以“Trillion-scale integrated framework for high-throughput materials databases and seamless sharing”为题,在国际顶级学术期刊《Nature Communications》上发表。

天目山实验室为论文第一完成单位,天目山实验室博士后研究员黄小雅为文章第一作者,刘禺助理研究员、郑蕾副研究员、康鹏副教授为通讯作者。

图1 《Nature Communications》期刊上发表文章

人工智能正在加速材料发现的进程,然而对于高熵合金这类复杂体系,其庞大的组分空间使得穷举式探索在计算上几乎不可行。例如,高熵合金的组分空间可达万亿级别,现有方法难以在合理的时间和资源约束下完成系统性探索。如何在有限计算资源条件下实现大规模组分空间的高效探索,并在实际应用场景中实现数据的快速获取与共享,是当前材料信息学领域面临的关键挑战。针对该难题,研究团队提出了一种创新的集成框架。该框架融合了基于消息队列与容器化的无状态并行计算技术,以及采用列式存储和元数据驱动云共享的湖仓一体架构。相较于传统方案需要依赖高性能服务器集群或大规模云计算资源,该框架实现了高通量计算与数据管理共享在低资源条件下的高效运行,甚至可在边缘设备上流畅完成大规模材料计算与数据查询,为未来智能实验室、具身智能等场景提供了关键支撑。

如图2所示,该框架由无状态并行计算架构(图2a)与基于湖仓的数据管理架构(图2b)两大核心模块构成。前者将大规模计算解耦为任务生成、任务执行与结果收集三个环节,以Redis List作为中央消息队列,采用生产者—消费者模式分发任务。计算在隔离的Docker容器中完成,各worker独立取任务、互不通信、不共享内存,具备无状态特性,可动态伸缩、弹性调度,在保证计算可复现性的同时,有效化解了大规模并行计算中的I/O开销与状态管理难题。后者以湖仓一体为理念,将计算结果转换为Parquet列式格式,由S3兼容对象存储统一管理,并引入可嵌入的DuckDB分析引擎直接在Parquet文件上执行SQL查询。元数据自动生成并形成统一逻辑视图,用户仅需下载小型元数据目录即可完成查询,无需传输完整数据库。

151C5

图2 集成高通量计算与数据管理共享的框架架构

如图3所示,基于该框架,团队以六主元高熵合金为示范,构建了包含元素组合、成分比例、材料描述符与AI预测塑性值四类数据集的大规模数据库,共获得5,005个高熵合金家族、每个家族超千万种成分,总成分空间超过500亿种,计算了194种材料描述符及塑性预测值,最终形成超过10万亿数据点、总存储量17.5 TB的数据库。如图4所示,该框架在计算效率、资源占用、存储压缩、查询速度及边缘部署方面优势显著。超10万亿材料描述符的高通量计算仅用一周,500亿种高熵合金的全成分预测仅耗时两小时。时间-内存消耗较传统分布式框架降低45%,每个Docker worker内存占用仅30.1 MB。存储较行式格式最高节省90%空间。查询最高提速180倍,全库查询8分钟内完成,内存占用不足4 GB。此外,在树莓派Zero 2W和智能手机等边缘设备上成功完成描述符计算,展现出对资源受限环境的出色适应能力,为未来智能实验室与具身智能场景提供了关键支撑。

1C3B2

图3 万亿级高熵合金数据库

18F81

图4 框架资源消耗与查询性能对比

如图5所示,团队利用该框架从500亿种候选成分中筛选高塑性高熵合金,AI预测不到两小时完成,并结合BCC相判据锁定Ti-Nb-Ta-V-Zr-Hf与Mo-Ti-Nb-Ta-W-Hf体系。实验验证两者均为单相BCC固溶体,具有良好压缩塑性,实测成分与设计一致,展现了框架快速锁定高性能材料的能力。

1481A

图5 数据驱动筛选的合金体系实验验证

该框架的应用远不限于高熵合金。在材料体系上,可拓展至析出强化、偏析、磁性等更复杂系统;在组分空间上,可支持七主元、八主元等更高阶合金体系的探索,为更大规模成分空间的系统筛选提供可行路径。其无状态设计将计算与状态管理解耦,可有效支撑主动学习等迭代工作流,避免多轮计算中的内存累积,使大规模多轮探索成为可能。同时,框架的边缘计算能力使其能够在树莓派、智能手机等资源受限设备上高效运行,为融入自驱动实验室、实现实验过程中的实时数据反馈与决策提供了关键支撑。展望未来,这一框架有望推动材料研发从离线计算筛选走向在线实时发现,加速形成计算—实验—数据闭环的智能化材料研发新范式。

请升级浏览器版本

你正在使用旧版本浏览器。请升级浏览器以获得更好的体验。