跳转至

验证

这一页说明 mliport 的各种验证结论分别代表什么、证据放在哪里。具体数字不在这里重复,它们在 各份报告里,每轮验证都会更新。

报告由每轮验证的记录自动生成:

报告依据的原始记录:

validation/science/campaigns/<campaign>.json     每轮验证的清单:对应的 commit 和记录
validation/science/archive_manifest.json         证据归档与校验和
validation/science/model_manifest.json           固定的模型 profile
validation/science/capability_matrix.json        哪个接口能表达哪个选项

状态标记的含义

报告表格里的每一格都标有下面其中一种状态,含义各不相同。

状态 含义
software_validated 在列出的软件环境和模型上,mliport 这条工作流运行正确
model_characterized 在某个基准上测过模型的表现,反映的是模型本身的性质
historical_evidence 早期验证留下的记录,仅供参考,不能说明当前版本
not_run 没有测试这个组合,不作任何结论
unsupported 后端或接口不支持该功能,文档里有说明
experimental 能运行,但不在支持范围内,以后可能变化
pending_revalidation 以前测过,当前版本还没有重新测

software_validated 只说明程序能正常运行,和模型精度无关;model_characterized 的基准结果 也只代表基准体系,换成你的体系需要另外检验。

一条记录包含的信息

每条记录包括:软件 commit、工作流和测试级别、后端和框架版本、模型信息(路径、task、head、 精度、SHA-256)、设备(请求的和实际的)、状态,以及输出文件和它们的哈希。一条记录只对这个 commit 和这个模型有效。

验证分为 T1 到 T8 几个级别,依次是后端和工作流的冒烟测试、一致性检查、输出数值检查、基准测试 等数值和物理合理性检查,以及性能和输运分析。引用某一级的数字之前,先看报告里写的适用范围。

在单个设备上检查一个模型

scripts/validate_runtime.py 是可复用的可调用性检查工具。它在对应后端自己的环境里加载一个 模型,做单点、共享计算器重复计算和中心差分力检验;加 --full 时再跑 10 步 NVE 分子动力学 和一个五个 image 的 NEB。它只写一份 JSON 报告,不改动别的东西。

.venv-mace/bin/python scripts/validate_runtime.py mace \
  /models/mace-omat-0-medium.model report.json \
  --device cpu --structure examples/structures/li10gep2s12_primitive.vasp \
  --task bulk --full --raw-dir /tmp/probe-raw
  • --device 必填,取值是 cpu 或 cuda:N。CPU 运行不需要 GPU,如果实际跑到了 GPU 上会 报错;CUDA 运行会确认 GPU UUID(只记录哈希)和序号,并记录显存峰值。
  • --structure 可以是任何 ASE 能读的文件,原子数 2 到 32,且不能带约束。不填时用内置的 4 原子 fcc Cu 晶胞。
  • --task 指定模型的 task 家族,uma 必须显式给出(例如 --task omat),其余后端默认 bulk。
  • 证据编号里写的是设备类型(cpu-… 或 cuda-…),不是某台机器;只有在 GPU 上运行才会 写入硬件信息。
  • dpa 和 grace 必须在已经隔离过设备的进程里运行(命令行会自动重启进程做到这一点):用 --device cpu 时先把 CUDA_VISIBLE_DEVICES 设成空字符串,用 --device cuda:N 时设成单个 GPU 的 UUID。没有设置这个变量时,检查工具会直接拒绝启动,而不是等到后面由适配器报错。

报告格式是 mliport.runtime-validation/2。更早那版只能在 GPU 上跑的检查写出的记录仍然是 /1,编号也保留 v100-… 的前缀。

安装冒烟证据

这张表比上面的工作流验证更早。保留它是因为每个"通过"都有对应的运行记录可以查看。

后端 / 模型 SP 短 MD 能量–力梯度 NEB 冒烟 GRACE 缓存 记录
UMA 未运行 未运行 未运行 未运行 n/a uma.json(这台机器没有离线 wheelhouse)
MACE float64 通过 通过 通过 通过 n/a mace.json
MACE float32 通过 通过 通过 通过 n/a mace-float32.json
DPA Domains_Alloy 通过 通过 通过 通过 n/a dpa.json
GRACE float32 通过 通过 通过 通过 通过(开与关) grace.json、grace-nocache.json

NEB 冒烟测试是在 4 原子 Cu 晶胞上用 5 个 image、固定晶胞跑的短计算,saddle_validation: not_performed。能带收敛了,也不代表过渡态已经确认。

LGPS 全新安装验收

2.0.0b3 版本增加了一轮按文档操作的完整验收:安装命令、四个 GPU 后端、LGPS 上的各种工作流、 分析模块、一次 CPU 安装,最后在全新环境里再复核一遍。报告和记录在这里:

验收机器上的安装情况、具体命令和尚未解决的限制都写在报告里,都是实测的,不是从 CI 推断的。

验证的范围

  • 只覆盖列出的软件环境、GPU 和模型 profile,换了模型、机器或体系,需要你自己检验。
  • 性能数字只对测量用的硬件和版本有效,报告里附有对应的 commit。
  • 所有从 MD 得到的量都依赖采样,分析结果会记录所用的时间窗口和不确定度。
  • 没有测过的组合标为 not_run,不能当作"能用"。