验证¶
这一页说明 mliport 的各种验证结论分别代表什么、证据放在哪里。具体数字不在这里重复,它们在 各份报告里,每轮验证都会更新。
报告由每轮验证的记录自动生成:
- BETA_VALIDATION.md:完整验证报告,英文
- BETA_VALIDATION_CN.md:同一份报告的中文版
- README_VALIDATION.md:一页的摘要
报告依据的原始记录:
validation/science/campaigns/<campaign>.json 每轮验证的清单:对应的 commit 和记录
validation/science/archive_manifest.json 证据归档与校验和
validation/science/model_manifest.json 固定的模型 profile
validation/science/capability_matrix.json 哪个接口能表达哪个选项
状态标记的含义¶
报告表格里的每一格都标有下面其中一种状态,含义各不相同。
| 状态 | 含义 |
|---|---|
software_validated |
在列出的软件环境和模型上,mliport 这条工作流运行正确 |
model_characterized |
在某个基准上测过模型的表现,反映的是模型本身的性质 |
historical_evidence |
早期验证留下的记录,仅供参考,不能说明当前版本 |
not_run |
没有测试这个组合,不作任何结论 |
unsupported |
后端或接口不支持该功能,文档里有说明 |
experimental |
能运行,但不在支持范围内,以后可能变化 |
pending_revalidation |
以前测过,当前版本还没有重新测 |
software_validated 只说明程序能正常运行,和模型精度无关;model_characterized 的基准结果
也只代表基准体系,换成你的体系需要另外检验。
一条记录包含的信息¶
每条记录包括:软件 commit、工作流和测试级别、后端和框架版本、模型信息(路径、task、head、 精度、SHA-256)、设备(请求的和实际的)、状态,以及输出文件和它们的哈希。一条记录只对这个 commit 和这个模型有效。
验证分为 T1 到 T8 几个级别,依次是后端和工作流的冒烟测试、一致性检查、输出数值检查、基准测试 等数值和物理合理性检查,以及性能和输运分析。引用某一级的数字之前,先看报告里写的适用范围。
在单个设备上检查一个模型¶
scripts/validate_runtime.py 是可复用的可调用性检查工具。它在对应后端自己的环境里加载一个
模型,做单点、共享计算器重复计算和中心差分力检验;加 --full 时再跑 10 步 NVE 分子动力学
和一个五个 image 的 NEB。它只写一份 JSON 报告,不改动别的东西。
.venv-mace/bin/python scripts/validate_runtime.py mace \
/models/mace-omat-0-medium.model report.json \
--device cpu --structure examples/structures/li10gep2s12_primitive.vasp \
--task bulk --full --raw-dir /tmp/probe-raw
--device必填,取值是cpu或cuda:N。CPU 运行不需要 GPU,如果实际跑到了 GPU 上会 报错;CUDA 运行会确认 GPU UUID(只记录哈希)和序号,并记录显存峰值。--structure可以是任何 ASE 能读的文件,原子数 2 到 32,且不能带约束。不填时用内置的 4 原子 fcc Cu 晶胞。--task指定模型的 task 家族,uma必须显式给出(例如--task omat),其余后端默认bulk。- 证据编号里写的是设备类型(
cpu-…或cuda-…),不是某台机器;只有在 GPU 上运行才会 写入硬件信息。 dpa和grace必须在已经隔离过设备的进程里运行(命令行会自动重启进程做到这一点):用--device cpu时先把CUDA_VISIBLE_DEVICES设成空字符串,用--device cuda:N时设成单个 GPU 的 UUID。没有设置这个变量时,检查工具会直接拒绝启动,而不是等到后面由适配器报错。
报告格式是 mliport.runtime-validation/2。更早那版只能在 GPU 上跑的检查写出的记录仍然是
/1,编号也保留 v100-… 的前缀。
安装冒烟证据¶
这张表比上面的工作流验证更早。保留它是因为每个"通过"都有对应的运行记录可以查看。
| 后端 / 模型 | SP | 短 MD | 能量–力梯度 | NEB 冒烟 | GRACE 缓存 | 记录 |
|---|---|---|---|---|---|---|
| UMA | 未运行 | 未运行 | 未运行 | 未运行 | n/a | uma.json(这台机器没有离线 wheelhouse) |
| MACE float64 | 通过 | 通过 | 通过 | 通过 | n/a | mace.json |
| MACE float32 | 通过 | 通过 | 通过 | 通过 | n/a | mace-float32.json |
DPA Domains_Alloy |
通过 | 通过 | 通过 | 通过 | n/a | dpa.json |
| GRACE float32 | 通过 | 通过 | 通过 | 通过 | 通过(开与关) | grace.json、grace-nocache.json |
NEB 冒烟测试是在 4 原子 Cu 晶胞上用 5 个 image、固定晶胞跑的短计算,saddle_validation:
not_performed。能带收敛了,也不代表过渡态已经确认。
LGPS 全新安装验收¶
2.0.0b3 版本增加了一轮按文档操作的完整验收:安装命令、四个 GPU 后端、LGPS 上的各种工作流、 分析模块、一次 CPU 安装,最后在全新环境里再复核一遍。报告和记录在这里:
验收机器上的安装情况、具体命令和尚未解决的限制都写在报告里,都是实测的,不是从 CI 推断的。
验证的范围¶
- 只覆盖列出的软件环境、GPU 和模型 profile,换了模型、机器或体系,需要你自己检验。
- 性能数字只对测量用的硬件和版本有效,报告里附有对应的 commit。
- 所有从 MD 得到的量都依赖采样,分析结果会记录所用的时间窗口和不确定度。
- 没有测过的组合标为
not_run,不能当作"能用"。