| English | 中文 |
使用经过审查的直接入口 scripts/compare_existing.py,它没有注册为 run-tool 或 MCP 执行 ID。方法说明解释可比性和可靠性判断。
使用已安装的项目 Python 环境,按环境示例设置三个既有且分离的 ASSETS/CONFIG/AUTH 根。CSV/JSON 比较不需要模型框架。
将完整任务复制到个人配置,再修改:
| 字段 | 含义 |
|---|---|
project_id、target |
共用项目、目标身份与单位 |
candidate.root、reference.root |
该外部项目中两个独立冻结结果目录 |
manifest、prediction_origin |
文件与哈希清单,以及预测来源 |
models[].id |
显式配对的模型编号 |
predictions、id_column、truth_column、prediction_column |
CSV 及列映射 |
reported_metrics |
可选的来源 JSON 及指标指针 |
tolerances |
观测、指标的绝对与相对比较容差 |
output_files |
新比较目录内可选的产物名 |
字段见结构。来源审计表是可选的外部证据,脚本不会自动审查任意代码。
从仓库根目录执行:
python skills/model/shared/model_reproduction/scripts/make_synthetic_fixture.py --fixture-id synthetic_v1 --execute
python skills/model/shared/model_reproduction/scripts/compare_existing.py --task-config config/examples/model-reproduction/compare-existing.json --batch-id comparison_demo
python skills/model/shared/model_reproduction/scripts/compare_existing.py --task-config config/examples/model-reproduction/compare-existing.json --batch-id comparison_demo --execute
首条命令仅创建合成证据,第二条预检清单与配置但不解析预测,第三条进行比较。重复运行使用新名称并更新匹配的任务副本。--out-dir 可在项目结果根下指定新目录。
执行前应为 preflight_passed,执行后为 completed。查看 artifacts.json、比较报告、自身队列与共同样本指标、未匹配标识和来源保留证据。五行示例预期候选 RMSE/MAE/R² 为 0/0/1,参考为 1/1/0.5。
分别核对观测与单位、队列覆盖、指标断言和容差。进程完成不表示指标断言通过;观测恒定时 R² 未定义,没有共同标识时没有配对评分。保留两侧输入,恢复或规范化另行记录。
对可信的已保存森林,reference_ranger.R 向经审查的 R 调用方提供 reference_ranger_model()、reference_ranger_predict()、reference_ranger_metadata()。它不训练或执行原始源码;模型加载、预处理与路径验证由调用方负责,其他格式需适配。