| English | 中文 |
复现比较关注能否恢复声明的计算,以及观察到的差异是否重要。先界定要证明什么:精确重建、容差内一致、不同数据上的重复研究,还是有意修正的模型。
保留参考与候选结果,分别说明目标、单位、样本总体与预测来源。保存模型可以恢复新的预测,但这与原始导出预测属于不同证据。
用唯一标识匹配样本,同时比较两侧完整队列及共同样本,保留未匹配案例。将两张表按相同顺序排序,不证明它们代表相同观测。
| 阶段 | 需要比较的问题 |
|---|---|
| 整理 | 单位、缺失、剔除和变换是否一致? |
| 样本设计 | 样本键、开发与测试边界、分组是否相同? |
| 拟合 | 特征、算法、设置及已拟合预处理是否可比? |
| 选型 | 哪些折分、搜索预算、准则和随机状态选出了模型? |
| 评估 | 是否评分相同观测、指标公式和预测尺度? |
| 解释 | 是否使用最终模型及声明的背景? |
用代码、配置和保存产物追踪这些决策。缺少依据时如实记录,不根据当前结果相似就推测历史选择。
分别在自身队列和对齐后的共同样本上重算指标,同时查看逐样本差异。预先规定绝对、相对容差及接近零时的处理。随机过程采用种子、环境证据或合理的重复运行准则。
平均成绩相近可能掩盖预测或样本排除差异;小幅数值差异也可能与预期科学用途兼容。应同时解释差异大小与一致范围。
现有证据无法解释差异时,规划有界诊断,明确改变什么、固定什么,保留原基线和诊断输出。尽量分开整理、划分、调参和评分变化;反复针对最终测试优化会损害其独立性。
说明技术流程是否完成、哪些数值一致、支持哪些科学判断,以及还需什么人工复核。结果可复现仍可能存在科学局限;定位缺陷可以解释不一致,但不自动认可原结论。