先阅读 SKILL.md。本指南是人工适配流程;其中的参数、目录和产物名称是任务约定,没有对应的自动编排服务。
在个人任务记录中写清以下内容,公开说明只保留通用字段:
| 字段 | 需确定的内容 |
|---|---|
| 任务类型 | 回归或分类;目标及预测时点 |
| 数据范围 | 来源、许可、年份、地区、样本单位、版本/本地校验和 |
| 特征 | 名称、类型、单位、可获得时点、缺失含义;排除身份和目标泄露 |
| 划分 | 训练/开发/最终测试的边界,分组或时间约束及划分种子 |
| 评价 | 指标、方向、分类正类/概率/阈值、基线和验收要求 |
| 预算 | 候选模型、折数、调参次数/时限、线程和内存限制 |
| 模型用途 | 研究探索、预测批次或部署;各自的允许操作 |
同一企业、站点或受试者多次出现时,应按预期部署对象决定是否整组留出。预测未来时,训练信息必须早于被预测时期。空间外推要核对空间划分与外部地区表现,不能把随机行 CV 解释为外部地区验证。各折样本量、类别覆盖与组间重叠须人工检查。
使用任务专用 R 环境,按需要安装和锁定依赖。检查 requireNamespace()、packageVersion(),并在加载扩展后核对 mlr3::mlr_learners$keys()、mlr3::mlr_measures$keys()、mlr3::mlr_resamplings$keys();具体 learner 的 $packages 和 $param_set$ids() 用于核对后端与参数。只把必要版本信息写进脱敏摘要,完整 sessionInfo 留在本地。
| 工作 | 常用包 | 注意 |
|---|---|---|
| Task、learner、重抽样 | mlr3,所选 learner 后端 | 示例的 regr.rpart / classif.rpart 还需 rpart |
| 学习器扩展 | mlr3learners 等 | 按所选算法另核对后端,不假定全部随 mlr3verse 安装 |
| 预处理图 | mlr3pipelines | %>>% 连接 PipeOp;预测使用已拟合图 |
| 调参 | mlr3tuning、paradox 及所选 tuner | API、搜索空间和终止器现场核对 |
| 特征选择、可视化 | 按需扩展 | 不在基础示例的验证范围 |
不自动恢复个人 .Rprofile、不加载全局工作区、不打印整份环境。包缺失时记录缺失项并按已有安装授权处理;不把缺包降级成“训练成功”。上游参考仓库不是依赖安装完成的证据。
回归目标通常是数值列,可使用 TaskRegr$new();分类用 TaskClassif$new(),明确类别水平、二分类正类和输出类型。修改 Task 的行列角色或 Learner 参数时,按需要先 $clone(deep = TRUE)。
先定义划分,再拟合插补、编码、缩放、降维或特征选择。生产任务应将这些拟合型操作放在 PipeOp/GraphLearner 内部,使每折只从训练部分学习状态,验证和预测复用状态。禁止先在全量数据上学变换再进行 CV。完全由业务定义的单位换算等确定性操作也要记录口径,但不能与从数据估计的变换混淆。
先建立简单基线,使用一致的任务和划分比较 learner。resample() 产生开发期验证结果,benchmark() 用于组合比较;检查失败折、警告、缺失预测和评估口径,不仅看平均分。
需要调参时,把搜索空间、评价指标和预算交给 AutoTuner 的内部重抽样。用于比较已调参流程的外层折必须与内层分离;选定流程后在约定的训练范围上重新执行调参/拟合。调参最优分数不能直接称为独立测试表现。AutoTuner 文档说明 $train() 的调参及最终拟合行为;预算还须考虑最终拟合阶段。
默认使用保守的顺序执行。需要并行时先核对当前可用核心、内存和已有任务,限定外层 workers 与学习器内部线程,避免嵌套并行。不要以全机核心数作为默认资源授权。
冻结模型选择、预处理、超参数、阈值和测试方案后,执行授权范围内的最终评估。真实测试标签不参与反复试模型。若根据测试结果修改方法,必须如实标注适应性使用,并重建合适的独立验证方案。
最终模型拟合使用哪些数据应单独记录;评估用模型和后来包含测试数据的部署重拟合模型不能共用同一“独立测试”结论。新批次预测用 $predict_newdata();先核对特征名、类型、因子水平、量纲、缺失模式和取值范围,再检查预测数、顺序及缺失。分类概率或阈值须与评估时口径一致。
| 本地建议产物 | 内容与共享边界 |
|---|---|
| 任务记录 | 数据范围、授权、切分依据、种子、参数、版本与失败情况;私人映射仅本地保存 |
| 特征契约 | 模型所需列、类型、因子水平和单位;检查是否包含受限字段 |
| 模型对象 | 仅保存必要对象;Task、ResampleResult、学习器或后端可能携带训练数据或路径 |
| 指标与预测 | 区分开发/外层/最终测试;行级预测和真实标签留在授权数据工作区 |
| 脱敏摘要 | 方法、公开参数名、聚合指标和验证范围;审查后再共享 |
本地 .rds 读写前检查来源、版本兼容和授权,不能直接加载不明对象;不把序列化模型上传 Git。store_models、store_backends 会影响对象中保留的信息,详见 resample 文档。磁盘记录由本次任务实现,这个参考条目不会生成 runner receipt 或自动清理产物。
具体数据读取与字段映射、空间/时间/分组划分、预处理图、候选算法与搜索空间、评价指标、数据漂移检查、模型文件格式和下游调用均按任务实现。真实科学结果需要领域检查;预测精度、特征重要性和代理模型拟合不自动提供因果结论。