airmosaic-ai

模型选择与比较

English 中文

按研究问题选择线性回归、树模型或时序模型。单棵树与随机森林同属树模型。软件框架属于实现选择,不作为模型族分类。均值基线归公共评估。具体模型技能提供配置和当前执行状态。

跨输入类型的架构选择见一般性的 Transformer 方法和数据准备,说明表示方式与研究假设,不增加执行适配器。已有 TimeXer 入口仍在时序目录下。

5. 比较基线与数量适当的候选

先建立简单基线,再比较复杂度适合的模型。比较前固定选型指标与计算预算。

先理解每个参数改变什么

Probst、Wright 与 Boulesteix(2019)综述了单树预测能力与树间多样性的权衡。合适设置取决于数据与选型损失,文献列举的软件默认值只是参照,不能当作新研究的最优值。下列名称按实际使用的 ranger 实现解释。

森林参数 改变什么 如何提出候选
mtry 每次分裂考虑的变量数 有 p 个可用特征时,可比较接近 sqrt(p)、p/3 的不同整数,并在有理由时加入较大值,限定在 1..p。大量噪声中仅少量变量有用时,可以尝试较大值;多种变量都提供信息时,可以尝试较小值。
min.node.size 允许尝试分裂的最小节点规模 按训练规模、噪声及局部覆盖比较精细与较粗拟合。在 ranger 中,它不保证叶节点达到该最小样本数。
max.depth 最大深度 作为额外的复杂度限制,同时检查欠拟合与局部过拟合;表格行数多并不自动说明应使用深树。
sample.fraction、replace 每棵树抽样数量与是否放回 联合比较。较小比例可能降低成本与树间相似性,也可能削弱稀有情境的覆盖。放回抽样时,比例表示抽取次数,不是不同观测的占比。
num.trees 集成规模与数值稳定性 在预算内增加,直至开发集预测、损失及所需解释足够稳定。增加树数不能修复泄漏、空间依赖或缺失的物理信息。

Probst 与 Boulesteix(2018)支持在计算可承受时,为回归平方误差表现采用较大的森林;这不保证每次增加树数都改善实际验证分数。查看最终测试前,应先定义稳定性标准与随机种子比较方式。

单棵回归树的 rpart 控制项区分 minsplit(尝试分裂所需样本数)、minbucket(叶节点最小样本数)、maxdepth 和 cp(所需相对拟合改善)。担心噪声或局部支持不足时,可比较更浅的树、更大的节点或叶节点要求,或更大的 cp;出现欠拟合时,再依据开发集证据比较较弱限制。不同实现中的同一数值阈值不能混为一谈。

按数据情况调整方案

下表是依据参数机制与验证文献提出的研究建议,不是论文规定的参数值。“少”与“多”需结合实际训练总体及独立站点、组或时期判断,没有固定行数分界。

数据情况 有依据的初次比较 保留方案需要什么证据
独立单位较少或标签噪声大 缩小变量集合与搜索规模,纳入较强复杂度限制及简单基线 分组评估的误差波动与覆盖情况;同一站点增加记录不等于增加独立样本
候选很多,可能有用的变量很少 在开发数据内按科学角色筛选,再比较中等与较大 mtry 改善预期用途的留出表现,不能只看训练拟合
多种变量有用或变量强相关 比较较低与较高 mtry,并按科学含义比较变量组 预测及变量组解释的稳定性;相关变量的重要性不等于唯一的过程贡献
训练规模大且覆盖充分 将精细拟合与较粗节点或较小单树抽样进行成本比较 相同评估总体上的误差与时间,并检查稀有情境
站点稀疏或聚集,面向新区域或后续时期 先匹配验证设计与信息边界,再考虑扩大参数搜索 时空迁移误差与覆盖;更多树不能证明外推有效
关注大误差或稀有极值 先判断需要 RMSE 对大误差的较强惩罚,还是 MAE 表示的典型绝对误差,同时报告二者和有关子群 所需事件范围的表现;按 MAE 选型不会把森林的训练损失改成绝对误差回归

将依据变成有界实验

  1. 记录可用训练行数、独立单位数、可用特征数 p、缺失、噪声或覆盖问题及计算限制,再据此和上述机制确定具体候选值。
  2. 区分固定值与实际测试值,列出少量明确组合、选型损失和有实际意义的改善或稳定性标准。描述一个范围,不代表已测试范围内所有组合。
  3. 重抽样时在各开发训练折内拟合预处理与变量选择。采用独立最终测试,或合适的外层重抽样,评估调参后的流程。Varma 与 Simon(2006)在分类实验中展示了选型偏差及嵌套评估的作用;这里借鉴其开发与评估分离原则,不能据此推定回归误差大小。
  4. 生成实验代码前,将依据、备选与未解决事项写入建模方案。所选模型应表述为“实际比较候选中的最佳者”,不能称为全局最优。

R 回归适配器读取已有训练、验证、测试标签,每个任务最多比较四个明确模型候选,另加均值基线;未实现自动搜索、空间或嵌套交叉验证、重复种子稳定性分析。这些比较需要另行审查的编排,不能写成已经执行。执行器会派生各候选的随机种子,孤立比较参数效果还需受控的种子协议。袋外误差不能替代预期用途的时空留出。准确参数边界与调用方法仍见技能操作说明。

用开发数据选择设置,再按约定协议评估冻结模型。RMSE、MAE 保留结果单位;测试 R² 定义为 1-SSE/SST,预测劣于测试集均值参照时可以为负。同时查看与用途有关的偏差、子群误差和残差规律。

独立 Python 回归适配器最多接收八个显式候选,其中必须包含均值基线。参数及限制由其 Python 契约维护。这些是执行上限,不是推荐实验规模。