| English | 中文 |
按研究问题选择线性回归、树模型或时序模型。单棵树与随机森林同属树模型。软件框架属于实现选择,不作为模型族分类。均值基线归公共评估。具体模型技能提供配置和当前执行状态。
跨输入类型的架构选择见一般性的 Transformer 方法和数据准备,说明表示方式与研究假设,不增加执行适配器。已有 TimeXer 入口仍在时序目录下。
先建立简单基线,再比较复杂度适合的模型。比较前固定选型指标与计算预算。
Probst、Wright 与 Boulesteix(2019)综述了单树预测能力与树间多样性的权衡。合适设置取决于数据与选型损失,文献列举的软件默认值只是参照,不能当作新研究的最优值。下列名称按实际使用的 ranger 实现解释。
| 森林参数 | 改变什么 | 如何提出候选 |
|---|---|---|
mtry |
每次分裂考虑的变量数 | 有 p 个可用特征时,可比较接近 sqrt(p)、p/3 的不同整数,并在有理由时加入较大值,限定在 1..p。大量噪声中仅少量变量有用时,可以尝试较大值;多种变量都提供信息时,可以尝试较小值。 |
min.node.size |
允许尝试分裂的最小节点规模 | 按训练规模、噪声及局部覆盖比较精细与较粗拟合。在 ranger 中,它不保证叶节点达到该最小样本数。 |
max.depth |
最大深度 | 作为额外的复杂度限制,同时检查欠拟合与局部过拟合;表格行数多并不自动说明应使用深树。 |
sample.fraction、replace |
每棵树抽样数量与是否放回 | 联合比较。较小比例可能降低成本与树间相似性,也可能削弱稀有情境的覆盖。放回抽样时,比例表示抽取次数,不是不同观测的占比。 |
num.trees |
集成规模与数值稳定性 | 在预算内增加,直至开发集预测、损失及所需解释足够稳定。增加树数不能修复泄漏、空间依赖或缺失的物理信息。 |
Probst 与 Boulesteix(2018)支持在计算可承受时,为回归平方误差表现采用较大的森林;这不保证每次增加树数都改善实际验证分数。查看最终测试前,应先定义稳定性标准与随机种子比较方式。
单棵回归树的 rpart 控制项区分 minsplit(尝试分裂所需样本数)、minbucket(叶节点最小样本数)、maxdepth 和 cp(所需相对拟合改善)。担心噪声或局部支持不足时,可比较更浅的树、更大的节点或叶节点要求,或更大的 cp;出现欠拟合时,再依据开发集证据比较较弱限制。不同实现中的同一数值阈值不能混为一谈。
下表是依据参数机制与验证文献提出的研究建议,不是论文规定的参数值。“少”与“多”需结合实际训练总体及独立站点、组或时期判断,没有固定行数分界。
| 数据情况 | 有依据的初次比较 | 保留方案需要什么证据 |
|---|---|---|
| 独立单位较少或标签噪声大 | 缩小变量集合与搜索规模,纳入较强复杂度限制及简单基线 | 分组评估的误差波动与覆盖情况;同一站点增加记录不等于增加独立样本 |
| 候选很多,可能有用的变量很少 | 在开发数据内按科学角色筛选,再比较中等与较大 mtry |
改善预期用途的留出表现,不能只看训练拟合 |
| 多种变量有用或变量强相关 | 比较较低与较高 mtry,并按科学含义比较变量组 |
预测及变量组解释的稳定性;相关变量的重要性不等于唯一的过程贡献 |
| 训练规模大且覆盖充分 | 将精细拟合与较粗节点或较小单树抽样进行成本比较 | 相同评估总体上的误差与时间,并检查稀有情境 |
| 站点稀疏或聚集,面向新区域或后续时期 | 先匹配验证设计与信息边界,再考虑扩大参数搜索 | 时空迁移误差与覆盖;更多树不能证明外推有效 |
| 关注大误差或稀有极值 | 先判断需要 RMSE 对大误差的较强惩罚,还是 MAE 表示的典型绝对误差,同时报告二者和有关子群 | 所需事件范围的表现;按 MAE 选型不会把森林的训练损失改成绝对误差回归 |
p、缺失、噪声或覆盖问题及计算限制,再据此和上述机制确定具体候选值。R 回归适配器读取已有训练、验证、测试标签,每个任务最多比较四个明确模型候选,另加均值基线;未实现自动搜索、空间或嵌套交叉验证、重复种子稳定性分析。这些比较需要另行审查的编排,不能写成已经执行。执行器会派生各候选的随机种子,孤立比较参数效果还需受控的种子协议。袋外误差不能替代预期用途的时空留出。准确参数边界与调用方法仍见技能操作说明。
用开发数据选择设置,再按约定协议评估冻结模型。RMSE、MAE 保留结果单位;测试 R² 定义为 1-SSE/SST,预测劣于测试集均值参照时可以为负。同时查看与用途有关的偏差、子群误差和残差规律。
独立 Python 回归适配器最多接收八个显式候选,其中必须包含均值基线。参数及限制由其 Python 契约维护。这些是执行上限,不是推荐实验规模。