airmosaic-ai

公共评估参照

English 中文

均值基线用于判断变量是否比一个固定预测值带来改进。只在可用训练样本上计算目标均值,并用同一个常数预测验证集和测试集。若目标存在学习型变换,须遵循已声明的训练期拟合规则,并明确报告尺度。

所有候选和参照使用相同样本键、单位、排除规则和损失定义。验证集用于选择候选,冻结后的最终测试用于评估约定程序。保留目标单位下的 RMSE、MAE,并检查偏差和重要子群。复杂模型可能不如基线,应如实报告,不能为保留复杂模型而删除参照。

测试 R² 若定义为 1 - SSE/SST,其 SST 使用测试目标均值。这是指标归一化,与拟合的训练均值基线不同,也不授权用测试目标拟合预测器。仍需显式报告基线的 RMSE、MAE 对照。

时序预测中,持续值或季节性参照可能更符合科学问题。应在计划中声明并核验实现,不能假定表格均值基线覆盖全部任务。当前技能公共评估说明 R/Python 的实际支持。模型选择依据归模型族,划分和预处理理由归通用设计。