| English | 中文 |
Transformer 通过注意力学习输入表示单元之间的关系。是否适用，取决于单元的科学含义、可用信息以及需要预测的问题。它是一类模型架构，不等同于某个软件库，也不保证优于其他模型。
本页说明一般方法。表格、序列、空间场和多源输入的处理见数据准备。变量角色、产品来源和验证原则以通用设计为准；具体研究在生成代码前通过建模计划写明选择。
先定义观测单元、目标物理量、空间支撑、平均时段和预测范围。区分未监测位置估计、未来预测、缺测重建和表示学习，它们允许使用的信息和验证方式不同。
说明标签来自观测、模拟还是代理估计，明确何为独立站点、时段或事件。大量重叠窗口不等于同等数量的独立观测。预测问题与因果效应问题应分别设计。
基本过程为：有意义的输入单元 → 学习表示并加入身份或位置信息 → 注意力与非线性处理 → 面向任务的输出层。基础注意力架构见原始 Transformer 论文。
| 组成 | 作用 |
|---|---|
| 输入表示 | 把选定单元转换为向量，保留身份及其含义 |
| 位置和身份信息 | 提供与问题有关的顺序、空间位置或变量身份 |
| 注意力 | 根据学习到的查询与键的匹配关系，组合允许访问的表示 |
| 前馈处理、残差连接和归一化 | 变换并稳定学习到的表示 |
| 输出层 | 将表示映射为目标物理量或定义明确的预测分布 |
一种常见的缩放点积形式为：
\[\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^\mathsf{T}}{\sqrt{d_k}}+M\right)V.\]其中 Q、K、V 是学习得到的投影，d_k 为键的维度，M 限制对不可用位置的访问。权重反映模型内部计算，不是物理源贡献比例，也不代表因果效应。
| 形式 | 需要回答的设计问题 |
|---|---|
| 编码器 | 哪些已提供的输入可以共同支持预测？ |
| 因果解码器 | 哪些较早的值可以用于下一步输出，而不暴露较晚的目标？ |
| 编码器—解码器或交叉注意力 | 一组表示如何利用另一来源的信息？ |
只接收历史的编码器，可以在预测起点已经可得的历史范围内双向关联。接收目标序列的解码器，需要与实际应用一致的可见性规则。也可以直接预测多个未来时效；预测任务不要求所有模型都逐步自回归生成。
输入单元的选择同样重要。FT-Transformer将注意力用于表格特征，PatchTST使用时间片段，TimeXer区分目标历史与外生序列。这些例子具有不同的数据契约，不能互换输入格式。这里“外生”表示模型输入角色，不构成因果外生性的证明。
下表提供选择依据，不规定固定参数默认值。
| 选择 | 应记录的依据 |
|---|---|
| 输入单元、片段大小和历史范围 | 物理或时间尺度、可用信息，以及局部细节损失 |
| 表示宽度、注意力头数和层数 | 独立训练样本支撑、异质性、正则化和具体实现的维度兼容性 |
| 注意力关联范围 | 哪些变量、时刻或位置允许交互；密集注意力的两两关联成本随单元数呈平方增长 |
| 损失和目标变换 | 目标尺度、噪声、极端事件的重要性及分布假设 |
| 学习率、正则化和批量大小 | 优化稳定性、验证表现、内存与已声明的搜索预算 |
| 停止与检查点选择 | 预先规定的验证准则、训练预算及可重复性检查 |
先比较数量受控的候选与适用的简单模型，仅在开发期证据支持时扩大计算。不存在统一的最小行数、划分比例、历史长度或最优网络规模。分别记录固定设置、实际比较的设置及各自理由。
比较时保持样本群体和信息边界一致。学习型预处理在训练数据或训练折内拟合；按历史窗口归一化时，也只能使用该起点可获得的信息。验证集选择候选及检查点，受保护的最终测试评估冻结方案。误差应还原为物理单位，并按相关地区、季节、过程类型或预测时效报告，同时说明不确定性和计算成本。参照公共评估，在适用时加入持续值或季节性对照。
根据实际目标决定物理边界或一致性要求。浓度、距平和模型残差不一定具有相同的正负约束。不能为改善分数而悄然截断预测或改变排除规则。注意力图和预测重要性仍属于模型描述；因果结论需要单独的识别设计。
这些一般选择归方法层；软件环境、配置校验和计算代码归机器学习技能。工作流组合数据与技能，项目保存具体科学问题的实验和审核产物。引用已有数据版本，不为不同模型重复建立原始数据副本。
本页定义科学方法，不定义可执行工具。具体 CPU 合成操作案例现归技能软件指南，它们不提供真实数据训练适配器。已有 TimeXer 方法及其仅参考状态保留原位置。