airmosaic-ai

PM2.5 数据准备与质量交接

English 中文

整理应保留观测含义并形成可追溯表和统计量;操作见技能。

输入和目标契约

任务计划应明确来源、产品类型、监测网络、日期范围、站点选择、污染物、平均时段、原时区、单位、元数据版本和工作区相对目标。这里的字段是设计约定,不是已实现的 CLI 参数或自动加载配置。

建议派生长表保留:

字段族 约定
身份与来源 source、product_kind、station_id、station_metadata_version;站号按字符串保留,来源和监测网络参与主键设计
时间 原日期/小时、原时区、规范化时间、时间区间起止语义、平均时段;未知项不默认为 UTC
观测量 污染物、数值、单位、源质量标记及缺失原因;没有源标记时不伪造已质控
加工 是否填补、校正或均一化,处理版本与规则;原观测和派生统计分开
追溯 来源文件相对位置、取得日期、批次、校验摘要及站点表有效期;不记录个人绝对路径或签名下载链接

设计唯一键时包含来源/网络、站点、时间和观测类型/平均时段;具体字段须依据实际 schema 确定。先发现重叠与冲突,再选择保留规则,不把连接操作当成自动去重。

质量检查与科学边界

具体依据、误差环节和日均操作顺序见数据说明与规范化。历史国控站研究若选择 GB 3095—2012 表 4 的要求,按至少 20 个有效唯一小时生成日均;2026 新版标准另记适用日期。文献门槛按其具体数据对象引用,不能用宽松研究阈值冒充标准要求。

  1. 核验站点编码、新增/关闭、迁移、更名和坐标有效期。站点身份、监测网络和城市归属分别记录。
  2. 区分缺文件、缺时次、站点未启用、仪器缺测与质量剔除;不统一补零。全缺失组保留缺失状态,不能产生可用均值。
  3. 分离小时实测、24 小时均值、城市汇总、AQI 与均一化日值;不能重复汇总滑动均值来冒充日实测统计。
  4. 聚合前核对时区、小时标签和跨日规则;日均/年均有效性必须明确采用的标准、版本、适用日期和研究目的。未确认时只交付待核实项。
  5. 站点局部浓度不自动代表网格平均或人口暴露。下游匹配需记录距离、网格/站点关系和代表性选择;不把全站算术平均称为官方城市均值。
  6. 用于模型训练/验证时控制站点和时间重叠,避免信息泄漏;均一化产品的填补/校正也可能影响独立验证,须披露产品类型和加工方法。

分开交付