这是一个面向当前研究阶段的工作仓库,用于整理与论文相关的核心代码与数据处理流程。
本仓库不是论文正式见刊后的最终开源版本,也不是完整的一键复现实验仓库。当前版本主要保留:
- 2025 年后半年
nc4 -> 日尺度 h5 -> 全年测试集 h5的数据处理脚本 - 训练、评估、基线评估与批量运行脚本
- 与本项目直接相关的少量
stformer侧本地代码与包装逻辑
当前版本不包含:
- 大体积原始数据与中间数据
- 训练输出、checkpoint、日志、图件结果
- 完整上游
spacetimeformer源码spacetimeformer-code - 面向正式发表的标准化复现环境
正式的论文开源版本将在后续单独整理,届时会进一步清理目录结构、补齐环境文件、统一命令入口,并确保可执行复现。
建议纳入版本管理的核心内容包括:
scripts/- 数据处理与检查脚本
- 批量评估 PowerShell 脚本
stformer_code/- 本项目使用到的训练/评估入口
- 数据集读取逻辑
- 本地维护的 baseline 模型与少量包装代码
本地工作目录里可能还存在 datasets/、runs/、logs/、image/、painting_matlab/ 等目录;这些目录主要用于本地实验,不属于本仓库当前建议提交范围。
本项目面向中国区域 SMAP L4 根区土壤湿度预测任务,实验设定可概括为:
- 数据时间范围:2015-2025
- 训练/验证:2015-2024
- 独立测试:2025 全年
- 预测对象:根区土壤湿度
sm_rootzone - 时间尺度:日尺度
其中一个关键数据问题是:
2015-2024训练数据已是h5格式2025后半年原始数据为nc4格式- 因此需要先将 2025 年后半年
nc4聚合并对齐为日尺度h5 - 再与 2025 年前半年已有
h5数据拼接,得到全年测试集
更详细的数据组织与格式约定见 DATA.md。
本仓库没有完整 vendoring 上游 spacetimeformer 源码,而是依赖本地或外部已安装的 spacetimeformer 环境。
当前项目中的若干文件会直接 import 上游模块,例如:
stformer_code/forecaster.pystformer_code/spacetimeformer_model/spacetimeformer_model.py
因此,在运行训练或部分评估脚本前,需要先保证上游 spacetimeformer 可被 Python 导入。
核心脚本通常依赖以下包:
torchpytorch_lightningtorchmetricsnumpypandash5pyscikit-learnmatplotlib
若使用更完整的可视化或地图绘制脚本,还可能需要:
einopsperformer_pytorchcartopyshapely
当前训练入口依赖将 stformer_code 暴露到 Python 搜索路径中。一个简单做法是在仓库根目录下先设置:
$env:PYTHONPATH="$PWD\stformer_code"然后再运行训练脚本,例如:
python stformer_code\train_scripts\train_phyfill.py --help如果不设置 PYTHONPATH,当前版本的训练脚本可能会因为本地导入路径而报错。
当前 PowerShell 脚本默认假定:
- 测试数据位于
datasets\2025_full_daily.h5 - 训练输出位于
runs\ - 日志输出位于
logs\
这些路径是本地实验路径约定,不代表数据会随仓库一起提供。
python scripts\nc4_to_daily_h5.py `
--nc4-dir datasets\nc4\data-2025 `
--ref-h5 datasets\2025_daily.h5 `
--output datasets\2025H2_daily.h5python scripts\merge_h5_timeseries.py `
--base-h5 datasets\2025_daily.h5 `
--add-h5 datasets\2025H2_daily.h5 `
--output datasets\2025_full_daily.h5python scripts\compare_h5_format.py$env:PYTHONPATH="$PWD\stformer_code"
python stformer_code\train_scripts\train_phyfill.py `
--context_points 30 `
--target_points 3 `
--run_name run_2025_full `
--data_path datasets\2025_full_daily.h5 `
--use_merged `
--batch_size 2048 `
--gpus 1python stformer_code\train_scripts\evaluate.py `
--model_ckpt_path runs\target3_seed_sweep\latest_exp-baseline-seed42\best.ckpt `
--context_len 30 `
--target_len 3 `
--batch_size 8 `
--pixels_per_chunk 64 `
--use_merged `
--merged_path datasets\2025_full_daily.h5 `
--eval_start_idx 0 `
--cities "Beijing,Shanghai,Lhasa,Guangzhou,Zhengzhou,Chengdu,Urumqi,Harbin,Guiyang"powershell -ExecutionPolicy Bypass -File scripts\eval_all_local.ps1powershell -ExecutionPolicy Bypass -File scripts\eval_naive_baselines.ps1 `
-TestH5 datasets\2025_full_daily.h5 `
-TrainH5 <your_train_h5_path>说明:
evaluate_naive_baselines.py默认会读取一个训练期h5用于构建 climatology- 当前本地默认路径可能指向未纳入仓库的大文件
- 实际使用时建议显式传入
-TrainH5
数据处理与实验辅助脚本。核心包括:
nc4_to_daily_h5.pymerge_h5_timeseries.pycompare_h5_format.pycompare_nc4_h5.pyinspect_nc4_structure.pyinspect_2025_daily_h5.pyeval_all_local.ps1eval_baseline_new_stream.ps1eval_naive_baselines.ps1eval_spatial_partition.ps1
与当前项目直接相关的模型侧代码,主要包括:
train_scripts/:训练与评估入口data/:数据集与采样逻辑baselines/:LSTM / CNN-LSTM 基线callbacks.py、forecaster.py:本地包装逻辑spacetimeformer_model/:项目中实际调用的一层模型包装
注意:这里不是完整上游 spacetimeformer 仓库,只是当前项目使用到的一部分本地代码。
为避免仓库臃肿或携带不可公开的大文件,以下内容不建议纳入当前版本管理:
datasets/runs/logs/painting_matlab/outputs/- 各类
*.ckpt - 各类大体积
*.h5 - 各类全量
*.npy __pycache__/- 过程性图件与临时文件
- 本仓库主要服务于当前阶段的代码整理、论文撰写与实验记录。
- 如果你希望基于本仓库复现实验,需要自行准备上游
spacetimeformer环境与对应数据文件。 - 论文正式开源版本将另行整理,并提供更标准、更完整的复现说明。