Skip to content

About

基于深度学习技术在卫星遥感领域对于土壤水分预测的应用

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

SMAP 土壤湿度预测工作仓库

仓库定位

这是一个面向当前研究阶段的工作仓库,用于整理与论文相关的核心代码与数据处理流程。

本仓库不是论文正式见刊后的最终开源版本,也不是完整的一键复现实验仓库。当前版本主要保留:

  • 2025 年后半年 nc4 -> 日尺度 h5 -> 全年测试集 h5 的数据处理脚本
  • 训练、评估、基线评估与批量运行脚本
  • 与本项目直接相关的少量 stformer 侧本地代码与包装逻辑

当前版本不包含:

  • 大体积原始数据与中间数据
  • 训练输出、checkpoint、日志、图件结果
  • 完整上游 spacetimeformer 源码spacetimeformer-code
  • 面向正式发表的标准化复现环境

正式的论文开源版本将在后续单独整理,届时会进一步清理目录结构、补齐环境文件、统一命令入口,并确保可执行复现。

当前仓库覆盖范围

建议纳入版本管理的核心内容包括:

  • scripts/
    • 数据处理与检查脚本
    • 批量评估 PowerShell 脚本
  • stformer_code/
    • 本项目使用到的训练/评估入口
    • 数据集读取逻辑
    • 本地维护的 baseline 模型与少量包装代码

本地工作目录里可能还存在 datasets/、runs/、logs/、image/、painting_matlab/ 等目录;这些目录主要用于本地实验,不属于本仓库当前建议提交范围。

研究任务概述

本项目面向中国区域 SMAP L4 根区土壤湿度预测任务,实验设定可概括为:

  • 数据时间范围:2015-2025
  • 训练/验证:2015-2024
  • 独立测试:2025 全年
  • 预测对象:根区土壤湿度 sm_rootzone
  • 时间尺度:日尺度

其中一个关键数据问题是:

  • 2015-2024 训练数据已是 h5 格式
  • 2025 后半年原始数据为 nc4 格式
  • 因此需要先将 2025 年后半年 nc4 聚合并对齐为日尺度 h5
  • 再与 2025 年前半年已有 h5 数据拼接,得到全年测试集

更详细的数据组织与格式约定见 DATA.md。

依赖说明

1. 上游 spacetimeformer

本仓库没有完整 vendoring 上游 spacetimeformer 源码,而是依赖本地或外部已安装的 spacetimeformer 环境。

当前项目中的若干文件会直接 import 上游模块,例如:

  • stformer_code/forecaster.py
  • stformer_code/spacetimeformer_model/spacetimeformer_model.py

因此,在运行训练或部分评估脚本前,需要先保证上游 spacetimeformer 可被 Python 导入。

2. Python 包

核心脚本通常依赖以下包:

  • torch
  • pytorch_lightning
  • torchmetrics
  • numpy
  • pandas
  • h5py
  • scikit-learn
  • matplotlib

若使用更完整的可视化或地图绘制脚本,还可能需要:

  • einops
  • performer_pytorch
  • cartopy
  • shapely

运行约定

1. PYTHONPATH

当前训练入口依赖将 stformer_code 暴露到 Python 搜索路径中。一个简单做法是在仓库根目录下先设置:

$env:PYTHONPATH="$PWD\stformer_code"

然后再运行训练脚本,例如:

python stformer_code\train_scripts\train_phyfill.py --help

如果不设置 PYTHONPATH,当前版本的训练脚本可能会因为本地导入路径而报错。

2. 路径假设

当前 PowerShell 脚本默认假定:

  • 测试数据位于 datasets\2025_full_daily.h5
  • 训练输出位于 runs\
  • 日志输出位于 logs\

这些路径是本地实验路径约定,不代表数据会随仓库一起提供。

主要流程

1. 2025 年后半年 nc4 转为日尺度 h5

python scripts\nc4_to_daily_h5.py `
  --nc4-dir datasets\nc4\data-2025 `
  --ref-h5 datasets\2025_daily.h5 `
  --output datasets\2025H2_daily.h5

2. 将 2025 前后半年拼接为全年测试集

python scripts\merge_h5_timeseries.py `
  --base-h5 datasets\2025_daily.h5 `
  --add-h5 datasets\2025H2_daily.h5 `
  --output datasets\2025_full_daily.h5

3. 检查格式一致性

python scripts\compare_h5_format.py

4. 训练

$env:PYTHONPATH="$PWD\stformer_code"

python stformer_code\train_scripts\train_phyfill.py `
  --context_points 30 `
  --target_points 3 `
  --run_name run_2025_full `
  --data_path datasets\2025_full_daily.h5 `
  --use_merged `
  --batch_size 2048 `
  --gpus 1

5. 单模型评估

python stformer_code\train_scripts\evaluate.py `
  --model_ckpt_path runs\target3_seed_sweep\latest_exp-baseline-seed42\best.ckpt `
  --context_len 30 `
  --target_len 3 `
  --batch_size 8 `
  --pixels_per_chunk 64 `
  --use_merged `
  --merged_path datasets\2025_full_daily.h5 `
  --eval_start_idx 0 `
  --cities "Beijing,Shanghai,Lhasa,Guangzhou,Zhengzhou,Chengdu,Urumqi,Harbin,Guiyang"

6. 批量评估

powershell -ExecutionPolicy Bypass -File scripts\eval_all_local.ps1

7. Naive baselines

powershell -ExecutionPolicy Bypass -File scripts\eval_naive_baselines.ps1 `
  -TestH5 datasets\2025_full_daily.h5 `
  -TrainH5 <your_train_h5_path>

说明:

  • evaluate_naive_baselines.py 默认会读取一个训练期 h5 用于构建 climatology
  • 当前本地默认路径可能指向未纳入仓库的大文件
  • 实际使用时建议显式传入 -TrainH5

目录说明

scripts/

数据处理与实验辅助脚本。核心包括:

  • nc4_to_daily_h5.py
  • merge_h5_timeseries.py
  • compare_h5_format.py
  • compare_nc4_h5.py
  • inspect_nc4_structure.py
  • inspect_2025_daily_h5.py
  • eval_all_local.ps1
  • eval_baseline_new_stream.ps1
  • eval_naive_baselines.ps1
  • eval_spatial_partition.ps1

stformer_code/

与当前项目直接相关的模型侧代码,主要包括:

  • train_scripts/:训练与评估入口
  • data/:数据集与采样逻辑
  • baselines/:LSTM / CNN-LSTM 基线
  • callbacks.py、forecaster.py:本地包装逻辑
  • spacetimeformer_model/:项目中实际调用的一层模型包装

注意:这里不是完整上游 spacetimeformer 仓库,只是当前项目使用到的一部分本地代码。

不纳入当前仓库的内容

为避免仓库臃肿或携带不可公开的大文件,以下内容不建议纳入当前版本管理:

  • datasets/
  • runs/
  • logs/
  • painting_matlab/outputs/
  • 各类 *.ckpt
  • 各类大体积 *.h5
  • 各类全量 *.npy
  • __pycache__/
  • 过程性图件与临时文件

备注

  • 本仓库主要服务于当前阶段的代码整理、论文撰写与实验记录。
  • 如果你希望基于本仓库复现实验,需要自行准备上游 spacetimeformer 环境与对应数据文件。
  • 论文正式开源版本将另行整理,并提供更标准、更完整的复现说明。

About

基于深度学习技术在卫星遥感领域对于土壤水分预测的应用

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages