GCM 运行脚本链

路径

脚本组分布在 LMDZ.MARS\deftank/ 及其 6 个 HPC 子目录：

源码依据：deftank/README:35-38 明确说明 "run0" 用于单次或链式模拟；"run_mcd" 用 run0 并按火星月变化驱动链式模拟。

类型

脚本输入（shell 链 + 调度器模板）——用于驱动 LMDZ.MARS 物理 GCM 进行多段串联模拟。

作用

LMDZ.MARS GCM 的 3D 模拟需要长时间积分（数年 = 数千 sol），但 HPC 批处理系统对单作业墙钟时间有限制（典型 12-24 小时）。此脚本链解决：

1. 段间状态流转（run0 解决）：一次运行的 restart.nc / restartfi.nc 自动重命名为下一次运行的 startN.nc / startfiN.nc。
2. 按月调度（run_mcd / run_monthN 解决）：火星 12 个太阳月长度不等（61/66/66/65/60/54/50/46/47/47/51/56 sol，共 669 sol），通过 sed s/9999/<NDAY>/ run.def.ref > run.def 把 nday 占位符逐月替换写入 run.def。
3. 批处理包装（HPC 子目录）：#PBS 或 #SBATCH 头指定节点/时间/MPI 配置，末尾通过 qsub / sbatch 提交下一个月的脚本（链式 job）。
4. 崩溃自愈（run0）：崩溃时写 num_run = 99999 并保留 num_run.crash，下一段会报错拒绝继续，由外部脚本根据 num_run.crash 恢复。

关键脚本

run0 —— 原子级单段运行链

源码依据：deftank/run0:1-110。

流程：
1. 检查 gcm 可执行文件存在（第 22-25 行）
2. 读 num_run 文件（不存在则置 0） → numold （第 30-36 行）
3. numnew = numold + 1 （第 39 行）
4. 若 numold == 99999 → 上一段崩溃，直接 exit 1 （第 47-49 行）
5. 把 start${numold}.nc / startfi${numold}.nc 复制为 start.nc / startfi.nc （第 43-45 行）
6. 调用 ./$gcm > lrun${numnew} （第 58 行）
7. 若生成 restart*.nc → 重命名为 start${numnew}.nc 并把 numnew 写回 num_run （第 62-102 行）
8. 否则 → 把 num_run 备份为 num_run.crash，写 99999 到 num_run，发崩溃邮件（第 66-83 行）
9. 移动 diagfi/diagsoil/stats/profiles* 为带 ${numnew} 编号的版本（第 86-98 行）
10. 若 numnew+1 > nummax 则退出；否则递归 ./exe_mars（run0 副本）继续（第 104-110 行）

文件读写（deftank/run0）:

run_mcd —— 串行月级运行链（非 HPC 用）

源码依据：deftank/run_mcd:1-78。

流程：
1. 清理旧 error 文件（第 25 行）
2. 按火星月表逐月用 sed 把 run.def.ref 中的 9999 替换为当月 sol 数 → 写入 run.def
3. 调用 ./run0 >> error（第 28-39 行：12 月，对应 61/66/66/65/60/54/50/46/47/47/51/56）
4. 重复 2 次可选（第 42-67 行：用于第 2、3 火星年的注释模板）
5. 末尾：若 num_run == 99999 → 用 num_run.crash 恢复 num_run 并打印中止信息（第 72-78 行）

12 火星月 sol 数（源码依据：deftank/run_mcd:28-39）：

源码依据：deftank/run_mcd:27 注释明确 "12 martian months (=30 ° Ls) of unequal length (excentric orbit)"。

run_monthN (HPC 子目录) —— 批处理调度包装

源码依据：deftank/ciclad/run_month1、deftank/occigen/run_month1 等。

通用结构（以 ciclad/run_month1 为例，第 1-80 行）：

#!/bin/bash
#PBS -S /bin/bash
#PBS -N run_month1
#PBS -q day
#PBS -l nodes=1:ppn=24
#PBS -l walltime=20:00:00
...
cd $PBS_O_WORKDIR
source ../trunk/LMDZ.COMMON/arch.env
set -exv

num_now=1              # 当前月序号（用户改）
num_end=12             # 终止月序号（用户改）
num_previous=$((num_now-1))
echo "$num_previous" > num_run
num_next=$((num_now+1))
true_num=$((num_now % 12))

# 前置检查 run.def.ref、run0、run_month${num_now} 存在
...
# 根据 true_num 查火星月长度，调 run0
case $true_num in
  1 ) sed s/9999/61/ run.def.ref > run.def ; ./run0 >> error ;;
  2 ) sed s/9999/66/ run.def.ref > run.def ; ./run0 >> error ;;
  ...
  0 ) sed s/9999/56/ run.def.ref > run.def ; ./run0 >> error ;;
  * ) exit 1 ;;
esac

# 若未到终月：复制当前脚本为 run_month${num_next}，sed 修改月号，提交
if (( num_next <= num_end )) ; then
  cp -f run_month$num_now tmp
  sed -e "s@run_month${num_now}@run_month${num_next}@" \
      -e "s@num_now=${num_now}@num_now=${num_next}@" tmp > run_month$num_next
  rm tmp
  qsub run_month$num_next   # slurm 版本此处为 sbatch
fi

调度器区分（源码依据：各 run_month1 首行注释）：

occigen 特有环境变量（源码依据：deftank/occigen/run_month1:20-28）：

export I_MPI_DOMAIN=auto
export I_MPI_PIN_RESPECT_CPUSET=0
export KMP_HW_SUBSET=1T
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
export OMP_STACKSIZE=400M
export KMP_AFFINITY=granularity=fine,compact,1,0,verbose

用于 hybrid MPI+OpenMP 模式，与 #SBATCH --nodes=6 --ntasks-per-node=4 --cpus-per-task=5 配合。

关键字段

被读取的位置

影响的计算流程

脚本调用链总览

用户
 ├── ./run_mcd                          [串行模式]
 │    ├── sed run.def.ref → run.def
 │    ├── ./run0 → gcm.e
 │    ├── sed run.def.ref → run.def
 │    ├── ./run0 → gcm.e
 │    └── ... (12 月)
 └── qsub ./run_month1                  [HPC 模式]
      ├── qsub 提交自身
      ├── source arch.env
      ├── sed run.def.ref → run.def + ./run0 → gcm.e
      ├── cp+sed → run_month2
      └── qsub ./run_month2
           └── ... (至 run_month${num_end})

复现要求

• run.def.ref 必须存在且含 nday = 9999 占位符（源码依据：deftank/run_mcd:16 注释，run_monthN:41-44 显式检查），否则 sed 无法替换，GCM 会因 nday = 9999 而超时崩溃。
• num_run 必须为纯 ASCII 单行整数（源码依据：run0:32 numold=$(cat num_run)）；前导空格或换行会被 bash 算术运算误读。
• 崩溃后人工恢复：必须把 num_run.crash 重命名为 num_run；否则后续 run0 因 numold = 99999 直接 exit 1（第 47-49 行）。
• start${numold}.nc / startfi${numold}.nc 必须与 num_run 同步：手动改 num_run 但不动 start 文件会导致链断裂。
• 火星月长度 61/66/66/65/60/54/50/46/47/47/51/56 sol 不可改（源码依据：deftank/run_mcd:28-39 注释 "12 martian months of unequal length (excentric orbit)"）。修改任何一项都会破坏 Ls（太阳经度）与日历的对应关系。
• run0 的 nummax 必须为整数 ≥ 1：若设为 0 则首次执行后直接退出（第 105 行 numnew+1 > nummax）。
• gcm 变量指向可执行文件（源码依据：run0:22-25 检查 -x $gcm）：重新编译后必须更新 gcm= 行或创建符号链接。
• HPC 子目录中的 run0 通常被本地化（与顶层 deftank/run0 不同，可能含 MPI 调用包装）：复现时不要跨目录混用 run0。
• lrun${numnew} 日志文件：累积会占用大量磁盘空间（单次运行可达 GB），长链需配套清理策略。
• 复现风险：run0 中 cp -f run0 exe_mars; ./exe_mars（第 108-109 行）在递归链期间会创建 exe_mars 副本；若用户在链运行中更新 run0 本身，副本不会同步，导致链内行为不一致。
• 复现风险：run_mcd:74 写为 set numold=`cat num_run.crash` ，这是 bash 语法错误（set 不接受赋值）——推断原意是 numold=$(cat num_run.crash) 或 numold=`cat num_run.crash` ，但此脚本已长期未修复；复现时若依赖此恢复路径需手动修正。
• 复现风险：occigen 的 OMP_STACKSIZE=400M 是 Intel 编译器硬编码值；改用 GCC 编译链时需改为 GOMP_STACKSIZE 或 ulimit -s。
• 复现风险：run_monthN 用 cp + sed 自我复制产生下月脚本，所有月份的脚本都是派生文件；修改 run_month1 后只影响后续月份，当前正在跑的脚本不受影响。

已核验脚本边界

• run_mcd:74 的 set numold=`cat num_run.crash` 已按 bash 语义确认为错误写法；页面在复现风险中给出可用替代写法，不再列为未处理事项。
• adastra/run_year1 是年度包装：用 sed s/9999/669/ run.def.ref > run.def ; ./run0 一次运行 669 sol，并通过 sbatch run_yearN 链接下一年；它不是逐月 run_monthN 变体。
• irene、adastra、mesu、spirit 的资源申请和 MPI/OpenMP 环境并不保证与 occigen 完全一致；复现时应使用目标机器目录下的脚本，不跨集群复用。
• run0 的 nummax>1 通过 ./exe_mars 进程递归实现，不是 shell 函数递归；实际限制来自作业墙钟、文件状态和进程启动开销，而不是 bash 函数栈深。