二重起動するバックグラウンドエージェント — リースとフェンシングトークンで止める設計

#!/usr/bin/env bash
# acquire_lease.sh — リース取得（取得できなければ非ゼロで終了）
set -euo pipefail
 
LEASE_DIR="${LEASE_DIR:-/shared/leases}"
JOB="$1"                       # ジョブ名
HOLDER="$(hostname)-$$"        # マシン名＋PID
TTL_SEC="${TTL_SEC:-120}"      # リースの寿命
NOW="$(date +%s)"
 
LEASE="${LEASE_DIR}/${JOB}.lease"
TOKENF="${LEASE_DIR}/${JOB}.token"
mkdir -p "$LEASE_DIR"
 
# 既存リースが生きているか確認
if [ -f "$LEASE" ]; then
  EXP="$(awk -F= '/^expires=/{print $2}' "$LEASE")"
  if [ "${EXP:-0}" -gt "$NOW" ]; then
    echo "lease held until ${EXP}, now ${NOW}" >&2
    exit 11                    # まだ有効 → 取得を諦める
  fi
fi
 
# 失効していたので取得。トークンを単調増加させる（これが要）
TOKEN="$(( $(cat "$TOKENF" 2>/dev/null || echo 0) + 1 ))"
echo "$TOKEN" > "$TOKENF"
 
cat > "${LEASE}.tmp" << LEASEDATA
holder=${HOLDER}
token=${TOKEN}
expires=$(( NOW + TTL_SEC ))
LEASEDATA
mv -f "${LEASE}.tmp" "$LEASE"   # 原子的に差し替え
 
echo "$TOKEN"                    # 取得したトークンを返す

#!/usr/bin/env bash
# renew_lease.sh — 自分が保持者である場合のみ TTL を延長
set -euo pipefail
LEASE="${LEASE_DIR}/$1.lease"; HOLDER="$2"; MY_TOKEN="$3"; TTL_SEC="${TTL_SEC:-120}"
 
CUR_HOLDER="$(awk -F= '/^holder=/{print $2}' "$LEASE")"
CUR_TOKEN="$(awk -F= '/^token=/{print $2}'  "$LEASE")"
 
# 保持者でもトークンでもズレていたら、自分はもう所有者ではない
if [ "$CUR_HOLDER" != "$HOLDER" ] || [ "$CUR_TOKEN" != "$MY_TOKEN" ]; then
  echo "lost lease (holder/token changed)" >&2
  exit 12
fi
 
cat > "${LEASE}.tmp" << LEASEDATA
holder=${HOLDER}
token=${MY_TOKEN}
expires=$(( $(date +%s) + TTL_SEC ))
LEASEDATA
mv -f "${LEASE}.tmp" "$LEASE"

# fenced_write.py — トークン検証つきの成果物書き込み
import json, os, tempfile
 
def fenced_write(target_path: str, token: int, payload: bytes) -> bool:
    """token が、これまで観測した最大トークン以上のときだけ書く。"""
    guard = target_path + ".fence"          # 最後に書いたトークンを記録
    last = 0
    if os.path.exists(guard):
        last = int(open(guard).read().strip() or "0")
 
    if token < last:
        # 古い保持者（停止から復帰したマシン）の書き込みを拒否
        raise PermissionError(f"stale token {token} < last {last}; refusing write")
 
    # 先にフェンスを進めてから本体を原子的に置き換える
    with open(guard, "w") as g:
        g.write(str(token))
    fd, tmp = tempfile.mkstemp(dir=os.path.dirname(target_path) or ".")
    with os.fdopen(fd, "wb") as f:
        f.write(payload)
    os.replace(tmp, target_path)            # 原子的差し替え
    return True

TOKEN="$(LEASE_DIR=/shared/leases ./acquire_lease.sh daily-publish)" || {
  echo "another holder is running; exiting cleanly"; exit 0; }
HOLDER="$(hostname)-$$"
 
# バックグラウンドでハートビート
( while sleep 45; do ./renew_lease.sh daily-publish "$HOLDER" "$TOKEN" || exit; done ) &
HB=$!
trap 'kill "$HB" 2>/dev/null || true' EXIT
 
# ここでエージェント本体の作業（生成・整形）を行う
run_agent_job
 
# 成果物の書き込みは必ずトークン検証経由で
python3 fenced_write.py --token "$TOKEN" --target /shared/out/today.json