モデルを乗り換える前に、エージェントの出力をゴールデンスナップショットで固定する

import re
import yaml
 
# 必須キーと、それぞれが満たすべき不変条件を1か所に集める
REQUIRED_KEYS = ["title", "slug", "category", "level", "premium", "tags", "description"]
 
def normalize(article: str) -> dict:
    """エージェント出力を、揺れに強い比較用の辞書へ変換する"""
    fm_match = re.match(r"^---\n(.*?)\n---\n(.*)$", article, re.DOTALL)
    if not fm_match:
        raise ValueError("frontmatter missing")
 
    front = yaml.safe_load(fm_match.group(1))
    body = fm_match.group(2)
 
    return {
        "keys_present": sorted(k for k in REQUIRED_KEYS if k in front),
        "tag_count": len(front.get("tags", [])),
        "h2_count": len(re.findall(r"^##\s+", body, re.MULTILINE)),
        "code_blocks": len(re.findall(r"^```", body, re.MULTILINE)) // 2,
        "char_len_bucket": len(body) // 500,  # 500字刻みのバケットで丸める
    }

def compare(golden: dict, current: dict) -> list[str]:
    """ゴールデンと現在の出力を比較し、本当に問題のある差分だけ返す"""
    issues = []
 
    # 必須キーの欠落は即アウト（後段の自動処理が壊れる）
    missing = set(golden["keys_present"]) - set(current["keys_present"])
    if missing:
        issues.append(f"必須キー欠落: {sorted(missing)}")
 
    # タグ数は ±1 まで許容（モデルが1つ足す/減らすのは許す）
    if abs(golden["tag_count"] - current["tag_count"]) > 1:
        issues.append(f"タグ数の急変: {golden['tag_count']} -> {current['tag_count']}")
 
    # 見出し構造が痩せたら警告（記事が薄くなった兆候）
    if current["h2_count"] < golden["h2_count"] - 1:
        issues.append(f"H2が減少: {golden['h2_count']} -> {current['h2_count']}")
 
    # 本文量が2バケット(=約1,000字)以上縮んだら検知
    if golden["char_len_bucket"] - current["char_len_bucket"] >= 2:
        issues.append("本文が大幅に短縮された")
 
    return issues

import json
from pathlib import Path
 
GOLDEN_DIR = Path("tests/golden")
 
def gate(sample_id: str, output: str, update: bool = False) -> int:
    golden_path = GOLDEN_DIR / f"{sample_id}.json"
    current = normalize(output)
 
    if update or not golden_path.exists():
        golden_path.write_text(json.dumps(current, ensure_ascii=False, indent=2))
        print(f"✅ ゴールデンを保存: {sample_id}")
        return 0
 
    golden = json.loads(golden_path.read_text())
    issues = compare(golden, current)
    if issues:
        print(f"🚨 {sample_id} で退行を検知:")
        for i in issues:
            print(f"  - {i}")
        return 1
    print(f"✅ {sample_id} は許容範囲内")
    return 0