Antigravity のエージェント評価ゲートが揺れて信用できないとき — 確率的な揺らぎに負けない合否判定の実装メモ

// eval-types.ts
// 1回の試行ではなく、複数試行の集約を評価の最小単位にする
 
export interface TrialResult {
  score: number;        // 0.0 - 1.0（部分点を許容する連続スコア）
  latencyMs: number;
  toolCallCount: number;
  failures: string[];
}
 
export interface CaseStats {
  caseId: string;
  trials: number;
  meanScore: number;
  stdDev: number;        // 散らばり = 不安定さの指標
  ciLow: number;         // 平均スコアの95%信頼区間 下限
  p95LatencyMs: number;  // 平均ではなく裾を見る
}
 
export function aggregate(caseId: string, results: TrialResult[]): CaseStats {
  const n = results.length;
  const scores = results.map((r) => r.score);
  const mean = scores.reduce((a, b) => a + b, 0) / n;
  const variance = scores.reduce((a, s) => a + (s - mean) ** 2, 0) / n;
  const stdDev = Math.sqrt(variance);
 
  // 標準誤差から95%信頼区間の下限を出す（z=1.96）
  const stdErr = stdDev / Math.sqrt(n);
  const ciLow = mean - 1.96 * stdErr;
 
  const latencies = results.map((r) => r.latencyMs).sort((a, b) => a - b);
  const p95LatencyMs = latencies[Math.min(latencies.length - 1, Math.floor(n * 0.95))];
 
  return { caseId, trials: n, meanScore: mean, stdDev, ciLow, p95LatencyMs };
}

// regression-gate.ts
// 絶対閾値ではなく、ベースラインからの有意な悪化を検出する
 
import type { CaseStats } from "./eval-types";
 
export interface GateVerdict {
  pass: boolean;
  reason: string;
  regressions: string[];
  flaky: string[];
}
 
export function judgeAgainstBaseline(
  current: CaseStats[],
  baseline: Record<string, { meanScore: number; stdDev: number }>,
): GateVerdict {
  const regressions: string[] = [];
  const flaky: string[] = [];
 
  for (const cur of current) {
    const base = baseline[cur.caseId];
 
    // 散らばりが大きすぎるケースは「不安定」として隔離する。
    // ゲートを赤にはせず、別枠で可視化して改善対象にする。
    if (cur.stdDev > 0.2) {
      flaky.push(`${cur.caseId}: stdDev=${cur.stdDev.toFixed(2)}（不安定・要改善）`);
      continue;
    }
 
    if (!base) continue; // 新規ケースはベースラインなし
 
    // 悪化の判定: 信頼区間の下限が、ベースライン平均から
    // ノイズ幅（ベースラインの標準偏差）を超えて下回ったか。
    const noiseBand = Math.max(0.05, base.stdDev);
    if (cur.ciLow < base.meanScore - noiseBand) {
      regressions.push(
        `${cur.caseId}: ${base.meanScore.toFixed(2)} → ${cur.meanScore.toFixed(2)}（CI下限 ${cur.ciLow.toFixed(2)}）`,
      );
    }
  }
 
  const pass = regressions.length === 0;
  return {
    pass,
    reason: pass ? "ベースラインからの有意な劣化なし" : `${regressions.length}件の回帰を検出`,
    regressions,
    flaky,
  };
}