TAG

metrics

3 記事

Antigravity のエージェントが的外れなコードを返すとき、原因はプロンプトの文言ではなくタスクの大きさにあります。依頼文を送信前に採点する Python スコアラーを実装し、80件の依頼ログを後ろ向きに採点して差し戻し率との相関を確かめた記録です。

エージェントへの委譲境界を勘ではなく数字で引くために、タスク種別ごとの「やり直し率」を git 履歴から算出する方法を紹介します。信頼区間を添える理由や、委ねる・要レビュー・自分でやるを分ける決定ルール、実際に境界を引き直した記録まで扱います。

Node.js バックエンドに OpenTelemetry を導入し本番運用した記録。計装オーバーヘッドの実測、テールサンプリング設定、カーディナリティ爆発の回避、AI異常検知を承認制で運用する設計までをまとめました。