保存するエージェントログから秘密を消す — 投入前のリダクション層を設計する

import logging, re
 
# 形のはっきりした秘密はパターンで落とす
PATTERNS = [
    (re.compile(r"Bearer\s+[A-Za-z0-9._\-]+"), "Bearer [REDACTED]"),
    (re.compile(r"(?i)(api[_-]?key\"?\s*[:=]\s*\"?)[A-Za-z0-9._\-]{12,}"), r"\1[REDACTED]"),
    (re.compile(r"://[^:/@\s]+:[^@\s]+@"), "://[REDACTED]@"),  # URL埋め込み資格情報
]
 
 
class RedactingFilter(logging.Filter):
    def filter(self, record: logging.LogRecord) -> bool:
        msg = record.getMessage()
        for pat, repl in PATTERNS:
            msg = pat.sub(repl, msg)
        record.msg = msg
        record.args = ()      # 後段での再展開で素の値が戻らないようにする
        return True
 
 
logger = logging.getLogger("agent")
handler = logging.FileHandler("agent.jsonl")
handler.addFilter(RedactingFilter())   # 書き込み直前で必ず通る
logger.addHandler(handler)

class SecretRegistry:
    def __init__(self):
        self._secrets: list[str] = []
 
    def register(self, value: str):
        if value and len(value) >= 8:    # 短すぎる値は誤爆するので登録しない
            self._secrets.append(value)
 
    def scrub(self, text: str) -> str:
        for s in self._secrets:
            if s in text:
                text = text.replace(s, "[REDACTED:known]")
        return text
 
 
# 起動時に環境変数・シークレットストアの実値を登録
registry = SecretRegistry()
import os
for key in ("ADMOB_TOKEN", "STORE_API_KEY", "DB_PASSWORD"):
    registry.register(os.environ.get(key, ""))

import hashlib
 
def partial_mask(value: str) -> str:
    return "****" + value[-4:] if len(value) > 4 else "****"
 
def stable_hash(value: str) -> str:
    return "h:" + hashlib.sha256(value.encode()).hexdigest()[:8]