検索の管理画面に「ページにリダイレクトがあります」と出たとき、直すものと放っておくものを分けた基準

#!/usr/bin/env python3
"""redirect_triage.py — Search Console の「ページにリダイレクトがあります」を仕分ける。
使い方: python3 redirect_triage.py urls.txt   (1 行 1 URL。管理画面から書き出した一覧)
標準ライブラリのみ。自動追従を止め、1 ホップずつ自分で辿る。"""
import sys, re, urllib.request, urllib.error, urllib.parse
 
class NoFollow(urllib.request.HTTPRedirectHandler):
    def redirect_request(self, *a, **k):  # 追従しない = 3xx をそのまま例外で受ける
        return None
 
OPENER = urllib.request.build_opener(NoFollow)
 
def fetch(url, lang=None):
    """(status, location, headers, body先頭) を返す。ネットワーク失敗は status=0。"""
    req = urllib.request.Request(url, headers={"User-Agent": "redirect-triage/1.0"})
    if lang:
        req.add_header("Accept-Language", lang)
    try:
        with OPENER.open(req, timeout=10) as r:
            return r.status, None, r.headers, r.read(4096).decode("utf-8", "ignore")
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("Location"), e.headers, ""
    except Exception:
        return 0, None, {}, ""
 
def chain(url, lang=None, limit=6):
    hops, seen = [], set()
    while len(hops) < limit:
        if url in seen:
            return hops, "loop"
        seen.add(url)
        st, loc, hd, body = fetch(url, lang)
        hops.append((url, st))
        if st in (301, 302, 303, 307, 308) and loc:
            url = urllib.parse.urljoin(url, loc)
            continue
        noindex = "noindex" in (hd.get("X-Robots-Tag", "") if hd else "").lower() \
            or re.search(r'<meta[^>]+name=["\']robots["\'][^>]+noindex', body, re.I)
        return hops, ("noindex" if noindex and st == 200 else st)
    return hops, "too-long"
 
def classify(src, hops, end):
    if end == "loop":      return "NG", "ループしています"
    if end == "too-long":  return "NG", "転送が長すぎます"
    if isinstance(end, int) and (end >= 400 or end == 0):
        return "NG", f"転送先が {end} を返しています"
    if end == "noindex":   return "CHECK", "転送先が noindex です（意図したものか確認）"
    if len(hops) >= 3:     return "FIX", f"{len(hops)-1} 回転送されます（1 回に束ねる）"
    if len(hops) == 1:     return "OK", "転送なし"
    a, b = urllib.parse.urlsplit(src), urllib.parse.urlsplit(hops[-1][0])
    if a.scheme != b.scheme and (a.netloc, a.path) == (b.netloc, b.path):
        return "OK", "http→https の統一"
    if a.netloc.replace("www.", "") == b.netloc.replace("www.", "") and a.netloc != b.netloc:
        return "OK", "www の有無の統一"
    if a.path.rstrip("/") == b.path.rstrip("/") and a.path != b.path:
        return "OK", "末尾スラッシュの統一"
    return "CHECK", f"別の URL へ転送: {b.path}"
 
def main(path):
    for src in [l.strip() for l in open(path) if l.strip()]:
        hops, end = chain(src)                    # 検索ロボットに近い素の要求
        hops_en, end_en = chain(src, lang="en")   # 英語ブラウザ相当
        level, note = classify(src, hops, end)
        if level == "OK" and (hops[-1][0] != hops_en[-1][0]):
            first = hops_en[0][1]
            level = "OK" if first in (302, 303, 307) else "FIX"
            note = "言語による振り分け" + ("（一時転送・想定内）" if level == "OK"
                   else f"（{first} は端末に覚えられるので 302/307 へ）")
        elif len(hops) == 1 and len(hops_en) > 1:
            first = hops_en[0][1]
            level = "OK" if first in (302, 303, 307) else "FIX"
            note = "言語による振り分け" + ("（素の要求は転送なし・想定内）" if level == "OK"
                   else f"（{first} は端末に覚えられるので 302/307 へ）")
        print(f"{level:5} {src}\n      -> {note}")
 
if __name__ == "__main__":
    main(sys.argv[1])