Gemma 4 × Antigravity でローカルLLMを本番環境で動かす——セットアップから安定運用まで

# Ollamaでモデルをダウンロード
ollama pull gemma4:4b    # 軽量版（Mac 16GB RAM以上で快適）
ollama pull gemma4:9b    # バランス型（Mac 24GB RAM以上推奨）
ollama pull gemma4:27b   # 高性能版（Mac 32GB RAM以上推奨）
 
# ダウンロード済みモデルを確認
ollama list
 
# 動作確認
ollama run gemma4:9b "Pythonでバブルソートを実装してください"

# Ollamaの環境変数設定（~/.bashrc または ~/.zshrc に追加）
 
# GPUレイヤー数（Apple Silicon/NVIDIAのGPUを最大活用する）
export OLLAMA_GPU_LAYERS=999  # 全レイヤーをGPUに乗せる（VRAMが十分な場合）
# export OLLAMA_GPU_LAYERS=32  # VRAMが少ない場合は調整
 
# 並列リクエスト数
export OLLAMA_NUM_PARALLEL=4  # 4つまで同時リクエストを処理
 
# コンテキストウィンドウサイズ
export OLLAMA_CONTEXT_LENGTH=32768  # デフォルトより大きく設定
 
# Ollamaのサーバー起動
ollama serve &
 
# 設定が反映されているか確認
curl http://localhost:11434/api/generate -d '{
  "model": "gemma4:9b",
  "prompt": "Hello",
  "stream": false
}'

# Apple Silicon では NUM_GPU を明示的に設定するとMetalが最大活用される
OLLAMA_METAL=1 ollama serve

import requests
import json
from typing import Generator
 
OLLAMA_BASE_URL = "http://localhost:11434"
MODEL_NAME = "gemma4:9b"
 
def generate_with_ollama(
    prompt: str,
    system: str = "",
    temperature: float = 0.7,
    max_tokens: int = 2048
) -> str:
    """
    Ollamaに通常のリクエストを送信して結果を取得する。
    """
    payload = {
        "model": MODEL_NAME,
        "prompt": prompt,
        "system": system,
        "stream": False,
        "options": {
            "temperature": temperature,
            "num_predict": max_tokens,
            "num_ctx": 32768,  # コンテキストウィンドウ
        }
    }
    
    response = requests.post(
        f"{OLLAMA_BASE_URL}/api/generate",
        json=payload,
        timeout=120  # ローカルLLMは時間がかかるため長めに設定
    )
    response.raise_for_status()
    
    result = response.json()
    return result["response"]
 
def stream_with_ollama(
    prompt: str,
    system: str = "",
    temperature: float = 0.7
) -> Generator[str, None, None]:
    """
    Ollamaにストリーミングリクエストを送信する。
    長い応答をリアルタイムで受け取る際に使用。
    """
    payload = {
        "model": MODEL_NAME,
        "prompt": prompt,
        "system": system,
        "stream": True,
        "options": {
            "temperature": temperature,
            "num_ctx": 32768,
        }
    }
    
    with requests.post(
        f"{OLLAMA_BASE_URL}/api/generate",
        json=payload,
        stream=True,
        timeout=300
    ) as response:
        response.raise_for_status()
        for line in response.iter_lines():
            if line:
                chunk = json.loads(line)
                if not chunk.get("done", False):
                    yield chunk.get("response", "")
 
# 使用例
print("=== 通常の生成 ===")
result = generate_with_ollama(
    prompt="Pythonの非同期処理について200文字で説明してください",
    system="あなたは簡潔に説明するPythonの専門家です",
    temperature=0.3
)
print(result)
 
print("\n=== ストリーミング生成 ===")
for chunk in stream_with_ollama(
    prompt="Dockerの基本コマンドをまとめてください",
    system="箇条書きで分かりやすく説明してください"
):
    print(chunk, end="", flush=True)
print()

from openai import OpenAI
 
# OllamaのOpenAI互換エンドポイントに接続
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # Ollamaは認証不要だがキーが必要なため適当な値を設定
)
 
def chat_with_gemma4(messages: list, temperature: float = 0.7) -> str:
    """
    OpenAI SDK互換の形式でGemma 4と会話する。
    Antigravityや他のOpenAI互換ツールと同じコードで使える。
    """
    response = client.chat.completions.create(
        model="gemma4:9b",
        messages=messages,
        temperature=temperature,
        max_tokens=2048,
        stream=False
    )
    return response.choices[0].message.content
 
# マルチターン会話の例
conversation = [
    {"role": "system", "content": "あなたはコードレビューの専門家です。"},
    {"role": "user", "content": "以下のコードをレビューしてください：\n\ndef calc(a,b):\n    return a/b"},
]
 
review = chat_with_gemma4(conversation)
print(review)
 
# 会話を続ける
conversation.append({"role": "assistant", "content": review})
conversation.append({"role": "user", "content": "ゼロ除算の対策を追加したバージョンも書いてください"})
 
improved = chat_with_gemma4(conversation)
print(improved)

// .antigravity/config.json（プロジェクト固有の設定）
{
  "model": {
    "provider": "ollama",
    "name": "gemma4:9b",
    "baseUrl": "http://localhost:11434",
    "temperature": 0.2,
    "maxTokens": 4096,
    "contextLength": 32768
  },
  "agent": {
    "maxSteps": 20,
    "autoApprove": false,  // 本番環境では false を推奨
    "tools": ["read_file", "write_file", "search_files", "run_terminal"]
  },
  "context": {
    "includePatterns": ["src/**/*.ts", "src/**/*.tsx"],
    "excludePatterns": ["node_modules/**", "dist/**", "*.lock"]
  }
}

# GPU利用状況の確認
ollama ps
# 出力例: gemma4:9b  9.1 GB  100% GPU
 
# リソース使用状況の確認（Apple Silicon）
sudo powermetrics --samplers gpu_power -i 500 -n 5

# Ollamaが正常に起動しているか確認
ps aux | grep ollama
 
# ポートが使用中か確認
lsof -i :11434
 
# 直接APIをテスト
curl -s http://localhost:11434/api/tags | python3 -m json.tool

# 長い応答が必要な場合
result = generate_with_ollama(
    prompt="長い技術ドキュメントを生成してください",
    max_tokens=8192,  # デフォルト（2048）より大きく設定
    temperature=0.3
)

# 量子化版を使う（精度を少し落とす代わりにメモリを大幅削減）
ollama pull gemma4:9b-q4_K_M  # 9Bの4ビット量子化版（約6GB）
ollama pull gemma4:27b-q4_K_M # 27Bの4ビット量子化版（約16GB）