oki2a24
💡 この記事は、だいたい生成AIが出力したものをベースに人間が手直ししたものです。
GGUF ファイルをダウンロードして、 Modelfile を作成して、 ollama create する。
# GGUF ファイルをダウンロード。
mkdir -p ~/models/gemma4-26b-a4b-it-qat
mv ~/Downloads/gemma-4-26B_q4_0-it.gguf ~/models/gemma4-26b-a4b-it-qat
cd ~/models/gemma4-26b-a4b-it-qat
cat > Modelfile <<'EOF'
FROM ./gemma-4-26B_q4_0-it.gguf
EOF
ollama create hf.co/google/gemma-4-26B-A4B-it-qat-q4_0-gguf-local -f Modelfile
💡 このページは100％人間が書きました。
caffeinate -dimsu をターミナルで実行することで、 MacBook の蓋を閉じてもスリープさせずに処理を継続させることができる。
💡 本記事は、すべて人間が手書きしました。
launchctl getenv OLLAMA_FLASH_ATTENTION
launchctl getenv OLLAMA_KV_CACHE_TYPE
~/LaunchAgents/com.oki2a24.ollama-env.plist を置き、PC起動時にその内容が実行されるようにする。<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
"http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>com.oki2a24.ollama-env</string>
<key>ProgramArguments</key>
<array>
<string>/bin/sh</string>
<string>-c</string>
<string>
launchctl setenv OLLAMA_FLASH_ATTENTION 1
launchctl setenv OLLAMA_KV_CACHE_TYPE q8_0
# Uncomment for troubleshooting:
# echo "$(date) Environment variables set" >> /tmp/ollama-launchagent.log
</string>
</array>
<key>RunAtLoad</key>
<true/>
</dict>
</plist>
# Lint
plutil -lint ~/dotfiles/LaunchAgents/com.oki2a24.ollama-env.plist
# 登録する
launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/com.oki2a24.ollama-env.plist
# 解除する
launchctl bootout gui/$(id -u) ~/Library/LaunchAgents/com.oki2a24.ollama-env.plist