カテゴリー
コンピューター

ローカルLLM性能改善した。Mac 起動時に自動起動する Ollama アプリが、 OLLAMA_FLASH_ATTENTION=true と OLLAMA_KV_CACHE_TYPE=q8_0 を設定した状態で起動するようにした

💡 本記事は、すべて人間が手書きしました。

まとめ

  • 設定したい値の確認
    launchctl getenv OLLAMA_FLASH_ATTENTION
    launchctl getenv OLLAMA_KV_CACHE_TYPE
    
  • ~/LaunchAgents/com.oki2a24.ollama-env.plist を置き、PC起動時にその内容が実行されるようにする。
  • 内容
    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
      "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
    <plist version="1.0">
    <dict>
    
        <key>Label</key>
        <string>com.oki2a24.ollama-env</string>
    
        <key>ProgramArguments</key>
        <array>
            <string>/bin/sh</string>
            <string>-c</string>
            <string>
    launchctl setenv OLLAMA_FLASH_ATTENTION 1
    launchctl setenv OLLAMA_KV_CACHE_TYPE q8_0
    
    # Uncomment for troubleshooting:
    # echo "$(date) Environment variables set" >> /tmp/ollama-launchagent.log
            </string>
        </array>
    
        <key>RunAtLoad</key>
        <true/>
    
    </dict>
    </plist>
    
  • LaunchAgents の確認方法など
    # Lint
    plutil -lint ~/dotfiles/LaunchAgents/com.oki2a24.ollama-env.plist
    
    # 登録する
    launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/com.oki2a24.ollama-env.plist
    
    # 解除する
    launchctl bootout gui/$(id -u) ~/Library/LaunchAgents/com.oki2a24.ollama-env.plist
    
  • Pull Request feat: Ollama の起動時環境変数を LaunchAgent で設定 by oki2a24 · Pull Request #17 · oki2a24/dotfiles