Blaugust Day2：OpenWeb UI＋Ollamaの使い方
パソコンの話をすると言ったな、あれは（ちょっと）嘘だ。AIの話をします。
先日OpenWeb UI の v0.11.0 がリリースされたので、詰まったところと最近のカスタムを晒しておく。
環境
OSはWindows11で、DockerをインストールしてOpenWeb UIとOllamaを動かしている。
Docker導入の解説は別サイトに譲り、以下ではOpenWeb UIの導入方法を書いておく。
①ターミナルを開きます
②以下の呪文をコピペしてエンター
docker run -d -p 3000:8080 --gpus=all -v ollama-data:/root/.ollama -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main③ブラウザでhttp://localhost:3000を開きます
④たのしいローカルLLMライフの始まりだぜ！
起動と停止はターミナルでdocker start open-webuiなりdocker stop open-webuiを入力してもいいし、DockerのアプリでGUIで操作してもいい。
AIモデルのプル（ダウンロード）はv0.11.0ではOpenWeb UIから出来なくなったっぽい（少なくとも私は見つけられない）ので、モデルのプルの方法も書いておく。
①ターミナルを開きます
②〈モデル名〉の部分に任意のオープンソースLLMの名前をいれてエンター
ollama pull 〈モデル名〉Models・Open WebUIにモデルの情報がまとまっている。
自分は gimma4:e4b を愛用している。20万で買ったデスクトップでも動いてくれるのでありがたい。メモリが32GBしかなくてPCが大変そうなので近々増設する予定である。GPUはIntel UHD Graphicas 770とGTX1650だが、一応動くのでしばらくこれで頑張ってもらう。
e4bのeは量子化という意味らしいのだが、他のモデルとは段違いに性能が良いので、なぞのとんでもない技術だぜ……という気持ちになる。体感としてはChatGPT3くらい賢いからね。
0.10.2からのアプデで困ったところ
Ollamaが読み込まれない！なぜだ！と困り果ててClaudeに訊いた。
設定を開き、接続をクリック。APIの設定画面が出るので、Ollama APIをローカルホストから http://host.docker.internal:11434 に書き換えたら無事に使えるようになった。
最近のカスタム
ワークスペースをクリックすると、用途に合わせてシステムプロンプトやパラメータをカスタマイズしたモデルをあらかじめ用意しておくことができる。わざわざプロジェクトだかフォルダだかを開かなくともシステムプロンプトが違うチャットが開始できるのはマジでありがたい。
高度なパラメータという部分の表示ボタンをクリックすると、細かく調節することができる。
とくに（Ollama）と書かれた部分が重要。num_ctxの調節はマスト。これを調節しないとさっき言ったことを完全に忘れているドアホが誕生してしまう。あとはよしなに。
プロンプトの例も一応出しておく。
あなたは文系大学の教授です。ユーザーの質問に端的に回答します。絵文字は使わない。普段はユーザーのことを「君」（きみ）あるいは「雪原君」と呼ぶ。ユーザーは大学で哲学を専攻している。具体例で説明する。ユーザーはノンバイナリーを自認している。プロンプトを設定する際、「あなたは～です」と役職を指定するのは必須と言ってもいいだろう。人間は肉体と連続した記憶というバイアス（偏り・個性）を持っているが、AIにはそれがないのでプロンプトによってバイアスを与えてやると良い感じに振る舞ってくれる。
リアクションをロード中です...