メモ:OpenWeb UI+Ollamaの使い方
v0.10.2にアップデートしたところ、出力される文章が途中で途切れるようになってしまったので、解決策のメモを残しておく。
右上のアイコン→管理者パネル→設定→モデルから黒いボタンの設定を押す。
モデルを選択からLLMのモデルなりワークスペースで作成したカスタムプロンプトを含むモデルを選択。これは複数選べる。
グレーの文字のModel Parametarsからトークン上限等を設定。とくに(Ollama)と書かれた部分が重要。num_ctxの調節はマスト。
ちなみに自分はGimma4 E4Bを愛用している。20万で買ったデスクトップでも動いてくれるのでありがたい。メモリが32GBしかなくてPCが大変そうなので近々増設する予定である。GPUはIntel UHD Graphicas 770とGTX1650だが、一応動くのでしばらくこれで頑張ってもらう。
リアクションをロード中です...