使わなくなったビジネス用ノート PC に GPT4ALL をインストールし、モデルとして　Llama 3 8B Instruct を入れてサーバーを公開した。
詳細は、昨日のブログを見てほしい。

しかし、やはり生成 AI のサーバーとして利用するには厳しいようだ。

まず、日本語でのやりとりになると、英語よりもだんぜんレスポンス時間がかかる。
日本語で少し長めの文章になっただけで、すぐにタイムアウトしてしまう。
タイムアウト時間を増やして対応する方法も考えたのだが、1 人が CPU を占有しっぱなしになるため、やっぱりやめた。
Chapl! のように、過去の会話履歴をプロンプトに含めるなど、もってのほかである。

また、それ以前に、Llama 3 8B Instruct が思った以上に使えないw
会話を楽しむ程度にはいいが、結構とんちんかんな回答をしてくれる。

そうなると、Llama 3 8B Instruct のサーバーでアプリを作る場合は、英語で会話をやりとりする、英会話学習用のチャットアプリ程度しか思い浮かばなかった。

英語の先生
https://www.ikachi.org/english_teacher/

う〜ん。。
アプリとしては、まったく面白くないw

まぁ、同じサーバーで公開している TextAI の API を使えば、この程度のアプリならできますよ、という紹介のためのアプリが妥当だな。