スポンサーリンク

M1 Mac mini(RAM16GB)にGPT4ALLを入れてみた。

ChatGPTライクなUIのローカルLLMを構築できるGPT4Allとは?
ChatGPTやMicrosoft Copilotなどの生成AIサービスは「情報漏えいなどが心配」と感じているのならば、手元のWindows 10/11上でLLM(大規模言語モデル)を実行すればよい。ChatGPTライクなユーザーインタフェ...

先日、上の記事を見かけ、
GPT4ALLという、ChatGPTのようなUIを備えつつ、
ローカルでLLMを使えるようになるツールを知りました。
問題は、ウチのPCで動くのかな? というところ。
ChatGPTに確認するとこの答え。
ChatGPT - GPT4All 動作要件
Shared via ChatGPT

M1 Mac miniも、ThinkPad先生でも、なんとか動きそうな雰囲気?
ということで、M1 Mac miniにとりあえず入れてみることに。
インストール自体は問題なく完了。
ただ、問題はここからで。
Modelを別途、入れる必要があるのですが、
欲張ってパラメータの大きなModelに挑戦!
画面左「Models」をクリックし、
「HuggingFace」を選択。
検索欄に「JP」や「Japanese」と入力して日本語対応していそうなものを探し。
70B、ファイルサイズ30GBオーバーの
Llama-3.1-70B-Japanese-Instruct-2407-gguf
にしてみました。
……が、時間をかけてダウンロードしたものの、
いざ動かそう、となると全然……
重くて、まったく使い物にならず。
検索してみると
「Llama2 70Bモデルを動かすとなると、GPUのメモリは80GB以上は必要になってきます」
なんて話も見かけ。
airllmを使ってT4で70B LLMの推論を実行してみる | 株式会社AI Shift
AI ShiftのTECH BLOGです。AI技術の情報や活用方法などをご案内いたします。

そりゃ駄目ですよねー。
事前の調べが足りませんでした……。
改めて8BのModelを入れ直して動作確認。
tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-gguf
にしてみると、実用できるレベルの速度で動作!
少し触った感じでは日本語も問題なさそうです。
速度、出力の質を考えると
普段はChatGPTやClaudeを使うのは変わらなそうですが、
ローカルで閉じたいことについてはGPT4ALLで、
というのはありかも、と思えるくらいではありました。
LocalDocsにファイルを用意して、
それについて答えさせることもできるようなので、
ChatGPTなどにアップしたくないことを扱うのはありなのでは?
と。どれくらい動くか、は、あらかじめ確認が必要ですけれど。

ただ……
職場のPCのスペック的には動かなそうなんですよねー。
本当に使いたいのはそちら、なのですが。

ともかく、実験的にGPT4ALLでの遊び、
続けてみたいと思います。

コメント

タイトルとURLをコピーしました