PrivateGPTをローカルで動かしてみた(動かなかった!!)

先に結論を言っとくと、環境がちょっと古すぎて、cpuが拡張命令をサポートしてないせいでコアダンプしてるっぽい

privategpt.ioじゃなくて、githubの方の話
(ていうかこれ名前同じで紛らわしいんだけど、それぞれ別モンだよね?)

実行結果は見ての通りで、お亡くなりになりましたわよ

---

$python privateGPT.py
llama.cpp: loading model from models/ggml-model-q4_0.bin
llama.cpp: can't use mmap because tensors are not aligned; convert to new format to avoid this
llama_model_load_internal: format     = 'ggml' (old version with low tokenizer quality and no mmap support)
llama_model_load_internal: n_vocab    = 32000
llama_model_load_internal: n_ctx      = 1000
llama_model_load_internal: n_embd     = 4096
llama_model_load_internal: n_mult     = 256
llama_model_load_internal: n_head     = 32
llama_model_load_internal: n_layer    = 32
llama_model_load_internal: n_rot      = 128
llama_model_load_internal: ftype      = 2 (mostly Q4_0)
llama_model_load_internal: n_ff       = 11008
llama_model_load_internal: n_parts    = 1
llama_model_load_internal: model size = 7B
llama_model_load_internal: ggml ctx size = 4113748.20 KB
llama_model_load_internal: mem required  = 5809.33 MB (+ 2052.00 MB per state)
...................................................................................................
.
llama_init_from_file: kv self size  = 1000.00 MB
AVX = 1 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 1 | VSX = 0 | 
Using embedded DuckDB with persistence: data will be stored in: db
Illegal instruction (コアダンプ)

---

で、どんな環境でやったのかって言うと、cpuは Ivy Bridge世代(i5-3550)でosはlinux(Manjaro)。GPUは…何だったかな、Radeon HD6600とかそんなんだったと思う(多分gpu関係ないけど)。ちょっと調べた感じではどうもavx2が使えないとだめっぽいです。ほえ〜
テストデータ state of the union transcript の読み込みは完走した。ただしクッソ時間かかる。2時間くらい？メモリは8Gくらいだったから、クッソ遅いのはメモリのせいかも。いややっぱCPUだな古いし。
動かせたら青空文庫のテキストをデータセットにして見ようと思っていたんだけど、キッツそう。
まあ、動いてないんですけどね