先に結論を言っとくと、環境がちょっと古すぎて、cpuが拡張命令をサポートしてないせいでコアダンプしてるっぽい
privategpt.ioじゃなくて、
githubの方の話
(ていうかこれ名前同じで紛らわしいんだけど、それぞれ別モンだよね?)
実行結果は見ての通りで、お亡くなりになりましたわよ
$python privateGPT.py
llama.cpp: loading model from models/ggml-model-q4_0.bin
llama.cpp: can't use mmap because tensors are not aligned; convert to new format to avoid this
llama_model_load_internal: format = 'ggml' (old version with low tokenizer quality and no mmap support)
llama_model_load_internal: n_vocab = 32000
llama_model_load_internal: n_ctx = 1000
llama_model_load_internal: n_embd = 4096
llama_model_load_internal: n_mult = 256
llama_model_load_internal: n_head = 32
llama_model_load_internal: n_layer = 32
llama_model_load_internal: n_rot = 128
llama_model_load_internal: ftype = 2 (mostly Q4_0)
llama_model_load_internal: n_ff = 11008
llama_model_load_internal: n_parts = 1
llama_model_load_internal: model size = 7B
llama_model_load_internal: ggml ctx size = 4113748.20 KB
llama_model_load_internal: mem required = 5809.33 MB (+ 2052.00 MB per state)
...................................................................................................
.
llama_init_from_file: kv self size = 1000.00 MB
AVX = 1 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 1 | VSX = 0 |
Using embedded DuckDB with persistence: data will be stored in: db
Illegal instruction (コアダンプ)
で、どんな環境でやったのかって言うと、cpuは Ivy Bridge世代(i5-3550)でosはlinux(Manjaro)。GPUは…何だったかな、Radeon HD6600とかそんなんだったと思う(多分gpu関係ないけど)。ちょっと調べた感じではどうもavx2が使えないとだめっぽいです。ほえ〜
テストデータ
state of the union transcript の読み込みは完走した。ただしクッソ時間かかる。2時間くらい?メモリは8Gくらいだったから、クッソ遅いのはメモリのせいかも。いややっぱCPUだな古いし。
動かせたら青空文庫のテキストをデータセットにして見ようと思っていたんだけど、キッツそう。
まあ、動いてないんですけどね