「llama.cpp」タグの記事が1件件あります

ローカル LLM 推論エンジンの定番である llama.cpp を、Windows 11 環境で NVIDIA GPU の CUDA バックエンドを有効にしてソースからビルドし、実際にモデルを動かすところまでの記録。