標籤「llama.cpp」的 2 篇文章

參考先前寫的 在 Windows 上以 CUDA 建置 llama.cpp 的文章，這次在 Fedora 43 環境嘗試相同的做法。只有工具鏈不同，流程幾乎一樣。

這是一份在 Windows 11 環境下，將本機 LLM 推理引擎的代表作 llama.cpp 從原始碼編譯、啟用 NVIDIA GPU 的 CUDA 後端，並實際執行模型的紀錄。