LLM VRAM 用量計算

關於此工具

• 計算結果是以模型權重容量為基礎的概算值，可能與實際 VRAM 用量有所差異。
• 位元數 / 參數可從量化方式的預設值選擇，也可依據已知的 GGUF 檔案大小手動調整。
• 以較長的上下文進行推論時，KV 快取的用量會增加，建議將執行時額外開銷設定得高一些。
• 所有計算皆在瀏覽器內完成，輸入內容不會傳送到伺服器。