LLM VRAM 使用量計算
パラメータ数と量子化方式を指定すると、推論に必要な VRAM 容量の目安を計算する。
Loading...
このツールについて
- 計算結果はモデルの重み容量を基にした概算値であり、実際の VRAM 使用量とは異なる場合がある。
- ビット数 / 重みは量子化方式のプリセットから選べるほか、既知の GGUF ファイルサイズなどに合わせて手動で調整できる。
- 長いコンテキストで推論する場合、KV キャッシュの消費が大きくなるため実行時オーバーヘッドを高めに設定する。
- 計算はすべてブラウザ内で完結し、入力内容がサーバーに送信されることはない。