LLM向け ワークステーション
LLM（Large Language Model：大規模言語モデル）向け ワークステーションについて
パソコン工房のワークステーションブランド「SOLUTION∞ Workstation」は、自然言語処理や生成AI、LLMの学習・ファインチューニング・推論など、大規模な計算資源を必要とする用途に特化したモデルをラインナップしています。
プロフェッショナル向けの高性能プロセッサー、グラフィックスカードを搭載し、高い冷却性能を備えたケースやクーラーを組み合わせることで、一般的なパソコンと比べて高負荷な処理でも長時間安定して動作するよう設計されています。安心の国内生産に加え、標準で3年間の製品保証に対応しています。
LLM向け ワークステーション
7B程度のデータサイズにおすすめ ワークステーション
27B程度のデータサイズにおすすめ ワークステーション
70B程度のデータサイズにおすすめ ワークステーション
LLM向け ワークステーションのおすすめポイント
グラフィックスカード
ローカル環境でLLMを動作させる際、モデルの推論/学習処理は主にグラフィックスカードで行われ、CPUなどに比べ、高速に処理することができます。特に、大規模モデル使用時にVRAMの容量が処理時間に直結し、VRAMが不足すると動作が遅くなったり場合によっては動作しないなどが起こりえます。
モデルごとに持つパラメータ（1B＝10億パラメータ）の規模に合わせてVRAM容量をもつグラフィックスカードを選択することが重要になります。
また、1台のパソコンに搭載する複数のグラフィックスカードのVRAMを合算して使用することができるため2基や4基など、複数のグラフィックスカードを搭載したパソコンを選択することも有効です。
・7Bクラスのモデルサイズ：VRAM24GB以上のGeForce RTX™シリーズやAMD Radeon™
・27Bクラスのモデルサイズ：VRAM48GB以上のNVIDIA RTX PRO™シリーズやAMD Radeon™ AI PRO
・70Bクラスのモデルサイズ：VRAM140GB以上のNVIDIA RTX PRO™シリーズ複数枚構成やAMD Radeon™ AI PRO
GeForceやRadeonはゲーム向けに最適化されており、短時間のピークパフォーマンスに特化した調整のため、長時間稼働時の安定性や信頼性にやや劣ります。特に学習用途の場合、長時間稼働になることから、プロフェッショナルグラフィックスカードであるRTX PROシリーズやRadeon AI PROシリーズがおすすめです。
メモリ
LLMをローカルで動かすには、メモリ容量にも注意が必要です。モデルの読み込みには大量のメモリが必要で、推論時にも中間処理やキャッシュでさらに消費されます。特に複数プロセスや長文処理では、メモリ不足が性能低下などの原因になります。INT4量子化でGPU負荷を軽減しても、CPUメモリがボトルネックになることがあります。そのため、搭載するグラフィックスカードのVRAM容量の2倍以上を搭載することが推奨値となります。
CPU
モデルの読み込みやトークン処理、並列実行などでCPUの性能が影響します。GPUを複数使用する場合にはCPUのPCI-Expressのレーン数の考慮も必要です。規模・用途に合わせたCPUがおすすめです。
・7Bクラスのモデルサイズ：インテル® Core™ Ultra 7またはAMD Ryzen™ 7以上
・27Bクラスのモデルサイズ：インテル® Core™ Ultra 9またはAMD Ryzen™ 9以上
・70Bクラスのモデルサイズ：インテル® Core™ Ultra 9、インテル® Xeon®シリーズまたはAMD Ryzen™ Threadripper 以上
ストレージ
LLMで使用するモデルファイル自体が数GB〜数十GBと大容量のため、複数のモデルを扱う場合、ストレージ容量は多いに越したことはありません。 メインストレージに1TB以上のNVMe SSDを搭載し、また複数のモデルを扱うときや生成物を大量に保存するときには、2ndドライブ以降に1TB以上のストレージ増設をおすすめいたします。
法人・個人事業主・学校・官公庁・各種団体のお客様！ご購入相談は担当スタッフへお任せください
入荷日のご相談はじめ、法人・学校・官公庁様の各種導入ご相談などを、オンライン法人アドバイザーが承っております。お気軽にご相談ください。
お電話
受付電話番号0570-550-922
※音声案内に従って1番をご選択ください。 （受付時間：10:00～18:00 / 年中無休）
※ナビダイヤルをご使用でないお客様は 03-6731-4055 までお問い合わせください。
チャット
お手軽簡単！チャットでのご相談をご利用いただけます。
メール（お問い合わせフォーム）
仕様書や他社見積書からの商品選定もお受付しております。
※添付ファイルをお送りいただく場合は、弊社からお送りする「お問い合わせ受付メール」に添付してご返送ください。
オンライン商談
ビジネスご優待会員様はオンライン商談をご利用いただけます。Zoomを利用した対面商談で商品をご案内いたします。
※受付時間外にお問い合わせをいただいた場合、翌日営業時間の回答となります。予めご了承ください。
