РЪКОВОДСТВО ЗА GPU · ОБНОВЕНО НА 10 НОЕМВРИ 2026

Сървър за локални езикови модели: колко GPU памет ви трябва?

Когато големите езикови модели (LLM) работят на ваш собствен хардуер, данните остават при вас, а разходите са предвидими. Първият въпрос винаги е един и същ: колко памет на видеокартата изисква моделът? Тук ще намерите сметката, таблица за оразмеряване и хардуера за всяко ниво — от една карта с 32GB до сървър с осем видеокарти.

Двете числа, които определят паметта

1. Теглата на модела. Умножете броя параметри по байтовете на параметър за точността, с която работите:

  • 16 бита (FP16/BF16): около 2 байта на параметър;
  • 8 бита (FP8/INT8): около 1 байт на параметър;
  • 4 бита (например формати GPTQ, AWQ или GGUF Q4): около 0,5–0,6 байта на параметър.

Модел със 70 милиарда параметъра изисква около 140GB в 16 бита, 70GB в 8 бита и 35–42GB в 4 бита — преди да се зареди каквото и да е друго.

2. Контекстът (KV кешът). Всеки токен в контекста пази ключове и стойности в паметта на видеокартата — за всеки потребител, обслужван едновременно. За 70B модел от типа Llama 3 с grouped-query attention това е около 0,3MB на токен в 16 бита, или около 10GB за един разговор от 32 000 токена. Десет потребители с дълъг контекст може да изискват повече памет за KV кеша, отколкото за самия модел.

Добавете резерв от 10–20% за средата за изпълнение, активациите и фрагментацията на паметта.

Таблица за оразмеряване

Приблизителна памет само за теглата на модела. Оставете място отгоре за KV кеша и средата за изпълнение.

Размер на модела 16 бита 8 бита 4 бита
8B ~16GB ~8GB ~5GB
14B ~28GB ~14GB ~8GB
32B ~64GB ~32GB ~18GB
70B ~140GB ~70GB ~40GB
120B ~240GB ~120GB ~65GB
400B ~800GB ~400GB ~220GB
670B ~1340GB ~670GB ~370GB

Моделите тип mixture-of-experts (MoE) активират само част от параметрите си за всеки токен, което ги прави по-бързи, но всички експерти трябва да са в паметта. Оразмерявайте ги по общия брой параметри.

Какъв хардуер за какви модели

Ориентировъчни цени на NodeX в щатски долари, както са на сайта ни към 10 ноември 2026 г.; ДДС, доставката и наличността се потвърждават в писмената оферта.

Памет на GPU Примерен хардуер Подходящо за
32GB RTX 5090 32GB ($4 690 на карта) 8B–14B в 8 или 16 бита; клас 32B в 4 бита с кратък контекст
48GB RTX 4090 48GB ($4 000) или RTX 3090 48GB ($2 000) Клас 32B в 8 бита; 70B в 4 бита с умерен контекст
96GB RTX PRO 6000 Blackwell ($11 900) или 2 карти по 48GB 70B в 8 бита; MoE от ~120B в 4 бита
141GB H200 NVL ($29 490) 70B в 8 бита с дълъг контекст и много потребители
192–384GB 2–4× RTX PRO 6000 в един сървър 70B в 16 бита; клас 120B в 8 бита; няколко модела едновременно
768GB Сървър с 8× RTX PRO 6000 (от $121 384) Клас 400B в 8 бита; клас 670B в 4 бита

Когато един модел е разделен между няколко видеокарти (тензорен или pipeline паралелизъм), картите постоянно обменят данни. Картите без NVLink комуникират през PCIe — това работи добре за inference, но добавя забавяне; вижте RTX PRO 6000 срещу H200 NVL.

Паметта определя какво се побира, а пропускателната способност — колко бързо

При един потребител скоростта на генериране се ограничава главно от пропускателната способност на паметта, защото теглата се прочитат за всеки токен. Затова H200 NVL (4,8 TB/s) генерира по-бързо от RTX PRO 6000 (1,6 TB/s) и затова по-ниската точност е и по-бърза: 4-битовият модел има четири пъти по-малко байтове за четене от 16-битовия. При много едновременни потребители групирането на заявките прави изчислителната мощ и KV кеша ограничаващи фактори, а софтуер за обслужване като vLLM или SGLang използва видеокартата много по-ефективно от инструментите за един потребител.

Списък за планиране

  1. Изберете моделите

    Избройте моделите, които ще използвате сега и през следващата година, с точността, която е приемлива за качеството.

  2. Оценете потребителите и контекста

    Едновременните потребители и дължината на контекста определят KV кеша. Дългите документи и агентите изискват много повече от чата.

  3. Оставете резерв

    Новите модели обикновено са по-големи. Сървър със свободни слотове позволява да добавите видеокарти по-късно в същата платформа.

  4. Планирайте помещението

    GPU сървърите консумират киловати и са шумни. Решете рано между ваш обект и колокация.

Сървъри за локални езикови модели от NodeX

GPU сървър NodeX NX-G8 Dual SP3 за локални езикови модели
NX-G8 Dual SP3: до 8 видеокарти с два процесора AMD EPYC SP3 и памет DDR4 ECC.

Изграждаме в България GPU сървъри за частен AI inference — от една карта с 48GB до системи с осем видеокарти — и можем да уредим колокация и инсталиране на операционната система. Кажете ни кои модели, колко потребители и каква дължина на контекста планирате и ще предложим конфигурация с писмена оферта.

Често задавани въпроси

Достатъчна ли е 4-битовата квантизация?

За много задачи в чат и асистенти добре направените 4-битови версии на големи модели работят близо до оригинала, а по-голям модел в 4 бита често е по-добър от по-малък модел в 16 бита. За прецизни задачи като код или структурирано извличане на данни тествайте и 8 бита, преди да решите.

Мога ли да комбинирам различни видеокарти в един сървър?

Технически да, но разделянето на един модел между различни видеокарти се ограничава от най-бавната карта и най-малката памет. Еднаквите видеокарти са по-лесни за работа и разширяване.

Трябват ли ми сървърни процесори и ECC памет?

За сървър в реална работа — да: сървърните платформи дават достатъчно PCIe линии за няколко видеокарти на пълна скорост, много канали за памет и ECC памет за надеждност.

Източници

Характеристиките и данните за платформите са от публикуваните източници по-долу (на английски). Цените са от нашия конфигуратор към датата в началото на страницата.