РЪКОВОДСТВО ЗА GPU · ОБНОВЕНО НА 10 НОЕМВРИ 2026
Сървър за локални езикови модели: колко GPU памет ви трябва?
Когато големите езикови модели (LLM) работят на ваш собствен хардуер, данните остават при вас, а разходите са предвидими. Първият въпрос винаги е един и същ: колко памет на видеокартата изисква моделът? Тук ще намерите сметката, таблица за оразмеряване и хардуера за всяко ниво — от една карта с 32GB до сървър с осем видеокарти.
Двете числа, които определят паметта
1. Теглата на модела. Умножете броя параметри по байтовете на параметър за точността, с която работите:
- 16 бита (FP16/BF16): около 2 байта на параметър;
- 8 бита (FP8/INT8): около 1 байт на параметър;
- 4 бита (например формати GPTQ, AWQ или GGUF Q4): около 0,5–0,6 байта на параметър.
Модел със 70 милиарда параметъра изисква около 140GB в 16 бита, 70GB в 8 бита и 35–42GB в 4 бита — преди да се зареди каквото и да е друго.
2. Контекстът (KV кешът). Всеки токен в контекста пази ключове и стойности в паметта на видеокартата — за всеки потребител, обслужван едновременно. За 70B модел от типа Llama 3 с grouped-query attention това е около 0,3MB на токен в 16 бита, или около 10GB за един разговор от 32 000 токена. Десет потребители с дълъг контекст може да изискват повече памет за KV кеша, отколкото за самия модел.
Добавете резерв от 10–20% за средата за изпълнение, активациите и фрагментацията на паметта.
Таблица за оразмеряване
Приблизителна памет само за теглата на модела. Оставете място отгоре за KV кеша и средата за изпълнение.
| Размер на модела | 16 бита | 8 бита | 4 бита |
|---|---|---|---|
| 8B | ~16GB | ~8GB | ~5GB |
| 14B | ~28GB | ~14GB | ~8GB |
| 32B | ~64GB | ~32GB | ~18GB |
| 70B | ~140GB | ~70GB | ~40GB |
| 120B | ~240GB | ~120GB | ~65GB |
| 400B | ~800GB | ~400GB | ~220GB |
| 670B | ~1340GB | ~670GB | ~370GB |
Моделите тип mixture-of-experts (MoE) активират само част от параметрите си за всеки токен, което ги прави по-бързи, но всички експерти трябва да са в паметта. Оразмерявайте ги по общия брой параметри.
Какъв хардуер за какви модели
Ориентировъчни цени на NodeX в щатски долари, както са на сайта ни към 10 ноември 2026 г.; ДДС, доставката и наличността се потвърждават в писмената оферта.
| Памет на GPU | Примерен хардуер | Подходящо за |
|---|---|---|
| 32GB | RTX 5090 32GB ($4 690 на карта) | 8B–14B в 8 или 16 бита; клас 32B в 4 бита с кратък контекст |
| 48GB | RTX 4090 48GB ($4 000) или RTX 3090 48GB ($2 000) | Клас 32B в 8 бита; 70B в 4 бита с умерен контекст |
| 96GB | RTX PRO 6000 Blackwell ($11 900) или 2 карти по 48GB | 70B в 8 бита; MoE от ~120B в 4 бита |
| 141GB | H200 NVL ($29 490) | 70B в 8 бита с дълъг контекст и много потребители |
| 192–384GB | 2–4× RTX PRO 6000 в един сървър | 70B в 16 бита; клас 120B в 8 бита; няколко модела едновременно |
| 768GB | Сървър с 8× RTX PRO 6000 (от $121 384) | Клас 400B в 8 бита; клас 670B в 4 бита |
Когато един модел е разделен между няколко видеокарти (тензорен или pipeline паралелизъм), картите постоянно обменят данни. Картите без NVLink комуникират през PCIe — това работи добре за inference, но добавя забавяне; вижте RTX PRO 6000 срещу H200 NVL.
Паметта определя какво се побира, а пропускателната способност — колко бързо
При един потребител скоростта на генериране се ограничава главно от пропускателната способност на паметта, защото теглата се прочитат за всеки токен. Затова H200 NVL (4,8 TB/s) генерира по-бързо от RTX PRO 6000 (1,6 TB/s) и затова по-ниската точност е и по-бърза: 4-битовият модел има четири пъти по-малко байтове за четене от 16-битовия. При много едновременни потребители групирането на заявките прави изчислителната мощ и KV кеша ограничаващи фактори, а софтуер за обслужване като vLLM или SGLang използва видеокартата много по-ефективно от инструментите за един потребител.
Списък за планиране
-
Изберете моделите
Избройте моделите, които ще използвате сега и през следващата година, с точността, която е приемлива за качеството.
-
Оценете потребителите и контекста
Едновременните потребители и дължината на контекста определят KV кеша. Дългите документи и агентите изискват много повече от чата.
-
Оставете резерв
Новите модели обикновено са по-големи. Сървър със свободни слотове позволява да добавите видеокарти по-късно в същата платформа.
-
Планирайте помещението
GPU сървърите консумират киловати и са шумни. Решете рано между ваш обект и колокация.
Сървъри за локални езикови модели от NodeX

Изграждаме в България GPU сървъри за частен AI inference — от една карта с 48GB до системи с осем видеокарти — и можем да уредим колокация и инсталиране на операционната система. Кажете ни кои модели, колко потребители и каква дължина на контекста планирате и ще предложим конфигурация с писмена оферта.
Често задавани въпроси
Достатъчна ли е 4-битовата квантизация?
За много задачи в чат и асистенти добре направените 4-битови версии на големи модели работят близо до оригинала, а по-голям модел в 4 бита често е по-добър от по-малък модел в 16 бита. За прецизни задачи като код или структурирано извличане на данни тествайте и 8 бита, преди да решите.
Мога ли да комбинирам различни видеокарти в един сървър?
Технически да, но разделянето на един модел между различни видеокарти се ограничава от най-бавната карта и най-малката памет. Еднаквите видеокарти са по-лесни за работа и разширяване.
Трябват ли ми сървърни процесори и ECC памет?
За сървър в реална работа — да: сървърните платформи дават достатъчно PCIe линии за няколко видеокарти на пълна скорост, много канали за памет и ECC памет за надеждност.
Източници
Характеристиките и данните за платформите са от публикуваните източници по-долу (на английски). Цените са от нашия конфигуратор към датата в началото на страницата.
