AI-прискорювачі поза TOPS: пам’ять, пропускна здатність і реальні навантаження

Порівняння AI-прискорювачів часто починається з одного великого числа: TOPS, FLOPS або заявленого виробником прискорення. Ці показники можуть бути корисними, але лише тоді, коли відомі навантаження й умови вимірювання. Система, що виконує величезну кількість арифметичних операцій низької точності, усе одно може бути невдалим вибором, якщо модель не вміщується в пам’ять, дані переміщуються надто повільно або потрібний програмний шлях ще недостатньо зрілий.

Практичне запитання — не «У якого чипа найбільше число?», а «Що заважає цьому навантаженню давати потрібний результат за потрібних latency, витрат і споживаної потужності?»

Місткість визначає, чи вміститься модель

Ваги моделі, стан runtime і key-value cache споживають пам’ять прискорювача. Довші контексти й більша кількість одночасних запитів збільшують робочий набір даних. Якщо він не вміщується, системі може знадобитися розподілити модель між пристроями або переміщувати дані повільнішим шляхом. Обидва варіанти ускладнюють обмін даними й експлуатацію.

Сучасні продукти для data center показують, чому місткість пам’яті стала однією з ключових характеристик. NVIDIA документує 141 GB HBM3e для H200, а в корпоративних матеріалах наводить більші місткості для пізніших систем Blackwell. AMD документує до 288 GB HBM3E для серії MI350. Ці цифри не доводять, який пристрій виграє на конкретному навантаженні: вони показують, що утримання більших робочих наборів поблизу обчислювальних блоків стало центральною метою проєктування.

Пропускна здатність визначає швидкість подачі даних

Під час inference великі мовні моделі багаторазово переміщують ваги й стан через пам’ять. На деяких етапах арифметичні блоки можуть чекати на дані, а не потребувати додаткової теоретичної обчислювальної потужності. High-bandwidth memory покликана зменшити це вузьке місце.

NVIDIA наводить 4.8 TB/s для H200 і до 8 TB/s для конфігурацій B200/B300. AMD наводить до 8 TB/s для MI350. Це пікові характеристики за визначених умов продукту. Найкраще використовувати їх для виявлення можливого обмеження, а не для самостійного прогнозування throughput застосунку.

Точність змінює і швидкість, і зміст порівняння

Формати нижчої точності можуть зменшити використання пам’яті та збільшити throughput, але результат залежить від підтримки моделі, методу quantization, програмних kernels і прийнятної втрати якості. Заявлений показник FP4 або INT8 не варто прямо порівнювати з вимогою FP16, наче йдеться про однакові навантаження.

З’ясуйте, яку точність модель використовує насправді, чи повторно оцінювали accuracy після перетворення та які частини workflow залишаються на вищій точності. Пікова продуктивність низької точності має цінність лише тоді, коли застосунок може її використати без порушення цільового рівня якості.

Benchmark має відповідати роботі

MLCommons описує MLPerf Inference як відкритий, рецензований та архітектурно нейтральний набір benchmarks. Його цінність не в тому, що одна таблиця назавжди ранжує все обладнання, а в тому, що системи тестують за визначеними моделями, сценаріями й правилами.

Інтерактивне обслуговування запитів, offline batch inference, генерація зображень і розпізнавання мовлення навантажують різні частини системи. Навіть для мовних моделей довжина вхідного й вихідного тексту, batch size та обмеження latency можуть змінювати результат. Порівнюйте подані результати лише тоді, коли навантаження, цільова accuracy і сценарій відповідають вашому використанню.

П’ять складових вибору обладнання

1. Місткість: чи вмістяться модель, cache і цільовий рівень одночасних запитів у доступну пам’ять?
2. Переміщення даних: чи можуть пропускна здатність або interconnect обмежувати навантаження?
3. Точність: які типи даних підтримуються на всьому шляху без неприйнятної втрати якості?
4. Програмне забезпечення: чи достатньо зрілі framework, kernels, drivers та інструменти deployment для цієї моделі?
5. Результат системи: які виміряні latency, throughput, споживана потужність і витрати за вашого профілю запитів?

Характеристики обладнання звужують пошук. Репрезентативне оцінювання визначає вибір. Для менших локальних навантажень читайте «Обладнання для локального AI: NPU, GPU чи cloud?». Загальніший метод оцінювання описано в матеріалі «Як оцінити AI-агента».

Першоджерела

• NVIDIA H200 product specifications
• NVIDIA HGX enterprise reference architecture
• AMD CDNA architecture and MI350 specifications
• MLPerf Inference v5.1

Примітка про джерела й адаптацію: це оригінальний пояснювальний матеріал Stariy.com про обладнання. Загальний підхід до проєктування систем сформовано з урахуванням AI Agents in Depth: Design Principles and Engineering Practice авторства Bojie Li та співавторів, що поширюється за Apache License 2.0. Текст і аналіз розроблено незалежно.