
item | value |
---|---|
Направление оптимизации | Оптимизация вывода моделей AI |
Модель | 1288H V5-AI |
Тип платформы | Специализированная платформа для вывода AI |
Серия процессоров | Серия Intel Xeon Platinum |
Модель процессора | Xeon Platinum 8462Y 2.8 ГГц |
Количество ядер | 32 ядра, 64 потока |
Базовая частота | 2.8 ГГц |
Макс. турбо частота | 4.1 ГГц |
Ускорение AI | AMX и DL Boost |
Технология памяти | DDR5-4800 ECC RDIMM |
Объем памяти | 1 ТБ(16×64 ГБ) |
Пропускная способность памяти | 307.2 ГБ/с |
Модель GPU | NVIDIA A100 40GB PCIe |
Количество GPU | 4 GPU |
Общая видеопамять | 160GB GDDR6 |
Тензорные ядра | Тензорные ядра 3-го поколения |
Тип накопителей | U.2 NVMe SSD |
Емкость хранения | 8×3.2 ТБ NVMe SSD |
Производительность чтения/записи | Последовательное чтение 7000 МБ/с |
Производительность IOPS | Случайное чтение 1.5M IOPS |
Сетевая технология | 200Gb InfiniBand HDR |
Сетевой контроллер | Mellanox ConnectX-6 DX |
Поддержка RDMA | RoCE и iWARP |
Производительность вывода | 10000 кадров/с@ResNet-50 |
Поддержка точности | FP16, INT8, FP8 |
Развертывание моделей | Triton сервер вывода |
AI фреймворки | TensorRT, OpenVINO |
Поддержка контейнеров | Оптимизированные контейнеры NGC |
Инструменты оркестрации | Kubernetes AI редакция |
Спецификация БП | 3200W Платиновый уровень |
Управление питанием | GPU-осознанное управление питанием |
Система охлаждения | Решение принудительного воздушного охлаждения |
Тепловой дизайн | Воздуховоды направленного охлаждения GPU |
Управление AI | Мониторинг производительности моделей |
Планирование ресурсов | Интеллектуальное распределение ресурсов GPU |
Пропускная способность | Пропускная способность вывода в реальном времени |
Производительность задержки | Сквозная задержка вывода <5мс |
Компьютерное зрение | Распознавание изображений в реальном времени |
Обработка естественного языка | Интеллектуальные диалоговые системы |
Рекомендательные системы | Персонализированные рекомендации в реальном времени |
Интеграция с облаком | Гибридное развертывание вывода AI |
Готовность к периферии | Оптимизировано для периферийного вывода |