NVIDIA ve Supermicro Yapay Zekâ, GPU ve HPC Altyapıları

Yapay zekâ veri merkezi altyapısı tasarımı

Bir yapay zekâ altyapısı yalnızca GPU'dan oluşmaz. Model eğitimi ve çıkarım (inference) performansını; GPU'lar arası bağlantı, depolama hızı, ağ kumaşı (fabric), soğutma ve yazılım yığını birlikte belirler. LLM eğitme için GPU cluster kurulumu projelerinde bu katmanların tamamını tek mimaride ele alıyoruz.

NVIDIA GPU sunucular ve platformlar

• NVIDIA DGX H100 / H200: anahtar teslim AI sunucu kurulumu, DGX SuperPOD mimari danışmanlığı
• NVIDIA HGX: OEM sunuculara entegre 8-GPU platformlar ve HGX GPU altyapı mimarisi tasarımı
• H100 SXM5 80GB HBM3, PCIe sürümleri ve L40S, A100 GPU seçenekleri; H100 SXM5 ile PCIe performans karşılaştırması
• NVIDIA MGX: modüler AI sunucu mimarisi
• NVIDIA BlueField DPU: ağ, depolama ve güvenlik iş yüklerini CPU'dan alma; VMware NSX offload
• DGX Cloud entegrasyonu ve şirket içi altyapıdan DGX Cloud'a hibrit senaryolar

Supermicro GPU ve yüksek performanslı sunucular

• Supermicro GPU sunucu satışı ve kurulumu: SYS-421GE-TNRT, SYS-221H-TNR gibi GPU ve genel amaçlı modeller
• Supermicro NVIDIA HGX H100 8-GPU sunucu ve H100/H200 entegrasyonu
• Hyper SuperServer, SuperBlade, MicroBlade, Twin, FatTwin ve TwinPro yüksek yoğunluklu sunucular
• AMD EPYC ve Intel Xeon tabanlı sunucular, 1U/2U/4U rack seçenekleri
• NVMe ve All-Flash depolama sunucuları: E1.S/E3.S NVMe, PCIe Gen5 NVMe-oF, JBOD genişleme
• Building Block Solutions ve Cloud Verified Infrastructure (CVI)
• Sıvı soğutma: liquid cooling, liquid-to-air çözümler ve GPU sunucu manifold kurulumu

Ağ kumaşı: InfiniBand ve Ethernet

• NVIDIA Quantum-2 InfiniBand ve NDR 400G switch ayarları, Subnet Manager yapılandırması
• NVIDIA Spectrum Ethernet switch ve Cumulus Linux işletim sistemi
• ConnectX-6 / ConnectX-7 NIC, LinkX AOC ve DAC kablolar
• RoCE v2: kayıpsız Ethernet için PFC (Priority Flow Control) ayarları; InfiniBand ile RoCE v2 karşılaştırması
• NCCL ile çoklu GPU iletişim optimizasyonu, GPUDirect Storage (GDS) konfigürasyonu
• Mellanox NEO ağ yönetim yazılımı ve Supermicro InfiniBand fabric kurulumu

Yazılım yığını

• NVIDIA AI Enterprise (NVAIE): yazılım lisanslama, kurumsal destek ve lisans alma
• CUDA sürücü kurulumu ve optimizasyon, NGC container kütüphanesi
• NeMo ile LLM altyapısı, Triton Inference Server ve TensorRT ile çıkarım
• Base Command Manager ile küme yönetimi, Kubernetes Device Plugin ile GPU zamanlama
• Omniverse kurumsal sunucu kurulumu
• Supermicro sunucularda Red Hat OpenShift AI

GPU sanallaştırma (vGPU) ve MIG

• NVIDIA vGPU (Grid) kurulumu, VMware vSphere ve Nutanix AHV üzerinde vGPU
• vGPU License System (CLS/DLS) kurulumu ve vGPU profilleri (Q/B/A) tanımlama
• Omnissa Horizon VDI ile vGPU entegrasyonu, GPU passthrough (VMware/KVM)
• MIG (Multi-Instance GPU): tek GPU'yu izole bölümlere ayırma

İşletim, soğutma ve destek

GPU sunucu soğutma ve iklimlendirme, PUE optimizasyonu, PSU yük dengeleme ve rack montaj hizmeti veriyoruz. Supermicro IPMI uzaktan yönetim, BMC Redfish API, Chassis Management Module (CMM), Supermicro Server Manager (SSM), BIOS/BMC güncelleme ve fan profili ayarlarını yapıyoruz. NVIDIA AI sunucu yetkili satış noktası olarak AI altyapı danışmanlık paketleri, GPU sunucu kiralama ve bare metal seçenekleri, yetkili bakım anlaşmaları ve Supermicro sunucu yedek parça temini sunuyoruz.

Arıza giderme ve bakım

• NVIDIA GPU sürücü hatası ve CUDA sorun giderme, Supermicro over-temperature uyarısı analizi
• Supermicro IPMI KVM HTML5 erişim hatası ve BMC sıfırlama
• SAS3/SAS4 Broadcom HBA, SAS expander backplane ve Omni-Path/InfiniBand kart montajı
• FatTwin node bazlı güç yönetimi ve redundant PSU yapılandırması
• AI ve derin öğrenme sunucuları için yapay zekâ laboratuvarı kurulumu

Sık sorulan sorular