• TWEAK
• Hardware
• Processor

AI startup: AMD slår NVIDIA på AI GPU

AI-startuppen TensorWave er en af de første med en offentligt implementeret setup, der er drevet af AMD Instinct MI300X AI-acceleratorer. Ifølge CEO'en, Jeff Tatarchuk, er disse acceleratorer en langt bedre mulighed end NVIDIAs dominerende Hopper H100 AI GPU. TensorWave er begyndt at opbygge AI-systemer drevet af AMD's nyeste Instinct MI300X AI-accelerator, som firmaet planlægger at lease til en brøkdel af prisen på NVIDIAs Hopper H100 AI GPU. 

TensorWave planlægger at have 20.000 af AMD's nye Instinct MI300X AI-acceleratorer før udgangen af året på to faciliteter, og har planer om at have flydende kølesystemer online i 2025. Jeff Tatarchuk siger, at AMD's nye Instinct MI300X AI GPU er "dominerende over H100" i "rene specs", og han tager ikke fejl. Men det gælder for den oprindelige H100 med 40GB og 80GB HBM3-optioner, mens en forbedret H200 har en meget større kapacitet på 141GB HBM3e-hukommelse med op til 4,8TB/sek af hukommelsesbåndbredde. 

Men når Blackwell B200 er her, har NVIDIA AI GPU-markedet med 192TB af HBM3e ved 8TB/sek hukommelsesbåndbredde kan det ændre sig. AMD har hidtil flest VRAM på en AI GPU, hvor NVIDIA hænger bagud med H100 og 80GB ved sine grænser, medmindre du er i Kina, med adgang til H100 96GB-modeller, og selv den kommende H200 med 141GB HBM3e, men det er ikke lige så meget og ikke lige så hurtigt som Instinct MI300X fra AMD. 

Men det handler ikke kun om ren hardware og VRAM til AI-workloads. De faktiske AI-acceleratorer eller AI-GPU'er skal også kunne levere den samme ydeevne som NVIDIAs dominerende H100 AI GPU'er. Tatarchuk siger, at der er stor entusiasme omkring AMD's nye Instinct MI300X AI-acceleratorer som et godt alternativ til NVIDIA, men kunderne er ikke sikre på, om de vil få den samme ydeevne.