Jim Keller-ledda chipföretaget Tenstorrent har släppt nästa generations Wormhole-processor för AI-arbetsbelastningar, som de förväntar sig erbjuda bra prestanda till ett överkomligt pris.Företaget erbjuder för närvarande ytterligare två PCIe-kort som kan hantera en eller två Wormhole-processorer, samt TT-LoudBox- och TT-QuietBox-arbetsstationer för mjukvaruutvecklare. Alla dagens tillkännagivanden riktar sig till utvecklare, inte de som använder Wormhole-kort för kommersiella arbetsbelastningar.
”Det är alltid glädjande att få fler av våra produkter i händerna på utvecklare. Utvecklingssystem med hjälp av våra Wormhole™-kort kan hjälpa utvecklare att skala upp och utveckla AI-programvara med flera chip”, säger Jim Keller, VD för Tenstorrent.Utöver den här lanseringen är vi glada över att se de framsteg vi gör med utrullningen och uppstarten av vår andra generationens produkt, Blackhole.”
Varje Wormhole-processor innehåller 72 Tensix-kärnor (varav fem stöder RISC-V-kärnor i olika dataformat) och 108 MB SRAM, vilket ger 262 FP8 TFLOPS vid 1 GHz med en termisk designeffekt på 160 W. Wormhole n150-kortet med en enda chip är utrustat med 12 GB GDDR6-videominne och har en bandbredd på 288 GB/s.
Wormhole-processorer erbjuder flexibel skalbarhet för att möta de olika behoven hos arbetsbelastningar. I en standardarbetsstation med fyra Wormhole n300-kort kan processorerna kombineras till en enda enhet som visas i programvaran som ett enhetligt, brett Tensix-kärnnätverk. Denna konfiguration gör det möjligt för acceleratorn att hantera samma arbetsbelastning, dela upp mellan fyra utvecklare eller köra upp till åtta olika AI-modeller samtidigt. En viktig funktion i denna skalbarhet är att den kan köras lokalt utan behov av virtualisering. I en datacentermiljö använder Wormhole-processorer PCIe för expansion inuti maskinen eller Ethernet för extern expansion.
Prestandamässigt uppnådde Tenstorrents Wormhole n150-kort med en chip (72 Tensix-kärnor, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandbredd) 262 FP8 TFLOPS vid 160W, medan Wormhole n300-kortet med två chip (128 Tensix-kärnor, 1 GHz-frekvens, 192 MB SRAM, sammanlagt 24 GB GDDR6, 576 GB/s bandbredd) levererar upp till 466 FP8 TFLOPS vid 300W.
För att sätta 300W med 466 FP8 TFLOPS i ett sammanhang jämför vi det med vad AI-marknadsledaren Nvidia erbjuder vid denna termiska designeffekt. Nvidias A100 stöder inte FP8, men den stöder INT8, med en topprestanda på 624 TOPS (1 248 TOPS vid sparse). Som jämförelse stöder Nvidias H100 FP8 och når en topprestanda på 1 670 TFLOPS vid 300W (3 341 TFLOPS vid sparse), vilket skiljer sig avsevärt från Tenstorrents Wormhole n300.
Det finns dock ett stort problem. Tenstorrents Wormhole n150 säljs för 999 dollar, medan n300 säljs för 1 399 dollar. Som jämförelse säljs ett enda Nvidia H100-grafikkort för 30 000 dollar, beroende på kvantitet. Naturligtvis vet vi inte om fyra eller åtta Wormhole-processorer faktiskt kan leverera prestandan hos en enda H300, men deras TDP är 600 W respektive 1 200 W.
Utöver korten erbjuder Tenstorrent färdiga arbetsstationer för utvecklare, inklusive fyra n300-kort i den mer prisvärda Xeon-baserade TT-LoudBox med aktiv kylning, och den avancerade TT-QuietBox med EPYC-baserad Xiaolong-vätskekylningsfunktion.
Publiceringstid: 29 juli 2024