Jim Keller-ledda chipföretaget Tenstorrent har släppt sin nästa generations Wormhole-processor för AI-arbetsbelastningar, som man förväntar sig att ge bra prestanda till ett överkomligt pris.Företaget erbjuder för närvarande ytterligare två PCIe-kort som kan rymma en eller två Wormhole-processorer, samt TT-LoudBox och TT-QuietBox-arbetsstationer för mjukvaruutvecklare. Alla dagens meddelanden riktar sig till utvecklare, inte de som använder Wormhole-kort för kommersiella arbetsbelastningar.
”Det är alltid glädjande att få fler av våra produkter i händerna på utvecklare. Släpp utvecklingssystem som använder våra Wormhole™-kort kan hjälpa utvecklare att skala och utveckla multi-chip AI-mjukvara, säger Jim Keller, vd för Tenstorrent.Utöver denna lansering är vi glada över att se de framsteg vi gör med bandet ut och uppstart av vår andra generationens produkt, Blackhole.”
Varje Wormhole-processor innehåller 72 Tensix-kärnor (varav fem stöder RISC-V-kärnor i olika dataformat) och 108 MB SRAM, som levererar 262 FP8 TFLOPS vid 1 GHz med en termisk designeffekt på 160W. Single-chip Wormhole n150-kortet är utrustat med 12 GB GDDR6-videominne och har en bandbredd på 288 GB/s.
Maskhålsprocessorer ger flexibel skalbarhet för att möta de olika behoven av arbetsbelastningar. I en standardarbetsstationsuppställning med fyra Wormhole n300-kort kan processorerna kombineras till en enda enhet som visas i programvaran som ett enhetligt, brett Tensix-kärnnätverk. Denna konfiguration tillåter acceleratorn att hantera samma arbetsbelastning, delad mellan fyra utvecklare eller köra upp till åtta olika AI-modeller samtidigt. En nyckelfunktion i denna skalbarhet är att den kan köras lokalt utan behov av virtualisering. I en datacentermiljö kommer Wormhole-processorer att använda PCIe för expansion inuti maskinen, eller Ethernet för extern expansion.
När det gäller prestanda uppnådde Tenstorrents enchips Wormhole n150-kort (72 Tensix-kärnor, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandbredd) 262 FP8 TFLOPS vid 160W, medan dual-chip Wormhole-kortet n300 (128 Tensix kärnor, 1 GHz frekvens, 192 MB SRAM, sammanlagt 24 GB GDDR6, 576 GB/s bandbredd) levererar upp till 466 FP8 TFLOPS vid 300W.
För att sätta 300W av 466 FP8 TFLOPS i ett sammanhang, jämför vi det med vad AI-marknadsledaren Nvidia erbjuder med denna termiska designkraft. Nvidias A100 stöder inte FP8, men den stöder INT8, med toppprestanda på 624 TOPS (1 248 TOPS när gles). Som jämförelse stöder Nvidias H100 FP8 och når en toppprestanda på 1 670 TFLOPS vid 300W (3 341 TFLOPS vid gles), vilket skiljer sig markant från Tenstorrents Wormhole n300.
Det finns dock ett stort problem. Tenstorrents Wormhole n150 säljs för $999, medan n300 säljs för $1,399. Som jämförelse säljs ett enda Nvidia H100-grafikkort för $30 000, beroende på kvantitet. Naturligtvis vet vi inte om fyra eller åtta Wormhole-processorer faktiskt kan leverera prestanda för en enda H300, men deras TDP:er är 600W respektive 1200W.
Utöver korten erbjuder Tenstorrent förbyggda arbetsstationer för utvecklare, inklusive 4 n300-kort i den mer prisvärda Xeon-baserade TT-LoudBox med aktiv kylning, och den avancerade TT-QuietBox med EPYC-baserad Xiaolong) vätskekylningsfunktion).
Posttid: 2024-jul-29