Jim Keller-ledda Chip Company Tenstorrent har släppt sin nästa generations maskhålsprocessor för AI-arbetsbelastningar, som den förväntar sig att erbjuda bra prestanda till ett överkomligt pris.Företaget erbjuder för närvarande ytterligare två PCIe-kort som rymmer en eller två maskhålsprocessorer, samt TT-HoudBox och TT-Quietbox-arbetsstationer för mjukvaruutvecklare. Alla dagens tillkännagivanden riktar sig till utvecklare, inte de som använder maskhålskort för kommersiella arbetsbelastningar.
"Det är alltid glädjande att få fler av våra produkter i utvecklare. Släpputvecklingssystem som använder våra Wormhole ™ -kort kan hjälpa utvecklare att skala och utveckla multi-chip AI-programvara," säger Jim Keller, VD för Tenstorrent.Utöver lanseringen är vi glada över att se de framsteg vi gör med bandet ute och power-up av vår andra generationens produkt, Blackhole. ”
Varje maskhålsprocessor innehåller 72 Tensix-kärnor (fem varav stöder RISC-V-kärnor i olika dataformat) och 108 MB SRAM, vilket ger 262 FP8 TFLOPS vid 1 GHz med en termisk designkraft på 160W. Single-Chip Wormhole N150-kortet är utrustat med 12 GB GDDR6-videominne och har en bandbredd på 288 GB/s.
Wormhole -processorer ger flexibel skalbarhet för att tillgodose de olika behoven hos arbetsbelastningar. I en vanlig arbetsstationsinställning med fyra Wormhole N300 -kort kan processorerna kombineras till en enda enhet som visas i programvaran som ett enhetligt, brett Tensix -kärnnätverk. Denna konfiguration gör det möjligt för acceleratorn att hantera samma arbetsbelastning, dela mellan fyra utvecklare eller köra upp till åtta olika AI -modeller samtidigt. Ett viktigt inslag i denna skalbarhet är att den kan köras lokalt utan behov av virtualisering. I en datacentermiljö kommer maskhålsprocessorer att använda PCIe för expansion inuti maskinen, eller Ethernet för extern expansion.
När det gäller prestanda, TenStorrent's Single-Chip Wormhole N150-kort (72 Tensix-kärnor, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/S BANDWIDTH) uppnådde 262 FP8 TFLOPS AT 160W, medan dual-chip WorMhole N300 N300) Aggregerade 24 GB GDDR6, 576 GB/s bandbredd) levererar upp till 466 FP8 TFLOPS vid 300W.
För att sätta 300W av 466 FP8 TFLOPS i sammanhang, jämför vi det med vad AI -marknadsledaren Nvidia erbjuder vid denna termiska designkraft. Nvidias A100 stöder inte FP8, men det stöder Int8, med toppprestanda på 624 toppar (1 248 toppar när de är glesa). Som jämförelse stöder Nvidias H100 FP8 och når toppprestanda på 1 670 TFLOPS vid 300W (3 341 TFLOPS vid Sparse), vilket skiljer sig väsentligt från Tenstorrents Wormhole N300.
Det finns dock ett stort problem. Tenstorrents Wormhole N150 säljer för $ 999, medan N300 säljer för 1 399 dollar. Som jämförelse finns ett enda NVIDIA H100 -grafikkort för $ 30 000, beroende på kvantitet. Naturligtvis vet vi inte om fyra eller åtta maskhålsprocessorer faktiskt kan leverera prestanda för en enda H300, men deras TDP är 600W respektive 1200W.
Förutom korten erbjuder TenStorrent förbyggda arbetsstationer för utvecklare, inklusive 4 N300-kort i den mer prisvärda Xeon-baserade TT-Houdbox med aktiv kylning, och den avancerade TT-Quietbox med EPYC-baserade Xiaolong) vätskefunktion).
Posttid: Jul-29-2024