Microsoft onthult Maia 300: derde gen AI-inferentiechip

Microsoft heeft Maia 300 onthuld, zijn derde generatie op maat gemaakte AI-inferentiechip. Volgens het bedrijf verwerkt het ontwerp ongeveer 40 procent meer tokens per megawatt vermogen dan toonaangevende systemen op basis van GPU's. Microsoft positioneert Maia 300 als een speciaal ontwikkelde inferentieversneller die de primaire inferentie-infrastructuur voor zijn producten en diensten moet worden.

Microsoft verwacht Maia 300 in 2027 in productie te nemen. Scott Guthrie, executive vice president cloud computing bij Microsoft, zei in een verklaring dat de verbeteringen het bedrijf in staat stellen sterker te leunen op eigen chips en de afhankelijkheid van Nvidia en AMD te verkleinen. Guthrie voegde daaraan toe dat Microsoft vanaf 2027 de Azure Maia-chipfamilie op een schaal van megawatts tot meerdere gigawatts wil ontwikkelen, zodat de chips kunnen dienen als de belangrijkste inferentie-infrastructuur binnen het bedrijf.

Prestaties en rol in Microsofts technologiestack

In een volledige configuratie met 96 accelerators kan Maia 300 de tokenverwerkingsdoorvoer op rackniveau tot zeven keer verhogen ten opzichte van Maia 200, de vorige generatie chip die Microsoft pas in januari introduceerde. Maia 200 wordt al ingezet voor uiteenlopende Microsoft-workloads, waaronder Microsoft Copilot, GitHub Copilot, Microsoft Foundry en de eigen AI-modellen van het bedrijf. Volgens Guthrie is Maia 200, gemeten aan de hand van de prestaties van daadwerkelijke AI-diensten, nog altijd de beste rekeninfrastructuur in Microsofts vloot. Maia 300 is daarentegen ontworpen als een compleet systeem voor workloads van de volgende generatie.

Microsoft beschrijft Maia 300 als geoptimaliseerd voor redeneerworkloads met lange contexten, gesprekken met lage latency en doorlopende agenttaken in meerdere stappen. Het bedrijf richt de chip nadrukkelijk op inferentie, niet op training.

Chiparchitectuur en productie

Maia 300 maakt gebruik van een chipletarchitectuur op basis van TSMC's N2P-proces. Volgens Microsoft scheidt het ontwerp de rekenblokken, geheugencontroller en input-outputfuncties, waardoor meer chipoppervlak voor verwerking beschikbaar komt en elk blok technologie kan gebruiken die op zijn specifieke rol is afgestemd. Het Azure-team voor hardware en infrastructuur zegt dat deze aanpak de efficiëntie verhoogt en het mogelijk maakt de chip af te stemmen op specifieke inferentiefuncties.

Microsoft zegt ook dat Maia 300 een belangrijke rol krijgt in de plannen voor de eigen modelontwikkeling en -implementatie. Mustafa Suleyman, CEO van Microsoft AI, stelde dat het bedrijf alle lagen van de technologiestack moet ontwikkelen, van modellen tot silicium. Op de schaal die Microsoft voor ogen heeft, is volgens hem een speciaal platform nodig dat samen met de modellen is ontworpen. Hij voegde eraan toe dat het draaien van Microsofts eigen modellen op Maia een topprioriteit voor het team is.