ByteDance traint model met ongeveer 10 biljoen parameters

ByteDance is stilletjes begonnen met het trainen van een reus: een AI-model met ongeveer 10 biljoen parameters. Het is een gedurfde zet die het bedrijf in het middelpunt van een mondiale wapenwedloop om modelgrootte en -capaciteit plaatst.

Volgens ingewijden is de voortraining begonnen. In die fase, waarin het model enorme hoeveelheden ruwe data verwerkt om patronen te leren, duurt dat meestal drie tot zes maanden voordat er fijnslijpen en een publieke release volgt. Parameters zijn de interne instellingen die een model gebruikt om kennis vast te leggen; ze vertellen niet het hele verhaal, maar worden veelvuldig gebruikt als een eenvoudige maat voor de omvang en potentie van een model.

Waarom doet schaal ertoe? Grotere modellen kunnen meer nuance vastleggen en beter generaliseren over taken, hoewel de meerwaarde niet lineair is en efficiëntie nog steeds belangrijk is. Het gerapporteerde doel van ByteDance van 10 biljoen zou dit model meer dan drie keer zo groot maken als Kimi K3, een systeem met 2,8 biljoen parameters van een Chinese startup, en veel groter dan eerdere binnenlandse deelnemers zoals LongCat-2.0 en V4-Pro, die elk rond de 1,6 biljoen zitten.

Rechtstreekse vergelijkingen met leidende in de VS ontwikkelde systemen blijven lastig. Bedrijven als Anthropic en OpenAI publiceren zelden exacte parameteraantallen voor hun vlaggenschipmodellen. Onafhankelijke schattingen plaatsen het geavanceerde model Mithos 5 van Anthropic rond de acht biljoen parameters en Fable 5 dicht bij vijf biljoen. Als die schattingen kloppen, zou ByteDance met deze nieuwe inzet in vergelijkbaar vaarwater komen als de meest verfijnde systemen van Anthropic.

Er is nog een andere laag in dit verhaal: logistiek en kosten. Trainen op deze schaal is duur en energie-intensief. Chinese techbedrijven haasten zich om de ontwikkelingscycli te verkorten en meer efficiëntie uit hun infrastructuur te persen, met als doel krachtige systemen te leveren zonder torenhoge operationele kosten. Het is een pragmatische reactie op een meedogenloze markt.

Of de zuivere parameteraantal de uiteindelijke winnaars zal bepalen is nog een open vraag, maar de inspanning van ByteDance benadrukt hoe het competitieve front is verschoven, van slimme onderzoeksartikelen naar engineering en inzet op industriële schaal.

Verwacht meer aankondigingen en stapsgewijze verbeteringen in plaats van één bepalende doorbraak. De echte strijd zal gaan over hoe deze systemen worden afgestemd, opgeschaald en geïntegreerd in producten die mensen daadwerkelijk gebruiken.