Qualcomm: 100 miljard-parameter AI op smartphones in 2028

De CEO van Qualcomm, Cristiano Amon, zei dat sommige AI-bedrijven smartphones ontwikkelen die tegen 2028 continu taalmodellen met 100 miljard parameters zouden kunnen draaien.

Amon deed die uitspraak op 10 oktober 2026 in een interview met Fireside Alpha, maar weigerde de betrokken bedrijven te noemen.

Het draaien van een model met 100 miljard parameters op een telefoon loopt tegen grote geheugenbeperkingen aan. Een 4-bit-gekwantiseerd 100B-model vereist ongeveer 50 gigabyte RAM, terwijl een 2-bitvariant nog altijd circa 25 gigabyte nodig heeft voor alleen het model. Daar komen het besturingssysteem, apps en de contextcache nog bij.

Qualcomm en andere partijen noemen de beschikbaarheid en kosten van DRAM als de grootste obstakels. Volgens het bedrijf zal de industrie naar verwachting niet snel de grens van 16 gigabyte geheugen als standaard passeren. Fabrikanten hebben varianten met meer RAM bovendien teruggeschroefd door de krappe DRAM-markt, terwijl Android-telefoons ongeveer een jaar geleden nog tot 24GB LPDDR5X boden.

Continue inferentie met grotere, dichte modellen zorgt ook voor meer warmteontwikkeling en vergroot het risico op thermische throttling. Dat blijft een praktische beperking, zelfs als er voldoende geheugen beschikbaar zou zijn.

Wijzigingen in chipset-packaging, waaronder de A20 Pro van Apple en de Snapdragon 8 Elite Extreme Gen 6 van Qualcomm, lossen enkele integratieproblemen op, maar nemen het geheugenknelpunt niet weg.

Technische oplossingen zijn onder meer agressieve kwantisatie, waarmee het geheugenverbruik sterk afneemt. 1-bitvarianten passen in DRAM, maar volgens beoordelingen uit de sector neemt de modelkwaliteit, vooral bij redeneertaken, aanzienlijk af bij kwantisatie onder 4 bits.

Een andere aanpak is een mixture-of-experts-model met expert-offloading, waarbij per token slechts een deel van de experts actief in RAM staat en de rest op flashopslag blijft. Apple heeft onderzocht of modellen vanaf ingebouwde flashopslag kunnen draaien, maar UFS- en NVMe-opslag zijn nog altijd trager dan DRAM en kunnen de inferentiesnelheid verlagen.

Modeldistillatie is momenteel commercieel aantrekkelijker: gedistilleerde modellen van 20B tot 30B parameters kunnen on-device de prestaties van sommige 100B-modellen benaderen, terwijl de geheugen- en thermische eisen beheersbaar blijven.

Amon gaf geen technische roadmap en noemde geen partners. De beschikbaarheid en kosten van DRAM, evenals thermische limieten, blijven de belangrijkste beperkingen voor het lokaal draaien van 100B-modellen op smartphones tegen 2028.