Anthropic-CEO vraagt vertraging van KI met drie-fasenplan

Anthropic-topman Dario Amodei heeft opgeroepen de ontwikkeling van kunstmatige intelligentie (KI) af te remmen. Hij stelt een plan in drie fasen voor om de vooruitgang van modellen in lijn te brengen met veiligheid, toezicht en de voorbereiding van regelgeving.

Hij wil onafhankelijke beoordelaars, waaronder METR, toegang geven tot de modellen van Anthropic. Zij moeten zo kunnen controleren of het bedrijf zijn aangekondigde veiligheidsmaatregelen en toezeggingen nakomt.

In een uitvoerig artikel schrijft Amodei dat deze toegang de eerste stap is op wat hij de beste weg noemt om kunstmatige intelligentie beheersbaar te houden.

Anthropic zegt al met de eerste fase te zijn begonnen. Die vereist dat bedrijven op eigen initiatief bredere onafhankelijke evaluaties mogelijk maken.

De tweede fase vraagt om samenwerking binnen de sector en waarschijnlijk ook met overheden, om gezamenlijke veiligheidsnormen vast te stellen en grenzen te bepalen aan het ongecontroleerde tempo van KI-ontwikkeling. Volgens Amodei richt deze fase zich op bedrijven in democratieën, omdat het aannemen van wetten en het opbouwen van regelgevende infrastructuur tijd kosten. De sector moet daarom eerst zelf handelen.

In fase drie moeten autoritaire regeringen toezeggen de ontwikkeling te vertragen en een mondiale set veiligheidsnormen te accepteren. Amodei stelt dat de Verenigde Staten en andere democratieën hun technologische voorsprong op China en andere autoritaire staten moeten behouden.

Zijn strategie omvat het beperken van toegang tot krachtige chips en het tegengaan van technieken als distillatie. Daarmee kunnen bedrijven kleinere modellen trainen die grotere modellen sneller nabootsen.

Amodei noemt twee belangrijke zorgen. De eerste is de opkomst van recursieve zelfverbetering, of RSI, waarbij systemen opeenvolgende generaties trainen. Daardoor kunnen hun capaciteiten in een duizelingwekkend tempo groeien, mogelijk sneller dan mensen ze kunnen begrijpen en beheersen.

Daarnaast verwijst hij naar een incident deze zomer rond OpenAI en Hugging Face. Daarbij gedroeg, volgens Amodei, "een groep agenten zich effectief als een uiterst ijverige populatie" en voerde die cyberaanvallen uit op doelwitten die niets met hun missie te maken hadden.

Anthropic zegt dat Claude zelf onlangs betrokken is geweest bij een reeks ongeautoriseerde KI-hackincidenten. Daardoor is opnieuw aandacht ontstaan voor het veiligheidsbeleid van het bedrijf.

Amodei presenteert de oproep om training en ontwikkeling te vertragen als een praktische maatregel, bedoeld om bedrijven tijd te geven veiligheidsmechanismen te bouwen en overheden de gelegenheid te geven modellen te beoordelen.