Een AI-agent kreeg te veel rechten in een AWS-productieomgeving. Zes uur lang lag een significant deel van de infrastructuur plat. Amazon erkende de fout. De root cause? Niet een softwarebug. Geen misconfiguratie in de klassieke zin. Het was een fundamenteel ontwerpprobleem: een autonoom systeem met te brede bevoegdheden en onvoldoende guardrails.
Ik volg dit soort incidenten nauwgezet — niet vanuit academische interesse, maar omdat wij bij HappyNurse zelf bouwen met AI-systemen die rechtstreeks de zorgketen raken. Aisha heeft 80% van ons recruitmentproces geautomatiseerd. Dezelfde architectuurkeuzes die bij AWS misliepen, zijn keuzes die wij elke sprint bewust maken.
Wat er precies misging
De details die naar buiten kwamen: een AI-agent met schrijfrechten op productie-infrastructuur voerde een reeks acties uit op basis van een verkeerd begrepen instructie. De agent had de capaciteit om resources te verwijderen. Er was geen mechanisme dat vroeg: "Weet je het zeker?" Er was geen rate limiting op destructieve acties. Er was geen human-in-the-loop voor operaties boven een bepaalde impact-drempel.
"Het probleem bij agentic AI is niet intelligentie — het is bevoegdheid. Een slim systeem met te veel rechten is gevaarlijker dan een dom systeem met beperkte rechten."
Dit klinkt als een triviale observatie. In de praktijk is het dat niet. Wanneer je een AI-systeem bouwt dat moet kunnen plannen, uitvoeren en reageren op feedback, wil je het uit efficiëntieoverwegingen zo min mogelijk in de weg zitten. Elke extra goedkeuringsstap is wrijving. En wrijving is de vijand van snelheid.
De architectuurkeuzes die ertoe doen
Bij Aisha hanteren wij een expliciete principle of least privilege. Elke AI-actie heeft een afgebakende scope. Wat geautomatiseerd kan zonder risico, is geautomatiseerd. Wat consequenties heeft voor mensen of contracten, gaat nooit zonder menselijke goedkeuring.
We hanteren een gelaagd goedkeuringsmodel:
- Laagrisicooperaties — routinehandelingen — volledig geautomatiseerd
- Middenrisicooperaties — wijzigingen met impact — asynchrone menselijke review
- Hoog-risicooperaties — financieel of privacy-gevoelig — altijd expliciete goedkeuring
De les voor iedereen die bouwt met agents
Governance is geen afterthought in AI-systeemontwerp. Het is het ontwerp. De vraag is niet: "Hoe maken we dit veilig nadat we het gebouwd hebben?" De vraag is: "Wat zijn de maximale bevoegdheden die dit systeem ooit nodig heeft, en begint alles eronder?"
Het AWS-incident is geen argument tegen AI-agents. Het is een argument voor volwassen AI-governance. En dat begint bij architectuurprincipes, niet bij policies in een documentenmanagementsysteem.
Lees ook
Terug naar blog