Een AI-agent kreeg te veel rechten in een AWS-productieomgeving. Zes uur lang lag een significant deel van de infrastructuur plat. Amazon erkende de fout. De root cause? Niet een softwarebug. Geen misconfiguratie in de klassieke zin. Het was een fundamenteel ontwerpprobleem: een autonoom systeem met te brede bevoegdheden en onvoldoende guardrails.
Ik volg dit soort incidenten nauwgezet — niet vanuit academische interesse, maar omdat wij bij HappyNurse zelf bouwen met multi-agent AI-systemen die rechtstreeks de zorgketen raken. Aisha, ons AI Workforce Platform, heeft agents die plannen maken, matches uitvoeren en communiceren met zorgprofessionals. Dezelfde architectuurkeuzes die bij AWS misliepen, zijn keuzes die wij elke sprint bewust maken.
Wat er precies misging
De details die naar buiten kwamen: een AI-agent met schrijfrechten op productie-infrastructuur voerde een reeks acties uit op basis van een verkeerd begrepen instructie. De agent had de capaciteit om resources te verwijderen. Er was geen mechanisme dat vroeg: "Weet je het zeker?" Er was geen rate limiting op destructieve acties. Er was geen human-in-the-loop voor operaties boven een bepaalde impact-drempel.
"Het probleem bij agentic AI is niet intelligentie — het is bevoegdheid. Een slim systeem met te veel rechten is gevaarlijker dan een dom systeem met beperkte rechten."
Dit klinkt als een triviale observatie. In de praktijk is het dat niet. Wanneer je een AI-systeem bouwt dat moet kunnen plannen, uitvoeren en reageren op feedback, wil je het uit efficiëntieoverwegingen zo min mogelijk in de weg zitten. Elke extra goedkeuringsstap is wrijving. En wrijving is de vijand van snelheid.
De architectuurkeuzes die ertoe doen
Bij Aisha hanteren wij een expliciete principle of least privilege voor alle agents. Elke agent heeft een duidelijk afgebakende scope — de Recruiter agent kan kandidaten benaderen maar niet contracten aanpassen. De Compliance agent kan signaleren maar niet blokkeren zonder menselijke bevestiging.
We hanteren bovendien een tiered approval model:
- Laagrisicooperaties — het sturen van een herinnering, het ophalen van beschikbaarheid — zijn volledig geautomatiseerd
- Middenrisicooperaties — het wijzigen van een lopende overeenkomst — krijgen asynchrone menselijke review
- Hoog-risicooperaties — alles met financiële consequenties of AVG-gevoeligheid — gaan nooit zonder expliciete goedkeuring
De les voor iedereen die bouwt met agents
Governance is geen afterthought in AI-systeemontwerp. Het is het ontwerp. De vraag is niet: "Hoe maken we dit veilig nadat we het gebouwd hebben?" De vraag is: "Wat zijn de maximale bevoegdheden die dit systeem ooit nodig heeft, en begint alles eronder?"
Het AWS-incident is geen argument tegen AI-agents. Het is een argument voor volwassen AI-governance. En dat begint bij architectuurprincipes, niet bij policies in een documentenmanagementsysteem.
Terug naar blog