Een checklist voordat je een agent naar productie laat schrijven.
Voordat een agent toestemming krijgt om een echt systeem te wijzigen, verdient hij die. Dit is de checklist die ik elke keer doorloop. Het is het verschil tussen een automatisering en een incident.
Een agent die alleen leest is een onderzoeksassistent. Een agent die schrijft is een collega met root-toegang. De sprong tussen die twee is waar bijna alle risico zit, en het loont om daar bewust mee om te gaan. Dit is de lijst die ik niet oversla.
Voordat hij mag schrijven
- Dry-run-modus standaard: de agent stelt de wijziging voor en toont de diff voordat er iets gebeurt.
- Een menselijke poort op alles wat onomkeerbaar of waardevol is; goedkeuren met één klik, geen stille uitvoering.
- Afgebakende credentials: de agent kan precies aanraken wat hij nodig heeft en niets anders.
- Een eval-suite die groen moet zijn voordat een nieuwe versie in de buurt van productie mag komen.
Terwijl hij draait
- Elke actie gelogd met de invoer, de redenering en het resultaat, achteraf controleerbaar.
- Confidence-drempels die de onzekere gevallen escaleren in plaats van te gokken.
- Een noodknop die een niet-engineer kan indrukken, en een gedocumenteerde rollback voor elk soort schrijfactie.
- Rate limits en limieten op de schade zodat een foute loop niet op hol kan slaan.
Het principe eronder
Niets hiervan gaat over wantrouwen jegens het model. Het gaat erom het dezelfde vangrails te geven die je een capabele nieuwe medewerker zou geven in zijn eerste week met productietoegang: een heldere scope, een reviewstap en een makkelijke manier om een fout terug te draaien. Doe dat en schrijven naar productie is niet langer eng. Sla het over en het is slechts een kwestie van tijd.