Evals zijn het eigenlijke product.
Een demo bewijst dat een agent één keer werkt. Een eval-suite bewijst dat hij blijft werken. Maar één daarvan is veilig om aan klanten te tonen.
Het gevaarlijkste moment in een agentproject is de eerste geweldige demo. Het voelt als de finish. Het is eigenlijk het begin: je hebt laten zien dat het ding één keer kan werken, onder omstandigheden die jij beheerste, met een publiek dat je succes gunde. Productie is niets van dat alles.
Wat een demo verbergt
Een demo is een enkele steekproef. Hij kan je niet vertellen hoe vaak de agent gelijk heeft, waar hij faalt, of een aanpassing aan de prompt iets beter of stiekem slechter maakte. Op het moment dat je een model, een prompt of een tool wijzigt, is de demo betekenisloos en zit je weer op je gevoel.
Een eval-suite verandert dat allemaal in een getal dat je kunt bewegen. Het is het verschil tussen "ik denk dat dit beter is" en "dit is drie punten beter op de gevallen waar we om geven."
Bouw de suite eerst
- Verzamel echte invoer vanaf dag één; elke run is een toekomstige testcase.
- Schrijf op wat "correct" betekent voordat je iets optimaliseert.
- Scoor elke wijziging tegen de suite, niet tegen de laatste goede demo.
- Behandel een regressie in evals als een falende test: hij blokkeert de release.
De herkadering
De agent is het deel dat leuk is om te bouwen. De eval-suite is het deel waarmee je hem kunt uitbrengen, wijzigen en er rustig van kunt slapen. Als een project vastloopt, is het bijna nooit de agent die ontbreekt; het is de manier om te weten of de agent goed is. Bouw dat eerst.