Een van mijn Ai-agents deed zeven dagen lang trouw zijn werk. Hij startte keurig op, keek rond, concludeerde dat er niets te doen was, en stopte weer. Netjes, foutloos, elke keer opnieuw. Er was maar één probleem: er was inderdaad niets te doen, want de opdracht was leeg. En elke keer dat hij opstartte om niks te doen, was een betaalde call naar het duurste Ai-model dat ik gebruik.

Toen ik het eindelijk ontdekte en de logs naast elkaar legde, bleek de omvang: van de 226 keer dat de agent in zeven dagen was gestart, waren er 181 volstrekt zinloos. Ruim tachtig procent. Zo’n zesentwintig verspilde runs per dag, een week lang, en het was me niet opgevallen. Want de agent “draaide toch prima”.

Dit is het eerlijke verhaal van die bug. Maar de echte les zit niet in de bug zelf. Die zit in de vraag waarom ik het niet eerder zag.

Wat er gebeurde#

De agent in kwestie is een code-reviewer. Zijn taak: als er ergens in mijn projecten een wijziging klaarstaat om nagekeken te worden, pakt hij die op, leest de code, en geeft commentaar op veiligheid en slordigheden. Een nuttige, afgebakende klus.

Hij wordt aangestuurd door een klein script dat periodiek een lijstje maakt: welke wijzigingen wachten er op review? Voor elk item op dat lijstje start het script de agent, met twee gegevens: om welk project het gaat en om welke wijziging. Simpel genoeg.

Alleen leverde dat lijstje af en toe een lege regel op. Een rij zonder project en zonder wijziging. Een bug in de manier waarop het script de lijst opbouwde: soms schoof er een leeg item tussen. En het script deed braaf wat het was opgedragen: het startte de agent, ook voor die lege regel. De agent kreeg dus een opdracht binnen die neerkwam op “review het volgende: niks”.

En een goed gebouwde agent doet dan precies het juiste: hij kijkt, ziet dat er geen doelwit is, en meldt “geen wijziging toegewezen, ik doe niets”. Keurig gedrag. Alleen kost dat keurige gedrag geld, want om tot die conclusie te komen, moet het dure taalmodel wel eerst opstarten, de context inlezen en nadenken. Nul werk, volle rekening.

De fix zelf was bijna beschamend klein. Eén controle in het aansturende script, vóór de agent wordt gestart: is er wel een project én een wijziging? Zo niet, sla deze regel over. Eén regel code. Daarnaast ben ik gaan uitzoeken waaróm dat lijstje soms een lege rij opleverde, want een symptoom afvangen is niet hetzelfde als de oorzaak wegnemen.

Maar goed, één regel code als oplossing voor een week lang geldverbranding. Dat steekt. En het roept meteen de belangrijkere vraag op.

De echte fout: ik keek naar de verkeerde dingen#

Waarom duurde het zeven dagen?

Omdat alles wat ik in de gaten hield, groen was. De agent startte zoals gepland. Hij gaf geen foutmeldingen. Hij crashte niet. In elk overzicht dat ik had, zag hij eruit als een gezonde, actieve agent. Sterker nog: ik had een momentopname van de foutmeldingen, en die telde er maar acht. Acht foutjes op een week, dat negeer je. Wat die momentopname niet liet zien, was dat achter de schermen 181 runs volkomen nutteloos waren geweest. Ze faalden immers niet. Ze slaagden. Ze deden alleen niets.

Dit is dezelfde familie als de gevaarlijkste bug-klasse van Ai-software: iets dat slaagt, maar fout is. Een agent die draait, is niet hetzelfde als een agent die iets nuttigs doet. En “draaien” is precies wat de meeste dashboards je laten zien, want dat is makkelijk te meten. Effect is moeilijker te meten, en dus kijk je er vaak niet naar.

Ik ben daardoor twee dingen anders gaan doen.

Een guard op de input, vóór je iets duurs start. De duurste stap in mijn hele agent-keten is het aanroepen van het grote taalmodel. Dus hoort er, vlak daarvoor, een goedkope controle te staan die vraagt: is er überhaupt zinnig werk? Geen doelwit, geen signaal, geen wijziging? Dan start je niet. Een paar regels gratis script bewaken de dure poort. Dat principe pas ik inmiddels overal toe: laat een gratis voorcheck beslissen óf de betaalde Ai nodig is.

Audit wat je agents echt gedaan hebben, niet of ze gedraaid hebben. Ik ben periodiek gaan tellen: hoeveel runs deden daadwerkelijk werk, en hoeveel eindigden in “niets te doen”? Een agent met een hoog percentage lege runs is geen gezonde agent, ook al staat er nergens een foutmelding. Die verhouding, nuttig versus leeg, zegt oneindig veel meer dan een simpele foutteller.

Dat klinkt vanzelfsprekend als je het zo leest. In de praktijk is het dat niet, want de verleiding is groot om “geen fouten” te lezen als “alles goed”. Bij automatisering die zichzelf niet klaagt, is stilte geen bewijs van gezondheid.

Wat betekent dit voor jouw bedrijf?#

Steeds meer MKB’ers zetten hun eerste Ai-automatiseringen op, en vaak met een gebruiksmodel waarbij je per aanroep betaalt. Precies dan is dit een dure les om zelf te moeten leren. Drie dingen die ik je zou meegeven:

  1. Zet een slot op de dure poort. Overal waar een betaalde Ai-call gebeurt, hoort er vlak ervoor een goedkope of gratis controle te staan die beslist of die call überhaupt nodig is. Is er echt iets te doen? Zo niet, niet starten. Dat ene principe bespaart vaak meer dan welk slimmer model ook.

  2. Meet effect, niet activiteit. “De automatisering draait” is geruststellend en betekent niets. De vraag is: hoeveel van die runs hebben deze week iets opgelost dat anders was blijven liggen? Als je dat niet kunt beantwoorden, kijk je naar de verkeerde meter.

  3. Wantrouw stilte. Software die stopt met klagen, is niet per se gezond, soms merkt ze alleen niet meer dat ze niks doet. Bouw een periodieke controle die niet vraagt “waren er fouten?”, maar “wat is er daadwerkelijk gebeurd?”.

De rode draad: mijn duurste automatiseringsfout gaf geen kik. Geen crash, geen alarm, geen rode melding. Ze verbrandde gewoon rustig geld, een week lang, terwijl alles op groen stond. Wat je niet meet, kan je stilletjes veel kosten.

Zelf aan de slag#

Voor je een taak aan een Ai-agent geeft, helpt het om vooraf scherp te hebben wat die agent wél en niet zelf mag, en vooral hoe je bijhoudt of hij zijn geld waard is. Dat laatste, grip op wat je Ai-gebruik per taak kost, werk ik uit in de gratis Ai-kostenwijzer voor het mkb die je bij de downloads op deze site vindt.

Wil je samen kijken waar in jouw bedrijf automatisering geld oplevert in plaats van stilletjes verbrandt? Op de consulting-pagina lees je hoe ik werk.