In een eerder artikel schreef ik dat je niet elke Ai-vraag aan het duurste model moet stellen, en dat je die keuze het beste op een meting baseert in plaats van op onderbuikgevoel. Dat leverde een logische vervolgvraag op: ja leuk, maar hoe meet je dat dan? Wat is zo’n benchmark, en heb je daar geen datascientist en een half jaar voor nodig?
Nee. Ik heb mijn eigen mini-benchmark op één dag gebouwd, met wat Ai-hulp, en sindsdien beslis ik welk model waar draait op basis van cijfers. In dit artikel laat ik precies zien uit welke onderdelen zo’n benchmark bestaat, zodat je het zelf kunt namaken voor jouw eigen werk. Je hoeft niets te installeren om het te snappen, en de bouwstenen zijn voor elk bedrijf hetzelfde.
Waarom een openbare benchmark je vraag niet beantwoordt#
Er zijn online talloze ranglijstjes die Ai-modellen tegen elkaar afzetten. Interessant om te lezen, maar ze meten de verkeerde dingen voor jou. Ze testen wiskundeolympiades, programmeerpuzzels en algemene kennisvragen. Jij wilt weten of een goedkoop model jouw inkomende e-mails net zo goed sorteert als een duur model, of jouw offertes even netjes samenvat, of jouw meldingen even scherp op prioriteit zet.
Dat staat in geen enkele publieke ranglijst, want het hangt af van jouw taken, jouw teksten en jouw definitie van “goed”. De enige benchmark die die vraag beantwoordt, is er een die je vult met je eigen werk. En dat is precies wat een mini-benchmark zo krachtig maakt: hij is klein, maar hij gaat over exact het werk dat jij wilt automatiseren.
De vijf bouwstenen#
Ik bouwde mijn benchmark rond de beheers- en security-taken die mijn Ai-automatiseringen dagelijks doen. De opzet valt uiteen in vijf stukken. Vertaal elk stuk naar je eigen situatie.
1. Een testset van echte taken, met het juiste antwoord erbij. Dit is het hart. Ik verzamelde 18 echte taken uit mijn werk, verdeeld over vijf soorten: meldingen beoordelen, kwetsbaarheden inschatten, alarmen routeren, logbestanden analyseren en risico’s prioriteren. Bij elke taak legde ik twee dingen vast: het juiste antwoord (de “ground truth”) en een korte beoordelingsrubriek, oftewel waar een goed antwoord aan moet voldoen. Voor jouw bedrijf zijn dat bijvoorbeeld 15 echte binnengekomen e-mails met daarbij het juiste postvak, of 15 klantvragen met het correcte antwoordtype. Belangrijk: meng makkelijke en subtiele gevallen door elkaar, anders scoort elk model kunstmatig hoog.
2. Elke taak door elk model laten doen. Vervolgens laat je elke taak los op elk model dat je overweegt. Bij mij waren dat drie Claude-modellen: het duurste, het goedkoopste, en eentje daartussenin. Dat is puur herhaling, dus laat een scriptje het voor je doen. Meet meteen ook de snelheid (hoe lang doet elk model erover), want soms is een traag maar goedkoop model prima voor nachtwerk en ongeschikt voor iets dat direct antwoord moet geven.
3. Een onafhankelijke jury die de antwoorden scoort. Hier zit de slimme truc. In plaats van alle antwoorden met de hand na te lopen, laat je een sterk Ai-model als jury optreden: geef het per antwoord de rubriek en het juiste antwoord, en laat het een cijfer geven van 0 tot het maximum. Dit heet “model-as-judge” en het scheelt je uren handmatig werk. Wél een kanttekening waar je later op moet letten, zie verderop.
4. Kwaliteit, snelheid en kosten in één overzicht. De scores combineer je met de gemeten snelheid en met de tarieven per model (die vind je op de prijspagina van de aanbieder). Zo krijg je één tabel: per model een kwaliteitspercentage, een mediaan-snelheid en een prijs per 100 taken. Nu pas kun je eerlijk afwegen.
5. Lees per categorie, niet alleen het gemiddelde. Dit is de les die de hele exercitie de moeite waard maakte, en ik kom er zo op terug. Het gemiddelde verbergt precies datgene wat je moet weten.
Wat mijn benchmark opleverde#
De uitkomst, want het gaat om de vorm van het resultaat, niet alleen de cijfers:
| Model | Kwaliteit | Kosten per 100 taken |
|---|---|---|
| duurste | 91% | €2,20 |
| middenmoot | 89% | onbekend |
| goedkoopste | 87% | €0,12 |
De aanbieder rekent in dollars af; deze eurobedragen zijn omgerekend tegen de koers van het moment en schommelen dus mee. Op het gemiddelde ontlopen de drie elkaar amper: 87 tegenover 91 procent. Als je daar stopt, concludeer je “neem gewoon het goedkoopste” en bespaar je een factor 18 op de kosten. En voor het grootste deel van mijn werk klopt dat ook.
Maar nu bouwsteen vijf, de blik per categorie. Op vier van de vijf taaksoorten (meldingen triëren, kwetsbaarheden inschatten, alarmen routeren, logs analyseren) deed het goedkope model het praktisch gelijkwaardig, 89 tot 100 procent. Op één categorie stortte het in: bij risico-prioritering, oftewel “hier zijn tien problemen, welke drie eerst en waarom”, zakte het goedkope model naar 44 procent, terwijl het dure model op 78 bleef. Rangschikken en afwegen is dus precies waar je voor het dure model betaalt. Op het gemiddelde was dat onzichtbaar. In de praktijk is het het verschil tussen een bruikbare en een gevaarlijke automatisering.
De conclusie voor mijn opzet was daarmee helder: stuur het routinewerk naar het goedkope model, en houd het dure model voor de afwegingen. Die taakverdeling snijdt fors in mijn Ai-budget van rond de €1.700 per maand, zonder kwaliteitsverlies op de taken die ertoe doen.
Wees eerlijk over de zwakke plekken#
Een benchmark die je zijn eigen tekortkomingen niet vertelt, is marketing. De mijne heeft er twee, en die hoef je niet weg te poetsen zolang je ze kent.
Ten eerste: 18 taken is een kleine steekproef. Per categorie blijven er maar drie of vier gevallen over, dus een enkele meevaller of tegenvaller telt zwaar door. De richting van de conclusie is robuust, de precieze percentages zijn dat niet. Meer taken maken het betrouwbaarder, maar ook duurder om te draaien.
Ten tweede: mijn jury kwam uit dezelfde modelfamilie als het duurste kandidaat-model. Een model dat zijn eigen soort beoordeelt kan een lichte voorkeur hebben voor antwoorden die eruitzien zoals het die zelf zou geven. Dat kleine voordeel van twee procentpunt voor het dure model kan daar deels vandaan komen. De oplossing is een tweede, andere jury als controle. En ook de kosten zijn een aandachtspunt: het tarief van het goedkope model in mijn tabel is een catalogusprijs, geen tot op de cent geverifieerde afrekening. Het verschil is groot genoeg om de conclusie te dragen, maar noem het geen exacte factuur.
Dit soort kanttekeningen zijn geen zwakte van de methode. Ze zijn de methode. Wie ze verzwijgt, verkoopt je een cijfer in plaats van een inzicht.
Wat betekent dit voor jouw bedrijf?#
Je hoeft dit niet zo uitgebreid te doen als ik. De kern past in een middag:
- Pak 15 tot 20 echte taken uit je eigen werk waar je Ai voor wilt inzetten. Schrijf bij elke taak op wat een goed antwoord is.
- Laat een goedkoop en een duur model ze allebei doen.
- Scoor de antwoorden, met de hand of met een Ai-jury.
- Kijk niet alleen naar het gemiddelde, maar splits het uit per soort taak. Daar zit je beslissing.
De opbrengst is dat je voortaan op cijfers beslist welk model waar draait, in plaats van “voor de zekerheid” alles naar het duurste model te sturen en structureel te veel te betalen. En je ontdekt vaak, net als ik, dat het goedkope model verrassend ver komt, behalve op precies dat ene stukje waar je oordeel nodig hebt.
Wil je dit voor jouw processen laten opzetten, of eerst samen kijken welke taken zich lenen voor een goedkoop model? Lees op de consulting-pagina hoe ik werk: nuchter, op meetbare uitkomsten, zonder verkooppraatje. En om je uitkomsten om te zetten in een concrete modelkeuze per taak, helpt de gratis Ai-kostenwijzer voor het mkb.