Wat een goede AI-benchmark laat zien

Elke modellancering komt met een grafiek. Een nieuw systeem staat bovenaan een ranglijst, verslaat de vorige koploper met een paar punten, en dat getal wordt overal herhaald tot het als feit voelt. Kies je een AI-tool voor je bedrijf, dan zijn die grafieken verleidelijk: ze ogen objectief en beloven de discussie te beslechten. Het probleem is dat een benchmarkscore een heel specifieke vraag beantwoordt, namelijk hoe dit model presteerde op deze ene test, en dat is zelden de vraag die jij eigenlijk hebt.

Jouw vraag is smaller en nuttiger: doet deze tool mijn werk, op mijn data, goed genoeg om op te vertrouwen, zonder dat het een fortuin kost of ik erop moet wachten? Een goede benchmark helpt je die vraag te beantwoorden. Een slechte geeft je een getal dat geruststellend voelt en je vrijwel niets vertelt. Dit artikel gaat over het verschil tussen die twee, en over het draaien van een kleine eigen test die voor jouw doel elke publieke ranglijst verslaat.

Wat een benchmark eigenlijk meet

Een benchmark is een vaste set taken met bekende antwoorden, die aan een model wordt voorgelegd zodat de output gescoord kan worden. Een ranglijst zet die scores op een rij zodat modellen gerangschikt kunnen worden. Sommige testen redeneren of wiskunde, andere programmeren, weer andere hoe goed een model instructies volgt of vermijdt dingen te verzinnen. In principe is dat verstandig: standaardtests laten je appels met appels vergelijken. In de praktijk verbergt het kopgetal een hoop, en het is goed om te weten hoe het je kan misleiden voordat je erop leunt.

• Testdata in de trainingsdata. Modellen trainen op enorme delen van het internet, en populaire benchmarks lekken in die trainingsdata. Een model kan deels goed scoren omdat het de antwoorden feitelijk al heeft gezien, niet omdat het ze op iets nieuws kan beredeneren.
• Optimaliseren voor de test. Zodra een benchmark hét getal wordt dat iedereen citeert, ontstaat er druk om modellen daar specifiek op af te stellen. Een hoge score op een beroemde test vertaalt zich niet altijd naar het rommelige, onbekende werk dat jij meebrengt.
• Smalle taken. Een benchmark meet wat hij meet. Sterk presteren op wiskundeproblemen op universitair niveau zegt weinig over het samenvatten van Nederlandse klantmails of het uitlezen van velden uit een gescande factuur.
• Gemiddelden die zwakte verbergen. Eén kopgetal is meestal een gemiddelde over veel taaktypen. Een model kan een indrukwekkende totaalscore neerzetten en tegelijk middelmatig zijn in precies dat ene ding waar jij het voor nodig hebt.
• Verzadiging aan de top. Op verschillende gevestigde tests zitten de sterkste modellen inmiddels binnen een punt of twee van het plafond, waardoor een verschil in rangorde net zo goed ruis kan zijn als een echt verschil in kunnen. Precies daarom verschijnen er steeds nieuwe, moeilijkere tests die beter bestand zijn tegen lekkende testdata.

Dit alles betekent niet dat benchmarks waardeloos zijn. Het betekent dat het kopgetal een startpunt is voor vragen, niet het einde van het gesprek.

Wat er echt toe doet als je koopt

De positie op een ranglijst is maar één ingrediënt, en vaak niet het belangrijkste. Als een tool dag in dag uit in jouw workflow moet meedraaien, bepalen andere dingen of hij deugt. Weeg deze punten mee naast pure kwaliteit:

• Prestatie op jouw taak, met jouw data en jouw prompts, de enige test die echt telt.
• Snelheid: hoe vlot komt het antwoord? Een iets beter antwoord dat twintig seconden op zich laat wachten, kan voor jouw gebruik slechter zijn dan een snel antwoord dat goed genoeg is.
• Kosten per gebruik op jouw echte volume, niet de prijs van één losse aanroep. Kleine verschillen tellen snel op.
• Betrouwbaarheid en consistentie: krijg je stabiele, voorspelbare output, of het ene moment geweldige antwoorden en het volgende moment vreemde?
• Veiligheid en gedrag: weigert het op verstandige momenten, vermijdt het om vol zelfvertrouwen feiten te verzinnen, en gaat het met gevoelige data om zoals jij dat nodig hebt?

Een model dat op een publieke ranglijst tweede of derde staat maar op jouw werk sneller, goedkoper en consistenter is, is de betere koop. De ranglijst ziet daar niets van, want die kent jouw werk niet.

Zo draai je je eigen mini-benchmark

Je hebt geen onderzoeksteam nodig om dit goed te testen. Je hebt een klein, eerlijk experiment nodig, gebouwd rond het werk dat je daadwerkelijk doet. Eén ochtend is meestal genoeg voor een uitkomst die je meer kunt vertrouwen dan welke grafiek dan ook. Doorloop de stappen op volgorde.

1. 1Definieer de echte taken. Schrijf de specifieke klussen op die de tool moet doen, ‘schrijf een conceptantwoord op een bezorgklacht’, ‘haal het ordernummer en het totaalbedrag uit deze e-mail’, geen vage doelen als ‘support afhandelen’.
2. 2Verzamel representatieve voorbeelden. Pak tien tot dertig echte gevallen die de normale spreiding van je werk weerspiegelen, inclusief de lastige, en schrijf per geval het goede antwoord op, zodat je iets hebt om tegen af te meten.
3. 3Bepaal heldere beoordelingscriteria. Spreek vooraf af wat een antwoord goed maakt: correct, volledig, juiste toon, geen verzonnen feiten. Vage criteria leveren vage conclusies op. Heb je te veel gevallen om met de hand te scoren, dan kun je een model als eerste beoordelaar inzetten met een uitgeschreven rubric, maar controleer de oordelen steekproefsgewijs zelf, want een model dat een model beoordeelt heeft zijn eigen vooroordelen.
4. 4Test de kandidaten blind. Geef elk model dezelfde voorbeelden en prompts, en leg de output vast zonder dat je tijdens het scoren weet welk antwoord van welk model komt, zodat merknaam en reputatie je oordeel niet kleuren.
5. 5Vergelijk kwaliteit, kosten en snelheid in samenhang. Tel de scores op en zet ze naast de prijs per gebruik en de responstijd. De winnaar is het model dat jouw kwaliteitslat haalt tegen kosten en een snelheid waar je mee kunt leven.

Bewaar de voorbeelden en gebruik ze opnieuw. Verschijnt er een nieuw model, dan draai je dezelfde test binnen een uur opnieuw en heb je een echt antwoord voor jouw bedrijf, in plaats van andermans grafiek.

Hoe je met publieke benchmarks omgaat

Publieke benchmarks hebben nog steeds hun plek. Ze zijn een redelijke manier om een shortlist te bouwen: staat een model bij meerdere onafhankelijke tests bovenin, dan is het de moeite waard om mee te nemen in je eigen proef. Ze kunnen ook brede sterktes signaleren, sommige modellen zijn duidelijk sterker in programmeren, andere in lange documenten of meerdere talen.

Gebruik een ranglijst zoals je een restaurantbeoordeling gebruikt: prima om de shortlist te verkleinen, waardeloos als vervanging voor zelf proeven.

Behandel publieke scores dus als een signaal, niet als een eindoordeel. Geef de voorkeur aan onafhankelijke tests van derden boven de eigen grafieken van een leverancier, en aan tests die zich wapenen tegen lekkende testdata: tests die gebouwd of ververst zijn na de trainingsdatum van een model, of die hun antwoorden geheim houden, zijn moeilijker te onthouden en te bespelen. Wees op je hoede voor vergelijkingen die een paar maanden oud zijn, kijk voor hoe een model daadwerkelijk leest liever naar rangordes op basis van menselijke voorkeur dan naar één nauwkeurigheidscijfer, en laat een positie nooit in de plaats komen van het testen van de tool op je eigen werk.

Vragen om aan een leverancier te stellen

Leunt een leverancier in een pitch op benchmarkcijfers, dan laten een paar scherpe vragen zien hoeveel substantie erachter zit.

• Welke benchmark is dit, wie heeft hem gedraaid, en wanneer, jullie zelf of een onafhankelijke partij?
• Hoe voorkomen jullie dat de testdata in de training lekt?
• Kunnen we een proef draaien op onze eigen voorbeelden voordat we ons ergens aan vastleggen?
• Wat zijn de echte kosten en de typische responstijd op ons verwachte volume?
• Hoe consistent is de output, en wat gebeurt er als het model twijfelt of ernaast zit?
• Hoe wordt onze data tijdens gebruik verwerkt, en wordt die gebruikt voor training?

De conclusie

Een benchmark is gereedschap, en zoals elk gereedschap kun je het goed of slecht gebruiken. Goed gebruikt beantwoordt het een concrete vraag: doet dit model mijn werk, op mijn data, goed genoeg, snel genoeg en goedkoop genoeg om op te vertrouwen? Slecht gebruikt levert het een getal op dat discussies wint en niets voorspelt over jouw resultaten. Geniet dus van de ranglijsten, maar neem ze met een korrel zout. Laat ze een shortlist vormen en draai daarna je eigen kleine, blinde test op het werk dat ertoe doet. De score die je keuze zou moeten bepalen, is niet die in de lanceringsgrafiek, maar die je zelf meet.