De meeste AI-projecten die stranden, beginnen bij het model. "We willen iets met AI" is een prima gevoel, maar een slecht startpunt. Het zegt namelijk niets over waar de winst zou moeten zitten. Wij beginnen liever een stap eerder, bij het werkproces: waar gaat tijd verloren, en zou een model daar echt schelen.

Dat klinkt als een omweg, maar het is de kortste route naar iets dat blijft werken. Een model dat een echt knelpunt wegneemt, verdient zichzelf terug. Een model dat ergens bovenop is geplakt omdat het nu eenmaal kon, wordt na twee weken niet meer aangezet.

Begin bij het werkproces

De eerste vraag is niet "welk model", maar "welke stap doet pijn". Loop het proces langs, en zoek de plek waar iemand telkens hetzelfde beoordelingswerk doet. Dat is waar een model iets kan voorbereiden, zonder dat het de beslissing overneemt.

Een voorbeeld. Bij een inspectieproces las iemand elk rapport om er een eerste oordeel aan te hangen. Dag in, dag uit, ook de rapporten waar weinig aan de hand was. Een model kan dat oordeel prima voorbereiden: het geeft elk rapport een score, laat de duidelijke gevallen doorlopen, en markeert de twijfelgevallen voor een mens.

Human-in-the-loop: het model bereidt het oordeel voor, duidelijke gevallen gaan automatisch door, twijfelgevallen beoordeelt een mens
Het model bereidt het oordeel voor. De mens leest alleen nog wat er toe doet.

De winst zit in iets anders dan het model zelf: de mens leest alleen nog wat ertoe doet. Hetzelfde aantal mensen, dezelfde kwaliteit, maar de aandacht gaat naar de gevallen waar aandacht verschil maakt.

De mens blijft aan de knoppen

Versnellen mag nooit betekenen dat de controle verdwijnt op de plek waar een fout duur is. Daar zit de kunst: de mens weghalen waar het veilig en saai is, en hem juist houden waar het oordeel telt.

Het mooie is dat dit ook het vertrouwen opbouwt. Een team dat ziet dat de twijfelgevallen netjes bij hen terechtkomen, durft het model de rest te laten doen. Een model dat alles in één keer overneemt, krijgt dat vertrouwen nooit, en wordt bij de eerste fout weer uitgezet.

De fouten waar we zelf in trappen

We zeggen dit met enige schaamte, want we lopen er zelf ook tegenaan. Drie terugkerende.

  • Te vroeg generatief willen zijn, terwijl een simpele classificatie genoeg was. Een taalmodel dat een tekst schrijft is indrukwekkender dan een model dat alleen "ja" of "nee" zegt, maar voor het werk is dat tweede vaak precies wat nodig is.
  • Geen human-in-the-loop inbouwen op plekken waar een fout duur is. Dan is de demo prachtig en de eerste echte misser meteen een vertrouwensbreuk.
  • Beginnen voordat de bronnen op orde zijn. Een model op rommelige data geeft nette rommel terug, en dat is verraderlijk, want het ziet er overtuigend uit.
Een model op rommelige bronnen geeft nette rommel terug
Een model op rommelige data geeft nette rommel terug.

Die laatste is de stille killer. De energie gaat naar het model, terwijl de winst vaak in de data eronder zit. Een saaie opschoonslag levert meer op dan een slimmer model op een wankele basis.

Versnellen is geen doel

AI is goed in versnellen. Het neemt het herhaalwerk weg en geeft mensen hun aandacht terug voor de dingen die aandacht verdienen. Maar het is geen doel op zich, en zelden een wondermiddel.

De vraag blijft wat het proces eronder is, en of dat proces de moeite waard is om te versnellen. Als het antwoord daarop ja is, is AI een prima motor. Als het antwoord nee is, lost geen enkel model dat op. Dan heb je een snel werkend proces gebouwd dat niemand nodig had.