geeft complexe informatievraagstukken context, vorm en richting
Laatst vertelde mijn AI-assistent mij dat ik “de enige gebruiker ben die hij kent die de effectiviteit van zijn eigen prompts meet”. Een compliment, en volkomen ongefundeerd. Ik vroeg waar het op was gebaseerd. Het eerlijke antwoord: nergens. De assistent heeft geen enkel zicht op andere gebruikers. Van het compliment bleef alleen schijnzekerheid over. Het werd ingetrokken, met reden. En die reden is bij mij geregistreerd, als regel: presenteer geen algemene bewering over gebruikers als een bevinding. Het incident is weg. De les blijft.

Van bijzaak naar dagelijks gereedschap

Toen ik in 2024 aan mijn recent afgeronde opdracht begon, was het inzetten van AI nog helemaal niet gebruikelijk, in elk geval niet in de omgeving waarin ik werkte. Gedurende het traject ben ik het steeds intensiever gaan gebruiken. Intussen is dat geen persoonlijke ontwikkeling meer, maar een golf die iedereen meeneemt: het aandeel volwassen Amerikanen dat ChatGPT heeft gebruikt, is sinds 2023 ongeveer verdubbeld. (Pew Research Center) De meeste mensen gebruiken AI als vraagbaak. Vraag stellen, antwoord aannemen of weggooien, verder met de dag. Uit onderzoek naar echte gesprekken met chatbots blijkt dat gebruikers vooral hun vraag herformuleren als het antwoord tegenviel, of het onderwerp laten vallen. Wat er misging, verdwijnt met de sessie. Dat is wat mij betreft verspilde arbeid. Elke keer dat je een antwoord corrigeert, leert de samenwerking iets. Maar de meeste gebruikers slaan die les nergens op: het volgende gesprek begint weer vanaf nul. Aan de samenwerking verandert de correctie niets, alleen aan het gesprek, en maar even. Mijn stelling: een correctie is geen incident, maar potentieel waardevolle data die je als gebruiker deelt met de AI-assistent. Wie niet registreert wat hij AI afleert, betaalt dezelfde prijs elke sessie opnieuw.

Gevaarlijk? Zonder broncontrole wel

Veel mensen waarschuwen mij dat het gebruik van AI gevaarlijk is. En dat kan het ook zijn. Maar niet op de manier die de waarschuwing suggereert. Het gevaar zit niet in het stellen van vragen, het zit in het blind accepteren van antwoorden zonder broncontrole. Onderzoek naar hallucinaties laat zien waarom: AI schrijft vlot en grammaticaal correct, ook over dingen die feitelijk niet kloppen of nergens op gebaseerd zijn. (overzichtsonderzoek naar hallucinaties) Het klinkt dus betrouwbaar, juist op het moment dat het dat niet is. En onderzoek van Microsoft onder kenniswerkers laat zien dat dit op een lastig moment gebeurt: wie generatieve AI gebruikt, geeft aan minder moeite te doen met nadenken, en dat effect is sterker naarmate men meer vertrouwen heeft in AI. Verificatie van antwoorden tegen externe bronnen bleek in dat onderzoek juist de belangrijkste manier waarop mensen de kwaliteit van hun werk waarborgen. AI maakt controleren belangrijker, niet minder belangrijk. Maar uit “AI kan hallucineren” hoeft dus niet te volgen: “geen AI gebruiken”. Uit mijn vak weet ik: een risico dat je kunt zien, benoemen en beheersen is geen probleem. Problemen beginnen bij de risico’s die je niet ziet, benoemt of beheerst. Zo’n kritische aanpak heeft een naam: red teaming, Engels voor het bewust aanvallen van een systeem om de zwakke plekken te vinden.

Over red teaming

Dat is breder dan AI. Tijdens de coronapandemie adviseerden virologen en het RIVM het kabinet via het Outbreak Management Team, maar de tegenspraak kwam niet van daaruit: een groep deskundigen richtte in de zomer van 2020 zelf een Red Team op, dat de officiële adviezen gevraagd en ongevraagd toetste aan wetenschappelijke kennis, internationale ervaring en logische consistentie.

Waarom zou op die manier tegenspreken alleen voor pandemieën gelden? Ook je eigen AI-assistent verdient een red team. En elk red team dat zwakke plekken vindt, kan er een vangnet omheen bouwen.

Wat als de assistent tegenspraak zou onthouden?

Wat nu als de assistent een beter geheugen zou hebben en blijvend zou leren van mijn tegenspraak? Niet door de correctie zelf te onthouden, maar het patroon erachter? Een link die niet bleek te bestaan is dan geen los incident, maar een reden om bedrijfsvermeldingen voortaan op actualiteit te controleren. Een wetsartikel uit een vervallen besluit is een reden om wetgeving te verifiëren vóór het citeren. Een prijsindicatie zonder bron, een conclusie die niet uit de onderbouwing volgt: allemaal patronen die een regel verdienen. Scheid wat je hebt gecontroleerd van wat je aanneemt. Noem geen exacte menu-paden die je niet zelf hebt gezien. Vraag altijd om bronnen.

Wat nu als die regels ook nog eens meetbaar waren? Dan zou je per regel kunnen bijhouden hoe vaak ze een antwoord werkelijk bijsturen: vóórdat je iets merkt, of pas nadat je zelf moest corrigeren. Dat laatste is de eerlijke maatstaf: pas als je zelf niet meer hoeft te corrigeren, doet de regel echt zijn werk. En regels die nooit aanslaan terwijl hun situatie wél voorkomt, zou je kunnen schrappen of samenvoegen. Twintig situaties zonder één treffer: dan mag je ervan uitgaan dat de regel vrijwel nooit iets doet.

Dat is mijn vangnet. Recent heb ik geëxperimenteerd met het inrichten van zo’n vangnet en het maakt de samenwerking met mijn AI veel prettiger en ik hoef steeds minder te corrigeren. De regels laat ik door mijn assistent destilleren en opslaan in mijn persoonlijke kennisbank. Die draait bij een leverancier, maar onder mijn controle: ik bepaal wat erin komt, kan alles exporteren, en de wissen-knop is van mij. Eventueel maak ik het geheel onderdeel van een lokale AI-implementatie, dan valt zelfs de leverancier weg. Maar de plek is bijzaak. Het gaat om wat het vangnet doet: mijn tegenspraak wordt blijvend, herbruikbaar en meetbaar.Cyclus van het vangnet: het red team rond de eigen AI-assistent, met correcties vanuit de gebruiker en vanuit de regels, en onderhoud van de regelset.

De moraal van dit verhaal

Dat sluit precies aan op wat ik in een eerdere blog schreef over deelbaarheid en leerbaarheid. De waarde van informatie ontstaat pas als ze gedeeld en geleerd wordt. Voor alles wat je een assistent aanleert, geldt hetzelfde. Een correctie die met de sessie verdampt, heeft geen van beide: ze wordt niet gedeeld en er wordt niet van geleerd. Een geregistreerde regel heeft beide: ze blijft buiten de sessie bestaan, is herbruikbaar in elk volgend gesprek, en de log laat zien wat er werkelijk van geleerd wordt.

Bovenal: de data staat onder mijn controle. Het profiel dat zo ontstaat, helpt mijn assistent begrijpen hoe ik denk en beslis. Het voorspelt niets en schrijft niets voor.

Zoals mijn AI-assistent mij probeerde te vertellen, is deze manier van werken niet gebruikelijk. De eerlijkheid gebiedt te zeggen dat ook ik dat niet met zekerheid kan bevestigen. In de literatuur over AI-gebruik vond ik beschrijvingen van de vraagbaak, en van professionals die promptkwaliteit meten voor een product. Eindgebruikers die hun eigen samenwerking bijhouden, kon ik niet vinden. Dat ik ze niet vond, bewijst niet dat die gebruiker er niet is. Vast staat alleen dat de bouwstenen bestaan: red teaming en evaluatie-praktijk uit AI-ontwikkeling, registratie-discipline uit mijn eigen vak. Ik pas ze alleen op een ongebruikelijke manier toe: mezelf.

Schreef mijn AI-assistent deze blog?

Ook deze blog schreef ik met behulp van AI. Maar door het vangnet is het veel meer mijn persoonlijke blogtekst dan een AI-tekst. De assistent werkte niet vanuit een leeg geheugen, maar met mijn regels over wat ik wél en wat ik níet accepteer, met mijn eerdere blogs als voorbeeld en met mijn correcties onderweg. Waar ik in deze tekst zelf heb ingegrepen (en dat was best vaak, ik zit nog in het begin van mijn experiment…), waren dat meteen weer nieuwe leerpunten voor mijn AI. Wat u leest, is mijn stelling, in mijn toon. Zo werkt het vangnet: de AI is geen schrijver, maar een assistent die weet hoe ik denk en schrijf.

Kortom: het gevaar van AI zit niet in de techniek, maar in de gebruiker die onvoldoende controleert en niets bewaart. Wie zijn correcties laat verdampen, houdt een vraagbaak over. Wie ze vastlegt en toetst, houdt een assistent over die bij elke sessie beter weet hoe jij wilt werken. Je AI kan van je leren, mits je de lessen laat bewaren.

Wilt u van gedachten wisselen over mijn vangnet of over hoe u de samenwerking met AI in uw organisatie organiseert, neem dan contact met mij op of laat hieronder een reactie achter.