(Of: “Het verraad van AI”)
Heeft u dat ook weleens, dat u weet wat u wilt maar dat het definiëren daarvan lastig is? Ik merk dit vooral als ik een vraag aan AI voorleg. Ik weet wel globaal welk resultaat ik wil bereiken maar worstel soms met de vraagstelling. Soms formuleer ik mijn vragen bijzonder uitgebreid om deze zo concreet en specifiek mogelijk te maken en soms begin ik gewoon maar met een vraag.
Wat me irriteert is dat de antwoorden altijd gegeven worden met een overtuiging dat dit het enige juiste antwoord is, zonder enige (zelf) reflectie. Je zou zomaar kunnen denken dat je antwoorden leest die door Trump zijn gegenereerd, alleen is de kwaliteit van de AI-antwoorden over het algemeen veel beter.
Als ik dan met uiterste zorg een vraag geformuleerd heb merk ik dat de eerste reacties in de chat meestal van een goed, of soms hoog, niveau zijn. Helaas vallen de reacties na een aantal aansluitende vragen om verduidelijking of uitbreiding steevast terug naar het eerdere lage niveau.
Waar komt dit toch vandaan? Ik gebruik door elkaar ChatGPT, Gemini en Le Chat (nu Vibe) en vooral de eerste twee proberen mij voortdurend te behagen (voor de nerds: pleasen) terwijl ik bij Le Chat soms het idee heb dat deze wat nukkig is, opvallend minder geneigd te behagen.
Zou dit een cultuurverschil zijn? De Amerikaanse ‘please-cultuur’ tegenover een meer Europese nuchterheid?
Wat voor al deze AI-modellen geldt is dat ze wel kunstmatig zijn, maar niet intelligent. Nu is dat voor mijn ook geen probleem. Ik gebruik het als een stuk gereedschap dat (meestal) snel helpt om mijn gedachten te ordenen of om antwoorden op vragen te krijgen. En dat doen ze eigenlijk heel goed, zolang je zelf maar kritisch blijft.
Vervelend wordt het als deze transformer-modellen in de vrije generatie gaan (zeg maar hallucineren) zonder dat je het direct door hebt. Ze blijven overtuigd van de juistheid van hun uitspraken terwijl deze dan vaak aantoonbaar onjuist zijn. Als je ze hier dan op wijst krijg je de helft van de tijd wel een keurig excuus maar even vrolijk zijn ze in staat een nieuw antwoord te genereren en dit, soms ook foutieve antwoord, met evenveel overtuiging als goed te presenteren. Vooral Gemini en ChatGPT betrap ik hier regelmatig op.
De laatste tijd gebruik ik deze modellen voor wat ik maar zal noemen “ingenieurswerk”. Hier worden de resultaten soms ronduit ergerlijk. Naast de vaak goede en gedegen reacties krijg ik toch te vaak een antwoord, gepresenteerd als de absolute waarheid, dat in de praktijk niet blijkt te kloppen.
Ik moet toegeven dat ik hier niet praat over een leuk stuk Arduino of Raspberry-Pi code, maar over redelijk unieke technische onderzoeken. Voor de mainstream vragen zijn de antwoorden vaak wel goed, maar zodra het meer specialistisch wordt moet je erg oppassen met de antwoorden.
Helaas is het me nog niet gelukt om mijn vragen zo te formuleren dat ik altijd een correct antwoord krijg.
Voor dit soort systemen blijkt het bijzonder moeilijk, dan wel onmogelijk, te zijn om bij de antwoorden die ze geven ook aan te geven in hoeverre deze direct bruikbaar zijn of dat er nader onderzoek nodig is.
Het zou mooi zijn als een volgende generatie AI bij de antwoorden ook een soort twijfel kan aangeven, zeg maar een waarschijnlijkheid dat het antwoord correct is.
Gezien de manier waarop het antwoord tot stand komt, het afwegen van waarschijnlijkheden, zou dit toch niet zo moeilijk moeten zijn.
Zonder zo’n waarschijnlijkheid, of twijfel, lijkt het soms dat AI verraad pleegt aan de vragensteller door het antwoord als de absolute waarheid te presenteren terwijl de kans op een incorrect antwoord juist heel groot is.
