Retrieval is geen geheugen

Ik zag een systeem dat ik zelf had gebouwd vol overtuiging een vraag beantwoorden en het fout hebben. Het had het juiste feit. Het had de informatie uit zijn opslag gehaald en redeneerde er feilloos mee verder. Alleen was dat feit maanden eerder ongemerkt achterhaald geraakt, en in die opslag wist niks dat. De logica klopte. De aanname eronder niet. Dus wat betekent het eigenlijk om een machine een geheugen te geven?

Het gebruikelijke antwoord is overzichtelijk. Een model vergeet tussen sessies alles, dus geef je het een verzameling feiten waar het dingen in kan opzoeken. Geheugen wordt retrieval. Zoek het feit, haal het terug, ga verder. Een keurig idee, met precies de fout erin die ik zojuist had zien gebeuren.

Stel je iemand voor die feilloos redeneert, maar geen langetermijnherinneringen meer kan vormen of ophalen. Sommige vormen van hersenletsel doen precies dat. Leg zo iemand een probleem voor met alles wat nodig is op tafel en hij lost het op. De logica werkt nog. De intelligentie is niet veranderd. Stel een vraag waarvoor een herinnering nodig is waar hij niet meer bij kan, en het antwoord gaat op een heel specifieke manier mis. Hij valt niet stil. Hij redeneert. Vanuit feiten die hij zelf heeft ingevuld op de plek waar de herinnering ontbrak.

Daar moeten we even bij blijven. De redenering klopt. Het probleem zit in de aannames: ze voelen stevig, maar zijn het niet.

Een taalmodel met een verzameling feiten, maar zonder geheugen van zijn eigen redenering, lijkt hier meer op dan ik graag toegeef.

Een feit is de as, niet het vuur

Kijk wat er gebeurt wanneer je een feit bewaart.

‘Parijs is de hoofdstad van Frankrijk’ kwam niet als feit je hoofd binnen. Het kwam binnen als ervaring: een klaslokaal, een kaart aan de muur, een zin in een boek, een reis. Het feit is wat overbleef nadat de ervaring was opgebrand. De as, ontdaan van de context waaruit ze ontstond. Je bewaart de as en laat het vuur gaan, omdat as weinig weegt en meestal genoeg is.

Meestal. Maar juist in de context die verdween zat wat je nodig hebt om te weten of het feit nog klopt: de omstandigheden waaronder het waar was, de antwoorden die zijn afgewogen en verworpen, de redenering waarmee je erop uitkwam.

Een verzameling feiten bewaart de as en noemt die kennis, zonder ook maar vast te leggen dat er ooit vuur was.

Vraag je zo’n systeem om te redeneren, dan doet het wat iemand met geheugenverlies ook doet. Het haalt heldere, stellige uitspraken op zonder context en redeneert daar correct vanuit verder. Het resultaat leest goed. Vaak klopt het. En als het fout gaat, gaat het op de vervelendste manier fout: zelfverzekerd, zonder voorzichtigheid of twijfel, omdat elke aanname binnenkwam met het stempel ‘feit’.

Het gevaar is niet dat het vergeet

De angst is altijd dat een model dingen vergeet. Het lastigere probleem is wat het onthoudt zonder nog te weten waarom.

Een leeg geheugen geeft tenminste toe dat het leeg is. Het model heeft niks en zegt dat, als het goed is. Een volle verzameling feiten doet het tegenovergestelde. Die levert aannames aan die betrouwbaar lijken omdat ze uit het geheugen komen. Maar een feit dat zich als betrouwbaar aandient, waarschuwt niet dat het verouderd is, alleen onder bepaalde omstandigheden klopt of ongemerkt wordt tegengesproken door iets anders wat het systeem ook weet.

Dat is de omkering die de meeste geheugensystemen missen. Meer feiten toevoegen verplaatst het probleem van verzonnen aannames alleen maar naar een plek waar het moeilijker te zien is. Iemand met geheugenverlies verzint ze in het zicht en vult een gat dat je kunt zien. Een goed gevuld retrieval-systeem doet het buiten beeld. Het redeneert soepel vanuit aannames die het zelf niet kan bevragen. Dat is moeilijker te betrappen, juist omdat het eruitziet alsof alles werkt.

Zo bekeken kan betere retrieval een systeem juist stelliger fout laten zitten, niet minder.

Wat ‘genoeg’ zou vereisen

Als een feit is wat er na een redenering overblijft, verandert een grotere stapel feiten niks. Je moet de redenering bewaren waaruit het feit is ontstaan.

Bewaar de hele ervaring, niet alleen wat er aan het eind overblijft. Bewaar het pad: de vraag die tot de conclusie leidde, wat er is afgewogen, wat er is afgewezen en onder welke omstandigheden de conclusie gold. Laat de feiten daaruit voortkomen, zoals dat ook in een brein gebeurt. Dan worden het snelle, korte ingangen die je altijd kunt terugvolgen naar de redenering waarmee ze zijn verdiend.

Dan draait de verhouding om. Het feit vervangt de redenering niet langer, maar wordt de weg ernaartoe terug. ‘Je weet X’ betekent niet meer ‘hier is X’, maar ‘hier is de korte weg terug naar waar X vandaan kwam en wat ervoor nodig was’. Een nieuwe bewering die botst met wat je al wist, blijft niet langer stilletjes naast de oude staan. Het wordt zichtbaar als een tegenspraak, omdat het systeem nog kan zien waarop het oude feit rustte.

Dat is het verschil tussen een geheugen en een lookup table. Een lookup table geeft antwoorden. Een geheugen kun je bevragen, en het kan zichzelf bevragen.

Dit is geen argument tegen retrieval. Retrieval is nodig. Het punt is smaller: retrieval is geen geheugen. Behandel je ze als hetzelfde, dan bouw je systemen die alles kunnen terughalen en niks begrijpen. Systemen die prachtig redeneren naar de verkeerde plek en nooit merken dat de grond onder hun redenering er niet meer was.

Het feit was altijd alleen de as. Wat je wilt bewaren is het vuur dat die as achterliet: de redenering waar je weer in terug kunt stappen en vragen aan kunt stellen. Bewaar die, en een feit wordt een deur in plaats van een doodlopende weg. Raak hem kwijt, en zelfs het volledigste geheugen dat je kunt bouwen redeneert zich nog steeds helder en zelfverzekerd naar fouten die het nooit ziet aankomen.