De IQ-grafiek is een deur, geen meetlat

Vorige week ging er een grafiek rond: frontier-modellen naast elkaar op een menselijke IQ-schaal, alsof het leerlingen op een klassenlijst waren. Ik deelde hem, en hij reisde verder dan de meeste van mijn posts.

Over dat bereik valt na te denken. De grafiek is namelijk een slechte meting én tegelijk een van de bruikbaarste artefacten in de AI-communicatie op dit moment. Allebei waar, en juist de spanning ertussen is het eigenlijke verhaal.

Waarom het getal zwak is

Het begint bij wat een IQ-score eigenlijk ís. Het is een statistiek die genormeerd is op menselijke populaties en gebouwd om menselijke uitkomsten te voorspellen, zoals schoolprestaties en functioneren op het werk. Het getal draagt dus alleen betekenis ten opzichte van een referentiegroep mensen.

Toegepast op een systeem met perfect geheugen, zonder grens aan zijn werkgeheugen en met vreemde blinde vlekken in ruimtelijk redeneren, blijft er een getal over dat losgeslagen is van de verdeling die het betekenis gaf. Uitrekenen kan. Interpreteren eigenlijk niet.

Scherper vind ik nog het besmettingsprobleem. De publieke IQ-tests waar mensen deze modellen doorheen halen — Mensa Norway is de gebruikelijke — circuleren breed op internet, en de vragen zitten dus mogelijk gewoon in de trainingsdata. Een hoge score kan dan memorisatie weerspiegelen in plaats van redeneren. Projecten die AI-"IQ" over tijd volgen, zoals Tracking AI, weten dat, en sommige zijn overgestapt op offline testversies die de modellen niet gezien kunnen hebben. Ook dan blijft de mismatch in wat je meet staan, want je beoordeelt een heel ander soort geest op een heel menselijke curve.

Het scherpst zie je dat gat bij benchmarks die speciaal gebouwd zijn om memorisatie te weerstaan. ARC-AGI, en zijn zwaardere opvolger ARC-AGI-2, toetst nieuwe abstractie met puzzels die het opzoeken van patronen niet belonen — en modellen die op een Mensa-achtige quiz indrukwekkend scoren, blijven daar ver achter bij mensen.

Een systeem kan briljant ogen op een menselijke IQ-schaal en tegelijk struikelen over abstractietaken die een kind aankan. Precies die combinatie vertelt je dat het IQ-getal niet meet wat de meeste mensen denken dat het meet.

Onderzoekers die een echt signaal nodig hebben gebruiken instrumenten die daarvoor ontworpen zijn: GPQA voor wetenschapsvragen op universitair niveau, FrontierMath voor wiskunde op onderzoeksniveau, Humanity's Last Exam voor expertbreedte die de modellen nog niet hebben dichtgelopen. Dat zijn de eerlijke meetlatten. Voor de meeste mensen zijn ze ook volstrekt onleesbaar.

Waarom de grafiek tóch werkt

Dit loop ik in keynotes en bestuurskamers steeds tegen het lijf. Iemand stelt altijd een variant van dezelfde vraag: ja, maar hóé slim zijn ze nou echt?

Ik kan antwoorden met GPQA-percentages en ARC-AGI-slaagpercentages, en dan zie ik de zaal glazig worden terwijl ik het doe. Die getallen kloppen en betekenen niets voor een niet-technisch publiek, want niemand heeft een gevoelsmatig ijkpunt voor wat 60 procent op een universitaire natuurkundebenchmark voorstelt.

Bij een IQ-schaal heeft iedereen dat ijkpunt wel. Gemiddeld ligt op 100, hoogbegaafd begint ergens boven de 130, en twee derde van iedereen zit tussen 85 en 115. Die schaal wordt bovendien een leven lang gekalibreerd, via school, collega's en de mensen met wie iemand gewerkt heeft. Staan frontier-modellen eenmaal op die schaal, dan krijgt een niet-technische lezer in één beeld gevoel voor waar de lat ongeveer ligt. Fout in de details, kloppend in het geheel.

Daarom noemde ik het een gespreksopener en geen benchmark, en daarom werk ik het hier uit in plaats van het terug te nemen. De grafiek is een vertaalapparaat: hij zet iets onleesbaars — benchmarkscores in onbekende eenheden — om in iets leesbaars, een schaal die je al in je hoofd meedraagt. Vertalen kost altijd precisie. De enige vraag die telt is of wat er overblijft de moeite waard is. Dat is het hier waarschijnlijk wel, mits duidelijk is wat je vasthoudt.

Het denkmodel: meetlatten tegenover deuren

Het onderscheid dat ik zou aanbieden: sommige metingen zijn meetlatten en sommige zijn deuren. Een meetlat moet kloppen, want er rusten beslissingen op. Een deur hoeft alleen iemand in de kamer te krijgen waar het echte gesprek plaatsvindt.

GPQA, FrontierMath en ARC-AGI zijn meetlatten. Die horen bij de beslissing wat een model werkelijk kan, of het uitgerold wordt, en waar het waarschijnlijk in de steek laat.

De IQ-grafiek is een deur. Die is er voor wie van buiten het vakgebied een eerste houvast nodig heeft, waarna je doorloopt naar de hardere waarheid aan de andere kant: dat deze systemen helemaal nergens op een menselijke schaal zitten. Ze zijn in sommige richtingen bovenmenselijk en in andere ondermenselijk, tegelijkertijd. Dat gekartelde profiel is de echte bevinding, en geen enkel getal kan het dragen.

Waar ik me het meest zorgen over maak is dat iemand een deur als meetlat behandelt. Dat gebeurt zodra iemand leest dat een model een IQ van X heeft en daar vervolgens wervings- of beleidsbeslissingen op baseert.

Er is aan de andere kant een subtielere manier om de fout in te gaan: de deur helemaal afwijzen omdat het geen meetlat is, en zo het grootste deel van het publiek buiten de kamer laten staan.

Er komen er meer, met steeds grotere getallen, naarmate de modellen beter worden. Elk daarvan zal technisch onverdedigbaar zijn en communicatief effectief. Weten welke klus je de grafiek laat doen, is de hele vaardigheid.