Maar het is leuk om te zien wat er mogelijk bij komt kijken bij het ontwerpen van een goede IQ-test. Ik weet niet hoe verder de normstatistieken (conversietabels) eruit zien dus ik kan er niet echt een uitspraak over doen. Als ik denk dat of een test je ligt of niet ook van belang kan zijn moet je eigenlijk daar rekening houden bij het voorbereiden voor een test, zoiets als gemiddeld 5 punten 1/3 SD hoger scoren dan wat geëist wordt van de toelatingstest, ook al had ik daar weinig rekening mee gehouden en zichbaar de testen op het randje gehaald. (Je krijg weliswaar wel 2 kansen; voor de Cattell A+B, en de NAT.)
Het is leuk en schattig wat men doet bij de high-IQ genootschappen met de IQ testjes en het cijfertje of percentielen plakken op personen. Echter, is het grote onzin.
Het concept IQ en het concept IQ-test wordt volkomen misbruikt als een graadmeter van de persoonlijke toestand, alsof het een thermometer of meetlint is. Daar is al veel over gepraat in dit draadje. Een IQ test is een test. Je score op een IQ-test zegt iets over je intelligentie echter het is niet
gelijk aan je intelligentie.
Dit is niet alleen haarkloverij over definities. Het is ook sowieso al onjuist in de statistieken die worden gebruikt. Als je op een IQ test 130 scoort dan is nog altijd de kans groter dat je IQ lager is dan de 130 dan hoger dan de 130 (je moet immers de a priori kansen meewegen). (dat was een lastige uitspraak omdat IQ slecht is gedefineerd. Meer exact, zonder vreemde definities: als je op een specifieke intelligentie test een 130 scoort, dan is je kans om in een willekeurige andere intelligentie test 130 of hoger te scoren lager dan je kans om 130 of lager te scoren, en de score waar je het meeste kans op hebt zal
lager zijn dan de 130)
Inderdaad wordt de kans op onnauwkeurigheid groter, maar zou een deel niet worden weg-gecancelled bij 100 simpele testen van elke 10 punten? Een beetje het idee dat als je maar vaak genoeg dobbelt de kans op een 6 de 1/6 benadert?
Daar had ik me al voor ingedekt. Je zou testjes van verschillende sterkten kunnen gebruiken. Echter dat is niet het geval met simpele testen. Het punt is dat er een verschil is tussen twee kleine tests en een grote test en dat je scores bij het optellen van grove scores niet zomaar de resolutie in gelijke mate verhoogt.
Je dobbelsteen test moet je als volgt zien. Als je honderd keer
dezelfde oneerlijke dobbelsteen werpt dan zul je vooral in de buurt komen van een gemiddelde rond de 1, 2, 3, 4, 5 of 6 (je kunt daar wel een hele fijne IQ schaal bovenop leggen en aan de score 5.9 een iets hoger IQ geven dan 5.8 al is dat niet echt nauwkeurig). Alleen als die honderd testjes voldoende variatie geven zal de score niet zodanig uitkomen.
Persoonlijk vindt ik zulke mini-testjes ook een lachertje. Er wordt niet getest of iemand heel goed een moeilijk probleem kan oplossen, bijvoorbeeld een twintig-zijdige dobbelsteen op twintig werpen. Er wordt getest of iemand een simpel probleem heel vaak kan oplossen. Bijvoorbeeld een 6-zijdige dobbelsteen honderd maal op 6 werpen. En als je dan wat foutjes maakt of niet snel genoeg de dobbelsteen kunt werpen dan meent men dat je ook slecht bent in die twintig-zijdige dobbelsteen. (ik begrijp de situatie wel, moeilijke problemen zijn vaak niet onafhankelijk van kennis, wat zorgt voor een verminderde objectiviteit van de testen ten aanzien van de leergeschiedenis van een persoon)
Maar door de test op een hogere waarde te laten starten (zoals MB zegt) en de eerste sprongen tussen scores groter te maken (door uiteraard de test items goed te ontwerpen/testen op moeilijkheidsgraad) kan me zich richten op de een nauwkeurigere indeling rondom de toelatingsdrempel, ook al baseer ik dit aspect op MB's:
Je kunt de tests daarin verbeteren al is de vooruitgang marginaal. Je hebt nog altijd mega sprongen in IQ punten (al kun je afvragen of die grote sprongen in IQ punten wel erg zijn. Ja, wel als je lid wilt worden van mensa. Al is die grens daarbuiten nogal onzinnig. Of je nu IQ 131 of vijf puntjes lager IQ 126 scoort... het verschil tussen 1:50 of 1:25, maakt dat echt uit? Op dit moment gaan andere aspecten veel belangrijker worden om te bepalen of je een interresant persoon bent).
Opnieuw ook een kritiek vanuit een statistisch oogpunt. Door meer dezelfde vragen of moelijkere varianten toe te voegen zul je niet echt veel meer waarde genereren. De centrale limietstelling geeft aan dat je verdeling in de ruwe score steeds meer een gausische verdeling krijgt. Het is onwaarschijnlijk dat met een eenvoudige vraagstelling als patronen in wat figuurtjes herkennen het gemiddelde van die verdeling rond de 0.98 zal komen liggen (dit betekent, als een enkele vraag al niet redelijk geschikt is om de bevolking te splitsen in een groep van 98% en 2%, dan zal een een meervoud van dat soort vragen het ook niet zijn). Dus wat je krijgt is dat de test met name gevoelig zal zijn in een gebied met een IQ x dat lager is dan de 130 en werkt als een goede filter voor dat IQ x, maar niet als een goede filter voor het IQ 130. De IQ 130 scores in dit soort testen ontstaan door de mensen die door
toevaligheden wat minder foutjes maken dan anderen (toevaligheden, dus je meet niet het
effect van de kundigheid in de test, en het hoge IQ is niet een maat voor hoe goed je bent in de testvaardigheid, maar hoe onnauwkeurig je bent in je testvaardigheid).
Tegen-kritiek op die laatste alinea is dat de uitkomst op de verzameling-simpele-kleine-vragen-IQ-test geen verzameling is van simpele onafhankelijk dichotoom verdeelde vragen en dat er meer subtiliteit te verkrijgen is. De test werkt beter gezegd als een snelheids meting (de truc is hoeveel vragen je af krijgt binnen een bepaalde beperkte tijd, en niet hoe goed je opzich bent in de vragen), met de snelheids-eis kun je eenvoudig varieren zodat een enkele vraag de bevolking heel goed in 98% en 2% kan splitsen. De kwestie is dan niet welk deel van de bevolking heeft de vraag goed, maar welk deel van de bevolking heeft de vraag goed binnen x seconden. Met die snelheids grens kun je goed varieren en je kijkt dan met zulke testen naar de 2% snelste van de bevolking (en stelt die 2% snelste dan als gelijk met 2% meest intelligente of hoogst begaafde bevolking).