Over de Mensa-test en andere IQ-testen

[TomZ]

geweldige uitleg, dank je!

ps, je link doet het niet meer in je onderschrift. hier een nieuwe.
https://www.stanford.edu/dept/psycholog ... rmance.pdf

[Kaze]

Correlatie geeft de sterkte aan omdat de variabelen dezelfde schaal worden toebedeeld en dus vergelijkbaar zijn. Het is een maat voor het verband in de puntenpopulatie, niet voor 'een verband tussen 2 specifieke punten die een paar vormen'.

Bij een niet perfecte schaal heb je altijd regressie naar het gemiddelde (waar je feitelijk naar verwijst). Scoor je extreem hoog, dan is de kans dat je de volgende keer minder hoog scoort aanzienlijk (groter dan de kans dat je gelijk of hoger scoort). Maar zoals gezegd, als je meerdere tests gebruikt, worden meetfouten uitgemiddeld. Full scale IQ correleert zo'n 95% met g factor score. Dit is ongeveer hetzelfde als de betrouwbaarheid van een IQ testbatterij.

(Dat IQ testbatterijen betrouwbaar zijn, zegt natuurlijk nog zoveel over de validiteit van IQ als meting van intelligentie en/of dat van IQ grenzen. Ik ben van mening dat IQ tests onder bepaalde voorwaarden als valide instrumenten kunnen worden beschouwd. Dat er door Mensa zo'n strikte en arbitraire grens wordt gebruikt is een andere kwestie. Eigenlijk is het totaal absurd, omdat uit niets blijkt dat er een of andere IQ grens is waarbij er een kwalitatieve verandering in het denken optreedt. Het onderscheid hoogintelligent versus niet-hoigintelligent of hoogbegaafd versus niet-hoogbegaafd is een artificieel onderscheid. De gehanteerde percentielgrens is totale flauwekul, maar natuurlijk wel het recht van een clubje om te hanteren. Soms kan het helpen om beleid te maken, juist in gevallen waarbij alle grenzen arbitrair zullen zijn.)

[Kaze]

Je moet onderscheid maken tussen de relatie van testscores op 1 test met
(A) testscores op dezelfde test enige tijd later (dit is de test-hertest betrouwbaarheid)
(B) g factor scores (dit is de g lading, 'feitelijk een maat voor hoe goed de test een indicator vormt van intelligentie, whatever intelligentie is)
(C) testscores op een andere IQ test (een kruiscorrelatie dus)

A is meestal hoog, B varieert enorm tussen tests en C ook

Als je echter full scale IQ neemt dan middelen allerlei invloeden uit.
De fout wordt erg klein (reken maar uit: een correlatie van .95 is een verklaarde variantie van .95^2=.9025 dus een residuele variantie van 1-0.95^2=.0975. Geven dat de interindividuele variantie 15^2 is, is dus de meetfoutvariantie 21.9375. Terug naar de schaal (neem de wortel) is dat 4.68 IQ punten. Dat is de foutmarge (gemiddelde meetfout). Let wel: gegeven dat er een een reeks tests is afgenomen.

[Tinus]

Het is een maat voor het verband in de puntenpopulatie

En je moet dus onderscheid maken of je naar het verband kijkt in de puntenpopulatie of dat je iemands IQ probeert te voorspellen. Een sterk verband in de puntenpopulatie hoeft nog niet goed te zijn voor de voorspellingskracht van de score van een individu. Het is een beetje als die raadseltjes omtrend de betrouwbaarheid van een test. Voor een ziekte waar 1 op de 1000 mensen aan lijdt, is een 99% betrouwbare test ontwikkeld. Wat is de kans dat je ook echt ziek bent als de test dat uitwijst?

In het geval van zo'n full scale score met een correlatie van >0.95 kom je wel nauwkeurig uit als je naar een indidu kijkt. 4-5 punten verschil. Maar dan heb je het over een correlatie van 0.95

Wat betekent een "sterke" correlatie van 0.7 als je voor een individu een testcore van 130 hebt? Is dat dan een veelzeggende of representatieve uitslag?

Volgens mij is het antwoord 'nee, de score is niet representatief'. Voor een individu met testscore 130 is de verdeling van de andere waarde (waarmee de correlatie 0.7 is) een gemiddelde 121 (100+0.7*30) met een deviatie van 10.7 (sqrt 1-0.7^2). De kans dat die andere waarde 130 is die is net zo groot als dat die 112 is. De kans dat de andere waarde 100 of kleiner is die is 2.5% (1 op de 40 die 130 scoren bij zo'n test zijn dan eigenlijk ondergemiddeld). Bij een testuitslag die een correlatie met IQ heeft van 0.8 is die kans al een stuk kleiner 0.5%, maar nog steeds heb je een grote afwijking. De kans dat je onder de 124 zit als je 130 als score hebt die is 50%.

[Kaze]

Daarom moet men ook niet 1 IQ test afnemen...

En ja, voorspellingen op individueel niveau, dat kan ook niet in de psychologie. Een reden waarom selectie op IQ nooit verstandig is, ook al is het de 'beste single predictor'

[Nalle]

Wow, bedankt voor deze uitleg! Begrijp nu een stuk beter hoe het werkt.

[Nalle]

In het geval van de g-factor hebben de onderliggende onderdelen maar een beperkte correlatie (50-70%) met de g-factor.

Hoe is die g-factor dan gemeten? Is dat het gemiddelde van alle onderdelen? Moet wel lijkt me, want IQ-testonderdelen zijn de enige manier om iets over IQ te zeggen, er bestaat geen andere manier van meten voor...

(Breinomvang lijkt me tenminste niet erg veelzeggend, olifanten hebben vast ook een heel groot brein...)

[Laatbloeier]

(Breinomvang lijkt me tenminste niet erg veelzeggend, olifanten hebben vast ook een heel groot brein...)

Wat betreft breinomvang, 'by the way', dit gaat eerder om de relatieve breinomvang (relatief t.o.v. lichaam) dan om de absolute breinomvang, zo heb ik mij laten vertellen.

[Nalle]

Aha

[TomZ]

Sterker nog, het gaat om het formaat van de 'hogere' hersendelen. De neocortex en in het bijzonder de prefrontale cortex. Met dank aan Wikipedia.

[Laatbloeier]

Mooi TomZ, dank voor de aanvulling! (Ik heb overigens wel eens begrepen dat Einstein een relatief klein brein had...)

[Tinus]

In het geval van de g-factor hebben de onderliggende onderdelen maar een beperkte correlatie (50-70%) met de g-factor.

Hoe is die g-factor dan gemeten? Is dat het gemiddelde van alle onderdelen? Moet wel lijkt me, want IQ-testonderdelen zijn de enige manier om iets over IQ te zeggen, er bestaat geen andere manier van meten voor...

(Breinomvang lijkt me tenminste niet erg veelzeggend, olifanten hebben vast ook een heel groot brein...)

g factor is wat verschillende testjes gemeenschappelijk hebben. Je bepaalt het door een combinatie van verschillende testjes te nemen.

Zie bijvoorbeeld in onderstaand plaatje de relaties tussen de posities van 23 schooljongetjes in de vakken classics, french, english en math.

Er is een grote overeenkomst in de posities bij de verschillende vakken. Statistisch kun je zoeken naar een combinatie van die variabelen die een bepaalde maat optimaliseert. In het voorbeeld van dit plaatje is dat de som van 26.5% classics 26% french 22.5% english 25% math. De maat die hier is gebruikt is te zoeken naar de grootste spreiding (in de plotjes zie je dat de meeste spreiding van de 23 kindjes in een enkele richting plaats vindt en dat loodrecht daarop maar weinig onderscheid is).

Behalve statistisch kun je er nog aan toevoegen dat die statistische samenhang in een enkele factor misschien ook een reeele oorsprong heeft. Er is die belangrijke factor plus een aantal kleinere effectjes en die bepalen de scores op je testen.

Persoonlijk denk ik dat zo'n factor model met een g factor als belangrijke aandrijving niet juist is als causaal verband. Ik heb daar geen bewijs voor, ik ben geen dataverzamelaar en heb niet de mogelijkheden dat te controleren, maar puur de observatie dat er statistisch een enkele factor is wil nog niks zeggen. Een enkele factor kan prima ontstaan ook als er niet een enkele factor als causaal verband bestaat. Een samenhang in een enkele factor kan prima verklaard worden doordat ontwikkelingen in verschillende gebieden elkaar beinvloeden. Ik geloof dat een statistisch verband tussen onderlinge testen op het moment de belangrijkste drive is in dat g-factor theorietje, maar dat statistische verband is dus niks waard omdat het meerdere verklaringen kan hebben (het sluit niet uit of de g-factor een oorzaak of een gevolg is).



neem het 4e vierkantje vanaf links en het 3e van onder als voorbeeld.
Dit geeft aan de positie in math op de x-as en de positie in english op de y-as. Bijvoorbeeld het onderste puntje in de grafiek hoort bij het kindje dat 1e is in engels (en 2e in wiskunde).

[TomZ]

off-topic: ik zag de eerste plaatjes en dacht, tof, welk plaatje is logischerwijs de volgende?

[Nalle]

Wat tof dat je dit zo lekker overzichtelijk uit kan leggen, Tinus. Ik doe ook wel eens dingen met SPSS maar de statistische kennis die erachter zou moeten zitten is weggezakt (ben het pas net weer aan het oppakken). SPSS wordt dan een soort trucje, wel jammer. Misschien maar weer eens de kennis erachter gaan ophalen.

Wat is de relatie tussen wat je nu hebt uitgelegd en een factoranalyse?

[Tinus]

Wat is de relatie tussen wat je nu hebt uitgelegd en een factoranalyse?

De laatste kolom (en onderste rij) is de eerste principal component. Principal component analysis is een onderdeel van factor analyse. In 3d en met meerdere parameters wordt het overigens nog duidelijker maar daar heb ik op het moment geen goed online voorbeeld van.

[Tinus]

Hier is een voorbeeldje van hetzelfde principe maar in een andere toepassing. Het plaatje laat het resultaat zien van een PCA toegepast op uitkomsten van een smaaktest van verschillende broden. Je kunt in de settings tap een beetje spelen met de variabelen die worden getoond. Je ziet dan steeds dat een boel variabelen enigzind met elkaar gecorreleerd zijn. Vaak zie je in de 3D voorstelling een wolk met een puntige vorm, voornamelijk in een bepaalde richting (of soms meerdere richtingen maar in 3d of 2d zie je maar enkele dimensies van de vele die aanwezig zijn) is de verdeling het grootste. Die richting is de eerste principal component. In het voorbeeld linkje correleert die eerste principal component heel sterk met de versheid van het brood. Het is dus alsof de variatie in de scores van broden voor het grootste deel met die onderliggende parameter in verband zijn. Je kunt met die 1e enkele parameter bijna 50% van de variatie van de originele 11 parameters omvatten.

http://www.swfcabin.com/open/1387375601

[mark1]

vandaag de mensa test gemaakt in Rotterdam, had er eigenlijk wel wat meer van verwacht, klein testje van 20 min, de thuistest was uitdagender op een 5 tal vragen na.
Ben wel benieuwd naar de uitslag

[TomZ]

9 oktober de mensa online test gedaan, net geen 98 percentiel.
vandaag maar weer eens. Ditmaal: uitstekend.
heb wat matrixredeneertestjes gedaan en deze dus dubbel.
sluit mooi aan bij wais, pri 110, dus als ik iets voor het eerst doe ben ik er slechter in dan na oefening, of is dat te kort door de bocht?
waar de 9 van de 19 bij wais vandaan is me wel een raadsel, had mensa in 12 minuten af.

[Kaze]

Ik geloof dat een statistisch verband tussen onderlinge testen op het moment de belangrijkste drive is in dat g-factor theorietje, maar dat statistische verband is dus niks waard omdat het meerdere verklaringen kan hebben (het sluit niet uit of de g-factor een oorzaak of een gevolg is).

Atijd fijn om te lezen dat gelukkig niet iedereen g-adapt is

[Unity]

Had je dit gezien, Kaze?

ps, je link doet het niet meer in je onderschrift. hier een nieuwe.
https://www.stanford.edu/dept/psycholog ... rmance.pdf