Ik wil niet het verloop van de discussie te veel verstoren maar ik heb een enorme drang om kantekeningen te plaatsen bij de onderzoekresultaten, simpel omdat ik nou eenmaal een persoon ben die van cijfers houdt en hier zie ik grote fouten
(stomme psychologen die niks van cijfers weten).
Opvallend bij deze grafiek is de standard error. Dit om twee redenen.
Ten eerste lijkt het alsof de error ongeveer gelijk blijft van punt tot punt terwijl deze een stuk kleiner zou moeten worden. Intuitief kun je dit zien als de groep meer richting het uiteinde komt dan zullen de individuen ook meer op elkaar moeten zitten en minder spreiding hebben. Als de score van 45 naar 35 daalt of van 55 naar 65 stijgt dan moeten de individuen ook dichter op elkaar komen te zitten. Meer theoretisch kun je het zien als dat de totale spreiding gelijk is aan de som van de spreiding tussen de groepen en de spreiding in de groepen. De totale spreiding blijft gelijk (zelfde aantal individuen met zelfde totale ranks) en de spreiding tussen de groepen wordt groter dus dan moet de spreiding in de groepen wel kleiner worden.
Ten tweede lijkt de error aan de grote kant. De error is ongeveer 1 a 2. Echter de deviatie is velen malen groter (de formule is ongeveer Stanmdaard Error = Standaard Deviatie / wortel(groep grote)). Als je een gemiddelde hebt van 35 met een deviatie van ongeveer 30 dan betekent dit of een enorm scheve verdeling of dat een aantal in de groep beneden de nul scoren, dat laatste is echter niet mogelijk (zelfde verhaal aan de bovenkant waarbij mensen boven de 100 scoren).
Dit grafiekje laat eerder zien dat er een effect is van de slechte tests dan van de ontwikkeling. Je ziet inderdaad dat de domme kindjes met hsc ouders stijgen en dat de slimme kindjes met lsc dalen. Maar veel frapanter is dat
ook de domme kindjes met lsc ouders stijgen en dat de slimme kindjes met hsc ouders dalen.
Wat betekent dit? Je kunt dit verklaren met een onnauwkeurige test bij 22 maanden. Als we mensen rangschikken in een touwtjespring contest en dan vervolgens kijken naar een echte iq-test dan is het uiteraard logisch dat de ontwikkeling van het onderste kwartiel een stijgende lijn is (ongeacht wat de achtergrond van de groep is). Mensen die niks met slim of dom hebben te maken zullen van het onderste kwartiel (12.5% gemiddeld) of van het bovenste kwartiel (87.5% gemiddeld) in het touwtje springen verplaatsen naar een 50% gemiddeld op een echte iq-test (omdat er weinig link is tussen touwtje springen en een iq test). Dat is voor gemiddelde kindjes, als je echter kindjes hebt die daadwerkelijk slim zijn dan zullen die hoog eindigen en de kindjes die daadwerkelijk dom zijn zullen laag eindigen.
En, wat zie je? De lsc en hsc kindjes eindigen bijna gelijk ongeacht of ze uit het eerste of laatste kwartiel kwamen (10% verschil). Dit betekent niet dat er een ontwikkeling gaande is maar meer dat die 22maanden test niks waard is (merk op dat de daling van 87.5% naar 70% betekent dat er dan ook een boel slimme kindjes , met hsc ouders, zijn die eerst in het hoogste kwartiel zaten nu ineens in het ene laagste zitten). De kindjes met hsc ouders zijn werkelijk slim en de kindjes met lsc ouders zijn werkelijk dom alleen laat die 22 maanden test dat slecht zien, en de 40 en 58 maanden zijn ook niet beter.
Deze grafiek is een slechte manier om te laten zien hoe de data in elkaar steekt. Het laat bijvoorbeeld niet zien of er daadwerkelijk ontwikkeling plaats vindt. Om dat te kunnen zien moet je de data veel dieper analyseren dan alleen naar de onderste en bovenste kwartielen te kijken. Je moet mede analyseren of de tests wel goed zijn. De wisselingen tussen kindjes zijn anders wanneer je totaal verschillende tests hebt (zoals touwtje springen versus een echte iq test) in dat geval worden alle kindjes door elkaar gehusseld. Als de tests echter wel allen een goede iq meting zijn, en de sprongen in gemiddelde score komen door een ontwikkeling, dan zouden de kindjes uit een zelfde groep minder door elkaar geschud worden. Deze grafiek doet mij sterk afvragen of dat toch het geval is. Het ziet er doorelkaar gehusseld uit.
---------
Andere foutjes (maar dit is meer spelling typos alhoewel het niet veel vertrouwen schept): In die feinstein.pdf zijn de onderschriften in de Appendix 3 bij figuren 1a-d volkomen verkeerd. De observation numbers corresponderen niet met logica. Als er bijvoorbeeld 474 observaties kindjes zijn met beide ouders een hoge SES dan is het vreemd als slechts 176 kindjes een vader met hoge SES hebben. Tevens ook meldt men dezelfde obeservaties nummers voor vaders en moeders (vergelijk onderschrift figuren 1c en 1d).<
Ik schrijf dit niet alleen maar als mierenneuken. Ik was dat artikel gaan lezen omdat de grafieken er vreemd uitzagen en deze foutjes met observatie nummers kwamen toen direct te voorschijn. Het zijn geen foutjes die opkomen na lang zoeken, ze zijn erg saillant.