“The best we can say about Pisa rankings is that they are useless”.

Posted on 8 oktober, 2013 av

3


3 december 2013 kommer PISA-resultaten 2012 att publiceras. Och medan länders toppledare håller andan i väntan på rankingen, försöker många andra med intresse för lärande och lärande utveckling få gehör för att PISA ändå kanske inte är ett sådant bra mått att luta sina reformer på. Eller för att uttrycka det med samma ord som skribenten till artikeln ”Is PISA fundamentally flawed”  i Tes Magazine som citeras här: ”Kejsaren har inga kläder!”.

”But what if there are “serious problems” with the Pisa data? What if the statistical techniques used to compile it are “utterly wrong” and based on a “profound conceptual error”? Suppose the whole idea of being able to accurately rank such diverse education systems is “meaningless”, “madness”? … What if you learned that Pisa’s comparisons are not based on a common test, but on different students answering different questions? And what if switching these questions around leads to huge variations in the all- important Pisa rankings, with the UK finishing anywhere between 14th and 30th and Denmark between fifth and 37th? What if these rankings – that so many reputations and billions of pounds depend on, that have so much impact on students and teachers around the world – are in fact “useless”?”

Länder svarar på olika frågor med olika svårighetsgrader – och mätinstrumentet går ej att använda om detta görs. En del länder svarar inte på frågor som andra länder svarar på – ändå tas alla frågor med i beräkningen när rakningen görs. Vissa länder svarar inte på frågor relaterade till läsning, ändå rankas de i läsning. Modellen har stora matematiska problem och kan därför aldrig fungera, säger en annan forskare. Detta är några argument som framförs i en hård kritik av PISA-mätningarna.

“This in itself is ridiculous,” Kreiner tells TES. “Most people don’t know that half of the students taking part in Pisa (2006) do not respond to any reading item at all. Despite that, Pisa assigns reading scores to these children.”

 

”People may also be unaware that the variation in questions isn’t merely between students within the same country. There is also between-country variation.

For example, eight of the 28 reading questions used in Pisa 2006 were deleted from the final analysis in some countries. The OECD says that this was because they were considered to be “dodgy” and “had poor psychometric properties in a particular country”. However, in other countries the data from these questions did contribute to their Pisa scores.”

Svaret som tidningen Tes får av OECD, på frågan om PISA:s ranking går att lita på, är allt annat än lugnande:

”The sample data used mean that there is “uncertainty”, the OECD admits. As a result, “large variation in single (country) ranking positions is likely”, it adds.”

Om du ej tvivlat på PISA innan så lär du göra det efter att ha läst denna artikel. Rubriken på det här inlägget är ett citat av Kreiner, som förklarar varför modellen som används för att ta fram data till PISA, Rasch modellen, inte är relevant.

“It is true that all statistical models are wrong. But some models are more wrong than other models and there is no reason to use the worst model.”

I artikeln hävdas det att PISA-mätningarna är så osäkra att Kanada likväl kan placeras på andra plats som på 25 plats och Japan kan placeras någonstans mellan plats åtonde och 40:onde. Skrämmande tanke, eftersom så mycket av den skolpolitiska retoriken bygger på just PISA-mätningarna – och alla reformer vi ser kommer till av denna jämförelsen mellan världens länder.

”They are the world’s most trusted education league tables. But academics say the Programme for International Student Assessment rankings (PISA, sic!) are based on a ‘profound conceptual error’. So should countries be basing reforms on them?”

“There are very few things you can summarise with a number and yet Pisa claims to be able to capture a country’s entire education system in just three of them. It can’t be possible. It is madness.” Dr Hugh Morrison, Queen’s University Belfast, Northern Ireland”

Läs hela artikeln här. Och kommentera gärna på det här inlägget! vi är mycket intresserade av dina tankar kring detta.

Posted in: PISA