IskolaMérés és értékelésPISA

PISA 2012 – Helyünk a nemzetközi mezőnyben

Előző írásunkban azzal foglalkoztunk, hogy – rövidebb és hosszabb távon – miért van szükség a PISA felmérések által alkotott átfogó képre, valamint végigvettük, miként épül fel a feladatrendszer struktúrája. Most azt nézzük meg, hogyan alakultak a PISA 2012 problémamegoldás vizsgálat eredményei.

Az átalakulóban lévő munkaerőpiac kihívásainak rövidesen a mostani – illetve a 2012-ben ilyen korú – 15 éveseknek kell megfelelniük. A kutatókat a PISA felmérések során az a kérdés foglalkoztatta, hogy rendelkezik-e ez a korosztály azokkal a képességekkel, amelyek lehetővé teszik, hogy megvessék lábukat a megváltozott világban. Magyarországra nézve nem túl bíztatóak az eredmények, melyeket cikkünkben részletesen ismertetünk.

az érintett országok

A PISA 2012-es problémamegoldás vizsgálatban összesen 44 oktatási rendszer tanulói vettek részt 28 OECD tagállamból (Ausztrália, Ausztria, Belgium, Chile, Csehország, Dánia, Egyesült Államok, Egyesült Királyság, Észtország, Finnország, Franciaország, Hollandia, Írország, Izrael, Japán, Kanada, Korea, Lengyelország, Magyarország, Németország, Norvégia, Olaszország, Portugália, Spanyolország, Svédország, Szlovákia, Szlovénia, Törökország) és további16 partner oktatási rendszerből (Ciprus, Brazilia, Bulgária, Egyesült Arab Emirátusok, Hong Kong-Kína, Horvátország, Kolumbia, Makaó-Kína, Malajzia, Montenegro, Orosz Föderáció, Sanghaj-Kína, Szingapúr, Szerbia, Tajvan és Uruguay).

A problémamegoldás felmérésben résztvevő  tanulók ugyanazok voltak,  akik a PISA 2012-es vizsgálat többi tesztjét: a matematika és a szövegértés, valamint a természettudomány feladatokat is megoldották. Emellett a matematika és a szövegértés készségét digitális méréssel is mérték. Így lehetőség volt arra, hogy a problémamegoldás feladatok eredményeit összehasonlítsák a papíralapú és a digitális matematika teszt eredményeivel.

Szeretnénk hangsúlyozni, hogy a problémamegoldás feladatok semmiféle tantervhez nem kötődnek.

Olyan feladatok voltak, amelyekkel a mindennapi életben találkoznak mindazok, akik a civilizációs szint szempontjából ahhoz a térséghez tartoznak, amelyhez Magyarország magát sorolja. Ez a civilizációs szint azonban nem tartható fenn anélkül, hogy a térségben élők túlnyomó többsége képes lenne a technikai fejlődéssel legalább a mindennapi használati eszközök vonatkozásában lépést tartani. Ez ma nem azt jelenti, hogy tudniuk kell zárat vagy vízcsapot szerelni, esetleg megvarrni a ruhájukat, hanem azt, hogy képesnek kell lenniük a mérnöki munkával előállított automaták és robotok kezelésére, és alkalmasnak kell lenniük arra, hogy megtalálják a  legmegfelelőbb szolgáltatásokat és eszközöket céljaik eléréséhez.

A problémamegoldás teszt átlageredményeit tekintve Magyarország az OECD tagállamok közül a leggyengébbek között szerepel: Törökország, Izrael és Ciprus társaságában.

Ha csak az Európai Unió tagállamait tekintjük, Magyarország a legutolsó helyen szerepel közvetlenül Horvátország után. Az OECD átlag alatti teljesítményt mutat még az OECD tagállamok közül Svédország, Szlovákia, Lengyelország, Spanyolország és Szlovénia. A környező országok közül az említetteken kívül Ausztria tanulói az OECD átlag körül, Csehország, Németország és Észtország tanulói az OECD átlag felett teljesítettek. Az élen ismét az ázsiai országok állnak (II.1. táblázat).

nem tudott mit kezdeni vele...

Ha a feladatokat művelettípusonként, illetve a problémahelyzet jellemzői szerint vizsgáljuk, azt látjuk, hogy a magyar tanulók kétharmada nem tudott mit kezdeni a tesztben felkínált problémákkal . Ezen belül a megismerés/információ gyűjtés típusú feladatokon a helyes megoldások aránya 35,2%, az alkalmazás típusú feladatokon 37,6%. A statikus problémahelyzetek feladatait a hazai tanulók 38,2%-a, az interaktív helyzetek feladatait 33,9 % tudta megoldani. Az OECD átlag körül, illetve e felett teljesítő országok megoldási szintjei a 45-60 % közötti tartományban mozognak (II.2.  táblázat).

 

 

A számítógépes környezet hatása a teljesítményre

Amint azt előző cikkünkben, a problémamegoldás tesztek bemutatásánál jeleztük, a tanulók a feladatokat számítógép segítségével oldották meg. A feladatoknak több mint a fele olyan volt, hogy a megoldáshoz szükséges információk egy részét az eszköz manipulálásával kellett önállóan megszerezni. A tanulók között világszerte jelentős különbségek lehetnek a számítógép használatában való jártasság tekintetében, számos országban igen fejletlen az iskolai informatika, és számos olyan tanuló van, akinek a billentyűzet vagy az egér kezelése is probléma. Az is problémát okozhat, hogy a tanulók a számonkérésnek ezzel a módjával sohasem találkoztak. Mindezek miatt megvizsgálták, hogy e két tényező – ti. a számítógép-kezelési készség és a számítógépes vizsgáztatás – idegensége mennyire befolyásolhatta az eredményeket.

Két feltételezés alapján elemezték az adatokat.

Az egyik feltételezés szerint maga a számítógépes környezet befolyásolhatta (ronthatta vagy javíthatta) a tanulók egyéni eredményeit.

A másik feltételezés szerint a számítógépes környezet maga is a problémamegoldó tevékenység részévé válik azzal, hogy fel kell ismerni a vele való kommunikáció szabályait, meg kell érteni, hogy miként használjuk a megadott cél elérésére. Más szóval:

az általános problémamegoldó képességet is minősíti az, hogy a tanuló mennyire tud élni a számítógép adta lehetőségekkel a problémamegoldásban.

Mennyire számít a jártasság a számítógép használatában?

Az első feltételezés szerint, ha a tanulót ténylegesen maga a számítógépes környezet bénította meg (például fokozta szorongását vagy nem tudott eléggé bánni a billentyűzettel és az egérrel, ezért időt veszített, és nem tudta befejezni a feladatsort), akkor ez a hátrány mind a számítógépes matematika teszten, mind a problémamegoldás teszten elért eredményét rontotta – a papír alapú teszten mért matematika eredménye alapján várható teljesítményhez viszonyítva.

Ezt a feltételezést a tanulók közötti különbségek (variancia) specifikusan a számítógépes környezet által magyarázható hányadának megállapításával vizsgálták. Azt nézték, hogy az egyes országokban a teljes varianciának hány százalékát magyarázza – más tényezőket kizárva – maga a számítógépes tesztelési mód.

Japán, az Orosz Föderáció, Norvégia, Franciaország és Lengyelország esetében 5% felett, Magyarországon, Ausztriában, Németországban 2 % alatt van a kizárólag a számítógépes tesztelési mód rovására írható különbség.

II.1. ábra: A számítógépes készségek befolyása a tanulók ranghelyére a teljesítmény rangsorban



Forrás: OECD (2014), PISA 2012 Results: Creative Problem Solving: Skills in Tackling Real-Life Problems (Volume V), PISA, OECD Publishing. V.2.18

Megjegyzés: Az ábra csak azoknak az országoknak az adatait tartalmazza, amelyek a számítógépes matematika felmérésben is részt vettek.

A második feltevés vizsgálatára megnézték, hogy a problémamegoldás teszten elért eredmény mennyiben hasonlít a papír alapú, illetve a számítógép alapú matematika teszten elért eredményhez. A tanulóknak a két matematika teszten és a problémamegoldás teszten elért eredményei közötti pontszámkülönbségek átlagait hasonlították össze azokban az országokban, amelyekben a tanulók mindhárom mérésben részt vettek[1].

II.2. ábra: A problémamegoldó képesség szintje és a számítógép alapú illetve papír alapú teszten mért matematikai teljesítmény közötti különbségek


[1] A pontszámok közötti összehasonlítást az teszi lehetővé, hogy minden pontszámot azonos módon standardizált skálán mérnek, amelyen az adott teszten az OECD átlag 500 pont, a szórás 100 pont.


Megjegyzés: A 0 tengely felett látjuk azokat az országokat, amelyekben a problémamegoldás teszteredmények és a számítógépes matematika teszteredmények (kék hasáb), illetve a papír alapú matematika teszteredmények között a problémamegoldás teszteredmények javára van különbség. A 0 vonal alatt azok az országok vannak, amelyekben a különbség a problémamegoldás hátrányát jelzi. A fekete nyíl iránya jelzi, hogy a papíralapú teszten elért eredmény különbsége a számítógépes teszteredmény különbségéhez hozzáadandó, vagy annál kisebb. A halványított nyomás az OECD átlagtól statisztikai szempontból nem szignifikáns különbséget jelez.

A pontszámok közötti összehasonlítást az teszi lehetővé, hogy minden pontszámot azonos módon standardizált skálán mérnek, amelyen az adott teszten az OECD átlag 500 pont, a szórás 100 pont.

Akár jobb, akár gyengébb a problémamegoldás teszt eredménye, mint a két matematika teszté, az országok nagyobb részében nincs nagy különbség aközött, hogy a papír alapú, vagy a számítógép alapú matematikateszt eredményével hasonlítjuk össze a tanuló problémamegoldás teljesítményét. Azonban van néhány ország, ahol a problémamegoldás teszt eredménye is rosszabb, mint a számítógép alapú matematika teszt eredménye, és sokkal rosszabb, mint a papíralapú matematika teszt eredménye. Ezek közé az országok közé tartozik Izrael, Lengyelország, Szlovénia, Magyarország, Sanghaj és az Egyesült Arab Emirátusok.

Nincs egyértelmű magyarázat arra, hogy mi ennek az oka. Ugyanakkor felmerül a gyanú, hogy a tesztelés módja (ti. a számítógépes mérés) csak részben felelős a problémamegoldás teljesítmény alacsony szintjéért. Érvek szólnak amellett, hogy maga a digitális eszköz célszerű használata – leszámítva a rutin eljárásokat – maga is kihívás: problémahelyzet, amelyben a problémamegoldó kompetencia elemeinek megléte (pl. kíváncsiság, hajlandóság a probléma megértéséhez szükséges elmélyülésre és kitartás az ismeretlen eszközzel való kommunikációban) a sikeres feladatmegoldás feltétele.

Persze nem zárható ki, hogy egyes országokban bizonyos digitális eszközök elterjedtsége miatt a tanulók rutinból meg tudtak oldani olyan feladatokat, amelyek más országokban valódi problémamegoldást igényeltek. De például a robotporszívó feladatait csak kísérletező–elemző technikával lehetett megoldani, ehhez elég jó problémamegoldó kompetenciára volt szükség.

MIK LEHETNEK A GYENGE MAGYAR TELJESÍTMÉNY OKAI?

A gyenge teljesítmény vélhető okai között megemlítendő, hogy – friss magyar kutatási adatok szerint – a PISA korosztály diákjai

főként szórakozásra, játékra és kommunikációra használják az internetet.

Úgy tűnik, az elmélyülést igénylő tanulásnak, keresésnek, kutatásnak jellemzően nem eszköze a számítógép[1]. Ezért úgy gondoljuk, hogy a feladott problémahelyzet „lekezelése” és a kitartás hiánya is közrejátszott abban, hogy a tanulók gyengén teljesítettek a számítógép alapú problémamegoldás teszteken, amelyek még csak nem is hasonlítottak az iskolában megkövetelt feladatokhoz.

A problémamegoldás vizsgálat megerősítette azt a tényállást, hogy az iskola csak annyiban szolgálja a tanulók fejlődését, amennyiben a szülők kellő elhivatottsággal és leleményességgel nevelik és tanítják gyermekeiket – és ennek eredményeként sikerül gyermeküknek bekerülniük egy viszonylag jó iskolába. A rendszer azonban csekély lehetőséget kínál azoknak a fiataloknak, akik az iskolázottságot nem becsülő, vagy túlságosan elfoglalt, kenyérkeresésben megfáradt szülők mellett nőnek fel. E szerencsétlenebb ifjúsági csoport sorsa megpecsételődik a nyolcadik osztály végére, amikor is a deklaráltan „teljesítményelvű”, ámde valójában társadalmi alapú szelekció révén a tanulóknak csak olyan iskola jut, ahol sem a kortárscsoport húzóereje, sem az iskola motiváló képessége és szakmai színvonala nem tudja már korrigálni az általános iskolában elmulasztottakat.

A PISA 2012-es felmérésben tanulók 75,4%-a állította, hogy az iskolában használnak számítógépet. A problémamegoldás teszten elért teljesítményben azonban nincs értékelhető különbség azok között, akik az erre vonatkozó kérdésre igennel, illetve nemmel válaszoltak – függetlenül a család szociokulturális hátterétől.

Bár keveset tudunk arról, hogy a magyar diákok hogyan és milyen mértékben használják tanulásra az internetet, a PISA vizsgálat egyes adatai arra utalnak, hogy

az iskolában vajmi kevés történik annak érdekében, hogy az informatikai eszközök hatékonyan beépüljenek a tanulási környezetbe.

Az iskolákban a legtöbb helyen – a lopás megelőzése érdekében – a gépek lezárt gépteremben vannak, ahhoz csak a számítástechnikai órán férnek hozzá a tanulók, s ezen az órán elsősorban a számítástechnikai alapismeretek elsajátíttatása a cél.

Ezzel szemben a tanulók 94,7 %-a állította, hogy használ otthon számítógépet, laptopot vagy tabletet. Igen jelentős a teljesítménybeli különbség – átlag 100 pont – azoknak a tanulóknak az eredménye között, akik otthon használnak számítógépet, és azok között, akik nem. A különbség viszont 40 pontra mérséklődik (!), ha figyelembe vesszük a családi háttér kulturális különbségeit is.

Arról lehet szó, hogy az otthoni számítógép vitathatatlan előnye minden esetben a szabad hozzáférés, ami lehetővé teszi, hogy a tanuló saját maga kísérletezzen azzal, hogy miként tudja ezt a titokzatos gépet különféle céljaira felhasználni. Ám nem mindegy, hogy milyen céljai vannak. Egyes célok eléréséhez nagyon is sok kreativitás, erős motiváció és kitartás, valamint problémamegoldó gondolkodás szükséges.

Ez az, amiben az egész életen át tartó tanulás iránt elkötelezett családokban felnövekvő fiatalok előnyt élveznek.

Ilyen lehet egy bonyolultabb számítógépes játék szabályainak megfejtése is, vagy, hogy egyszerűbb példát mondjunk, egy szöveg megformázása, táblázatok, grafikonok készítése, internetes piackutatás vagy szakirodalmi információ gyűjtése egy adott témában. Ebben a tekintetben valószínűleg nem is az számít, hogy milyen iskolai feladatokat adnak, amelynek a megoldásához számítógépes segítség szükséges. Sokkal nagyobb szerepet játszik az a szellemi fegyelem, amelyet a tanulás iránt elkötelezett fiatal elsajátít – jobbára a szülők és a tanárok nevelése eredményeként – és a saját továbbtanulási céljainak elérése érdekében.



[1] Ld. pl. M.Fazekas Ágnes, Cs.Czachesz Erzsébet (2011) Középiskolás tanulók számítógép és internethasználati szokásai. Iskolakultúra, 21. 8-9. sz. 120-134. old.

Függelék

II. 1. táblázat A PISA 2012 problémamegoldást teszt átlagai a résztvevő 44 országban

 

  OECD átlag=500, szórás=100
  Országátlag Gyengén teljesí-tők %-os aránya (2-es szint alatt) Kiválóak %-os aránya (5-6-os szint) Fiúk és lányok átlaga közötti különbség (F-L)
OECD országok átlaga 500 21,4 11,4 7
Szingapúr 562 8,0 29,3 9
Korea 561 6,9 27,6 13
Japán 552 7,1 22,3 19
Makaó-Kína 540 7,5 16,6 10
Hong Kong-Kína 540 10,4 19,3 13
Sangháj-Kína 536 10,6 18,3 25
Tajvan (Kínai Tajpej) 534 11,6 18,3 12
Kanada 526 14,7 17,5 5
Ausztrália 523 15,5 16,7 2
Finnország 523 14,3 15,0 -6
Anglia (Egyesült Királyság) 517 16,4 14,3 6
Észtország 515 15,1 11,8 5
Franciaország 511 16,5 12,0 5
Hollandia 511 18,5 13,6 5
Olaszország 510 16,4 10,8 18
Csehország 509 18,4 11,9 8
Németország 509 19,2 12,8 7
Amerikai Egyesült Államok 508 18,2 11,6 3
Belgium 508 20,8 14,4 8
Ausztria 506 18,4 10,9 12
Norvégia 503 21,3 13,1 -3
Írország 498 20,3 9,4 5
Dánia 497 20,4 8,7 10
Portugália 494 20,6 7,4 16
Svédország 491 23,5 8,8 -4
Orosz Föderáció 489 22,1 7,3 8
Szlovákia 483 26,1 7,8 22
Lengyelország 481 25,7 6,9 0
Spanyolország 477 28,5 7,8 2
Szlovénia 476 28,5 6,6 -4
Szerbia 473 28,5 4,7 15
Horvátország 466 32,3 4,7 15
Magyarország 459 35,0 5,6 3
Törökország 454 35,8 2,2 15
Izrael 454 38,9 8,8 6
Chile 448 38,3 2,1 13
Ciprus 445 40,4 3,6 -9
Brazilia 428 47,3 1,8 22
Malajzia 422 50,5 0,9 8
Egyesült Arab Emirátusok 411 54,8 2,5 -26
Montenegro 407 56,8 0,8 -6
Uruguay 403 57,9 1,2 11
Bulgária 402 56,7 1,6 -17
Kolumbia 399 61,5 1,2 31

Forrás: OECD (2014), PISA 2012 Results: Creative Problem Solving: Skills in Tackling Real-Life Problems (Volume V), PISA, OECD Publishing. V.A tábla

Megjegyzések: A dőltbetűvel szedett országok OECD tagállamok. A kék cellák OECD átlag feletti értéket, a színezetlen cellák az OECD átlag körüli, a szürke cellák az OECD átlag alatti értéket jelölnek. A vastagon szedett értékek statisztikailag szignifikáns különbséget jeleznek a fiúk és a lányok átlaga között. A pozitív értékek a fiúk, a negatív értékek a lányok fölényét mutatják.

 


II.2. táblázat A problémamegoldás feladatok megoldási szintjei művelettípusok és a problémahelyzet jellege szerint

  A helyes válaszok százalékos aránya
a feladatok műveleti jellemzői szerint a problémahelyzetek jellege szerint
Megismerés, információszerzés típusú feladatok Alkalmazás típusú feladatok A statikus problémahelyzetek  feladatai Az  interaktív problémahelyzetek feladatai
OECD országok átlaga 45,5 46,4 47,1 43,8
Szingapúr 62,0 55,4 59,8 57,5
Korea 62,8 54,5 58,9 57,7
Japán 59,1 56,3 58,7 55,9
Makaó-Kína 58,3 51,3 57,0 51,7
Hong Kong-Kína 57,7 51,1 56,1 52,2
Sangháj-Kína 56,9 49,8 56,7 50,3
Tajvan (Kínai Tajpej) 56,9 50,1 56,3 50,1
Kanada 52,6 52,1 52,7 50,5
Ausztrália 52,3 51,5 52,8 49,9
Finnország 50,2 51,0 52,1 47,7
Anglia (Egyesült Királyság) 49,6 49,1 49,5 47,9
Észtország 46,8 49,5 49,7 45,6
Franciaország 49,6 49,4 50,3 47,6
Hollandia 48,2 49,7 50,4 46,5
Olaszország 49,5 48,0 49,5 46,8
Csehország 45,0 46,9 46,2 44,4
Németország 47,5 49,5 49,4 46,3
Amerikai Egyesült Államok 46,5 47,1 46,6 45,9
Belgium 47,0 47,5 48,3 45,4
Ausztria 45,7 47,4 48,3 43,0
Norvégia 47,7 48,1 49,4 44,5
Írország 44,6 45,5 44,4 44,6
Dánia 44,2 48,1 47,9 42,3
Portugália 41,6 45,7 44,0 42,0
Svédország 45,2 44,6 47,7 41,6
Orosz Föderáció 40,4 43,8 43,8 39,7
Szlovákia 40,5 43,2 44,2 38,8
Lengyelország 41,3 43,7 44,1 39,7
Spanyolország 40,0 42,3 42,3 39,8
Szlovénia 37,8 42,3 42,9 36,7
Szerbia 37,7 40,7 40,3 36,8
Horvátország 35,2 40,5 39,3 35,6
Magyarország 35,2 37,6 38,2 33,9
Törökország 32,8 36,0 35,8 32,7
Izrael 38,7 37,0 39,7 35,6
Chile 30,9 35,2 34,9 31,8
Ciprus 33,6 34,8 37,0 31,4
Brazília 28,0 32,0 29,8 29,1
Malajzia 29,1 29,3 30,1 27,4
Egyesült Arab Emirátusok 28,4 29,0 29,9 27,1
Montenegro 25,6 30,0 30,3 25,1
Uruguay 24,8 27,9 27,5 24,8
Bulgária 23,7 26,7 28,4 22,3
Kolumbia 21,8 27,7 26,3 23,7
   
   
           

2014 június 26. Kádár Judit

 

Kölöknet hozzászólás

aláírás