Metode - hvordan sikre pålitelig og relevant informasjon?

Metodiske utfordringer i PISA

PISA MetodeEr det i det hele tatt mulig, på tvers av landegrenser, å framskaffe sammenliknbar informasjon om 15-åringers kompetanse i lesing, matematikk og naturfag? PISA-undersøkelsen byr på en rekke metodiske utfordringer, og mange krav må tilfredsstilles:

  • Utformingen og sammensetningen av oppgaveenheter må være slik at en analyse av elevsvarene gir et treffsikkert bilde av 15-åringers kompetanse i lesing, matematikk og naturfag.
  • Oppgavenes vanskegrad skal i størst mulig grad være lik fra land til land, uavhengig av elevenes språklige og kulturelle bakgrunn.
  • Metodisk forsvarlige rutiner skal ligge til grunn for utvalget av skoler og elever i hvert enkelt land.
  • Undersøkelsen skal gjennomføres så likt som mulig i hvert enkelt deltakerland.
  • Resultatene skal presenteres slik at de blir forståelige for et bredt publikum.

Fem forskningsinstitusjoner har hatt hovedansvaret for å utarbeide et forskningsdesign som kan møte de metodiske utfordringene: Australian Council for Educational Research (ACER), det nederlandske National Institute for Educational Measurement (Cito Group), det belgiske Unité d´analyse des systèmes et des pratiques d`enseignement (aSPe), det japanske National Institute for Educational Research (NIER) og Educational Testing Service (ETS) i USA.

Oppgaveheftenes utforming

Oppgaveheftene i PISA-undersøkelsen inneholder to oppgavetyper:

  • Flervalgsoppgaver, det vil si oppgaver der elevene får se fire mulige svar og deretter skal merke av det riktige svaret, eller oppgaver der elevene for eksempel skal krysse av for om påstander er sanne eller usanne.
  • Åpne oppgaver, det vil si oppgaver der elevene selv må formulere svarene sine.

For å løse oppgavene må elevene studere den teksten som er knyttet til oppgaven. Typisk er det knyttet mellom to og fire oppgaver til hver tekst. Tekstene består ikke alltid av bare ord. Også tabeller, grafer og diagrammer kan forekomme, gjerne i kombinasjon med annen tekst.

I PISA 2006 ble det i tillegg til de 108 naturfagsoppgavene lagt inn til sammen 31 holdningsspørsmål. Elevenes svar på holdningsspørsmålene hadde ingen innvirkning på beregningen av elevenes prestasjonsnivåer, men bidro blant annet til å avdekke sammenhenger mellom elevenes kompetansenivå i naturfag og deres holdninger til miljøspørsmål.

I alle deltakerlandene ble det trykt opp 13 ulike versjoner av oppgaveheftene, for ikke alle oppgavene inngår i hvert oppgavehefte. En rotasjonsmodell sørger for at alle oppgavene forekommer i 30 prosent av oppgaveheftene. Oppgavene har ulik plassering i de ulike heftene, for å hindre at plasseringen i seg selv skal virke inn på oppgavenes vanskegrad.

Vil du vite mer?

Den norske hovedrapporten fra 2007, Tid for tunge løft, inneholder to vedlegg som beskriver de metodiske utfordringene og veivalgene mer utførlig: