For å skaffe til veie gode og sammenliknbare data legger PISA stor vekt på å kvalitetssikre alle prosedyrer. Nedenfor er noen av disse prosedyrene nærmere beskrevet:
Det er strenge internasjonale krav til deltakerprosenten både på skolenivå og på elevnivå. Land som ikke oppfyller disse kravene, blir tatt ut av de internasjonale sammenlikningene. Dette er bakgrunnen for at Nederland ble strøket fra statistikkene i 2000 og at Storbritannia ble strøket i 2003.
Utvalget av skoler er basert på skolestatistikk fra hvert enkelt land. Selve trekkingen av de skolene som skal delta, skjer internasjonalt. Deretter sender alle deltakerskolene inn lister over alle elever som er født det aktuelle året. Ut fra disse listene blir elevene trukket enkeltvis og tilfeldig.
Noen av elevene som blir trukket ut på deltakerlistene, kan bli fritatt på grunn av fysisk eller psykisk funksjonshemming. Elever kan også fritas på grunn av sterkt begrensede språkkunnskaper, for eksempel elever som har bodd mindre enn ett år i landet. Ingen land har lov til å frita mer enn fem prosent av de uttrukne elevene. Tallene for fritak varierer lite mellom landene.
I internasjonale undersøkelser har man erfart at språklige forskjeller og kulturelle tilpasninger har vært et problem når det gjelder å framskaffe pålitelig informasjon. Samme tekst kan oversettes på flere måter og likevel være «riktig» oversatt, men ulike oversettelser kan gjøre vanskelighetsgraden forskjellig.
Når nye oppgavetekster utvikles til PISA-undersøkelsen, mottar de nasjonale sentrene tekstene både i en engelsk og en fransk versjon. De nasjonale sentrene må sørge for at begge versjonene blir oversatt til det aktuelle språket. Oversettelsene blir deretter sammenliknet ord for ord og setning for setning, for å sikre at den endelige oversettelsen blir så god som mulig. Enda senere kobles uavhengige språkeksperter inn for å kvalitetssikre oversettelsen enda en gang. Prosessen er ekstra omstendelig i Norge, siden alle tekstene skal oversettes både til nynorsk og bokmål.
De nasjonale sentrene melder fra til PISA sentralt dersom det dukker opp ord eller uttrykk som ikke lar seg oversette på noen god måte. Oversettelsesproblemer i ett av deltakerlandene kan føre til at teksten blir erklært uegnet for PISA-undersøkelsen. Eventuelle mangler ved oversettelsen kan også oppdages i generalprøven ett år før hovedundersøkelsen, ved at enkelte land skårer usedvanlig godt eller dårlig på enkeltspørsmål.
For å sikre at undersøkelsen blir gjennomført likt over hele verden, blir det laget detaljerte veiledninger internasjonalt som må oversettes og brukes i alle land. I veiledningene finnes informasjon om hva som skal gjøres før og etter undersøkelsen, samt en detaljert beskrivelse for selve gjennomføringen. Det er blant annet krav til nøyaktig tidtaking og ordrett opplesning av instruksjonene.
Når undersøkelsen gjennomføres ute på skolene, kan inspektører utsendt fra OECD PISA komme på besøk. Inspektøre skal registrere hvor godt skolene og elevene følger opp de detaljerte veiledningene som er utarbeidet.
PISA-undersøkelsen består både av flervalgsoppgaver og åpne oppgaver. Elevsvarene på de åpne oppgavene må leses og gis en kode. For at elevsvarene skal kodes så likt som mulig både innen land og mellom land, er det utarbeidet en omfattende vurderingsveiledning, som blant annet gir eksempler på godkjente og ikke-godkjente svar. Vurderingsveiledningen blir utarbeidet på grunnlag av svar fra generalprøven.
I hvert land opprettes det et korps av kodere som skal vurdere elevsvarene. Koderne sitter samlet under hele prosessen og får detaljert veiledning før hver nye oppgave. For å kontrollere samsvaret mellom dem som vurderer elevsvarene, blir en bestemt andel av oppgavene vurdert av fire ulike kodere. Samsvaret mellom koderne har vist seg å være svært bra både for Norges vedkommende og for mange andre land.
Etter at alle elevsvarene er rapportert inn til PISAs hovedkontor, blir de enkelte deltakerlandene bedt om å ettersende kopier fra et utvalg elevhefter. Representanter for PISAs hovedkontor etterprøver så om kodene på disse elevheftene er riktig registrert.