OCSE-PISA 2006: Incontri
Secondo incontro dei National Project Manager Bratislava 20-23 settembre 2004
Dal 20 al 23 settembre 2004 si è tenuto a Bratislava il secondo incontro dei National Project Manager (NPM) di PISA 2006. Nel corso dell'incontro sono stati affrontati e discussi i seguenti argomenti:
- Stato di avanzamento del progetto (informazioni generali)
- Procedure per la realizzazione della prova sul campo (field trial)
- Selezione dei quesiti di matematica e di comprensione della lettura da utilizzare come item di ancoraggio (link item)
- Selezione degli item di scienze da somministrare nel field trial
- Questionari (scuola, studenti, genitori)
- Piano di analisi dei risultati del field trial
- Procedure per la traduzione e l'adattamento dei materiali
La riunione dei NPM è stata preceduta dall'invio, alla fine del mese di agosto, dei documenti relativi agli argomenti in discussione.
1. Stato di avanzamento del progetto
- Il numero dei paesi partecipanti a PISA 2006 è ulteriormente cresciuto. Attualmente sono 58 i paesi che hanno aderito al progetto, di cui 29 sono paesi dell'OCSE
Sono state fornite alcune informazioni generali sulla stesura del rapporto di PISA 2003 e di quello sui trend (PISA 2000 e 2003).
- È stato ristrutturato il sito Web del progetto per consentire una migliore comunicazione tra il consorzio e i paesi partecipanti. Oltre alle sezioni già esistenti, ne è stata creata una nuova (Country profile), all'interno della quale sono registrate le attività realizzate da ciascun paese, i dati necessari per l'organizzazione della comunicazione, la documentazione relativa a queste attività.
- Sono state fornite alcune informazioni relative alla stesura del rapporto di PISA 2003 e dei rapporti tematici. In particolare, sono state presentate alcune tendenze rilevate dal confronto tra i dati di PISA 2000 e PISA 2003. Le correlazioni tra le medie dei paesi nei due studi sono risultate abbastanza elevate, a dimostrazione di una certa stabilità, che risulta maggiore in matematica rispetto alla comprensione della lettura e alle scienze. Per quanto riguarda le differenze di genere, nella comprensione della lettura i risultati delle due rilevazioni danno indicazioni diverse, a seconda che si prendano in considerazione l'intero pool di item o i soli item di ancoraggio. Questa differenza è dovuta probabilmente alla scelta degli item di ancoraggio e alle condizioni della somministrazione. I paesi sono stati invitati, conseguentemente, a leggere e a presentare con cautela i risultati relativi alle differenze di genere, nella comparazione tra PISA 2000 e PISA 2003.
- L'opzione internazionale che prevede la somministrazione informatizzata del test studenti ha raccolto l'adesione di circa 20 paesi. Gli item che verranno utilizzati in questa opzione fanno riferimento allo stesso Framework concettuale dello studio principale, ma hanno caratteristiche che favoriscono una maggiore interattività e una maggiore ricchezza degli stimoli utilizzati.
- Sono state date alcune informazioni relative all'opzione internazionale sulla familiarità con le TIC (Tecnologie dell'informazione e della comunicazione). Verrà utilizzato lo stesso questionario già somministrato in PISA 2003.
- Sono state indicate le scadenze per la realizzazione della prova sul campo (disponibilità dei materiali definitivi, tempi previsti per la traduzione, tempi previsti per la consultazione tra paesi partecipanti e consorzio).
- Sono stati illustrati i cambiamenti apportati al documento sugli standard di PISA 2006, sulla base dei commenti e delle proposte avanzati dai paesi partecipanti attraverso i propri rappresentanti al PISA Governing Board - PGB (ex Board of Participating Countries - BPC). I cambiamenti riguardano la definizione delle disabilità e dei meccanismi di esclusione dalla somministrazione, la data della somministrazione per lo studio principale (esclusione delle prime 6 settimane dell'anno scolastico), le procedure per la traduzione, le opzioni nazionali, la composizione dei gruppi nazionali.
2. Procedure per la realizzazione della prova sul campo (field trial)
Nella prova sul campo verranno somministrati tutti gli strumenti di rilevazione che verranno utilizzati nello studio su larga scala: test studenti (item cognitivi e item di atteggiamento), questionario studenti, questionario scuola, questionario sulla familiarità rispetto alle TIC, questionario genitori.
Il disegno del field trial è identico a quello adottato per PISA 2003. Si prevede di somministrare ogni item ad almeno 200 studenti e ogni fascicolo ad almeno 100 studenti per un totale di 12 fascicoli (verrà infatti adottato il criterio della rotazione degli item all'interno dei fascicoli e della rotazione dei fascicoli all'interno dei gruppi di studenti). Anche per il questionario studenti si prevede di utilizzare 4 formati diversi contenenti ciascuno una parte delle domande, per minimizzare i tempi di somministrazione.
Per il nostro paese questo significa che dovrà essere costruito un campione di giudizio composto da circa 35-40 scuole e che in ogni scuola verranno campionati 35 studenti. Pur non essendo prevista la costruzione di un campione probabilistico, il campione di giudizio dovrà comunque cercare di essere rappresentativo delle diverse realtà del sistema scolastico del nostro paese (con riferimento alle principali stratificazioni che si prevedono per il campione probabilistico che verrà costruito per lo studio su larga scala del 2006).
La prova sul campo è prevista per il mese di aprile 2005.
Da qui al mese di aprile 2005 sono previste le seguenti attività per la realizzazione della prova sul campo:
- traduzione delle prove, loro adattamento al contesto scolastico italiano, negoziazione e verifica delle traduzioni e degli adattamenti proposti con il consorzio internazionale;
- costruzione del campione di scuole (individuazione delle scuole, accordo con i dirigenti scolastici e i collegi dei docenti, individuazione del referente di scuola, individuazione degli studenti "eligibili" per la somministrazione, selezione dei campioni di studenti per ciascuna scuola);
- seminari per la formazione dei referenti di scuola;
- selezione e formazione dei codificatori per le risposte aperte (un apposito seminario internazionale sui criteri di correzione si terrà nel mese di febbraio 2005);
- stampa delle prove.
I tempi di realizzazione della prova sul campo e le procedure e i tempi per la traduzione dei materiali sono stati concordati con il consorzio internazionale e con i responsabili della verifica delle traduzioni.
3 e 4. Selezione dei quesiti da utilizzare nella somministrazione di prova
- Item di ancoraggio di comprensione della lettura e di matematica
È stato presentato l'elenco degli item di PISA 2000 e di PISA 2003 che verranno utilizzati come item di ancoraggio in PISA 2006 (analisi dei trend). Gli item relativi alla comprensione della lettura (originariamente somministrati in PISA 2000) sono gli stessi utilizzati come item di ancoraggio in PISA 2003. La scelta degli item di matematica è stata effettuata sulla base di un duplice criterio: caratteristiche psicometriche e riferimento alle scale della "literacy" in matematica utilizzate per l'analisi dei dati di PISA 2003.
- Selezione degli item di scienze
Il processo di produzione degli item di scienze per PISA 2006 è iniziato all'inizio di quest'anno. Gli item (organizzati in unità tematiche, secondo il formato delle prove PISA) sono stati proposti sia dal consorzio internazionale, sia dai paesi partecipanti, sulla base del Framework concettuale di riferimento proposto dallo Science Expert Group (SEG) e approvato dal PISA Governing BOARD (PGB).
Gli item inclusi nel field trial rispettano i criteri previsti dal Framework , sia dal punto di vista della "copertura" delle diverse aree tematiche, che dal punto di vista delle competenze oggetto di indagine.
Gli item cognitivi hanno formati diversi: scelte multiple, domande vero/falso (sì/no), domande a risposta aperta. Gli item relativi alla dimensione "affettiva" sono di due tipi: tipo scala Likert e "match-the-opinion" (secondo la tipologia già utilizzata nei precedenti cicli di PISA).
Delle 62 unità che verranno utilizzate nel field trial, 21 sono state presentate dai paesi partecipanti.
Questionari
Sono stati analizzati i questionari proposti dal consorzio, con la collaborazione del gruppo di esperti specificamente costituito (Questionnaire Expert Group).
La discussione ha consentito di formulare una serie di proposte per migliorare le versioni provvisorie dei questionari, dei quali è stata accettata l'impostazione di fondo e i costrutti che verranno indagati (con le relative variabili), secondo la proposta presentata nel documento Contextual Framework for PISA 2006 , elaborato dal gruppo di esperti sulla base delle indicazioni ricevute dal PGB.
Le modifiche proposte, su cui il consorzio si è impegnato a rielaborare i questionari, riguardano principalmente:
Questionario studenti
- l'inserimento nell'introduzione al questionario di una definizione di che cosa si intende per "scienze" in PISA 2006
- l'introduzione di un nuovo costrutto relativo ai gruppi dei pari e all'influenza da questi esercitata sugli studenti
- la revisione della definizione di ciò che si intende per "professione legata alle scienze"
- gli item relativi ai beni culturali e di consumo posseduti dagli studenti
- la revisione del formato delle domande relative al titolo di studio dei genitori
- la revisione del formato delle domande relative al coinvolgimento dei genitori nell'educazione scientifica degli studenti e di quelle relative agli stili genitoriali
- la revisione delle domande relative al senso di autoefficacia degli studenti nell'educazione scientifica
- la revisione del linguaggio utilizzato nella formulazione di tutti gli item
Questionario genitori
- stesura di una introduzione che spieghi con chiarezza lo scopo e le caratteristiche del questionario
- riduzione della lunghezza del questionario
- revisione del linguaggio utilizzato
- possibilità per i paesi partecipanti di omettere domande che fossero ritenute non somministrabili, per specifici problemi (ad esempio per problemi legati alle norme sulla privacy)
Questionario scuola
- possibilità di adattamento agli specifici contesti nazionali
- specificazione delle voci relative ai corsi e alle attività di scienze che gli studenti seguono a scuola e al di fuori della scuola
6. Piano di analisi dei risultati del field trial
L'analisi dei risultati del field trial è stata pianificata in modo da consentire una riflessione sulle prove in termini di
- validità delle prove e qualità delle loro caratteristiche psicometriche
- validità dei costrutti identificati
- validità delle scale proposte
Le metodologie di analisi proposte sono quelle già utilizzate per i precedenti cicli di PISA.
7. Procedure per la traduzione e l'adattamento dei materiali
Sono stati illustrati i criteri e le procedure per la traduzione degli strumenti di rilevazione e dei manuali.
Ogni paese ha inoltre definito e negoziato con il consorzio i tempi per la realizzazione delle traduzioni e del processo di verifica delle stesse da parte degli esperti internazionali.
.