INVALSI

OCSE-PISA 2006: Incontri

Primo incontro dei National Project Manager Atene 1-5 marzo 2004

Il primo incontro dei National Project Manager (NPM) di PISA 2006 si è tenuto ad Atene dal 1 al 5 marzo 2004. L'incontro è stato dedicato a:

1. illustrazione della impostazione e degli obiettivi di PISA 2006;
2. individuazione dei compiti dei NPM e delle modalità di comunicazione tra questi e il consorzio internazionale cui è affidata la gestione del progetto;
3. discussione delle procedure per l'elaborazione degli strumenti di rilevazione;
4. individuazione delle prossime scadenze di lavoro nell'ambito della pianificazione generale della ricerca.

I temi discussi nel corso dell'incontro sono i seguenti:

1. Introduzione a PISA 2006.
2. Framework di riferimento e elaborazione delle prove di scienze.
3. Procedure per la revisione a livello nazionale delle prove proposte dal consorzio.
4. Analisi delle tendenze emerse nel confronto tra PISA 2000 e PISA 2003. Procedure per la comparabilità dei risultati.
5. Definizione della popolazione oggetto di indagine in PISA 2006.
6. Questionari relativi alle variabili di contesto (questionario studenti e questionario scuole).
7. Traduzione degli strumenti e procedure di verifica delle traduzioni.
8. Standard tecnici per PISA 2006.
9. Organizzazione e comunicazione.
10. Opzioni internazionali.

Per quanto riguarda i primi tre punti indicati , i rappresentanti del consorzio hanno illustrato le linee fondamentali di sviluppo di PISA 2006, precisando che il framework è stato oggetto di ulteriore discussione e di alcuni cambiamenti nella riunione del gruppo internazionale di esperti di scienze, che ha preceduto l'incontro dei NPM. In particolare sono state precisate meglio le sezioni relative alla componente affettiva (atteggiamenti e interesse degli studenti nei confronti della scienza) e le ipotesi di costruzione di scale per la presentazione dei risultati. Sono stati anche introdotti alcuni cambiamenti relativi alla terminologia adottata. In parte, questa discussione è destinata ad accompagnare lo sviluppo del progetto nei prossimi mesi, anche in relazione ai risultati della somministrazione pilota (prevista per giugno 2004) e del field trial (previsto per il 2005).

Per quanto riguarda i tempi di elaborazione delle prove, si prevede l'invio di un secondo gruppo di quesiti da parte del consorzio entro il mese di marzo, quello dei successivi per i mesi di maggio e agosto. L'invio dei quesiti nazionali dovrà completarsi entro il mese di giugno, ma è preferibile che avvenga con un certo anticipo su tale scadenza, in modo da poterne consentire l'inserimento già nella prima somministrazione pilota. Nel corso del secondo incontro dei NPM verrà discusso e verificato l'intero processo di elaborazione delle prove.

L'elaborazione degli strumenti di rilevazione si realizzerà nel modo seguente:

1. Introduzione a PISA 2006.
2. Framework di riferimento e elaborazione delle prove di scienze.
3. Procedure per la revisione a livello nazionale delle prove proposte dal consorzio.
4. Analisi delle tendenze emerse nel confronto tra PISA 2000 e PISA 2003. Procedure per la comparabilità dei risultati.
5. Definizione della popolazione oggetto di indagine in PISA 2006.
6. Questionari relativi alle variabili di contesto (questionario studenti e questionario scuole).

Anche per PISA 2006 si prevede il ricorso a più versioni dei fascicoli, per la cui somministrazione sono previste procedure di rotazione. Il numero previsto di fascicoli è 13. Il tempo di somministrazione previsto è di circa 2 ore. Complessivamente verranno utilizzati 130 quesiti di scienze, 30 quesiti di matematica, 30 quesiti di comprensione della lettura.

Relativamente al punto 4 , sono state illustrate le procedure statistiche per la elaborazione di un confronto tra i dati di PISA 2000 e di PISA 2003. Il confronto avverrà utilizzando unicamente i quesiti somministrati in entrambe le rilevazioni (link item). L'importanza di tale confronto consiste nella possibilità per i diversi paesi di valutare l'andamento delle prestazioni dei propri studenti in dimensione diacronica, con la possibilità di riflettere sugli eventuali cambiamenti registratisi.

Relativamente al punto 5 , la popolazione di riferimento di PISA 2006 non è cambiata rispetto alle due precedenti fasi del programma. Le novità riguardano sostanzialmente due punti:

1. in PISA 2006 i campioni nazionali verranno estratti direttamente dal consorzio sulla base dei dati che i NPM forniranno;
2. è stata presentata una opzione internazionale, consistente nella possibilità di affiancare al campione di studenti quindicenni (selezionato con le stesse procedure di campionamento a due stadi seguito in PISA 2003 e PISA 2000), un campione basato sulla classe modale degli studenti quindicenni (per l'Italia, il secondo anno della scuola secondaria superiore). Questo secondo campione consentirebbe di raccogliere più e meglio definite informazioni sui contesti di insegnamento-apprendimento ai quali gli studenti partecipano. La decisione relativa a questa opzione internazionale è demandata al BPC e ai singoli paesi.

Per quanto riguarda il punto 6 , è stata presentata una proposta di articolazione del questionario studenti e del questionario scuole. Rispetto alle precedenti fasi di PISA, PISA 2006 deve affrontare una difficoltà aggiuntiva derivante dalla non omogenea definizione ed organizzazione degli insegnamenti scientifici nei diversi sistemi scolastici. Per questo l'elaborazione dei questionari coinvolgerà direttamente i NPM e i gruppi nazionali in un processo di discussione e negoziazione con il consorzio internazionale. I tempi di sviluppo del questionario studenti e del questionario scuole sono stati fissati secondo il seguente calendario:

1. fine marzo: feedback da parte dei paesi partecipanti sulle opzioni internazionali (questionario insegnanti e questionario genitori);
2. maggio: diffusione della nuova versione del framework per i questionari;
3. giugno: feedback da parte dei NPM;
4. luglio: discussione e commenti;
5. 16 agosto: diffusione di una versione provvisoria dei questionari;
6. 6 settembre: feedback da parte dei NPM;
7. settembre: discussione nell'ambito del secondo incontro dei NPM.

È stato inoltre proposto - anche in questo caso come opzione internazionale - di elaborare un questionario insegnanti. Per quanto si riconosca l'impossibilità di stabilire correlazioni tra le prestazioni degli studenti e i risultati di questo questionario (per le caratteristiche del campionamento adottato e per difficoltà di ordine metodologico e concettuale di carattere generale), un questionario insegnanti sarebbe utile per:

1. raccogliere informazioni sugli effettivi processi di insegnamento-apprendimento nelle materie scientifiche;
2. raccogliere informazioni sul clima di classe e di scuola (variabili entrambe rilevanti nella determinazioni delle prestazioni degli studenti);
3. raccogliere informazioni sulla misura in cui l'impostazione seguita da PISA (centrata sul concetto di "scientific literacy") è condivisa o meno dagli insegnanti di materie scientifiche e fatta da essi propria nelle loro attività didattiche con gli studenti.

Per quanto riguarda i punti 7 e 8 , non vi sono sostanziali differenze tra quanto previsto per PISA 2006 e quanto già attuato per PISA 2003 e PISA 2000.

Per quanto riguarda il punto 9 , le procedure indicate ricalcano sostanzialmente quelle già adottate per PISA 2000 e PISA 2003.

. .