W dniach 18-24 stycznia 2020 roku w Atenach odbyło się szkolenie liderów kodowania do badania pilotażowego PISA 2021. Celem spotkania było przede wszystkim zapoznanie z zasadami i przygotowanie krajowych zespołów do zakodowania odpowiedzi, których uczniowie udzielili podczas badania. W Polsce pilotaż badania PISA 2021 odbędzie się w marcu i kwietniu 2020 roku.

W spotkaniu wzięli udział członkowie polskiego zespołu badania PISA – Joanna Kaźmierczak (kierownik badania) oraz eksperci w zakresie narzędzi kognitywnych z poszczególnych dziedzin: Jan Burski – rozumienie czytanego tekstu, Wioleta Dobosz-Leszczyńska – myślenie kreatywne, Barbara Ostrowska – rozumowanie w naukach przyrodniczych; umiejętności ekonomiczne, Agnieszka Sułowska – matematyka.

Część zadań używanych w badaniu PISA to tzw. zadania otwarte, na które uczeń udziela jedno lub kilkuzdaniowej odpowiedzi. Takie odpowiedzi uczniowskie muszą być następnie zakodowane przez przeszkolonych koderów zgodnie z zasadami obowiązującymi we wszystkich krajach i w oparciu o uzgodnione międzynarodowo klucze kodowe. Zakodowanie odpowiedzi polega na przyznaniu jej odpowiedniego kodu, który odzwierciedla stopień poprawności i sposób udzielenia przez ucznia odpowiedzi.

Sposób kodowania poszczególnych zadań jest szczegółowo opisany w kluczach kodowych, które są przygotowywane przez międzynarodowe konsorcjum i omawiane na szkoleniach liderów kodowania. W czasie szkolenia liderów kodowania prezentowane są przykłady odpowiedzi uczniowskich, zebrane zwykle w czasie tzw. pre-pilotaży narzędzi badawczych. Zadaniem liderów kodowania jest zakodowanie podanych przykładów. Zwykle towarzyszy temu burzliwa dyskusja, po której wnioski często są wprowadzane do materiałów.

Poszczególnym wariantom odpowiedzi uczniowskich przyznaje się odpowiedni kod, oznaczający, że uczeń prawidłowo rozwiązał zadanie, rozwiązanie było częściowo prawidłowe lub nieprawidłowe (w zależności od konstrukcji zadania). W przypadku niektórych pytań ocenia się również sposób rozumowania ucznia. Koderzy (osoby oceniające odpowiedzi na zadania otwarte), zgodnie z procedurą, przydzielają odpowiedni kod do odpowiedzi uczniowskich. Proces ten, zwany kodowaniem, odbywa się dwa razy w czasie cyklu badawczego badania PISA – po badaniu pilotażowym i badaniu głównym. Jest to niezwykle ważny etap badania – od zgodnego z kluczem kodowym i procedurą sposobu zakodowania zadań we wszystkich krajach zależy możliwość porównywania wyników uczniów między krajami. By proces kodowania zakończył się sukcesem należy z wielką starannością przygotować klucze kodowe dla danego kraju oraz szczegółowo przeszkolić koderów – m.in. tym celom służyło spotkanie w Atenach.