Program Międzynarodowej Oceny Umiejętności Uczniów
został dofinansowany ze środków budżetu państwa.
Program Międzynarodowej Oceny Umiejętności Uczniów
został dofinansowany ze środków budżetu państwa.
Badanie PISA (Programme for International Student Assessment, czyli Program Międzynarodowej Oceny Umiejętności Uczniów) realizowane jest przez międzynarodowe konsorcjum nadzorowane przez OECD (Organizację Współpracy Gospodarczej i Rozwoju) i przedstawicieli krajów członkowskich. Jest to największe międzynarodowe badanie umiejętności uczniów na świecie, realizowane co 3 lata we wszystkich krajach członkowskich OECD, a także w kilkudziesięciu innych krajach. Polska uczestniczy
w nim od samego początku, czyli od roku 2000. Od 2013 roku, decyzją Ministerstwa Edukacji Narodowej, badanie w naszym kraju przeprowadzane jest przez Instytut Badań Edukacyjnych – Państwowy Instytut Badawczy.
Badanie PISA sprawdza umiejętności w zakresie rozumienia czytanego tekstu, umiejętności matematycznych i rozumowania w naukach przyrodniczych – są to tzw. dziedziny podstawowe. Każdy z tych obszarów co dziewięć lat stanowi główną dziedzinę badania, co oznacza, że uczniowie rozwiązują większą liczbę zadań z danego zakresu , a to pozwala na uzyskanie pogłębionego obszaru wiedzy i umiejętności z danej dziedziny.
Ponadto, w każdej edycji badania uczniowie rozwiązują zadania z dodatkowej dziedziny, tzw. dziedziny innowacyjnej np. rozwiązywanie problemów, kreatywność, uczenie się w cyfrowym świecie. W 2022 roku dziedziną innowacyjną było myślenie kreatywne ( ang. Creative Thinking), a w 2025 roku uczenie się w świecie cyfrowym (ang. Learning in the Digital World). Oprócz podstawowych trzech dziedzin i dziedziny innowacyjnej, poszczególne kraje mogą wybrać dodatkowe opcje np. sprawdzenie umiejętności ekonomiczno-finansowych uczniów (ang. Financial Literacy) lub przeprowadzenie kwestionariuszy kontekstowych wśród uczniów, nauczycieli lub rodziców. Polska
w latach 2015, 2018 i 2022 brała udział w części badania dotyczącej umiejętności ekonomiczno-finansowych uczniów.
Badanie PISA jest wykorzystywane jako narzędzie do pomiaru umiejętności uczniów w wielu krajach na całym świecie. W pierwszej edycji badania wzięły udział 43 kraje i regiony, w tym Polska. Od tego czasu liczba krajów uczestniczących w badaniu znacząco się zwiększyła. W obecnie realizowanej edycji badania udział bierze już ponad 90 krajów i regionów.
Udział w badaniu PISA biorą uczniowie, którzy ukończyli piętnasty rok życia i są objęci systemem szkolnym, niezależnie od tego, w której klasie i w jakiego rodzaju szkole się uczą. O wyborze wieku uczniów zakwalifikowanych do pomiaru zdecydował fakt, iż jest to moment, kiedy w większości krajów OECD, młodzież zbliża się do końca obowiązkowej nauki szkolnej. Próba uczniów wylosowanych do badania jest możliwie szeroka, tak by udział w badaniu mogli wziąć piętnastolatkowie ze szkół różnego rodzaju, posiadający różną wiedzę i zakres umiejętności.
Badanie PISA w każdym kraju realizowane jest na reprezentatywnej próbie losowej. Schemat doboru próby uczniów ma charakter dwustopniowego doboru warstwowego z zastosowaniem losowania systematycznego. Pierwszym stopniem doboru jest wybór szkoły, drugim zaś – losowanie uczniów
z uprzednio wylosowanych szkół.
sprawdzenie umiejętności praktycznego zastosowania wiedzy przez uczniów i tym samym określenie przygotowania młodzieży do podjęcia wyzwań, jakie staną przed nią w dorosłym życiu;
dostarczenie rzetelnych i porównywalnych danych o umiejętnościach uczniów z poszczególnych krajów oraz ich zróżnicowaniu, także ze względu na takie czynniki jak płeć czy pochodzenie społeczne;
dostarczenie rzetelnej informacji o trendzie, czyli zmianach poziomu osiągnięć i ich zróżnicowania;
dostarczenie danych kontekstowych, czyli informacji o warunkach, w których przebiega nauczanie i uczenie się, a także o postawach uczniów, które mogą stanowić podstawę do wyjaśniania obserwowanych wyników.
PISA jest wspólnym przedsięwzięciem wielu krajów. Każdy z nich ma możliwość kształtowania celów i metodologii badania. Całość prac koordynuje zespół PISA w Sekretariacie OECD. Priorytety badania określa Rada Zarządzająca (PISA Governing Board), w której zasiadają przedstawiciele wszystkich krajów uczestniczących w badaniu. Rada określa długofalowe priorytety badania i nadzoruje ich realizację, monitoruje jakość pozyskiwanych danych oraz podejmuje decyzje dotyczące strategii
i rozwoju badania w przyszłości. Przy zespole PISA w OECD funkcjonują specjalnie powołane grupy ekspertów z poszczególnych dziedzin. We współpracy z przedstawicielami krajowych zespołów PISA grupy eksperckie tworzą narzędzia badawcze i monitorują ich dalsze użycie. Przed każdą edycją badania Organizacja Współpracy Gospodarczej i Rozwoju wyłania w ramach postępowania przetargowego konsorcjum badawcze odpowiedzialne za przygotowanie danej edycji badania
i koordynację wdrażania przyjętych standardów przez wszystkie kraje.
W Polsce od 2013 r. za realizację badania odpowiada Instytut Badań Edukacyjnych – Państwowy Instytut Badawczy (IBE PIB) i współpracuje w tym zakresie z Ministerstwem Edukacji Narodowej, które finansuje badanie, a także uczestniczy w decyzjach dotyczących kształtu badania podejmowanych przez Radę Zarządzającą. Edycja badania w 2025 roku została dofinansowana ze środków budżetu państwa w wysokości 8 168 134,90 zł.
Każda edycja badania PISA jest wieloetapowym, skomplikowanym i długim projektem, w który zaangażowani są w Polsce – obok stałego zespołu badania w Instytucie Badań Edukacyjnych – także eksperci z poszczególnych dziedzin objętych badaniem. Ponadto, w proces przygotowania projektu włączeni są zewnętrzni współpracownicy zespołu, którzy biorą udział w różnych jego etapach.
Badanie przeprowadzają krajowe zespoły badawcze. Każdy kraj powołuje krajowego kierownika badania (National Project Manager, NPM), który nadzoruje jego realizację. Międzynarodowe konsorcjum, nadzorujące badanie, zatrudnia kontrolerów jakości, którzy czuwają nad przebiegiem badania w szkołach w każdym z krajów. Wszelkie odstępstwa od rygorystycznych procedur badawczych są odnotowywane w międzynarodowym raporcie z badania. W przypadku poważnych uchybień dany kraj może zostać wykluczony z ostatecznego zestawienia wyników.
Od 2015 r. badanie PISA odbywa się na komputerach. Uczniowie odpowiadają na pytania otwarte
i zamknięte znajdujące się w specjalnie do tego celu przygotowanej aplikacji do testowania uczniów. Praca nad zadaniami, które będą wykorzystane w badaniu, jest wieloetapowym procesem i rozpoczyna się na około dwa lata przed badaniem pilotażowym w każdej z edycji badania. Nad sformułowaniem
i zakwalifikowaniem poszczególnych zadań do badania pracują powołane przez międzynarodowe konsorcjum zespoły ekspertów zajmujące się poszczególnymi dziedzinami oraz zespoły krajowe. Zadania dla uczniów muszą być dopasowane pod względem językowym i kulturowym do umiejętności
i możliwości poznawczych piętnastolatków z różnych krajów, muszą skupiać się na umiejętnościach oraz odnosić do założeń teoretycznych poszczególnych dziedzin badania (PISA framework).
Założenia teoretyczne badania określają, co wchodzi w skład sprawdzanych umiejętności niezbędnych
w różnych aspektach funkcjonowania w dorosłym życiu w zakresie każdej z badanych dziedzin. PISA definiuje konstrukty będące przedmiotem pomiaru i dostosowuje zarówno teoretyczne opisy mierzonych umiejętności, jak i same narzędzia badawcze do zmieniającej się specyfiki ich wykorzystania w szybko ewoluującym współczesnym świecie. Założenia teoretyczne dla poszczególnych podstawowych dziedzin badania są opracowywane od początku przed edycjami, w których dane dziedziny są dziedzinami głównymi.
Celem badania jest między innymi śledzenie trendu, czyli zmian w poziomie osiągnięć uczniów w czasie. Konieczne jest zatem, aby wyniki pomiarów w kolejnych edycjach mogły zostać umieszczone na tej samej skali. W badaniu PISA cel ten osiągany jest dzięki wykorzystywaniu w kolejnych cyklach puli zadań wspólnych (tzw. zadań kotwiczących). Wielokrotne używanie tych samych zadań wymaga zachowania najwyższych standardów poufności przez krajowe zespoły badawcze.
Przejście w 2015 roku na realizację badania za pomocą narzędzi komputerowych pozwoliło na znaczne zwiększenie liczby zadań i uzyskanie większej liczby ich kombinacji w ramach zestawów testowych przeznaczonych dla uczniów. Ponadto wykorzystanie narzędzi komputerowych umożliwiło od 2018 roku wprowadzenie znaczącej innowacji – testowania adaptatywnego, a więc dostosowania poziomu trudności pytań do szacowanego poziomu umiejętności ucznia. Ustalenie poziomu umiejętności ucznia odbywa się w pierwszej fazie testu. W oparciu o wyniki pierwszych rozwiązanych zadań, algorytm badania wstępnie przypisuje ucznia do jednej z trzech kategorii poziomu umiejętności – niskiego, średniego lub wysokiego. Zastosowany schemat doboru zadań zwiększa prawdopodobieństwo, że uczeń będzie rozwiązywać głównie zadania dostosowane do jego poziomu umiejętności, a tym samym poprawia precyzję pomiaru.
Drugi rodzaj narzędzi badawczych wykorzystywany w badaniu to kwestionariusze. Dane, których dostarczają, dają wgląd w kontekst osiągnięć szkolnych uczniów. W badaniu PISA dostępne są kwestionariusze dla uczniów, dyrektorów szkół, nauczycieli i rodziców. Polska od kilku edycji badania korzysta z kwestionariusza ucznia oraz kwestionariusza dyrektora szkoły. Dyrektorzy szkół odpowiadają na pytania o zasoby swoich szkół, zasady i metodykę pracy dydaktycznej i wychowawczej oraz o wykształcenie i kompetencje kadry nauczycielskiej. Uczniowie odpowiadają na pytania kwestionariusza o zasoby domowe wspierające uczenie się, zwyczaje panujące w jego szkole, a także metody nauczania ze szczególnym uwzględnieniem metod stosowanych podczas lekcji przedmiotów, które są główną dziedziną badania. Część kwestionariusza ucznia jest też poświęcona zagadnieniom związanym z dziedziną innowacyjną. Istotny fragment stanowią również skale postaw wobec szkoły oraz uczenia się. Ważnym elementem kwestionariusza są pytania o wykształcenie rodziców i zasoby domowe – pozwalają one zbudować wskaźnik statusu socjoekonomicznego (SES) rodziny. W ramach kwestionariusza uczniowskiego, Polska korzysta również z dodatkowego modułu, kwestionariusza ICT, dotyczącego wykorzystania technologii cyfrowych w szkole i poza nią.
Badanie PISA realizowane jest na reprezentatywnej próbie losowej. Schemat doboru próby ma charakter dwustopniowego doboru warstwowego z zastosowaniem losowania systematycznego. Oznacza to, że pierwszym stopniem doboru jest wybór szkoły, a drugim – losowanie uczniów z wcześniej wylosowanych szkół. W losowaniu szkół stosuje się podział na warstwy jawne (explicite), które są wyznaczone ze względu na typ szkoły (licea ogólnokształcące, technika, branżowe szkoły I stopnia, szkoły podstawowe). Losowanie odbywa się osobno w każdej z czterech wymienionych kategorii. Dzięki stosowaniu metody losowania systematycznego możliwe jest wykorzystanie również warstw implicite, określających uporządkowanie operatu losowania. W ten sposób dobierana jest reprezentatywna próba, która uwzględnia takie cechy jak status publiczny lub niepubliczny placówki, wielkość miejscowości, płeć uczniów, liczebność szkoły, a w przypadku szkół zawodowych także jej typ (szkoła branżowa I stopnia lub technikum).
Badaniem PISA objęci są uczniowie, którzy w roku poprzedzającym badanie ukończyli piętnasty rok życia. Taka operacyjna definicja oznacza, że w praktyce w badaniu mogą wziąć również udział uczniowie, którzy ukończyli już szesnaście lat (badanie przeprowadzane jest najczęściej w marcu i kwietniu).
Chociaż zasady doboru próby w badaniu PISA są niezmienne od pierwszej edycji badania w 2000 roku, to przemiany zachodzące w polskim systemie edukacyjnym wpłynęły na charakterystykę grupy badanych uczniów. Pierwsze badanie w 2000 roku realizowane było na uczniach szkół ponadpodstawowych. W kolejnych edycjach, aż do roku 2018 badano gimnazjalistów. Po następnej reformie systemu oświaty badanie PISA ponownie realizuje się przede wszystkim w szkołach ponadpodstawowych.
Jakość badania w dużej mierze zależy od poziomu realizacji próby (response rate), który jest odsetkiem wylosowanych uczniów, którzy faktycznie wzięli udział w pomiarze. Im wyższy jest ten wskaźnik, tym pomiar umiejętności jest dokładniejszy, a uzyskane wynik bardziej wiarygodne.
Niektórzy uczniowie z założenia wyłączeni są z badania. Są to uczniowie szkół specjalnych (wyłączenia na poziomie szkół, realizowane przed losowaniem próby) i piętnastoletni uczniowie poniżej siódmej klasy szkoły podstawowej, a także uczniowie, którzy nie są w stanie wziąć udziału w badaniu ze względu na niepełnosprawność lub niewystarczającą znajomość języka polskiego (wyłączenia wewnątrzszkolne, uwzględniane po wylosowaniu próby uczniów).
Ogólny poziom realizacji próby uczniów musi osiągnąć lub przekroczyć poziom 80%, by spełniał wymagania standardów technicznych badania PISA. Jeśli wylosowana szkoła z jakiś względów nie weźmie udziału w badaniu, na jej miejsce wyznacza się szkołę z puli zastępczej.
Próba w badaniu PISA jest próbą losową, co oznacza, że dla każdego ucznia z populacji, można wyznaczyć znane i niezerowe prawdopodobieństwo wylosowania do próby. Próba losowa jest próbą reprezentatywną, jeśli prawdopodobieństwa trafienia do próby są równe dla wszystkich, jeśli nie są – staje się reprezentatywna po nadaniu jej elementom odpowiednich wag. Wyniki uzyskane na próbie reprezentatywnej można uogólniać na populację, z której została ona wylosowana.
Uogólnienie to musi uwzględniać wielkość błędów losowych, która wynika z faktu, że badaniem obejmuje się tylko część populacji, a nie wszystkich uczniów. Przy wyliczaniu błędów losowych, a co za tym idzie przy wyliczaniu długości przedziałów ufności, należy uwzględnić specyficzne dla złożonego schematu doboru próby techniki obliczeniowe. Oprócz błędów losowych, w badaniu mogą wystąpić również błędy nielosowe. Mogą one wynikać np. z niedostępności niektórych uczniów lub szkół, co jest normalnym zjawiskiem w badaniach na tak dużą skalę. W raporcie PISA podkreśla się, że analizy są prowadzone w taki sposób, aby minimalizować wpływ tych błędów i zapewniać wiarygodność wyników.
Skalowanie wyników tak obszernego badania jest niezwykle złożone obliczeniowo. Do oszacowania wyników badania PISA wykorzystuje się metody z zakresu teorii odpowiedzi na pytanie testowe (Item Response Theory, IRT) – zestaw narzędzi statystycznych do modelowania zmiennych latentnych (nieobserwowalnych), takich jak umiejętności, na podstawie obserwowalnych odpowiedzi na pytania. Procedura ta obejmuje estymację parametrów samych zadań (w tym ich trudności) oraz rozkładu poziomu umiejętności w całej populacji badanych. W analizach wyników PISA stosuje się tzw. „wartości prawdopodobne” (Plausible Values), które są losowo generowanymi wartościami zmiennych z oszacowanego rozkładu umiejętności ucznia, uwzględniającymi jego odpowiedzi. Takie podejście pozwala na uwzględnienie błędu pomiaru wynikającego z niedokładności narzędzi testowych, a także zapewnia możliwość porównywania wyników pomiędzy poszczególnymi edycjami badania, nawet jeśli zmienia się zestaw konkretnych zadań. Aby to porównanie było możliwe, w kolejnych edycjach PISA wykorzystuje się „zadania kotwiczące” (trendowe), czyli zadania, które są powtarzane w różnych cyklach badania. Wyniki uczniów w zakresie tych zadań pozwalają na połączenie skal z różnych edycji i monitorowanie zmian w osiągnięciach uczniów na przestrzeni lat.
W badaniu PISA same wartości punktowe, choć pozwalają na porównywanie wyników, nie dostarczają bezpośredniej informacji o tym, co uczniowie faktycznie potrafią. Aby nadać tym wynikom praktyczne znaczenie, zdefiniowano poziomy umiejętności uczniów. Są to zakresy wyników punktowych, do których przypisane są konkretne umiejętności i zadania, jakie uczeń potrafi rozwiązać z wysokim prawdopodobieństwem. Metoda IRT umożliwia umieszczenie trudności zadań i umiejętności uczniów na tej samej skali, co pozwala na określenie, jakie kompetencje odpowiadają poszczególnym poziomom. Na przykład, w matematyce zdefiniowano osiem poziomów (od 1a do 6), a w rozumieniu czytanego tekstu i naukach przyrodniczych po sześć poziomów. Przyjmuje się, że poziom 2 stanowi minimum niezbędne do radzenia sobie w dalszej edukacji i życiu dorosłym. Poziomy te są narzędziem interpretacyjnym, pozwalającym powiązać wyniki liczbowe z realnymi kompetencjami uczniów, pamiętając, że ich granice są częściowo arbitralne, choć oparte na precyzyjnych regułach matematycznych i analizach ekspertów. Określenie odsetka uczniów na poszczególnych poziomach umiejętności pozwala na bardziej szczegółową analizę mocnych i słabych stron systemów edukacji oraz identyfikację obszarów wymagających poprawy.
Początkiem prac nad każdą edycją badania PISA jest zdefiniowanie założeń teoretycznych (PISA framework) dla dziedziny głównej oraz dziedziny innowacyjnej.
Następnym etapem jest przygotowanie narzędzi badawczych, zarówno testów umiejętności, jak
i kwestionariuszy. Proces przygotowania zadań, które będą wykorzystane w badaniu rozpoczyna się na około dwa lata przed realizacją badania pilotażowego. Zadania do głównej dziedziny badania opracowują zespoły ekspertów powołane przez konsorcjum międzynarodowe, w porozumieniu z krajowymi zespołami badawczymi. Zadania mogą być również zgłaszane przez zespoły krajowe. Przygotowuje się również schemat oceniania odpowiedzi na pytania (klucz kodowy – coding guide).
Po wstępnym pilotażu międzynarodowe konsorcjum wybiera zadania do kolejnego cyklu badania, następnie są one tłumaczone i adaptowane do warunków poszczególnych krajów. Adaptacja polega na dostosowaniu pytań pod względem językowym, ale i kulturowym.
Na rok przed badaniem głównym przeprowadzane jest badanie pilotażowe, na znacznie mniejszej próbie uczniów. Badanie pilotażowe służy przede wszystkim przetestowaniu narzędzi badawczych oraz przećwiczeniu procedur realizacyjnych. Zadania są testowane pod kątem poprawności, adekwatności w odniesieniu do badanego zagadnienia oraz ewentualnych różnic wyników uczniów wynikających z tłumaczenia na różne języki. Wnioski wyciągnięte z danych zgromadzonych podczas pilotażu pozwalają na wprowadzenie zmian i poprawek, a tym samym udoskonalenie narzędzi badawczych.
Przed przystąpieniem do realizacji badania w szkołach konieczne jest wylosowanie i zrekrutowanie uczestników badania. Pierwszy etap – losowanie szkół – realizowany jest przez konsorcjum międzynarodowe. Rolą polskiego zespołu jest przygotowanie listy identyfikatorów szkół wraz z danymi niezbędnymi do przeprowadzenia losowania. Drugi etap – losowanie uczniów – realizowany jest przez krajowy zespół PISA przy użyciu narzędzia dostarczonego przez konsorcjum. W każdej szkole spośród wszystkich uczniów piętnastoletnich, niezależnie od klasy, do której uczęszczają, wylosowanych zostaje 46 uczniów, których zaprasza się do badania. Jeśli w szkole uczy się mniej piętnastolatków niż 46, do badania zapraszani są wszyscy spełniający warunki uczniowie z danej placówki.
Rodzice lub opiekunowie prawni wylosowanych uczniów na około miesiąc przed planowanym badaniem otrzymują pisemną informację o badaniu oraz formularz zgody na udział dziecka. Zgoda rodzica jest warunkiem koniecznym do przystąpienia dziecka do badania. W Polsce badanie PISA przeprowadzane jest wiosną w ustalonym terminie okienka testowego.
Uczniowie, którzy zostali wylosowani oraz otrzymali zgody od swoich rodziców lub opiekunów, w terminie ustalonym ze szkołą, przystępują do sesji badawczej, w czasie której rozwiązują zadania testowe
i udzielają odpowiedzi na pytania kwestionariuszy. Jeśli w sesji badawczej nie wziął udziału zakładany odsetek wylosowanych uczniów, w szkole organizuje się sesję uzupełniającą.
Badanie w Polsce odbywa się na komputerach przy użyciu oprogramowania przygotowanego przez konsorcjum międzynarodowe specjalnie na potrzeby badania PISA. Zastosowanie tej samej aplikacji,
a także tych samych reguł realizacyjnych pozwala na stworzenie porównywalnych warunków badania dla uczniów ze wszystkich uczestniczących krajów. W trakcie sesji badawczej każdy uczeń rozwiązuje zadania z dwóch przydzielonych mu losowo dziedzin spośród trzech dziedzin podstawowych oraz dziedziny innowacyjnej i dodatkowych dziedzin, które są realizowane w danym kraju. Na rozwiązanie zadań przeznaczone są dwie godziny z krótką przerwą po pierwszych 60 minutach pracy. Następnie badani przystępują do udzielania odpowiedzi na pytania kwestionariusza, na co w Polsce wyznaczone jest 55 minut.
Odpowiedzi na zadania zamknięte, które uczniowie rozwiązywali w czasie testu, oceniane są automatycznie, dzięki czemu możliwe jest wspomniane wcześniej testowanie adaptatywne. Z kolei odpowiedzi uczniów na zadania otwarte są oceniane i kodowane przez zrekrutowanych do tego zadania specjalistów. Kodowane są również niektóre odpowiedzi na pytania otwarte z kwestionariusza.
Ponadto, po zakończeniu badania a przed rozpoczęciem analiz, zebrane dane we współpracy
z międzynarodowym konsorcjum są weryfikowane pod kątem ich wewnętrznej spójności i kompletności. Po przejściu weryfikacji zbiory przekazywane są do analizy.
Konsorcjum międzynarodowe analizuje dane, które spłynęły z poszczególnych krajów. Analizy trwają około roku. Kolejne pół roku jest poświęcone na przygotowanie materiałów z badania (raport, odtajnione narzędzia badawcze, bazy i tabele wynikowe). W tym samym czasie krajowe zespoły badawcze przygotowują własne raporty. Ogłoszenie wyników następuje ponad rok po zakończeniu badania głównego w szkołach. Upublicznia się wtedy wyniki uzyskane przez uczniów wszystkich krajów biorących udział w badaniu. Jednocześnie zespoły krajowe organizują własne konferencje prasowe i seminaria służące omówieniu wyników badania. W kolejnym roku konsorcjum badawcze przygotowuje również publikacje prezentujące pogłębione analizy wybranych tematów.