Czternaście metaanaliz o pożytkach AI w szkole nie wytrzymało audytu

Wszystkie 39 metaanaliz o AI w edukacji, czyli zestawień uśredniających wyniki wielu badań, wskazało korzyści. Audyt 14 z nich uznał, że żadna nie ma ważnej podstawy do swoich wniosków. Czy AI pomaga w nauce dzieci, zależy według Hechinger Report od tego, jak jest używana.

Audyt zrobił Patrick O'Neill, wykładowca uczelni Ivy Tech w Bloomington w stanie Indiana. Opublikował go w sierpniu 2026 jako preprint, czyli tekst przed recenzją czasopisma, na serwerze EdArXiv. Sprawę opisał 26 października The Hechinger Report, amerykański serwis o edukacji. Autorką tekstu jest Jill Barshay.

Według streszczenia preprintu żadna z 14 metaanaliz nie miała spójnego pojęcia tego, co bada, żadna w wystarczającym stopniu nie oceniła błędu publikacji, a wszystkie miały bardzo duży rozrzut wyników. Błąd publikacji polega na tym, że badania z wynikiem pozytywnym częściej trafiają do obiegu. Rozrzut oznacza duże różnice między wynikami badań. Jedna średnia niewiele wtedy mówi.

• Pojęcie: według Education Week metaanalizy nie określiły jasno, jakiego rodzaju użycia AI dotyczą.
• Badania pierwotne: wiele z nich w ogóle nie mierzyło, o ile AI poprawiła naukę, pisze Hechinger Report.
• Porównania: studentów pielęgniarstwa uczących się trzy godziny tygodniowo z instruktorem używającym AI zestawiono z rówieśnikami bez żadnych zajęć. Hechinger Report dodaje w nawiasie, że oczywiście wypadli lepiej.
• Odnośniki: część badań powoływała się na prace o generatywnej AI (takiej jak ChatGPT, tworzącej teksty) wydane przed jej publicznym udostępnieniem.

Część błędów dałoby się wychwycić samym czytaniem streszczeń badań, twierdzi O'Neill w omówieniu serwisu FutureEd. Jedną z metaanaliz wycofano. Stało się to prawie rok po publikacji w maju 2025 w czasopiśmie z grupy Nature. Dwie trzecie zaproszeń do nadsyłania prac o AI w edukacji wprost prosiło o badania nad korzyściami, pisze Hechinger Report.

Te prace nadal się cytuje. Hechinger Report podaje ponad 3000 cytowań, czyli średnio ponad 200 na każdą z 14 prac, a co miesiąc przybywa ich około 200.

Według O'Neilla wyniki 44 dobrze zaprojektowanych eksperymentów były bardzo różne, od bardzo pomocnych do bardzo szkodliwych dla uczących się. Według jego wstępnych obliczeń uśredniły się do około zera. Hechinger Report zastrzega, że nauczyciele nie powinni z tego wnioskować, że AI jest nieszkodliwa. Pewności brak w obie strony.

Zastrzeżenie wnosi Tina Austin, autorka bloga. Jej zdaniem krytyka mająca chronić nauczycieli przed zawyżonymi twierdzeniami może zostawić ich z przekonaniem, że żadnym badaniom nie można ufać.

Z krytyki audytu wynikają trzy pytania do każdego hasła „AI pomaga się uczyć”. Dwa pierwsze zadaje serwis o edukacji The Classroom. Trzecie bierze się z zarzutu opisanego przez amerykańskie pismo Education Week.

• Z kim porównano uczniów? Grupa bez AI powinna dostać podobną naukę i wsparcie.
• Co zmierzono? Liczy się trwała wiedza i samodzielne umiejętności. Sam wynik zadania tuż po jego wykonaniu to za mało.
• Jaką AI badano? Tego metaanalizy nie określiły jasno.

Według polskiego serwisu Promptowy Prawo oświatowe nie zawiera przepisów o AI, a Ministerstwo Edukacji publikuje rekomendacje, nie zakazy. Wiek określa regulamin narzędzia. Ten sam serwis podaje, że ChatGPT wymaga ukończenia 13 lat, a do 18. roku życia zgody rodzica.