"Чи є результати ЗНО з математики в 2021 році вироком шкільній освіті?"
09.01.2022
На порталі osvita.ua запущено опитування щодо того чи є результати ЗНО з математики 2021 року вироком шкільній освіті. На момент написання цієї публікації в опитуванні взяло участь понад 7629 людей, з яких 69% вважають, що це таки вирок.
Дивлячись на графік можна побачити як у певному сенсі зростає популярність математики:

  • у 2018 році її обрали 33% від зареєстрованих учасників,
  • у 2019 році вже 45%,
  • у 2020 році – 49%,
  • а от у 2021 році аномально 75% від зареєстрованих учасників ЗНО обрали складати ЗНО з математики профільного рівня.

Але не робимо поспішних висновків про любов до цього предмета, адже саме час поговорити про такий вагомий фактор як обов'язкове ДПА (державна підсумкова атестація) з математики у форматі ЗНО.

Крок 2. Чому відбулося таке значне збільшення відсотка тих, хто обрав математику для складання ЗНО?

У 2018-2020 році ДПА проводилося в форматі ЗНО (окрім 2020 року, коли ДПА скасували в червні через ковід, але це не впливає на кількість зареєстрованих, оскільки реєстрація відбулася задовго до цього рішення). До того ж обов'язковим було ДПА з української мови, а от математика була на вибір з історією України. У 2021 році прийняли рішення обов'язковості складання ДПА з математики у форматі ЗНО (скоріш за все через погані результати міжнародного дослідження PISA), що теж було скасовано у квітні через ковід, тому це знову ж таки не впливає на кількість зареєстрованих.

Це однозначно пояснює чому відсоток учасників, що зареєструвалися на ЗНО з математики, збільшився. Таку ж причину зазначає Андрій Ночкін, начальник відділу в УЦОЯО, у своїй публікації на Facebook: "Цього року на математику зареєструвалося на 92 тис. більше осіб (на 25 % більше ніж у 2020 році). І це зрозуміло - математика тепер обов'язкове ДПА."

Примітка (хвилинка математики): 25% Андрій Ночкін отримав віднімаючи відсоток учасників, які обрали математику в 2020 році (49.06%) від відсотка учасників, які обрали математику в 2021 році (74.34%). Математично це твердження Андрія потребує корегування, адже з відсотками варто бути обережним. Його вислів "Цього року на математику зареєструвалося на 92 тис. більше осіб (на 25 % більше ніж у 2020 році)" можна написати так: "Цього року на ЗНО з математики профільного рівня з'явилося на 92 тис. більше осіб (на 61 % більше ніж у 2020 році)" або ж "Цього року на ЗНО з математики профільного рівня зареєструвалися на 105 тис. більше осіб (на 57 % більше ніж у 2020 році)". До речі, в нас є чудовий курс для дорослих з необхідної математики в сучасному світі, то ж приходьте до нас навчатися "Essential mathematics".

А також заступниця директора УЦОЯО Тетяна Вакуленко тут: "Цього року планувалося обов'язкове складання ДПА з математики. Очевидно, що саме цей факт зумовив значне збільшення кількості учасників ЗНО з математики. Так, у цьогорічному тестуванні з математики взяли участь 244 410 осіб, які потребували результатів ЗНО за шкалою 100–200. До прикладу минулого року – 152 081 особа".

Але не поспішаємо. Якщо ДПА з математики в форматі ЗНО обов'язкове, то чому тільки 75%, а не 100%? Для цього потрібно розібратися як була влаштована реєстрація на ДПА.

У 2021 році з'являється окремий тест ЗНО з математики рівня стандарту, який складають лише ті, хто НЕ ПЛАНУЄ вступати до закладу вищої освіти та які вивчали математику в школі на рівні СТАНДАРТУ. Таких учасників ЗНО з математики рівня стандарту було зареєстровано 77 320 (окремо від тих, що ми зазначали вище). Якщо тепер порахувати загальну кількість зареєстрованих на ЗНО з математики та оновити відсоток, то отримаємо майже 94.8%, що вже краще пояснює ситуацію.
А от чому все ж таки не 100% потребує наступного кроку.

Крок 3. Чи всі, хто зареєструвався на ЗНО 2021 є випускниками загальноосвітнього навчального закладу 2021 року?

Якщо переглянути публікації щодо провалу результатів ЗНО з математики в 2021 році, то можна побачити, що журналісти ставлять знак дорівнює між: учасник ЗНО, абітурієнт, випускник 2021 року. Але це різні категорії. І якщо достатньо очевидно, що складати ЗНО не означає подавати документи на вступ (тобто учасник ЗНО не означає абітурієнт), то міф про те, що всі учасники ЗНО – це випускники шкіл поточного року, потребує додаткового дослідження.

Отже, згідно з відкритими даними у 2021 році учасник ЗНО належав до однієї з п'яти категорій:

  • випускник загальноосвітнього навчального закладу 2021 року,
  • випускник минулих років,
  • випускник, який здобуде в 2021 році повну загальну середню освіту в навчальному закладі іншої держави,
  • студент закладу вищої освіти,
  • учень (слухач) закладу професійної (професійно-технічної) освіти.

Насправді серед зареєстрованих на проходження тестування ЗНО з математики (профільний та стандарт) в 2021 році випускників поточного року було майже 60%. До того ж розподіл реєстрацій учасників ЗНО з математики за статусом був таким:
Ба більше, такий розподіл учасників ЗНО майже не змінився за останні три роки. Це вимагає того, щоб результати складання ЗНО аналізували окремо в кожній категорії. Очевидно, що категорії "випускник минулих років" або ж "студент закладу вищої освіти" не можна порівнювати по роках між собою.

Порівняння результатів шкільної математичної освіти по роках потребує як мінімум відокремлення з бази даних тих, хто є випускником відповідного поточного року, та після цього проводити якісний та кількісний аналіз.

Отже, відсоток зареєстрованих на ЗНО 94.8%, а не 100%, тому що ті ж випускники минулих років не мали обов'язкове ДПА, тому мали реєструватися на ЗНО з математики лише за потребою для вступу.

Крок 4. Чи є обов'язкове ДПА з математики причиною такого високого відсотка тих, хто не подолав поріг із математики?

Була б гарна версія, якби… обов'язкове ДПА у форматі ЗНО не було скасовано. Відсоток тих, хто подолав поріг, рахується серед тих, хто з'явився на ЗНО та його роботу не було анульовано. Розглянемо окремо рівень стандарту та профільний рівень ЗНО. Так, результати рівня стандарту не входять до зазначених "31% учасників тестування ЗНО з математики не подолали поріг", але щодо явки можна побачити дещо корисне.

Рівень стандарту
Як ми вже зазначали, фахівці Українського центру оцінювання якості освіти цьогоріч розробили нову сертифікаційну роботу – "Математика (завдання рівня стандарту)". За її виконання можна було отримати тільки результат ДПА та не можна вступити в університет. Заступниця директора УЦОЯО Тетяна Вакуленко тут зазначає : "На жаль, щоб скласти це оцінювання, до пунктів тестування прийшли менше 12% учасників, що, ймовірно, було зумовлено скасуванням обов'язкової ДПА".

Питання від нас – якщо мета цієї роботи саме проведення ДПА, яке було скасовано, то навіщо взагалі воно проводилося? Однак, це гарна нагода побачити який відсоток (насправді 11.15%) тих, кому тестування не потрібне, все одно спробували його пройти та використати для гіпотези для профільного рівня.

Профільний рівень
Згідно з поясненням щодо вибору сертифікаційної роботи, усі, хто навчався на профільному рівні, має скласти ЗНО через обов'язковість ДПА та не планує вступати у ВНЗ, мали обрати пункт "не визначати результат за шкалою 100-200". На жаль, у відкритій базі такий статус можна простежити тільки якщо учасник з'явився на ЗНО. Таких було всього 131 випускник 2021 року та 1 учень (слухач) закладу професійної (професійно-технічної) освіти, що робить враження, що ЗНО складали лише ті, кому потрібно для вступу. Але така чисельність занадто відрізняється від таких же, хто прийшов складати тест на рівні стандарту попри те, що ДПА було скасовано (таких було понад 8,5 тисяч людей).

Фактично неможливо визначити чи учасник ЗНО обрав профільний рівень через ДПА, або ж через те, що він хоче вступати туди, де вимагається цей предмет, або ж одночасно через ці дві причини (не говорячи про те, що легко додати пункт визначення за шкалою 100-200 просто заради цікавості).

А тим часом Андрій Ночкін, начальник відділу в УЦОЯО, у своїй публікації, зазначає: "Так, ДПА скасували, але явка на ЗНО з математики свідчить, що значна кількість тих, кому вона де-факто не потрібна для вступу (ті 25%) все одно з'явилися до пунктів тестування. Тож цього року математику складало майже на 92 тис. більше осіб (при приблизно однаковій загальній кількості учасників ЗНО в 2020 та 2021 роках). ... Я думаю тепер очевидно, що значне збільшення як кількості, так і відсотка тих, хто не подолав поріг, було завдяки тим, хто й не збирався користуватися цим результатом".

Маємо три аргументи, що обов'язкове ДПА з математики у форматі ЗНО не може повністю пояснити такий великий відсоток тих, хто не подолав поріг:

  1. Явка тих, хто складав ЗНО з математики на рівні стандарту у 2021 році. Як ми вже зазначали, людей які все одно вирішили прийти до пункту тестування виявилося 11.15%. Можна зробити гіпотезу, що й на профільний рівень, якщо мета реєстрації на ЗНО була лише ДПА, явка була такою ж.

  2. Явка тих, хто складав ЗНО з математики у 2020 році, коли обов'язкове ДПА у форматі ЗНО теж було скасовано вже після реєстрації. Так було зареєстровано 49.1% учасників ЗНО, які обрали математику, але явка тих, хто прибув до пункту оцінювання, склала 40.1%. У 2021 році, якщо враховувати рівень стандарту, то серед 94.8% зареєстрованих на ЗНО з математики (профільний рівень або рівень стандарту) прийшли на тест 86.8%. Що свідчить про те, що певно причина не тільки в цьому.

  3. Вибір ЗНО з математики випускниками минулих років. Як ми зазначали, випускникам минулих років не потрібно було реєструватися на ЗНО через обов'язкове ДПА, адже вже мають атестат. Але обирали вони в цьому році також незвично частіше математику ніж раніше: так у 2017-2020 роках цей відсоток становив 41-44%, а в 2021 році – 61%.
То ж чому математика стала такою популярною серед випускників минулих років, та гіпотетично серед інших учасників ЗНО 2021 року? Може, це любов? Тим паче 2021 рік був роком математики!
Певно варто подивитися на те заради чого люди складають ЗНО - вимоги до вступу.

Крок 5. Чи були зміни для яких спеціальностей сертифікація ЗНО з математики є обов'язковою?

Для цього проаналізуємо, починаючи з 2018 року, на які спеціальності ЗНО з математики було обов'язковим. Ми будемо використовувати наступні документи: 2018 рік, 2019 рік, 2020 рік, 2021 рік.У 2018 році математика є обов'язковою для вступу з 81 спеціальності.

У 2019 році до цього переліку приєднують спеціальності, що пов'язані з фізикою ("Фізика та астрономія", "Прикладна фізика та наноматеріали", "Середня освіта (Фізика)"), та ще з двох спеціальностей "Менеджмент соціокультурної діяльності" та "Психологія"). Фізика - це ще болючіше питання в нашій країні. І до нього ми теж ще повернемося.

У 2020 році вступ проходить майже без змін, лише спеціалізацію під початковим шифром 015 доповнюють трьома спеціальностями з обов'язковою математикою та об'єднують під один шифр ("Професійна освіта (Документознавство)", "Професійна освіта (Сфера обслуговування)", "Професійна освіта (Технологія виробництва і переробки продуктів сільського господарства)").

А от 2021 рік можна з впевненістю назвати роком освітнього експерименту. Отже, 15 жовтня 2020 року країна дізнається, що вступити на всі спеціальності з шифром галузі 22 "Охорона здоров'я" ("Стоматологія", "Медицина", "Медсестринство", "Технології медичної діагностики", "Медична психологія", "Фармація, промислова фармація", "Фізична терапія, ерготерапія", "Педіатрія", "Громадське здоров'я") обов'язково потрібно складати математику. Вишенькою на торті стають ще дві спеціальності – "Дизайн" та "Міжнародні економічні відносини".

Зрозуміло, що такі зміни призвели до збільшення кількості учасників ЗНО, які складають математику (що краще пояснює чому така була висока явка, враховуючи скасовування ДПА, а також чому її частіше обирали випускники минулих років). З нижче наведеної інфографіки (джерело) можна побачити, що в 2019 році на "Охорону здоров'я" було подано 62,2 тис. заяв, що свідчить про те, що це вагома галузь з точки зору кількості.
З іншого боку, це могло сильно вплинути на проходження порогового балу. Значне зменшення в "Медицині" з 2018 року пов'язують з введенням мінімального порогового балу для вступу – 150. Що говорити про такий же рівень з математики?

Чому це освітній експеримент? Тому що про напрямок вищої освіти батьки та діти думають не в вересні 11 класу, а зазвичай за кілька років. Тобто, якщо сім'я розуміє, що дитина хоче стати лікарем, то вона більше приділяє уваги біології та хімії, а не математиці. Якщо ви звернете увагу, то на цю галузь протягом принаймні трьох попередніх років обов'язково потрібно було складати українську мову, біологію чи хімію (на вибір), фізику чи математику (на вибір). Ба більше, математика – це не предмет на запам'ятовування. Недостатньо просто вивчити якесь правило. Для того, щоб мати певний рівень математичної грамотності, потрібен час. Як і танцівникам, у математиці теж потрібно відтанцювати свій паркет.

Крок 6. А якщо усе-таки відокремити з бази випускників загальноосвітніх навчальних закладів 2020 та 2021 року та спробувати порівняти результати учасників ЗНО?

Тоді отримаємо ще один аргумент на користь того, що такі результати навряд чи пов'язані з різким падінням рівня шкільної математичної освіти, скоріш показом рівня тих, хто просто випускається зі школи та додатково не вивчає математику для вступу. Ми взяли абсолютні бали випускників загальноосвітніх навчальних закладів 2020 та 2021 року та розмістили їх на одному графіку, адаптуючи 67 балів у 2021 році до 62 балів у 2020 році.


Як бачимо, за результатами вони відрізняються лише до 16 балів з 62, а далі графіки майже ідентичні. Якби рівень освіти падав, то, напевно, рівномірно по всій шкалі. А от чи дійсно наявний рівень є належним – будемо досліджувати в наступній публікації.

Отже, можливі причини великої кількості учасників, які не подолали поріг:

1. Прихід на тестування тих, хто зареєструвався на ЗНО через ДПА та після скасування вирішив усе одно прийти до центру проведення ЗНО (як варіант заради цікавості, потренуватися перед наступними предметами, або ж не виключно, що з ідеєю завалити ЗНО, щоб підняти в рейтингу своїх друзів).

2. Зміна правил вступу до ВНЗ, а саме вимога обов'язкової математики для популярної галузі знань "Охорона здоров'я", за кілька місяців до проведення ЗНО.

Примітка або чому ми пишемо тут "можлива причина". На жаль, в Україні на відміну від світового досвіду ми збираємо дуже мало даних під час реєстрації на ЗНО. Наприклад, для реєстрації на американський аналог ЗНО – SAT – потрібно зазначити багато інформації: успішність, вподобання, куди ти плануєш вступати та навіть яка освіта у твоїх батьків. Діагностика стану – це перший крок до поліпшення. Чому ми цього не робимо залишається великим питанням на рівні країни.

Головний висновок:
Оцінити рівень шкільної математичної освіти, порівнюючи результати ЗНО 2020 та 2021 року неможливо через низку причин:
- склад учасників ЗНО (потрібно відокремлювати випускників ЗНЗ поточного року, яких там лише 59-61% на тестуванні з математики);
- різна мотивація учасників по роках (нестабільність з обов'язковістю ДПА, неможливість простежити першочергову причину реєстрації на ЗНО з отриманням результату за шкалою 100-200);
- суттєво різна кількість учасників проходження ЗНО з математики;
- зміна формату сертифікаційної роботи кожного року (додання формул, збільшення-зменшення завдань, зміна складності завдань, про що поговоримо в наступній публікації).

Наше побажання УЦОЯО та Міністерству освіти України зафіксувати принаймні на три роки умови отримання ДПА та вступу до ВНЗ.

P.S. Кілька цікавих фактів.
  1. Понад 40% учнів (слухачів) закладів професійної (професійно-технічної освіти) не проходять поріг кожного року (в 2021 році цей показник склав 67%).
  2. У вступній кампанії 2022 року нововведення 2021 року майже всі були змінені. Так на галузь знань "Охорона здоров'я" можна складати математику або біологію. Але при цьому математика вперше стала обов'язковою для "Журналістика", "Соціальна робота", "Соціальне забезпечення". Тож певно відсоток тих, хто подолає поріг, повернеться в норму, якщо знову не буде обов'язковим ДПА. А взагалі, всі ці експерименти виглядають дуже дивно. Невже за всі роки незрозуміло які предмети найбільше впливають на отримання відповідних професій?

Якщо у вас залишилися питання, є ще ідеї, що перевірити, або ж знайшли неточності, то напишіть нам! Або на сторінці Prosteer, або в приватні повідомлення Тетяні Герасимовій.

У наступній публікації ми проаналізуємо якість та складність запропонованих завдань ЗНО 2021 року. До зустрічі!

Автори дослідження:
к. ф.-м. наук Тетяна Герасимова, засновниця Prosteer
Христина Гранішак, Machine Learning Engineer

Ми пропонуємо детальніше розібратися в цьому питанні та спробувати знайти відповідь не на рівні інтуїції, а на рівні фактів. Для цього ми зробимо низку публікацій, щоб проаналізувати це питання з різних боків. У цьому дописі нашого дослідження ми використовуємо як основне джерело відкриті дані за 2018-2021 роки від Українського центру оцінювання якості освіти https://zno.testportal.com.ua/opendata. До речі, це дуже рідкісна історія прозорості як у нашій країні, так і у світі, то ж дякуємо за таку можливість!

Звідки взялося питання про вирок?

У 2021 році близько 31% учасників тестування ЗНО з математики (або майже 76 тисяч людей) не набрали прохідний бал, отримавши статус "не склав". Чому це ситуація, що вартує ретельного дослідження? Річ у тім, що цей показник у попередніх роках був таким:
  • у 2020 - 13% (або близько 19 тисяч учасників),
  • у 2019 - 18% (або близько 28 тисяч учасників),
  • а 2018 - 19% (або близько 19 тисяч учасників).

Що сталося у 2021 році? Це вплив дистанційного навчання через ковід, катастрофа шкільної освіти чи очікуваний результат? Подосліджуємо!

Крок 1. Чи кількість зареєстрованих учасників на складання ЗНО з математики була майже однаковою з 2018 по 2021 рік?


Коли ми хочемо порівняти якісь дані, один із перших кроків – подивитися на об'єм вибірки. Таку помилку в аналізі можна зустріти, наприклад, коли порівнюють середній бал ЗНО випускників приватної школи, де їх усього 5-6, та державної загальноосвітньої школи, де їх понад 100. Зрозуміло, що досягти високих результатів тестування для 5-6 учнів простіше ніж для 100. Як у боротьбі змагаються в межах певної вагової категорії, так і порівняння має враховувати чисельну кількість.

Використовуючи відкриті дані маємо