Введение.Оценивание знаний учащихся играет большую роль при организации учебного процесса. Оно позволяет определить глубину знаний учебного материала и принять меры по корректировки дальнейшего образовательного маршрута. Традиционные методы оценивания знаний, как правило, основаны на использовании числовых шкал или балльных систем, которые не лишены недостатков [1], [2]. Современные информационно-коммуникационные технологий (ИКТ) расширяют возможности преподавателя при усвоении запланированного материала в нужном объёме и в требуемом качестве [3], [4], [5]. Они позволяют более объективно подойти к процессу оценивания, провести анализ больших объемов данных, относящиеся к определению степени подготовленности ученика на различных стадиях обучения и обеспечить уменьшение вероятности субъективных ошибок. Поэтому внедрение ИКТ в образовательный процесс, развитие сетевой инфраструктуры, применение электронной библиотечной системы и обучающих программ являются важными факторами при организации учебного процесса. Оценка знаний, которая выставляется в зачётной ведомости, остаётся традиционной и придерживается, скорее, не в рамках пятибалльной, а с помощью четырёх балльной системы с оценками 2 (неудовлетворительно), 3 (удовлетворительно), 4 (хорошо) и 5 (отлично). Преподаватели прекрасно понимают, что каждая из этих оценок отражает истинное положение с некоторой долей вероятности. Возникает естественный вопрос, как определить эту вероятность в традиционно сложившихся условиях четырёх бального оценивания знаний? На наш взгляд, ответ на него может быть получен с использованием теории вероятности. Настоящая работа посвящена определению вероятности соответствия одной из оценок 2, 3, 4, 5, выставляемой преподавателем, действительному уровню знаний ученика.
Цель исследования. На основе анализа возможности вычисления вероятности случайного события, зависящего от нескольких факторов с известными функциями распределения, определить вероятность соответствия одной из оценок 2, 3, 4, 5, выставляемой преподавателем, действительному уровню знаний учащегося.
Материал и методы исследования. Для достижения цели использовались следующие методы:
Теоретические, относящиеся к анализу случайных процессов, определяемых несколькими факторами с известными вероятностными характеристиками. На основании многочисленных исследований в этом направлении выбран метод, предложенный в работах [6], [7].
Эмпирические, основанные на отзывах преподавателей и студентов Мелитопольского государственного университета при оценивании знаний студентов на экзаменах по теории вероятности, математики, программирования, методики преподавания математики, психологии и философии.
Практические, состоящие в разработке программы на языке Phyton, реализующей алгоритм вычисления вероятности соответствия одной из оценок 2, 3, 4, 5, выставляемой преподавателем в ведомостях, действительному уровню знаний ученика.
Результаты исследования и их обсуждение.
1. Разработка алгоритма численного решения поставленной задачи. Рассмотрим наиболее часто встречающийся метод оценивания знаний с использованием экзаменационного билета, который содержит несколько вопросов. Преподаватель анализирует результаты ответа и делает вывод о степени усвоения материала по каждому из этих них, ориентируясь на четырёх бальную систему 2, 3, 4, 5. Ясно, что любая выставленная из перечисленных оценок отличается от истинного значения и зависит от большого числа случайно действующих факторов. К ним относятся погодные условия, психологическое и физическое состояние преподавателя и учащегося и т. д. Поэтому оценивание знаний носит в известной степени вероятностный характер.
Рассмотрим частный случай оценивания на примере проведения экзамена, когда ученик получает три задания. Обобщение на большее число заданий будет проведено позднее. Предположим, что в первом приближении функция распределения выставляемой оценки хi (i=1,2,3) по каждому из трёх вопросов экзаменационного билета определяется нормальным законом распределения случайной величины с математическим ожиданием аi=2, 3, 4, 5 и среднему квадратическому отклонению σ. Дифференциальная fi(t) и интегральная Fi(t) функции такого распределения имеют вид [8]
(1)
, (2)
где , Ф( )- интеграл Лапласа:
(3)
Сумма оценок по трём вопросам у=х1+х2+х3 является случайной величиной, которая также распределена в соответствие с нормальным законом [6], [7]
(4)
где математическое ожидание a и среднеквадратическое отклонение σ равны:
a=a1+a2+a3, σ=(σ12+σ22+σ32)0.5. (5)
Интегральная функция распределения, соответствующая формуле (4), имеет вид
. (6)
Вероятность того, что сумма оценок по трём вопросам у находится в пределах от b1 до b2 равна [8]
P(b1<у<b2)=(Ф(t2)-Ф(t1))/2, t2=( b2-a)/σ, t1=( b1-a)/σ. (7)
Формула (7) решает поставленную задачу. Для проведения численного статистического анализа необходимо выбрать способ расчёта интеграла Лапласа и разработать программное обеспечение для проведения статистического анализа с дружественным интерфейсом.
2. Разработка программы. Для практической реализации статистической модели оценивания риска ошибочного решения при выставлении оценок ученикам разработана программа на основе фреймворка Flask с использованием языка программирования Python. Данное приложение позволяет вычислять вероятность соответствия выставленной оценки (2, 3, 4, 5) действительному уровню знаний учащегося. Программа построена по принципу клиент-серверной архитектуры. Она состоит из серверного компонента на языке Python, клиентского интерфейса с использованием HTML, Bootstrap и JavaScript, а также модуля расчёта распределений вероятностей. Основные функциональные возможности разработанного приложения включают:
- вычисление вероятности того, что сумма оценок по вопросам находится в заданном интервале в соответствии с формулой (7);
- определение диапазона суммарных оценок для заданной вероятности;
- визуализацию результатов в виде графиков дифференциальных функций распределения вероятности;
- сохранение и загрузку настроек параметров распределений в виде пресетов.
В серверной части приложения реализованы алгоритмы вычисления суммы функций плотности вероятности, что соответствует формулам (2) и (4). Практическое применение данного программного обеспечения позволяет моделировать процесс оценивания знаний учащихся и анализировать вероятности несоответствия выставленной оценки реальному уровню знаний.
3. Проведение расчётов. Наиболее вероятная ошибка Δ, по мнению опрашиваемых преподавателей и студентов, составляет около 0,5 балла. Вероятность того, что действительный уровень знаний по каждому из вопросов, отвечающим математическому ожиданию аi, отличается от оценки преподавателя х на величину Δ>0, определяется формулой [8]
P(|х-ai|≤Δ)=Ф(Δ/σi). (8)
Формула (8) позволяет определить среднее квадратическое отклонение σi при известном Δ для заданной вероятности. В случае 50%-й вероятности значение σi равно 0,75. Среднее квадратическое отклонение согласно формуле (5) равно σ=0,52, а математическое ожидание a=a1+a2+a3. Следовательно, интегральная функция распределения суммы оценок (6) подчиняется закону
F(y)=(1+Ф(t))/2, t=(y-a)/ 0,52. (9)
По формуле (7) определим вероятность случайного события, когда сумма оценок y отличается от математического ожидания a находится в пределах от b1 до b2, равна
P(b1<у<b2)=(Ф(t2)- Ф(t1))/2, t2=( b2-a)/0,52, t1=( b1-a)/ 0,52. (10)
Рассмотрим пример использования формулы (10) в различных ситуациях. Пусть знания ученика по отдельным вопросам экзаменационного билета оценены на «удовлетворительно», «хорошо» и «отлично». В этом случае математическое ожидание а=3+4+5=12. Поскольку вероятная ошибка Δ, характеризующая возможный разброс оценки знаний по одному вопросу равна 0,5, то суммарный разброс составит 1,5. Поэтому нижний предел b1 следует положить равным 12-1,5=10,5, а верхний – b2 равным 12+1,5=13,5.
Разработанная программа обеспечивает проведение расчётов в следующем порядке:
Открывается вкладка "Параметры" и вводятся параметры для трёх нормальных распределений оценок с математическими ожиданиями a₁=3, a₂=4, a₃=5 и стандартными отклонениями σ₁=σ₂=σ₃=0,75.
Сохраняются настройки с последующим переходом на вкладку "Расчеты".
Выбирается тип расчета "По интервалу".
Устанавливается левая граница интервала 10.5 и правая граница 13.5.
Нажимается кнопка "Рассчитать".
Программа выполняет вычисления и выводит результат. В данном случае вероятность того, что сумма оценок находится в интервале [10,5; 13,.5] оказалась равной 0.76 (76%). На дисплей выводится график дифференциальной функции распределения, рисунок 1.
Рисунок 1 - Дифференциальная функция распределения суммы в случае оценивания знаний ученика по трём вопросам на оценки «удовлетворительно», «хорошо» и «отлично»
Из рисунка 1 видно, что возможное значение суммы принадлежит отрезку [10,5; 13,5]. Максимальная вероятность дифференциальной функции достигается в точке с координатой 12, где её значение равно 0,33. Величина площади между осью абсцисс и линией, определяющей зависимость дифференциальной функцией от суммы, как и следовало ожидать, равна вероятности P(10,5<у<13,5)=0,76. Такая же вероятность получится в случае любых комбинаций оценок хi, сумма которых равна 12, а именно:
- «неудовлетворительно», «отлично», «отлично»;
- «хорошо», «хорошо», «хорошо».
Преподаватель в рассмотренном варианте, скорее всего, примет решение поставить в ведомость оценку «хорошо». Возможно, при комбинации «неудовлетворительно», «отлично», «отлично» у него могут возникнуть сомнение и в ведомости окажется оценка «удовлетворительно». Вероятность ошибки подобного решения определяется формулой (10), в которой значение b1 следует положить равным 9, а b2 равным 12. Изменение дифференциальной функции распределения в этом случае на отрезке [9,0; 12.0] представлено на рисунке 2.
Рисунок 2 - Дифференциальная функция распределения суммы в случае выставления в ведомости оценки «удовлетворительно» при комбинации оценок знаний ученика по трём вопросам на «неудовлетворительно», «отлично» и «отлично»
Проведём сравнение двух решений, которые выбирает преподаватель при различных комбинациях оценок знаний ученика по трём вопросам: первая комбинация с оценками 3, 4, 5, вторая – с оценками 2, 5, 5.
Итак, у преподавателя имеется выбор между оценками, которые он должен выставить в ведомость: «хорошо» или «удовлетворительно». Вероятность допустить ошибку при выставлении оценки «хорошо» равна P(10,5<у<12)=0,38. Вероятность допустить ошибку во втором случае при выставлении оценки «удовлетворительно» равна P(9<у<12)=0,49. Поэтому имеются все основания предложить преподавателю принять решение в пользу ученика и оценить его знания на «хорошо».
На рисунке 3 представлена зависимость плотности распределения суммы всех оценок по трём вопросам «отлично», «отлично», «отлично».
Рисунок 3 - Дифференциальная функция распределения суммы в случае выставления в ведомости оценки «отлично» при комбинации оценок знаний ученика по трём вопросам на «отлично», «отлично» и «отлично»
Пусть в случае дифференциальной функции, изображённой на рисунке 3, преподаватель выставляет в ведомость оценку «отлично». Вероятность правильности проверки знаний в этом случае равна P(y>13,5)=0,88. При комбинации оценок по трём вопросам «хорошо», «отлично» и «отлично» ситуация несколько иная. Вероятность корректного оценивания знаний в этом случае на «отлично» P(y>13,5) будет несколько ниже и составляет около 0,65.
В таблице 1 приведены вероятности адекватного оценивания знаний, выставляемого преподавателем в ведомость на основании различных оценок по трём вопросам.
Таблица 1.
Вероятность зависимости адекватного оценивания знаний по пятибалльной системе х=2,3,4,5 от различных комбинаций оценок по трём вопросам экзаменационного билета
х |
Варианты оценок по трём вопросам |
у, сумма оценок |
у/3,средняя оценка |
Интервал для у |
Вероятность |
2 |
2, 2, 2 |
6 |
2,0 |
< 7,5 |
0,88 |
2 |
2, 2, 3 |
7 |
2,3 |
[5,5; 8,5] |
0,76 |
2 |
2, 2, 4 |
8 |
2,7 |
[6,5; 9,5] |
0,76 |
3 |
а)2, 2, 4; б) 2, 3, 3 |
8 |
2,7 |
[6,5; 9,5] |
0,76 |
3 |
а)3,3,3; б) 2, 3, 4; в)2,2,5 |
9 |
3,0 |
[7,5;10,5] |
0,76 |
3 |
а)2,3,5;б) 2,4,4; в)3,4,3 |
10 |
3,3 |
[8,5; 11,5] |
0,76 |
4 |
а)2,4,5; б) 3,4,4 |
11 |
3,7 |
[9,5; 12,5] |
0,76 |
4 |
а)4,4,4; б)2,5,5; б) 3,4,5 |
12 |
4,0 |
[10,5; 13,5] |
0,76 |
4 |
а)4,4,5; б)3,5,5 |
13 |
4,3 |
[11,5; 14,5] |
0,76 |
5 |
4,5,5 |
14 |
4,7 |
[12,5; 15,5] |
0,76 |
5 |
5,5,5 |
15 |
5,0 |
>13,5 |
0,88 |
Согласно данным таблицы 1 оценки, выставляемые в ведомость, с высокой степенью вероятностью (в пределах 0,76-0,88) отражают реальную картину. В некоторых ситуациях могут появиться более спорные результаты. Среди них отметим следующие комбинации оценок по трём вопросам:
- 2,3,3: рассматривается возможность поставить 2 или 3;
- 2,2,5: рассматривается возможность поставить 2, 3 или 4;
- 3,3,4: рассматривается возможность поставить 3 или 4;
- 4,4,5: рассматривается возможность поставить 4 или 5.
Обобщение полученных результатов на большее число вопросов в экзаменационном билете не представляет трудности. Интегральная функция распределения суммы оценок в этом случае (6) остаётся прежней. Требуется поменять только формулы (5) для математического ожидания и среднего квадратического отклонения. Вместо них следует использовать формулы:
a=∑ai, σ=(∑σi2)0.5, (11)
где суммирование выполняется по числу вопросов в экзаменационном билете.
Выводы. Предложен метод расчёта вероятности корректности оценивания знаний учащихся по пяти бальной системе. На алгоритмическом языке Phyton разработана программа для численного решения и осмысления поставленной задачи. В качестве примера проведён статистический анализ наиболее часто встречающихся ситуаций. Показано, что вероятность того, что выставляемая преподавателем оценка 2, 3, 4 или 5, как правило, отражает истинный уровень знаний с доверительной вероятностью в пределах от 0,76 до 0,88. Предложенный алгоритм оценивания легко обобщается на любое количество вопросов в экзаменационном билете. Разработанная программа может использоваться преподавателями для повышения объективности оценивания знаний студентов, а также в образовательных целях при изучении теории вероятностей и математической статистики.
Список литературы
Отметка, оценка и оценивание: основные подходы и принципы. URL: https://www.yaklass.ru/t-novosti/akcii-i-novosti-za-2023-god/stati-i-novosti-za-03-2023/otmetka-ocenka
Критериальное оценивание вшколе. URL: https://orionschool.ru/blog/tpost/ 81r2h61zd1-kriterialnoe-otsenivanie-v-shkole?
Чернухина Н. В. Информационно-коммуникационные технологии в образовательном процессе вуза / Н. В. Чернухина // Научно-методический электронный журнал «Концепт». – 2014. – № S30. – С. 51–55. URL: http://e-koncept.ru/2014/14861.htm.
Юдина Н. А. Современные информационные и коммуникационные технологии и процесс обучения в вузе / Н. А. Юдина. // Международный журнал гуманитарных и естественных наук. – 2018. – 3. – С. 100-102.
Журтов А. Б. Информационно - коммуникационные технологии в образовательном процессе современного вуза / А. Б. Журтов, Х. С. Арсакаева, М. Ю. Джемалдинова // Мир науки, культуры, образования. №1 (86) 2021.
NaidyshA. V., Construction of an integral distribution function of random variables determining the impact of wind power on birds in accordance with the prognostic analysis of experts. Abstracts of the report at the international conference «International Conference on Research in Engineering, Technology and Science (ICRETS)» /A. V. Naidysh, V. S. Yeremeyev, O. V. Strokan// Held on November 10th, 2024 in Alanya/Turkey.
Еремеев В. С. Определение функции распределения случайной величины, являющейся суммой нескольких случайных величин / Еремеев В. С., А.Ю. Гончаров, И. А. Петренко.// Международный научно-исследовательский журнал. – 2024. – №7 (145). – URL: https://research-journal.org/archive/7-145-2024-july/10.60797/IRJ.2024.145.178. – DOI: 10.60797/IRJ.2024.145.178
Кремер Н. Ш. Теория вероятностей и математическая статистика / Н. Ш. Кремер / М.: Изд. «ЮНИТИ–ДАНА». 2004.–566 с.