X Международная студенческая научная конференция Студенческий научный форум - 2018

Постановка задачи

Тестирование учебных достижений студентов распространено в ВУЗах повсеместно. «Компетентностный подход», закрепленный федеральными государственными нормативными правовыми актами и стандартами, фиксирует важную роль тестируемых достижений, и систематическое тестирование занимает важное место в деятельности студентов, преподавателей и администрации, для него привлекаются значимые ресурсы.

В структуре Уральского государственного университета путей сообщения (УрГУПС) имеется постоянно действующий Центр тестирования (ЦТ) с основным залом на 100 компьютеризированных мест, специально предназначенный для проведения тестовых процедур. Основной способ организации тестирования предполагает резервирование некоторого количества мест, соответствующего количеству направляемых в ЦТ студентов, на период 105 минут, соответствующий паре занятий и двум переменам в общевузовской сетке расписания. Это гарантирует студенту возможность явиться в ЦТ в составе своей учебной группы, занять без очереди свое место и выполнить задание, вовремя вернувшись к другим учебным занятиям. Однако, очевидно, что количество студентов, которых может обслужить ЦТ в таком режиме, достаточно ограничено, а компьютеры большую часть времени (после окончания индивидуального теста до следующего группового захода) простаивают.

В период массового тестирования приходится привлекать дополнительные ресурсы в виде небольших компьютерных классов и труда квалифицированных преподавателей из числа доцентов и профессоров для наблюдения за порядком при тестировании. Возникает интерес к альтернативным способам организации тестирования в ЦТ (может быть, не столь удобным для организованных в учебные группы студентов), и сравнительной оценке его пропускной способности, а также комбинированным решениям, ориентированным на разные потребности студентов. Для этого применяются методы сбора и обработки статистической информации и математического моделирования, результаты представлены в данной работе.

Дизайн исследования

Первоначально предполагалось статистическими методами выявить обобщенные характеристики (среднее, дисперсию) продолжительности индивидуального тестирования, рассмотреть и сравнить по производительности модельную ситуацию реализации индивидуальных тестов с аналогичным временем при условии случайной явки студентов, то есть при организации тестирования по живой очереди, с помощью математического аппарата «Теории очередей», известной в отечественной литературе как теория систем массового обслуживания [1]. Было проведено пилотное построение, которое выявило сложный характер распределения продолжительности индивидуального тестирования и привело к необходимости дополнения исследования этапом имитационного моделирования для оценки надежности использования допущений аналитической модели, предполагающей простое показательное распределение этой величины. Полученные на каждом этапе исследования данные и промежуточные выводы вводились в него на следующих этапах. Вычисления проводились с помощью процессора электронных таблиц MS Excel.

1. Распределения величин, характеризующих процесс тестирования

На первом этапе были использованы фактические данные о 2,2 тыс. индивидуальных тестов из 190 протоколов тестирования, проведенных преподавателями УрГУПС с помощью Единого портала интернет-тестирования в сфере образования [3]: время начала и окончания теста, количество заданий в тесте и назначенное на тест преподавателем время. Были определены продолжительности индивидуальных тестов и отношения этих продолжительностей к количеству заданий в тесте, то есть оценка среднего времени, использованного студентом для ответа на единичное задание к тесте. Указанные величины имеют случайный характер, поэтому для их изучения были построены статистические распределения.

Назначенная продолжительности теста имеет распределение сложного вида. В подавляющем количестве случаев это значение от 10 до 90 минут. Наблюдаются максимумы в районе 30 и 45 минут, которые можно интерпретировать психологическими факторами. Последние столбцы соответствуют тестам остаточных знаний проекта ФЕПО, где время тестирования фиксировано и не может меняться по усмотрению преподавателя, организующего тест.

Фактическая продолжительность теста демонстрирует распределение, имеющее более плавную форму по сравнению с предыдущим. Характерно спадание вероятности наблюдения больших значений. Однако очевидны значительные отклонения этого распределения от показательного закона (на графике изображен кривой линией), что подтверждается применением статистических процедур: наблюдается существенный минимум вероятности в первой категории, а остальные категории заполнены больше, чем предсказано. Такие отклонения приводят, в дальнейшем, к некоторым сомнениям в правомерности применения математического аппарата «Теории очередей» для математического моделирования работы Центра тестирования.

Поколичеству заданий теста выделяется основная группа первых четырех категорий (4–15 заданий), охватывающая 2/3 рассмотренных случаев, а пятой категории (16–18 заданий) соответствует заметный минимум распределения. Большие по количеству заданий тесты (19–27 заданий) отражают использование ФЕПО, где возможности выбора заданий ограничены. Таким образом, количество заданий теста – более удобная для анализа характеристика по сравнению с назначенным преподавателем временем тестирования. На основании таких особенностей распределения принято решение в дальнейшей работе сконцентрировать внимание на массовой ситуации и провести математическое моделирование для случаев 4–15 заданий. Среднее значение фактической продолжительности индивидуального теста для этой группы оказалось равным 22 минуты.

Среднеевремя на единичное задание, (точнее, отношение фактического времени тестирования к количеству заданий) имеет распределение наиболее простого вида по сравнению с другими производными характеристиками. Это подтверждает предыдущий вывод о преимуществе «количества заданий» над «назначенным временем тестирования» при анализе данных. Ещё заметим, что время на тест определяется в режиме интернет-тренажера из расчета 2 минуты на задание (но может быть увеличено по решению преподавателя); с этим, скорее всего, связан небольшой локальный минимум вероятности, соответствующий категории 2–2,5 минут.

Подводя промежуточные итоги, отметим, что средняя продолжительность индивидуального тестирования в массовой группе случаев до 15 заданий составляет 22 минуты, а с учетом потерь времени на начало теста и фиксацию результата, среднее время обслуживания студента в ЦТ можно принять приближенно равным 0,5 часа.

2. Аналитическое моделирование работы ЦТ как системы массового обслуживания

На втором этапе исследования была использована модель открытой СМО с N каналами обслуживания и неограниченной очередью в форме марковской цепи специального вида с бесконечным числом состояний, соответствующих количеству занятых мест в ЦТ и очереди

В соответствии с [1, 2], стационарная (по эргадической теореме, она совпадает с предельной) вероятность начального (нулевого) состояния этой марковской цепи может быть найдена из соотношения

,

Используя известную формулу для ряда геометрической прогрессии, для слагаемых суммы, соответствующих очереди, получаем

Что позволяет преобразовать исходное выражение

Таким образом, наличие неограниченной очереди без включения в работу новых каналов обслуживания оказывает на вероятность начального состояния такое же влияние, как единственное состояние с и в дальнейшей работе были использованы марковские цепи, соответствующие графу (при разном значении N)

С помощью этой модели определяются вероятности всех состояний, отражающие заполненность ЦТ и вероятность очереди в зависимости от двух параметров: интенсивности входящего потока студентов λ и среднего времени обслуживания одного студента, присутствующей в модели в виде номинальной интенсивности обслуживания заявок одним каналом . По результатам первого этапа исследования, среднее время обслуживания студента составило 0,5 часа, поэтому было принято значение µ=2 человека в час. Собственно, расчетный алгоритм для вероятностей состояний марковской цепи включает три шага: предварительное рекуррентное вычисление коэффициентов при и ; суммирование этих коэффициентов для определения вероятности начального состояния ; итогового определения вероятностей всех состояний СМО и вероятности очереди .

Для получения практически значимых результатов был поставлен вопрос о пропускной способности ЦТ с разным количеством эксплуатируемых мест N = 10, 20, … 100. В природе модели заложена ненулевая вероятность очереди при любой интенсивности входного потока, поэтому, для конкретности, удовлетворительной работой ЦТ было решено считать случаи с вероятностью очереди меньше 10% и сконцентрировать внимание на поиске таких значений λ_кр(N), при которых вероятность очереди составила ровно 10%. Расчетный алгоритм (для каждого значения N) с варьируемыми значениями λ и μ был реализован на листе MS Excel, после чего ячейке, выделенной для μ, было присвоено значение 2, а значение λ подбиралось, исходя из условия р_оч=0,1. Полученная зависимость представлена на следующем графике.

С помощью такого графика можно легко ответить на вопрос, сколько мест в ЦТ требуется задействовать для обслуживания живой очереди студентов известной интенсивности (с учетом безвозвратных потерь времени при простое машин), например, для обслуживания входящего потока с интенсивностью 100 человек в час оказывается достаточно 60 мест.

Пропускная способность ЦТ варьируется с 13 человек в час (при использовании 10 мест) до 174 человек в час (при использовании 100 мест), хотя номинальная производительность каждого места составляет 2 человека в час и, с учетом количества мест, должна достигать 200 человек в час. Отношения производительности ЦТ к количеству мест, показанные на следующем графике, демонстрируют, что с увеличением количества каналов обслуживания (мест) он работает эффективней и доля безвозвратных потерь компьютерного времени, связанная со стохастичностью входного потока, заметно снижается, достигая 13% при эксплуатации 100 мест.

Для более глубокого понимания этого эффекта сравним относительную заполненность ЦТ в виде распределений вероятности, при разных количествах мест. Характерные графики, приведённые ниже, демонстрируют, что увеличение количества мест сопровождается заметным смещением максимума в распределении занятых мест вправо, что объясняет соответствующее возрастание эффективности использования ЦТ.

3. Имитационное моделирование работы ЦТ

Аналитический расчет стационарных вероятностей состояний, проведенный на втором этапе исследования, подразумевает показательный характер распределения времени обслуживания заявок. В рамках первого этапа обнаружены заметные отклонения от этой зависимости, что делает актуальным вопрос о применимости использованной модели. Для решения этого вопроса были предприняты дополнительные усилия: некоторые результаты, полученные на втором этапе были продублированы розыгрышем работы марковской цепи под влиянием имитированных входящих потоков студентов со временем обсуживания, полученным в сборе фактических данных. Имитация проводилась со следующими особенностями:

– Для моделирования продолжительности индивидуального тестирования были взяты данные из протоколов тестирования на 4-15 заданий в случайном порядке с добавлением к каждому случаю 8 минут для получения среднего времени тестирования 0,5 часа. Общее количество событий начала тестирования оказалось близким к 1,5 тыс., соответственно, в каждом подходе в моделируемой марковской цепи было разыграно 3 тыс. событий, связанных с увеличением или уменьшением текущего номера состояния, а накопленные результаты «наблюдений» можно считать статистически значимыми.

– Для моделирования входного потока при разном возможном количестве мест в ЦТ ( n = 10, 20, … 100) были взяты только выявленные на втором этапе критические интенсивности входного потока студентов. Предполагались случайные моменты явки студента в ЦТ с такими интенсивностями, для чего была разыграна случайная равномерно распределенная величина.

– При наличии состояния «очередь» момент начала тестирования переносился до освобождения места в ЦТ.

– Доля времени, проведенного ЦТ в некотором состоянии, интерпретировалась как вероятность этого состояния.

Таким образом, были получены распределения вероятности состояний, которые можно сравнить с предыдущими результатами. Характерные зависимости приведены на следующем графике.

Для лучшего понимания различий между результатами имитационного и аналитического моделирования данные представлены на следующих сравнительных графиках (аналитическая зависимость – кривой линией). Они демонстрируют, что результаты аналитического моделирования удовлетворительно предсказывают максимум и размытость распределений, полученных с помощью приемов имитации. Однако аналитические предсказания для вероятности очереди оказываются завышенными и аналитическое моделирование не предсказывает небольшой максимум в области начальных состояний СМО, что объясняется выявленными отклонениями распределения времени на тест от показательного распределения с аналогичным средним значением. В целом, аналитическое моделирование, при его технологической простоте, дало удовлетворительную оценку для имитационной заполненности ЦТ и предсказывает несколько ухудшенные показатели его работы. Это позволяет не привлекать имитационные процедуры при уточнении опытных значений параметров марковской цепи, а ограничиваться аналитическим расчетом.

Основные выводы

Выяснилось, что резервирование машинного времени (по 1,5 часа на студента) позволяет достичь интенсивности в 2 – 3 раза меньшей, чем работа в режиме «живой очереди» на том же количестве компьютеров. Групповое тестирование при количестве заданий больше 15 необходимо, всё же, проводить «по записи» для совмещения с сеткой расписания, с учетом прогнозируемого трафика: места, невостребованные для более производительного режима работы, могут быть отданы организованным группам тестируемых.

Результаты аналитического и имитационного моделирования работы ЦТ практически совпадают.

Полученные в проведенном исследовании зависимость λ_кр(N) позволяет, при привлечении данных о трафике в ЦТ, определять количество мест, которые можно выделить для тестирования организованных групп без существенного ущерба для более производительной работы «по живой очереди», а выработанная техника расчета – корректировать аналитическую модель с учетом уточняемых в опыте параметров.

Отметим в заключение, что работа ЦТ была рассмотрена как квазистационарный процесс, переходные эффекты, возникающие при изменении трафика в ЦТ, считаются несущественными. Вне внимания так же остались вопросы работы персонала ЦТ по распределению большого количества студентов по компьютерным местам и фиксации результатов теста и влияние неравномерностей входящего потока студентов, налагаемых расписанием занятий.

Литература

1. Вентцель Е. С. Исследование операций. – М. : Сов. Радио, 1988.

2. Гончарь П. С., Медведева Н. В., Розинберг В. Л. Марковские процессы и системы массового обслуживания: практикум. – Екатеринбург: Изд-во УрГУПС, 2012.

3. Единый портал интернет-тестирования в сфере образования. URL: http://www.i-exam.ru/ ( дата обращения 12.12.2017)

Код для цитирования: Скопировать