RU2186423C2 - Система тестирования "телетестинг" - Google Patents

Abstract

Изобретение относится к автоматизированным средствам обучения и контроля знаний. Система представляет собой компьютерную технологию для заочного тестирования региональных участников из Центра. Система содержит связанные последовательно блоки подготовительных модулей, модулей тестирования, телекоммуникационных модулей и модулей анализа и обработки. Последние два блока соединены каналами протоколов и данных технологического мониторинга и обратной связью в виде канала итоговых результатов тестирования. Блок модулей тестирования снабжен программой тестового диалога, имеющей подпрограмму технологического мониторинга, блок модулей анализа и обработки - модулем анализа достоверности результатов, модулем итоговой обработки результатов и модулем тестовых заданий. Изобретение позволяет повысить защищенность системы от несанкционированного доступа, обеспечить равный уровень первичных заданий тестирования и возможность предъявления дальнейших заданий с учетом ответов на предыдущие, унифицировать представление результатов разных тестов, ускорить сбор сводных данных и обеспечить оперативное оповещение участников о результатах тестирования. 5 ил.

Description

Изобретение относится к техническим (автоматизированным) средствам обучения и контроля знаний, используемым при проверке результатов обучения, системам для проверки объема и качества знаний, приобретенных учащимися, в частности, при дистанционном обучении, при заочном автоматизированном определении профпригодности, при организационно-управленческом, профориентационном и индивидуально-личностном консультировании, а также при аттестационном контроле кадрового состава предприятий, включая управленческий персонал. Изобретение базируется на использовании компьютерных сетевых информационных технологий. Изобретение может быть использовано в области образования, в частности при конкурсном наборе абитуриентов в средние специальные и высшие учебные заведения, участников на курсы повышения квалификации, дополнительного специального обучения, а также в области управления трудовыми ресурсами (отбор и подбор персонала), когда к работникам предъявляют определенные требования в виде специальных знаний и навыков, то есть тестирование носит аттестационный характер (или характер экспертизы), предполагающий вынесение решений, значимых для образовательной и профессиональной карьеры испытуемого. Ориентированное на широкое (массовое) применение в общегосударственном (федеральном) масштабе (в качестве технологической базовой модели "национальной" или федеральной системы тестирования), изобретение может быть использовано для получения информации, необходимой для управленческого мониторинга (слежения) за тенденциями в развитии всей системы общего и профессионального образования как в стране в целом, так и в ее отдельных регионах и отраслях.

Предшествующий уровень техники.

Широко известна система проверки знаний путем бланкового предъявления учащемуся (испытуемому) тестов в виде набора вопросов с заданными вариантами ответа на выбор (Анастази А. Психологическое тестирование. М.: Педагогика, 1982, т. 2, с. 36-70; Аванесов B.C. Тесты в социологическом исследовании. М. : Наука, 1982, с. 168-177). Следующая технологическая ступень - контроль знаний в рамках традиционного автоматизированного обучения (см. Ричмонд У.К. Введение в теорию и практику программированного обучения. Пер. с англ. М.: Мир, 1968, с. 50-98), который уже обеспечивает разветвленные (возвратно-последовательные) алгоритмы предъявления контрольных (тестовых) заданий, но реализован на основе автономных электромеханических или позднее электронно-вычислительных ТСО (технических средств обучения), соединенных в лучшем случае лишь в локальную, но не в глобальную сеть (см. Соколов Е.Н. и др. Компьютеризованная система для проведения научных исследований, психодиагностики и обучения, ж. "Психологический журнал", 1987, 5, с. 23-37). Все подобные системы и технологии не позволяют в реальном режиме времени провести одновременное (синхронизированное по доставке тестовых материалов) тестирование участников (испытуемых), находящихся территориально в различных местах (регионах). При увеличении количества участников тестирования значительно увеличивается количество обслуживающего персонала, затрачивается много времени. Коме того, невозможен централизованный учет многих параметров тестирования, таких как скорость ответа на конкретное задание, выбор последующего задания в зависимости от ответов участника на предыдущие задания и пр.

Близкими техническими решениями к изобретению являются многочисленные системы тестирования, реализованные в виде диалога "человек-компьютер", при котором все задания (вопросы) теста предъявляются на экране с последующей автоматизированной обработкой результатов тестирования. (Elwood D.L. Automation of psychological testing, American Psychologist, 1969, p.48-65; Weiss D.J., New horizons in testing, N.Y., Academic Press, 1983, p.70-83; Shmelyov A. G. , TESTAN, An integrated modular system for personality assessment and test development on MS DOS personal computers. - Behavior Research Methods, Instruments and Computers, 1996, p. 15-48; Лукина Г.С. Автоматизация тестового контроля знаний учащихся. Тезисы международной конференции "Информационные технологии в образовании". М.: ЮНЕСКО, МАИ и др., 1998 и многие подобные публикации). В отличие от бумажной (бланковой) формы такая компьютерная форма предъявления заданий хотя и создает возможность применения разветвленных и адаптивных (приспосабливающихся к испытуемому) алгоритмов и технические удобства для проведения и обработки результатов тестирования, но не устраняет ряд принципиальных недостатков самого метода тестов.

Одним из главных недостатков применения метода тестирования в целях аттестации во всех его традиционных реализациях является недостаточный уровень информационной безопасности (секретности тестовых материалов) или повышенный риск получения недостоверной информации в том случае, если учащийся и исполнитель-организатор тестирования (например, школьный учитель) оказываются вместе заинтересованными в искажении результатов в сторону завышения. В этом случае фальсификация (подтасовка) результатов легко осуществима путем создания и распространения для каждого фиксированного варианта (набора заданий) "цифрового ключа" - последовательности номеров правильных ответов, обеспечивающих высокий балл по тесту. Другой недостаток - отсутствие гарантий равного уровня трудности вариантов, предъявляемых разным учащимся (испытуемым). Третий - отсутствие широкой сопоставимости результатов для тестов, различающихся между собой по предметной направленности, качественному составу и трудности заданий, к тому же выполненных в разных, отдаленных друг от друга регионах.

Более близкими техническими решениями к изобретению являются следующие.

Разнообразные блоки и процедуры контроля знаний, встроенные в системы автономного компьютеризированного (off-line) и сетевого (телекоммуникационного, дистанционного, on-line) обучения (Moor M.G., Kearsley G., Distance education, a system view. Belmont, Wadsworth Publishing Co. , 1996, p. 78-90; Евреинов Э.В., Каймин В.А. Информатика и дистанционное образование. М. : МАИ, 1998, с. 9-51). Недостатком этих технических решений оказываются прежде всего отсутствие измерительного компонента (стандартизированных, статистически-обоснованных сравнительных шкал оценки знаний - оценка сводится лишь к числу и проценту правильных ответов), а также возможность многократного и свободного (незащищенного от фальсификаций) доступа к тестам.

Популярные, демонстрационные (ознакомительные) тесты, реализованные с помощью гипертекстовых диалоговых языков (html) на базе открытых www-серверов в Интернет и разрешающих любому пользователю производить многократное тестирование (самотестирование) в ходе двухстороннего подключения (on-line testing) с возможностью неограниченного по времени просмотра и копирования (сохранения на собственном компьютере) тестовых заданий (например, ознакомительные версии тестов TOEFL и SAT на сервере американской фирмы Education Testing Service - ETS). Недостатком этих систем является используемая, как правило, фиксированная линейная последовательность предъявляемых заданий в рамках вариантов, не эквивалентных по уровню трудности (если предварительно не выполнена специальная процедура балансирования, основанная на сборе массовой статистики в ходе репрезентативных апробационных исследований), а главное - возможность свободного (незащищенного от фальсификаций) доступа к тестам, что лишает результаты подобного тестирования аттестационного смысла и позволяет использовать подобное тестирование только как репетиционное средство самоконтроля учащимся своего текущего уровня в процессе подготовки к аттестационному тестированию, которое, по-прежнему, осуществляется практически во всех странах на бланках (в частности, в России с 1992 по 1998 годы подобное бланковое тестирование производит в широких масштабах Центр тестирования выпускников общеобразовательных учреждений РФ при МПГУ - Московском Педагогическом Государственном Университете).

Наиболее близкими техническим решением к изобретению является направленная на устранение указанных недостатков Система тестирования "Телетестинг", содержащая блок подготовительных модулей, соединенный с имеющим вход от потребителя блоком модулей тестирования, который имеет предметный модуль и программу тестового диалога, к которой подсоединен снабженный выходом к потребителю блок телекоммуникационных модулей, соединенный обратной и через канал протоколов прямой связями с блоком модулей анализа и обработки, содержащим базу данных с результатами телетестинга (см. "Шаг в XXI век, или Первая Всероссийская компьютерная олимпиада "Телетестинг-97" для выпускников школ, поступающих в ВУЗы", газета "Первое сентября", 27, 11.03.97).

Эта версия системы телекоммуникационного тестирования Олимпиада "Телетестинг-97" предусматривает передачу на компьютер пользователя (с помощью электронной почты или буксировки с сервера) программы-оболочки тестового диалога с файлом вопросов (тестовых заданий), которая обеспечивает тестирование в автономном (off-line) режиме тестового диалога с пользователем и создание файла-протокола, предназначенного для отправки на автоматизированную обработку в Центр Тестирования (на центральный компьютер).

Описание и функции подготовительного модуля и его соединение с блоком модулей тестирования раскрываются, как "...тестовые задания отбираются с помощью особого предварительного фильтра в форме компьютерной экспертизы (тест предварительно выполняют независимые преподаватели-эксперты) и потому отвечают всем необходимым стандартам качества.... сами банки заданий передаются из Москвы в регионы также по электронной почте - в форме особых зашифрованных файлов... ".

Описание и функции блока модулей тестирования предложены, как "...в региональных компьютерных центрах тестирование проводится в форме диалога "человек-ЭВМ". Компьютер подбирает случайным образом тестовые задания из большого банка заданий и предъявляет на экране монитора учащемуся, который должен тут же за ограниченное и контролируемое компьютером время указать с клавиатуры правильный ответ". В этом же отрывке мы находим упоминание о входе в систему тестирования от потребителя.

Описания и прямое и обратное соединения блока телекоммуникационных модулей и блока модулей анализа и обработки описано следующим образом: "...все протоколы с ответами каждого испытуемого в тот же день пересылаются в виде файлов из региональных компьютерных классов в МГУ (Москва) для централизованной автоматизированной обработки. Причем скоростную передачу производят по глобальным компьютерным сетям (Интернет и связанные с ней). Буквально через день во все регионы поступает информация о полученных испытуемыми тестовых баллах.". Последняя цитата указывает также на наличие выхода системы к потребителю.

Данная версия обладает главным преимуществом, заключающимся в экономии ресурсов центрального компьютера (сервера) и устранении перегрузки каналов связи, которая возникает при одновременном массовом тестировании тысяч испытуемых в разных регионах страны. Но система "Телетестинг-97", устраняя многие недостатки ранее известных систем, оказалась, в свою очередь, не свободна от ряда недостатков, не позволяющих использовать эту версию в качестве вполне надежного средства аттестационного контроля уровня знаний.

Раскрытие изобретения.

Настоящее изобретение направлено на устранение указанных выше недостатков и создание системы, позволяющей получить следующие технические результаты:
- повысить защищенность (безопасность) тестовой информации от несанкционированного доступа,
- обеспечить равный (или примерно равный) уровень трудности вариантов заданий на первом этапе тестирования с дальнейшим выбором и предъявлением заданий с учетом ответов испытуемых на предыдущие задания,
- обеспечить быстрый сбор сводных данных по всем регионам тестирования,
- обеспечить унифицированную сопоставимую форму представления результатов разных тестов,
- ускорить оперативное оповещение участников о результатах тестирования.

Достижение указанных технических результатов позволяют решить задачу более эффективного использования системы тестирования.

По изобретению эта задача решается за счет того, что в системе тестирования "Телетестинг", содержащей блок подготовительных модулей, соединенный с имеющим вход от потребителя блоком модулей тестирования, который имеет предметный модуль и программу тестового диалога, к которой подсоединен снабженный выходом к потребителю блок телекоммуникационных модулей, соединенный обратной и через канал протоколов прямой связями с блоком модулей анализа и обработки, содержащим базу данных с результатами телетестинга, блок модулей тестирования снабжен модулем регистрации, а программа тестового диалога снабжена подпрограммой технологического мониторинга, блок телекоммуникационных модулей снабжен модулем программы-робота обработки, выполненного в виде соединенной с выходом к потребителю программы автоматизированной обработки и выдачи первичных тестовых баллов, и соединен с блоком модулей анализа и обработки дополнительной прямой связью через канал данных технологического мониторинга, а обратная связь с блоком модулей анализа и обработки выполнена в виде канала итоговых результатов тестирования, блок модулей анализа и обработки содержит соединенный с каналами протоколов и данных технологического мониторинга модуль анализа достоверности результатов, модуль итоговой обработки результатов, соединенный с каналом итоговых результатов тестирования, и модуль анализа тестовых заданий, выход которого соединен с блоком подготовительных модулей.

Таким образом, процесс тестирования разделен на самостоятельные, разделенные по возможностям доступа блоки (модули), обеспечивающие секретность, при сохранении высокого уровня скорости распространения тестов и сбора результатов. При этом на "локальные" (местные) компьютеры в регионах поступают только файлы с программами, реализующими модули тестирования (модуль регистрации, предметный модуль и программа тестового диалога), но не файлы для реализации модулей подготовки базы заданий и обработки тестов, доступ к которым защищен разнообразными техническими средствами (процедурами диалоговой инсталляции по уникальным кодам, парольным доступом, многообразным контролем файлового окружения и системного времени на локальных компьютерах пользователя-клиента). Блок модулей тестирования в изобретении формирует конкретные наборы заданий для первоначального предъявления. Это формирование производят на основе выбора заданий из предметного модуля (закодированного банка тестовых заданий), включающего сотни, а иногда и тысячи тестовых заданий, предварительно отсортированных экспертами по уровню трудности и тематике. При этом алгоритм формирования первоначальных вариантов обеспечивает определенный, плавно нарастающий, но эквивалентный для разных испытуемых уровень трудности и тематической репрезентативности (равномерного отражения разных разделов учебной программы) для каждого варианта. По результатам предъявления первоначального варианта заданий программа тестового диалога в дальнейшем предъявляет задания с учетом ответов на предыдущие задания.

Являясь по своей форме реализации программным средством, система "Телетестинг" содержит признаки изобретения не столько в реализации отдельных блоков (модулей), а в самой функциональной архитектуре их сочетания и взаимодействия, предполагающей определенный характер размещения отдельных блоков на "сервере" (центральном компьютере радиально-лучевой сети, находящемся в Центре у разработчиков тестов) и "клиенте" (периферических, локальных компьютерах, находящихся в распоряжении у пользователей тестов).

Таким образом, система "Телетестинг" содержит следующие блоки.

Размещенный на центральном компьютере (у разработчика тестов в Центре Тестирования) блок подготовительных модулей, включающий модуль спецредактора (специализированный редактор-шифратор тестовых заданий), взаимодействующий с базой заданий (банком тестовых заданий) и модулем экспертизы (блоком обработки экспертных оценок).

Размещенный (путем телекоммуникационной передачи) на локальном компьютере пользователя тестов блок модулей тестирования, включающий модуль регистрации, предметный модуль (зашифрованные банки тестовых заданий) и программу тестового диалога, снабженную подпрограммой технологического мониторинга достоверности (для регистрации количества, времени, продолжительности запусков самой программы, а также всех изменений в файловом окружении на диске компьютера пользователя).

Блок телекоммуникационных модулей, в котором основным является модуль программы-робота обработки (телеробот), размещенный на центральном компьютере и обеспечивающий подсчет тестовых баллов в процессе телекоммуникации. Телеробот выполнен в виде программы автоматизированной дистанционной обработки протоколов (файлов с ответами испытуемых) и выдачи первичных тестовых баллов с использованием различных вариантов и форматов телекоммуникации (электронная почта, передача файлов в сеансах двухсторонней связи и т.п.). Для этого блок телекоммуникационных модулей содержит связанные прямой и обратной связями с телероботом модули HTTP- и FTP-серверов и редактора электронной почты. Все модули этого блока имеют непосредственную связь с выходом к потребителю.

Блок телекоммуникационных модулей соединен прямыми связями через каналы протоколов и технологического монторинга с блоком модулей анализа и обработки, а обратная связь этих блоков выполнена в виде канала итоговых результатов тестирования.

Блок модулей анализа и обработки, который содержит соединенный с каналами протоколов и данных технологического мониторинга модуль анализа достоверности результатов, а также модули итоговой обработки результатов и анализа тестовых заданий. Все упомянутые модули соединены с базой данных с результатами Телетестинга. Модуль итоговой обработки результатов обеспечивает подсчет унифицированных (независимых от направленности и состава тестов) рейтинговых баллов, основанных на порядковых ранговых) шкалах измерения знаний (способностей), известных в тестологии под названием "процентильных" шкал (см. Анастази А. Психологическое тестирование. М.: Педагогика, 1982, с. 87-92). "Очищенный" рейтинговый балл, фиксирующий уровень достижений данного испытуемого по сравнению с остальными, может быть получен только после отсева недостоверных протоколов из выборки. Выход модуля анализа тестовых заданий соединен с блоком подготовительных модулей. Это позволяет корректировать базу заданий и уточнять оценку их трудности на основании собранной эмпирико-статистической информации в ходе самого тестирования.

Краткое описание фигур чертежей
На фиг. 1 изображена общая блок-схема предложенной системы по изобретению.

На фиг.2 показана схема выполнения блока подготовительных модулей.

На фиг.3 - схема выполнения блока модулей тестирования.

На фиг. 4 изображена схема выполнения и взаимодействия блока телекоммуникационных модулей и блока модулей анализа и обработки данных.

На фиг.5 показана блок-схема системы по прототипу изобретения.

Лучший вариант осуществления изобретения.

Нижеприведенный пример иллюстрирует лучшие варианты изобретения, но не ограничивает его. В качестве примера выполнения предлагаемой системы можно рассмотреть систему, изображенную на чертежах.

Система тестирования "Телетестинг" представляет собой последовательно соединенные следующие основные блоки: блок 1 подготовительных модулей, блок 2 модулей тестирования, блок 3 телекоммуникационных модулей и блок 4 модулей анализа и обработки. Блок 3 телекоммуникационных модулей соединен с блоком 4 анализа и обработки прямой связью через канал 5 протоколов и канал 6 данных технологического мониторинга и обратной связью через канал 7 итоговых результатов. Блок 2 модулей тестирования имеет вход от потребителя в виде канала 8 ввода данных, а блок 3 телекоммуникационных модулей - выход к потребителю в виде канала 9 выдачи данных. Блок 1 подготовительных модулей имеет обратную связь через канал 10 информационных данных с блоком 4.

Блок 1 подготовительных модулей содержит модуль 11, являющийся спецредактором, который соединен прямой и обратной связью с модулем 12 базы заданий, который в свою очередь соединен прямой и обратной связью с модулем 13 экспертизы. Выходом блока 1 является выход модуля 12 базы заданий. Спецредактор реализован на базе элементов стандартного персонального компьютера с процессором класса не ниже "Интел 386" и представляет собой компьютерную программу, функционально обеспечивающую ввод заданий, корректировку не соответствующих нормам экспертизы тестовых заданий, а также хранение заданий в форме, препятствующей несакционированному доступу к базе заданий.

Модуль 13 функционально обеспечивает получение из базы данных тестовых заданий, их оценку по заданным критериям, а также возврат в базу данных заданий с экспертной оценкой. Модуль 12 базы заданий содержит носитель информации и выполняет функции хранения всех поступивших заданий, а также обеспечивает поступление на выход блока подготовительных модулей тестовых заданий, соответствующих нормам экспертизы.

Блок 1 подготовительных модулей соединен с блоком 2 модулей тестирования через вход предметного модуля 14, который имеет соединение с модулем 15 программы тестового диалога, который в свою очередь подсоединен к модулю 16 регистрации. Канал 8 ввода данных подсоединен как к модулю 16 регистрации, так и (на чертеже не показано) к модулю 15 программы тестового диалога, выход которого является выходом блока 2.

Предметный модуль 14 является компьютерной программой, в которой производится сжатие информации, задание параметров проведения тестирования и выбор соответствующей этим параметрам инструкции по работе с тестом. Модуль 15 программы тестового диалога является диалоговой программой, предназначенной для работы в режиме "человек-компьютер" (диалолговая система), и осуществляет следующие функции:
- идентификацию предварительно зарегистрированного участника тестирования;
- предъявление потребителю (участнику) через блок 3 тестовых заданий с соответствующей инструкцией;
- выбор каждого последующего предъявляемого задания с учетом результатов ответов участника на предыдущие задания;
- сохранение и зашифровка в специальном файле протоколов тестирования ответов участника тестирования;
- с помощью подпрограммы (на чертежах не изображена) регистрацию и сохранение параметров работы диалоговой системы при тестировании, а также параметров работы компьютера, на котором установлена эта программа (все вместе - журнал мониторинга).

Модуль 16 регистрации представляет собой диалоговую программу для работы в режиме "человек-компьютер" и функционально реализует регистрацию и сохранение данных о потребителе, присвоение потребителю регистрационного номера, а также передачу необходимых данных для идентификации потребителя перед процедурой тестирования в модуль 15, который связан с блоком 3 телекоммуникационных модулей.

Блок 3 содержит модуль 17 программы-робота обработки, который имеет прямые и обратные соединения с модулем 18 HTTP (hyper text transfer protocol) и FTP (file transfer protocol) - серверов и с модулем 19 редактора электронной почты. Модули 18 и 19, а при необходимости (например, при работе с потребителем в Центре Тестирования) и модуль 17 имеют соединение с каналом 9. Блок 3 имеет выходы на блок 4 модулей анализа и обработки по каналу 5 протоколов и каналу 6 данных технологического мониторинга. Указанные каналы соединены с принадлежащим блоку 4 модулем 20 анализа достоверности, который в свою очередь имеет соединение с модулем 21 базы данных результатов Телетестинга, имеющим соединения с модулем 22 итоговой обработки результатов и с модулем 23 анализа тестовых заданий. Модуль 22 через канал 7 итоговых результатов обеспечивает обратную связь с блоком 3 телекоммуникационных модулей, а выход модуля 23 подсоединен через канал 10 информационных данных к блоку 1 подготовительных модулей через вход модуля 12 базы заданий.

Модуль 17 представляет собой компьютерную программу, которая реализует:
- первичную обработку протоколов с предварительным расчетом баллов участников тестирования,
- сохранение результатов первичной обработки протоколов,
- подготовку к отправке через модули 18 и 19 или непосредственно потребителю первичных результатов и полученных из блока 4 по каналу 7 итоговых результатов тестирования,
- передачу первичных протоколов по каналу 5 и журналов мониторинга по каналу б на блок 4 анализа и обработки данных.

Модуль 18 представляет типовое телекоммуникационное устройство, снабженное функциями сетевого взаимодействия с модулем 17.

Модуль 19 является компьютерной программой, реализующей функции редактора и конвентора электронной почты, адаптированной для взаимодействия с модулем 17.

Модуль 20 блока 4 представляет компьютерную программу, обеспечивающую по результатам, поступившим по каналам 5 и 6:
- расчет индекса достоверности для каждого протокола и определение недостоверных протоколов,
- расчет индекса надежности для заранее сформированных групп потребителей и определение групп потребителей, не соответствующих выбранным критериям надежности,
- передачу протоколов, данных журналов мониторинга и результатов анализа на достоверность и надежность в модуль 21.

Модуль 21 является базой данных с результатами Телетестинга и представляет собой компьютерную программу, содержащую носитель информации и располагающую возможностью хранения и сортировки результатов тестирования и анализа по различным параметрам.

Модуль 22 осуществляет окончательную обработку результатов тестирования и осуществляет с помощью программы следующие функции:
- определение в каждом протоколе ответов, лежащих вне пределов заданных параметров программы тестового диалога модуля 15, и с учетом результатов этой процедуры корректировку баллов первичных результатов участников тестирования;
- процедуру табличной нормализации первичных баллов по обратной функции нормального интеграла и создание списков участников тестирования по убыванию рейтинг-баллов (нормализованных баллов),
- построение рейтинга-списка участников тестирования по выбранным группам,
- подготовку итоговых результатов для передачи по каналу 7 в блок 3.

Модуль 23 - компьютерная программа, которая на основе модуля 21 реализует следующие действия:
- подсчет индекса трудности (на основе процентов правильных ответов),
- подсчет индекса встречаемости каждого альтернативного дистрактора ответов по каждому заданию,
- подсчет индекса дискриминативности (разницы в частоте правильных ответов для выбранных групп рейтинга),
- отбор тестовых заданий, не удовлетворяющих заданному интервалу анализируемых параметров (заданий, не прошедших по критериям анализа тестовых заданий), и передачу номеров данных заданий в модуль 12 базы заданий блока 1, в которой впоследствии исключаются эти задания из предъявляемых участникам тестирования предметных модулей.

Работа системы тестирования "Телетестинг" поясняется примером реализации предложенной системы при ее использовании для проведения тестирования поступающих в высшие учебные заведения.

Основным организатором и координатором по реализации системы тестирования "Телетестинг" являются работники Центра Тестирования, осуществляющего разработку системы, подготовительные этапы проведения тестирования, наладку телекоммуникационных систем связи и все работы по анализу и обработке данных тестирования с последующей выдачей результатов. Центр Тестирования должен иметь подключение к глобальной телекоммуникационной сети. Он оснащен центральным компьютером, имеющим функции системного и телекоммуникационного сервера, и компьютерами, обеспечивающими функции сохранения всех данных системы, математического и статистического анализа и обработки данных.

Перед проведением тестирования организуют Региональные Центры тестирования, с помощью работников которых осуществляют тестирование потребителей (участников). Потребителями являются в данном случае выпускники общеобразовательных учреждений, в том числе и поступающие в ВУЗы. В этих центрах устанавливают компьютеры, число которых выбирают из расчета числа прогнозируемых участников тестирования, а также осуществляют подключение через глобальную телекоммуникационную сеть, в том числе и глобальную, например, Internet, e-mail и т.д., к центральному компьютеру, находящемуся в распоряжении у Центра Тестирования.

До проведения тестирования по системе Телетестинг в Центре Тестирования осуществляют процесс создания и подготовки к тестированию материалов (тестовых заданий) для предъявления участникам. Данные работы включают создание авторами предметных заданий и их ввод в компьютерную базу заданий с помощью спецредактора, обеспечивающего техническую защиту от несанкционированного доступа к материалам. Далее осуществляют процесс экспертизы заданий по заданным критериям (например, по сложности, по качеству, по принадлежности к теме и т.п.), предоставляемым базой заданий, и в соответствии с данными экспертов корректировку этих заданий в программно-связанном с базой заданий спецредакторе. Затем осуществляют научное редактирование базы заданий по результатам экспертных работ.

На следующем этапе создают тестовые предметные файлы на основе скорректированных в результате экспертизы данных базы заданий, передают региональным центрам защищенные от несанкционированного запуска тестовые предметные файлы вместе с программным обеспечением. После установки работниками Регионального Центра на своей компьютерной базе программного обеспечения, в состав которого обязательно входят модуль регистрации, предметный модуль и программа тестового диалога, осуществляют регистрацию участников тестирования и непосредственное тестирование на материале предметного модуля, который предъявляют с помощью программы тестового диалога. Этот модуль также реализует сохранение и подготовку к отправке протокола тестируемого, подготовку журналов технологического мониторинга (файлов, хранящих данные по регистрации параметров и условий тестирования).

После этого с помощью блока 3 телекоммуникационных модулей осуществляют передачу по телекоммуникационным каналам, включающим FTP- и HTTP-серверы и электронную почту (модуль редактора электронной почты), протоколов тестирования участников на автоматическую первичную обработку модулем программы-робота обработки, расчет и рассылку полученных после обработки предварительных результатов через региональные центры тестирования потребителю (участникам) и вместе с журналами мониторинга в Центр Тестирования для анализа достоверности и надежности протоколов и итоговой обработки результатов тестирования в блоке 4.

На этом этапе в движении данных по технологии "Телетестинга" при наличии межкомпьютерной связи по телефонным сетям (через модемы) протокол тестирования участников может быть обработан несколькими способами:
- отсылают протокол в режиме электронной почты на сервер Центра Тестирования, где его анализируют с помощью модуля программы-робота обработки. Полученный после обработки файл с первичным результатом поступает потребителю через сетевое подключение компьютеров Регионального Центра уже в следующем сеансе обмена данными (максимум на следующий день);
- работник Регионального Центра буксирует протокол тестирования с помощью FTP (file transfer protocol - стандартная программа для передачи файлов по сети) на сервер Центра Тестирования, где телеробот следит за появлением новых протоколов, немедленно обрабатывает их и размещает в ту же директорию файлы с первичными результатами. Эти файлы работник Регионального Центра может тут же отбуксировать обратно на свой компьютер и довести результаты до участников тестирования;
- используется WEB-броузер (HTTP соединение), с помощью которого протокол "подхватывается", обрабатывается телероботом, и потребитель видит результаты обработки в виде WEB-страницы там же в броузере.

Достоинствами последних двух методов является быстрота обработки (работник Регионального Центра и участник тестирования не тратят времени на ожидание ответа по электронной почте) и возможность авторизации Регионального Центра. При наличии быстрых линий связи и постоянном подключении компьютера Регионального Центра к телекоммуникационной сети движение данных может осуществляться следующем образом. Программа тестового диалога передает ответы тестируемого на сервер (модуль НТТР- и FTP-сервера) Центра Тестирования в режиме прямого двухстороннего сеанса сетевой связи (on-line). При этом обработка каждого ответа телероботом происходит сразу в режиме реального времени. ХХХХХХХХ
Как уже указывалось выше, протоколы тестирования и журналы мониторинга пересылаются через блок телекоммуникационных модулей в блок 4 анализа и обработки данных, где протоколы анализируются на достоверность, выявляются "недостоверные" и "подозрительные" протоколы, решаются спорные вопросы по этим протоколам с региональными центрами, в частности, путем организации независимых проверок на "параллельных формах предметных тестов" (с иными кодами, паролями и временными лимитами запуска) в специальные дни, предусмотренные для контрольного перетестирования в независимых региональных центрах, конкурирующих с центрами, вызывающими подозрение. Данные сохраняются в базе данных с результатами Телетестинга. На основе этой базы данных осуществляют:
- окончательный анализ, расчет и рассылку по телекоммуникационным каналам итоговых результатов тестирования через региональные центры потребителю,
- анализ тестовых заданий на основе статистических методов по результатам Телетестинга, выявление некачественных заданий и корректировку заданий (исключение тестовых заданий не прошедших анализ) базы заданий. Последнюю процедуру осуществляют путем воздействия модуля анализа тестовых заданий блока телекоммуникационных модулей на базу заданий блока подготовительных модулей.

Промышленная применимость
Изобретение базируется на использовании компьютерных сетевых информационных технологий, которые быстро развиваются практически во всех областях техники и образования. Широкое использование Телетестинга обусловлено тем, что эта технология может использоваться не только при объектитвной проверке объема и качества знаний, определении эффективности общеобразовательных программ, программ специального обучения, обучения бизнесу, но и при заочном определении профпригодности, создании базы данных профессионально ориентированных работников, включая управленческий персонал. Система легко адаптируется и для специальных задач, связанных с определением тенденций в обществе, определения рейтинга кандидатов при проведении избирательной компании, индивидуально-личностном психологическом и медицинском консультировании. Большая экономия средств в результате использования заочного решения указанных задач - дополнительный стимул для развития изобретения. Проведенная центром "Гуманитарные технологии" (МГУ) с использованием изобретения Олимпиада школьников и абитуриентов привлекла несколько тысяч участников. Задействовано было несколько десятков региональных центров. Все это говорит о том, что изобретение промышленно применимо.

Claims (1)

1. Система тестирования, содержащая блок подготовительных модулей, соединенный с имеющим вход от потребителя блоком модулей тестирования, который имеет программу тестового диалога для снабженного выходом к потребителю блока телекоммуникационных модулей, соединенного обратной и через канал протоколов прямой связями с блоком модулей анализа и обработки, содержащим базу данных с результатами телетестинга, отличающаяся тем, что блок модулей тестирования снабжен модулем регистрации, а программа тестового диалога снабжена подпрограммой технологического мониторинга, блок телекоммуникационных модулей снабжен модулем программы-робота обработки, выполненного с программой автоматизированной обработки и выдачи первичных тестовых баллов для выхода потребителя, и соединен с блоком модулей анализа и обработки дополнительной прямой связью через канал данных технологического мониторинга, а обратная связь с блоком модулей анализа и обработки выполнена в виде канала итоговых результатов тестирования, блок модулей анализа и обработки содержит соединенный с каналами протоколов и данных технологического мониторинга модуль анализа достоверности результатов, модуль итоговой обработки результатов, соединенный с каналом итоговых результатов тестирования, и модуль анализа тестовых заданий, выход которого соединен с блоком подготовительных модулей.

Images