RU53477U1 - Автоматизированная система тестирования и обучения (асто) - Google Patents

Abstract

Полезная модель относится к автоматизированным системам тестирования и обучения, и может быть использована на предприятиях, где необходима периодическая проверка знаний руководителей и специалистов и/или их обучение, а также в образовательных учреждениях. Система тестирования и обучения содержит персональный компьютер обучающего, по меньшей мере, одно индивидуальное устройство тестирования и сервер. Сервер оснащен базой данных экзаменационного и учебного материала, базой данных для хранения результатов тестирования, а персональный компьютер обучающего содержит модуль формирования блока данных, касающегося тестового задания, из базы данных экзаменационного и учебного материала сервера, и модуль передачи данного блока по проводному каналу на индивидуальное устройство тестирования, при этом сервер оснащен модулем анализа результатов тестирования, который ведет числовой подсчет результатов, из расчета, что каждый результат имеет положительное или отрицательное числовое значение, суммой которых является общий результат тестирования, при этом максимальное число балов, позволяет прекратить тест как сданный, а минимальное отрицательное число баллов характеризует неготовность экзаменуемого. Достигаемым техническим результатом является осуществление контроля обучающим за проведением процесса обучения и/или тестирования, расширения функциональности системы, в возможности подготовки тестов индивидуально для каждого предприятия по местным инструкциям, формирование индивидуальных планов обучения для каждого обучающегося, а также повышение качества технологического аудита уровня квалификации работников предприятий и повышение объективности критериев оценки уровня знаний.

Description

Полезная модель относится к автоматизированным системам тестирования и обучения, и может быть использовано на предприятиях, где необходима периодическая проверка знаний руководителей и специалистов и/или их обучение, а также в образовательных учреждениях.

Большинство существующих тестов и обучающих систем строятся по следующим принципам:

- экзаменуемому задается заранее заданное число вопросов, которые заранее определены или представляют собой выборку (случайную или нет) из общего числа вопросов;

- каждый вопрос имеет несколько вариантов ответов, один из которых является верным, а все остальные - нет;

- результатом ответа на вопрос является бинарное утверждение: ответил - не ответил;

- результатом тестирования является число правильных ответов.

Такой принцип описан в международной заявке WO №9832109 от 23.07.1998. Из данного источника известен аппарат самооценки знаний, включающий блок входа, блок выхода и блок памяти, содержащий вопросы и правильные ответы, и альтернативную память вопроса с несколькими вариантами ответа, и процессор. Этапы самооценки знаний включают: вывод по меньшей мере одного вопроса; обработка ответа пользователем; сравнение ответа пользователя с правильным ответом; вторая автоматическая обработка, если ответ не соответствует правильному ответу, для выполнения следующих этапов: показ по меньшей мере одного альтернативного вопроса со связанными ответами;

обработка второго ответа пользователя; сравнение второго ответа с правильным ответом.

Недостатком тестирования по описанному принципу является:

- невозможность изменения хода экзамена в зависимости от качества ответов;

- загрубленная оценка знаний по принципу «знает - не знает», что не соответствует сути познавательного процесса человека; как результат - необъективная оценка уровня знаний работника: экзаменуемый, полностью не владеющий вопросом, может иметь одинаковый результат с человеком, владеющим в целом материалом, но допустившем неточности при ответе;

- не учитывается важность самого вопроса для общей оценки знания испытуемым дисциплины (темы).

При проверке знаний по существующим автоматизированным системам для формальной сдачи экзамена (на права управления, в вузе и др.) обозначенные недостатки несущественны. Однако при проведении аудита уровня подготовки (квалификации) специалистов на предприятии обозначенные недостатки могут привести к ошибочным оценкам, которые могут привести к следующим негативным последствиям:

- неоправданные затраты на переподготовку персонала;

- неоправданный отказ от существующих методик обучения;

- необоснованное отстранение от работы специалистов;

- др.

Архитектура таких систем строится на базе персональных компьютеров. Например, из патента РФ №2110095 от 27.04.1998 известна система для дистанционного обучения, выполненная на базе персонального компьютера, использующего информационную стимуляцию на субсенсорном уровне восприятия при индивидуальном обучении. В качестве пульта управления использован процессор персонального компьютера и его программное обеспечение, в качестве устройства ввода

ответов и реакций обучаемого использована клавиатура персонального компьютера, в качестве одного блока ввода информации использован видеоадаптер, другой блок ввода информации (блок стимулирующего информационного фона) выполнен в виде платы.

Такая система является самой простой автоматизированной системой, однако, имеет ряд недостатков:

- все базы данных, включающие сведения об обучаемых (если такая необходима), тему обучения, тестовые задания, экзаменационные задания и т.п., содержатся в памяти персонального компьютера, что не дает возможности быстрого изменения имеющихся тем и сохранения в памяти компьютера других различных тем, тестов и т.п., так как память компьютера по существу ограничена своими возможностями и при использовании компьютера и для других целей, его память значительно заполнена другими функциями;

- невозможность использования такой системы для корпоративных целей, при обучении и/или определении знаний работников различных предприятия корпорации, что значительно снижает ее функциональность;

- требует дополнительных трудовых и материальных затрат при обучении и/или определении знаний большого числа обучаемых.

При решении данных проблем были созданы системы, которые помимо персональных компьютеров обучаемых содержат сервер, в котором содержатся все базы данных и блоки управления процессами обучения и/или определения знаний. При этом для мобильности системы, возможности ее использования на расстоянии и работы на ней в интерактивном режиме персональные компьютеры соединяются с сервером при помощи Интернета или Интранета.

Такая система описана в патенте РФ №17650 от 10.04.2001.

Данная система для дистанционного обучения, содержит сервер с базой знаний, соединенный с помощью системы Интернет с персональными компьютерами обучаемых, блок финансов, статистического и аттестационного контроля, выполненный на базе сервера, соединенного с сервером с базой знаний и персональными компьютерами обучаемых, блок организации дистанционного учебного процесса, выполненный на базе персональных компьютеров.

Проверка знаний может осуществляться как обучаемых, так и обучающих. В патенте РФ №35678 от 27.01.2004 раскрыта система, содержащая комплексную систему компьютерных блоков с базой данных, снабженную соответствующим программным обеспечением (сервером), соединенную посредством системы Интернет с персональным компьютером обучаемого, блок аттестации знаний преподавателя, включающий блок электронного тестирования преподавателя с автоматической обработкой ответов по читаемой им и смежным учебным дисциплинам, блок работы с абитуриентами, производящий автоматическую аттестацию знаний абитуриента на соответствие требованиям по зачислению в учебный центр.

Из патента Франции №2775820 от 10.09.1999 известен метод и система для проверки знаний, например, на предприятиях, содержащая центральный сервер, который поставляет вопросы пользователю на персональный компьютер по Интернету или Интранету. Вопросы могут иметь коэффициент трудности и содержать варианты, и могут быть выбираться в зависимости от ответа пользователя. Тестирующийся должен за определенное время отвечать на вопросы, при этом если он правильно отвечает, то последующие вопросы выбираются из группы, содержащей более сложные вопросы.

Такие системы также имеют указанные выше недостатки тестирования.

На решение некоторых из указанных недостатков, а именно обеспечения возможности тестирования сразу большого количества обучаемых, тестирования их на расстоянии, повышении объективности оценки направлена система тестирования и обучения для работников кампании по заявке США №2005147954 от 07.07.2005. Способ включает определение конечной оценки, основанной на числе правильных ответов, каждый из которых выбирается в течение определенного времени. Баллы предоставляются только правильным ответам, указанным в течение эталонного времени. Система дополнительно содержит таймер для определения времени, затраченного на каждый ответ.

Известный способ имеет недостатки, главными из которых являются:

- отсутствие объективных критериев оценки уровня знаний;

- трудоемкость обучения и проверки знаний;

- низкая автоматизация процесса обучения и приемки экзаменов;

- низкое методическое обеспечение учебного процесса;

- трудоемкость проверки качества проведения самих экзаменов.

Наиболее близким аналогом по своей технической сути и достигаемым техническим результатам является патент РФ №2163731 от 27.02.2001. Из данного патента известна автоматизированная система тестирования и обучения, содержащая персональный компьютер обучающего, с которым связаны индивидуальные устройства тестирования. Программное обеспечение компьютера предназначено для организации учебного процесса. В систему входит также преобразователь сигналов (сервер), выполненный в виде модуля с сетевым питанием устройств тестирования и включающий в себя блок сопряжения с компьютером и блок сопряжения с устройствами тестирования, подключенными к последнему параллельно. Каждое устройство

тестирования выполнено в виде модуля и имеет микропроцессорное устройство, с которой связаны оперативное и постоянное запоминающие устройства, буквенно-цифровой индикатор, блок сопряжения с преобразователем, клавиатура, буквенно-цифровой индикатор и звуковой сигнализатор. Комплекс обеспечивает повышенную объективность результатов контроля знаний тестируемых.

Однако недостатком такой системы является то, что все базы данных, включающие сведения об обучаемых (если такая необходима), тему обучения, тестовые задания, экзаменационные задания и т.п., содержатся в памяти компьютера, что не дает возможности быстрого изменения имеющихся тем и сохранения в памяти компьютера других различных тем, тестов и т.п., так как память компьютера по существу ограничена своими возможностями и при использовании компьютера и для других целей, его память значительно заполнена другими функциями.

Таким образом, задачей, на которую направлена заявленная полезная модель, является создание автоматизированной системы тестирования и обучения, которая не содержала бы указанных выше недостатков.

При решении данной задачи достигается технический результат, заключающийся в возможности осуществления контроля обучающим за проведением процесса обучения и/или тестирования, расширения функциональности системы, в возможности подготовки тестов индивидуально для каждого предприятия по местным инструкциям, формирование индивидуальных планов обучения для каждого обучающегося в зависимости от занимаемой им должности, выявленных пробелов в знаниях, а также по личному желанию самого обучающегося и его руководителей/преподавателей.

Предлагаемая система тестирования и обучения позволяет существенно повысить качество технологического аудита уровня квалификации работников предприятий и/или обучающихся в

образовательных учреждениях, позволяет значительно повысить объективность критериев оценки уровня знаний.

Данные и другие технические результаты достигаются автоматизированной системой тестирования и обучения, которая содержит персональный компьютер обучающего, по меньшей мере, одно индивидуальное устройство тестирования и сервер, выполненный в виде отдельного модуля с запоминающим устройством и сетевым подключением индивидуального устройства тестирования и персонального компьютера обучающего, а индивидуальное устройство тестирования выполнено в виде отдельного модуля и включает в себя микропроцессорное устройство, с которым связаны запоминающее устройство, устройство ввода информации и буквенно-цифровой индикатор, при этом индивидуальное устройство тестирования оснащено модулем получения сформированного блока данных, касающихся тестового задания, хранения его в запоминающем устройстве, модулем вывода данных, касающихся тестового задания на буквенно-цифровой индикатор, и модулем передачи результатов выполнения тестового задания. При этом сервер оснащен базой данных экзаменационного и учебного материала, базой данных для хранения результатов тестирования, а персональный компьютер обучающего содержит модуль формирования блока данных, касающегося тестового задания, из базы данных экзаменационного и учебного материала сервера, и модуль передачи данного блока по проводному каналу на индивидуальное устройство тестирования, при этом сервер оснащен модулем анализа результатов тестирования, который ведет числовой подсчет результатов, из расчета, что каждый результат имеет положительное или отрицательное числовое значение, суммой которых является общий результат тестирования, при этом максимальное число балов, позволяет прекратить тест как сданный, а минимальное отрицательное число баллов характеризует неготовность

экзаменуемого, при этом индивидуальное устройство тестирования дополнительно содержит модуль отсчета времени, отсчитывающий время на выполнение каждого задания теста в отдельности и передающий это время на сервер, модуль анализа результатов тестирования которого ведет числовой подсчет результатов в сравнении с эталонным временем на каждый ответ в отдельности.

В предпочтительном варианте выполнения автоматизированной системы, персональный компьютер обучающего и/или индивидуальное устройство тестирования связаны с сервером посредством сети Интернет или Интранет.

В еще одном предпочтительном варианте выполнения автоматизированной системы, модуль получения сформированного блока данных, касающихся тестового задания, индивидуального устройства тестирования и модуль передачи результатов выполнения тестового задания связаны с блоком сопряжения сервера и выполнены в виде микросхем, каждая из которых содержит запоминающее устройство, соединенное с микропроцессорным устройством индивидуального устройства тестирования.

В другом предпочтительном варианте выполнения автоматизированной системы, модули персонального компьютера обучающего - модуль формирования указанного блока из базы данных экзаменационного и учебного материала сервера и модуль передачи данного блока по проводному каналу на индивидуальное устройство тестирования выполнены в виде микросхем, каждая из которых содержит запоминающее устройство, соединенных с запоминающим устройством индивидуального устройства тестирования.

Модуль анализа результатов тестирования сервера выполнен в виде микросхемы, содержащей микропроцессор, соединенный с запоминающим устройством.

В еще одном предпочтительном варианте, модулями сервера, персонального компьютера обучающего и индивидуального устройства тестирования управляет программное обеспечение.

В другом предпочтительном варианте, модуль индивидуального устройства тестирования отсчета времени, выполнен в виде счетчика времени, установленным в запоминающем устройстве.

Выполнение всех модулей в виде отдельных микросхем с памятью позволяет не использовать память персонального компьютера, позволяет легко и быстро установить данные модули на любой компьютер, что при использовании корпоративной системы позволяет сократить затраты на процессы обучения и проверки знаний.

На фиг.1 изображена общая структура системы;

На фиг.2 изображен алгоритм работы системы.

Автоматизированная система тестирования и обучения содержит персональный компьютер 1, сервер 2, индивидуальные пульты тестирования 3, количество этих устройств определяется количеством экзаменуемых. Персональный компьютер 1 связан с индивидуальным пультом тестирования 3 и с сервером 2 по проводному каналу посредством сети Интернет или Интранет.

Персональный компьютер (ПЭВМ) представляет собой компьютер, совместимый с IBM PC, имеющий в своем составе блок центрального процессора, жесткий магнитный диск с операционной системой, управляющими программами и базами данных, оперативное запоминающее устройство ОЗУ, цветной монитор, клавиатуру, манипулятор типа "мышь", принтер, стандартный интерфейс 11 RS-232 для обмена информацией с индивидуальным пультом тестирования через сервер 2.

Сервер 2 выполнен в корпусе с сетевым питанием. Он содержит блок сопряжения с персональным компьютером, блок сопряжения с индивидуальным пультом тестирования и блок питания.

Каждый индивидуальный пульт тестирования выполнен в корпусе и имеет в своем составе микропроцессорное устройство, клавиатуру (стандартная клавиатура от персонального компьютера типа IBM PC - 104 клавиши), русскоязычный буквенно-цифровой индикатор, запоминающее устройство, блок сопряжения с сервером 2, стабилизатор напряжения.

Рассмотрим на примере тестирования работу автоматизированной системы.

Для работы системы необходимы исходные данные, ввод которых происходит на персональном компьютере обучающего из базы данных сервера. Например, исходными данными системы являются:

- Фамилия, Имя, Отчество экзаменуемого;

- Данные об испытуемом: место работы, должность, стаж работы, возраст, образование, (на основе этих параметров определяется признак профессиональной группы экзаменуемого);

- Уровень сложности экзамена;

- Наименование темы;

- Режим работы.

Данные об испытуемом нужны как для подготовки протокола по результатам экзамена, так и для ведения соответствующей базы данных (БД). Предусмотрена возможность загрузки исходных данных из БД в случае, если экзаменуемый уже работал с системой.

Экзаменуемому в течение экзамена необходимо набрать определенное число баллов, получаемых как арифметическая сумма баллов за ответ по каждому из вопросов. Баллы за ответ определяются «весом» ответа и временем, затраченным на него: за каждым ответом закреплена постоянная времени τ, кратно которой вес ответа уменьшается на единицу вплоть до значения 1 балл.

Важной отличительной особенностью предлагаемой системы является не только наличие разного веса у ответов в зависимости от их

приближенности к правильному, но и возможность получения отрицательных баллов за ответ, характеризующих существенность непонимания экзаменуемым сути вопроса. Кроме того, экзаменуемый может выбрать ответ типа «не знаю» или «пропустить», которые также имеют свой вес. Экзамен также считается несданным, если вышло максимальное время, отведенное на весь экзамен. Каждому ответу присваивается свой «вес» - число баллов, начисляемых за его выбор. Вес представляет собой целое число от -100 до +100 (реально от -30 до +10).

В полноценном экзамене на оценку отлично (100% правильных ответов) экзаменуемому следует правильно ответить примерно на 30-50 вопросов, что соответствует примерно 300-400 баллам. Если экзаменуемый отвечает на 90% вопросов правильно, то это же число баллов ему удастся набрать, проработав около 70 вопросов. Если экзаменуемый отвечает на 70% вопросов - 200. При более низком проценте ответов получить положительную оценку (набрать заданное число баллов) будет затруднительно.

Если экзаменуемый отвечает на 95% вопросов, то экзамен будет сдан за полчаса. Если экзаменуемый отвечает на 70% вопросов, тратит на каждый ответ по 1 минуте, то ему потребуется для сдачи экзамена 200 минут. На выпускные экзамены в школе отводится 240 минут - это значение принимается за максимальное время экзамена.

Если экзаменуемый отвечает на 50% вопросов (неудовлетворительный результат), то через 50 вопросов у него будет около - 150 баллов.

Таким образом, при анализе экзаменуемому выносятся следующие оценки:

НЕУДОВЛЕТВОРИТЕЛЬНО:

- за заданное время (240 мин) набрана отрицательная сумма баллов;

- набрано - 100 баллов;

- кончились вопросы и набранная сумма баллов отрицательная.

ПОСРЕДСТВЕННО:

- за заданное время (240 мин) не набрано заданное число баллов (300), но имеющаяся сумма баллов положительная;

- кончились вопросы, но набранная сумма баллов положительная.

ХОРОШО:

- досрочно набрана заданная сумма баллов (300), не было ошибок и ответов типа «не знаю» и «пропустить», время на ответ составило менее 50% от максимального, НО при этом было понижение уровня сложности,

- досрочно набрана заданная сумма баллов (300), не было ошибок и ответов типа «не знаю» и «пропустить», но время на ответ составило более 50% от максимального;

- имелись ответы типа «не знаю» или «пропустить», но общее время ответов составило менее 50% от максимального;

- число ошибок составило не более 10% от общего числа ответов.

ОТЛИЧНО:

- досрочно набрана заданная сумма баллов (300), не было ошибок и ответов типа «не знаю» и «пропустить», время на ответ составило менее 50% от максимального, при этом не было понижения уровня сложности.

УДОВЛЕТВОРИТЕЛЬНО: набрано заданное число баллов за заданное время, но результат не подпадает под оценки «ОТЛИЧНО» или «ХОРОШО».

Таким образом, экзаменуемый может набрать как число баллов, позволяющее прекратить экзамен как сданный (оценка вычисляется по специальной методике), так и определенное отрицательное число баллов, характеризующих неготовность экзаменуемого по теме.

Если выбран ответ «Пропустить», то происходит начисление баллов в соответствии с БД, программа переходит к следующему вопросу, а

неотвеченный вопрос возвращается в БД и может быть случайным образом вызван повторно. В результате существенно повышается как объективность экзамена, так и достоверность его результата.

Приведем несколько примеров:

Вопрос 1: «Какова ширина колеи отечественных железных дорог?»:

- правильный ответ: 1520 мм (10 баллов);

- устаревший ответ: 1524 мм (3 балла);

- приближенный ответ: около 1,5 м (2 балла);

- неправильный ответ: 1434 мм (-5 баллов);

- другой неправильный: около 1,4 м (-5 баллов);

- совсем неправильный: 2535 мм (-10 баллов);

- около 2,5 м (-10 баллов);

- не знаю (-4 балла)

- пропустить ответ (-1 баллов).

Вопрос 2: «Через сколько месяцев отсутствия поездок на участке машинист должен ехать дублером»:

- 3 месяца (10 баллов);

- несколько месяцев (2 балла);

- 3 недели (-10 баллов);

- несколько недель (-10 баллов);

- 2 месяца (-5 баллов);

- не знаю (-4 балла);

- пропустить (-1 балл).

Вопрос 3: «Допустимая скорость проследования светофора с желтым разрешающим огнем»:

- 60 км/ч (10 баллов);

- 40 км/ч (-1 балл);

- 80 км/ч (-5 баллов);

- 160 км/ч (-10 баллов);

- 40-60 км/ч (З балла);

- 60-80 км/ч (1 балл);

- 20-40 км/ч (-5 баллов);

- запрещено двигаться (-10 баллов);

- 80-120 км/ч (-10 баллов);

- нет ограничений (-20 баллов);

- не знаю (-10 баллов);

- пропустить (-3 балла).

Число баллов, которое надо набрать испытуемому, а также «вес» вопросов определяется разработчиками экзаменационных билетов исходя из важности вопроса (число баллов правильного ответа) и степени непонимания вопроса (неправильный вопрос).

Система позволяет создавать различные группы испытуемых, каждая из которых имеет свое имя: по названию организации, группе обучающихся и т.д. Для удобства работы с данными в модуле должен быть предусмотрен просмотр как списка баз данных, так и списка людей, имеющихся в группе (базе данных).

Система позволяет проводить тестирование по различным темам. По каждой из тем создается реляционная база данных. Система позволяет просматривать список имен имеющихся тем, из которого происходит выбор темы Экзамена.

Система позволяет как комплексно анализировать результаты экзамена, так и получать краткий отчет о его результатах.

Claims (7)

1. Автоматизированная система тестирования и обучения, которая содержит персональный компьютер обучающего, по меньшей мере, одно индивидуальное устройство тестирования и сервер, выполненный в виде отдельного модуля с запоминающим устройством и сетевым подключением индивидуального устройства тестирования и персонального компьютера обучающего, а индивидуальное устройство тестирования выполнено в виде отдельного модуля и включает в себя микропроцессорное устройство, с которым связаны запоминающее устройство, устройство ввода информации и буквенно-цифровой индикатор, при этом индивидуальное устройство тестирования оснащено модулем получения сформированного блока данных, касающихся тестового задания, хранения его в запоминающем устройстве, модулем вывода данных, касающихся тестового задания на буквенно-цифровой индикатор, и модулем передачи результатов выполнения тестового задания, отличающаяся тем, что сервер оснащен базой данных экзаменационного и учебного материала, базой данных для хранения результатов тестирования, а персональный компьютер обучающего содержит модуль формирования блока данных, касающегося тестового задания, из базы данных экзаменационного и учебного материала сервера, и модуль передачи данного блока по проводному каналу на индивидуальное устройство тестирования, при этом сервер оснащен модулем анализа результатов тестирования, который ведет числовой подсчет результатов, из расчета, что каждый результат имеет положительное или отрицательное числовое значение баллов, суммой которых является общий результат тестирования, при этом максимальное число баллов позволяет прекратить тест как сданный, а минимальное отрицательное число баллов характеризует неготовность экзаменуемого, при этом индивидуальное устройство тестирования дополнительно содержит модуль отсчета времени, отсчитывающий время на выполнение каждого задания теста в отдельности и передающий это время на сервер, модуль анализа результатов тестирования которого ведет числовой подсчет результатов в сравнении с эталонным временем на каждый ответ в отдельности.

2. Система по п.1, отличающаяся тем, что персональный компьютер обучающего и/или индивидуальное устройство тестирования связаны с сервером посредством сети Интернет или Интранет.

3. Система по п.1, отличающаяся тем, что модуль получения сформированного блока данных, касающихся тестового задания, индивидуального устройства тестирования и модуль передачи результатов выполнения тестового задания связаны с блоком сопряжения сервера и выполнены в виде микросхем, каждая из которых содержит запоминающее устройство, соединенное с микропроцессорным устройством индивидуального устройства тестирования.

4. Система по п.1, отличающаяся тем, что модули персонального компьютера обучающего, а именно модуль формирования указанного блока из базы данных экзаменационного и учебного материала сервера и модуль передачи данного блока по проводному каналу на индивидуальное устройство тестирования выполнены в виде микросхем, каждая из которых содержит запоминающее устройство, соединенных с запоминающим устройством индивидуального устройства тестирования.

5. Система по п.1, отличающаяся тем, что модуль анализа результатов тестирования сервера выполнен в виде микросхемы, содержащей микропроцессор, соединенный с запоминающим устройством.

6. Система по п.1, отличающаяся тем, что модулями сервера, персонального компьютера обучающего и индивидуального устройства тестирования управляет программное обеспечение.

7. Система по п.1, отличающаяся тем, что модуль индивидуального устройства тестирования отсчета времени выполнен в виде счетчика времени, установленного в запоминающем устройстве индивидуального устройства тестирования.