RU2649550C2 - Система критериально-ориентированного тестирования - Google Patents
Система критериально-ориентированного тестирования Download PDFInfo
- Publication number
- RU2649550C2 RU2649550C2 RU2016135135A RU2016135135A RU2649550C2 RU 2649550 C2 RU2649550 C2 RU 2649550C2 RU 2016135135 A RU2016135135 A RU 2016135135A RU 2016135135 A RU2016135135 A RU 2016135135A RU 2649550 C2 RU2649550 C2 RU 2649550C2
- Authority
- RU
- Russia
- Prior art keywords
- test
- testing
- results
- tests
- reliability
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/06—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers
- G09B7/08—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying further information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Изобретение относится к системе критериально-ориентированного тестирования в режиме реального времени и производит оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий. Система тестирования включает подачу теста обучающимся, сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий. Заявленная система направлена на повышение адекватности оценки знаний тестируемого, при этом система обеспечивает повышение эффективности обучения и достоверности определения уровня и качества знаний тестируемого. 6 ил.
Description
Изобретение относится к области образовательных систем с компьютерными технологиями.
Оно может использоваться как самостоятельно действующая система, так и в сочетании с традиционными образовательными методиками.
Известен прибор контроля знаний по патенту РФ №2110096, кл. G09B 7/07 с приоритетом 25.03.1994 года, в котором реализовано присвоение весовых коэффициентов каждому вопросу теста, подача теста обучающимся, последующее сравнение их ответов с правильными и индикация результатов.
К недостаткам этого прибора относится возможность простого бесконтрольного угадывания ответов, а также жесткая априорная однозначность оценки сложности вопросов, которая не учитывает различную подготовленность контингента обучающихся.
Известна система рейтингового тестирования по патенту РФ №2175782 с приоритетом от 04.02.2001 года. Эта система отличается тем, что тестирование осуществляют по нескольким дисциплинам, часть которых профильные, а индивидуальный итоговый рейтинг обучающихся вычисляют по совокупности максимальных результатов тестирования. Полученный индивидуальный рейтинг сравнивают с нормативами соответствия учебных планов для характеристики готовности к следующему этапу обучения.
Известна система рейтингового тестирования уровня подготовки к обучению в высшем учебном заведении по патенту РФ №2145442 с приоритетом от 28.05.1998 г. Эта система включает присвоение весовых коэффициентов каждому вопросу теста, подачу теста обучающемуся, последующее сравнение его ответов с правильными, индикацию результатов, причем весовые коэффициенты вопросов могут быть изменены в процессе тестирования. Следствием работы системы является дополнительная проверка обоснованности и корректности ответа на вопрос теста.
Недостатки такой системы связаны с отсутствием случайной последовательности выдачи тестов и возможности обработки нестандартных ответов обучаемого, и как следствие этого - неадекватность оценки его знаний.
Наиболее близким техническим решением предлагаемого изобретения является система рейтингового тестирования по патенту РФ №2356100 с приоритетом от 21.06.2005 г. Эта система тестирования генерирует случайную последовательность вопросов, формирующих тест, и случайную выборку из множественности ответов на каждый вопрос в тесте. На основе этой информации обучающийся выбирает все представленные правильные ответы. В системе используются нормативно-ориентированные тесты и методы оценки их результатов [1]. При проведении нескольких контролей по одному и тому же тесту система обеспечивает выбор результирующей оценки по списку ответов, представленному набором различных вариантов правильных и неправильных ответов.
Недостатком такой системы является отсутствие возможности оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемой учебной программы или ее части и, как следствие этого, невозможность оперативности текущего педагогического контроля, который возможен при использовании критериально-ориентированных тестов и методов оценки результатов их выполнения [1].
Техническим результатом изобретения является повышение эффективности обучения и достоверности определения уровня и качества знаний обучаемого, возможность управления в режиме реального времени процессом выполнения системы одиночных критериально-ориентированных тестовых заданий с единственным верным ответом, обеспечивающим остановку тестирования при достижении заданной достоверности оценки его результатов.
Указанный технический результат достигается тем, что в известную систему рейтингового тестирования уровня подготовки обучающихся, включающую подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, согласно изобретению в экспертную систему дополнительно введен расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.
Система критериально-ориентированного тестирования построена на основе принципов построения интегрированных информационных систем, позволяющих повысить эффективность контроля знаний и качество образования как творческого процесса приобретения и усвоения знаний.
Все элементы системы критериально-ориентированного тестирования являются типовыми устройствами вычислительной техники.
В качестве показателя достижения заданной достоверности результата тестирования в предлагаемой системе критериально-ориентированного тестирования используется наперед заданное значение ширины доверительного интервала (заданная точность) вероятности правильного выполнения тестового задания (ТЗ). Процедура управления тестированием, позволяющая останавливать процесс тестирования после получения результата pi заданной точности δзад , поясняется алгоритмом управления тестированием, представленным на фиг. 1.
Реализация приведенного алгоритма заключается в следующем:
1) По формуле 
[2] определяется достигнутое значение вероятности pi успешного выполнения ТЗ (где i - номер последнего выполненного ТЗ).
2) По формуле 
[2] определяется верхняя 
и нижняя 
граница доверительного интервала (ДИ) результата pi (где i - число ТЗ, k - число ошибок, a 
- квантиль порядка а распределения F с 
степенями свободы)
3) Остановка процесса тестирования осуществляется по критерию [3]
где Ii - показатель сравнения заданной и достигнутой точности результатов тестирования (Ii=1 - останов тестирования; Ii=0 - продолжение тестирования).
На фиг. 2 представлена блок-схема системы критериально-ориентированного тестирования. Схема содержит следующие функциональные блоки: рабочие места преподавателя 1 и обучаемых 2, блок тестирования знаний 3, блок документирования 4.
Блоки 1 и 2 (фиг. 3) содержат персональный компьютер 5, РС-клавиатуру 6, манипуляторы «мышь» 7, микрофон 8 и головной телефон 9.
Блок 3 (фиг. 4) включает экспертную систему формирования тестов, диагностики и тестирования. Блок 3 позволяет организовать стратегию критериально-ориентированного тестирования и содержит генератор тестов 10, использующий датчик случайных чисел, систему объяснения 11, базу данных тестов и результатов тестирования 12, расчетный модуль 13, в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.
Блок документирования 4 (фиг. 5) получает информацию от блока тестирования знаний 3. Блок документирования содержит два модуля. Первый модуль 14 обеспечивает документирование результатов тестирования на основе автоматического формирования электронных ведомостей, содержащих общие сведения о результатах тестирования. Второй модуль 15 формирует соответствующие протоколы для каждого обучаемого.
Процесс тестирования состоит в выполнении циклов тестирования, связанных с последовательным предъявлением обучаемому различных тестов (пример теста - фиг. 6), анализом представленных решений и оценкой знаний.
Функционирование системы критериально-ориентированного тестирования в целом осуществляется с рабочего места преподавателя 1 и на основе алгоритма функционирования описывается следующим образом.
После включения системы осуществляется:
1. Регистрация обучаемого и присвоение ему идентификатора (номера) 
.
2. Определение порядкового номера предъявляемого ТЗ i=i+1 (i - номер тестового задания (ТЗ), в начальный момент принимается равным нулю).
3. Случайный выбор из набора 
тестовых заданий i-го ТЗ (осуществляется выбор предъявляемого ТЗ из имеющегося множества невыполненных ТЗ и производится исключение избранного ТЗ из числа невыполненных ТЗ).
4. Предъявление ТЗ a i обучаемому.
5. Восприятие избранного обучаемым варианта 
ответа на ТЗ a i (определение номера k варианта суждения, выбранного обучаемым).
6. Восприятие эталонного варианта 
ответа на ТЗ a i (выбор из базы данных теста номера kэт правильного суждения на выполняемое ТЗ).
7. Проверка соответствия номера k суждения обучаемого номеру kэт правильного суждения (Если суждение обучаемого соответствует эталонному, то ТЗ выполнено верно - балл ri оценки за выполнение ТЗ ri=1. Если суждение обучаемого не соответствует эталонному, то ТЗ выполнено неверно - балл ri оценки за выполнение ТЗ ri=0).
8. Расчет суммы 
баллов, набранных за выполнение всех ТЗ.
9. Оценка вероятности pi правильного выполнения ТЗ после выполнения ТЗ a i (Рассчитывается по формуле 
, где i - номер последнего выполненного ТЗ).
10. Оценка верхней 
и нижней 
границ доверительного интервала pi после выполнения ТЗ a i (Оценки производятся по формуле:
где i - число ТЗ, k - число ошибок, a 
- квантиль порядка α распределения F с 
степенями свободы).
11. Проверка условия завершения тестирования - определение показателя Ii достоверности результатов тестирования (Расчет производится по формуле:
где δзад - наперед заданное значение предельно возможного отклонения оценки pi вероятности правильного выполнения ТЗ. В случае Ii=1 производится остановка тестирования и утверждение pi в качестве оценки j-го обучаемого. В случае Ii=0 продолжение тестирования (переход к пункту 2).
12. Сохранение информации о тестировании.
13. Документирование результатов тестирования.
Источники информации
1. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. - М.: Центр тестирования и развития «Гуманитарные технологии», 2009. URL: http://www.ege.ru/dict/dict1.htm.
2. Палкин С.К., Печников А.Н., Печников Д.А. Метод интервальной оценки результатов выполнения системы одиночных тестовых заданий закрытого типа с единственным верным ответом // Образовательные технологии и общество (международный электронный журнал). - 2014. - Том 17, №2. - С. 491-501 URL: http://ifets.ieee.org/russian/.
3. Палкин С.К., Печников А.Н., Печников Д.А. Метод управления длиной системы одиночных тестовых заданий с единственным верным ответом // Образовательные технологии и общество (международный электронный журнал). - 2015. - Том 18, №1. - С. 544-560 URL: http://ifets.ieee.org/russian/.
Claims (1)
- Система критериально-ориентированного тестирования, включающая подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, отличающаяся тем, что в экспертную систему дополнительно введен расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016135135A RU2649550C2 (ru) | 2016-08-29 | 2016-08-29 | Система критериально-ориентированного тестирования |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016135135A RU2649550C2 (ru) | 2016-08-29 | 2016-08-29 | Система критериально-ориентированного тестирования |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016135135A RU2016135135A (ru) | 2018-03-01 |
| RU2016135135A3 RU2016135135A3 (ru) | 2018-03-01 |
| RU2649550C2 true RU2649550C2 (ru) | 2018-04-03 |
Family
ID=61597190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016135135A RU2649550C2 (ru) | 2016-08-29 | 2016-08-29 | Система критериально-ориентированного тестирования |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2649550C2 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020139135A1 (ru) * | 2018-12-26 | 2020-07-02 | Евгений Геннадьевич МАТРОСОВ | Способ контроля и оценки знаний |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020098468A1 (en) * | 2001-01-23 | 2002-07-25 | Avatar Technology, Inc. | Method for constructing and teaching a curriculum |
| US20110076654A1 (en) * | 2009-09-30 | 2011-03-31 | Green Nigel J | Methods and systems to generate personalised e-content |
| RU2466461C1 (ru) * | 2011-07-28 | 2012-11-10 | Закрытое акционерное общество "Комплексный технический сервис" | Устройство для оценки качества экспертных систем |
| US8465288B1 (en) * | 2007-02-28 | 2013-06-18 | Patrick G. Roers | Student profile grading system |
-
2016
- 2016-08-29 RU RU2016135135A patent/RU2649550C2/ru not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020098468A1 (en) * | 2001-01-23 | 2002-07-25 | Avatar Technology, Inc. | Method for constructing and teaching a curriculum |
| US8465288B1 (en) * | 2007-02-28 | 2013-06-18 | Patrick G. Roers | Student profile grading system |
| US20110076654A1 (en) * | 2009-09-30 | 2011-03-31 | Green Nigel J | Methods and systems to generate personalised e-content |
| RU2466461C1 (ru) * | 2011-07-28 | 2012-11-10 | Закрытое акционерное общество "Комплексный технический сервис" | Устройство для оценки качества экспертных систем |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020139135A1 (ru) * | 2018-12-26 | 2020-07-02 | Евгений Геннадьевич МАТРОСОВ | Способ контроля и оценки знаний |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016135135A (ru) | 2018-03-01 |
| RU2016135135A3 (ru) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zepeda et al. | Identifying teachers’ supports of metacognition through classroom talk and its relation to growth in conceptual learning. | |
| KR102104660B1 (ko) | 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법 | |
| US20110165550A1 (en) | Management system for online test assessment and method thereof | |
| Gage et al. | Performance-based teacher education | |
| BLOCK | The effects of various levels of performance on selected cognitive, affective, and time variables | |
| Bailey et al. | The codevelopment of children’s fraction arithmetic skill and fraction magnitude understanding. | |
| JP2002358000A (ja) | 個別に設計された診断ならびに矯正を使用するコンピュータ化された試験準備システム | |
| Koprinska et al. | Predicting student performance from multiple data sources | |
| Liando et al. | Analysis of teacher-made tests used in summative evaluation at SMP Negeri 1 Tompaso | |
| JP2018205354A (ja) | 学習支援装置、学習支援システム及びプログラム | |
| Petrovskaya et al. | Computerization of learning management process as a means of improving the quality of the educational process and student motivation | |
| US10248909B2 (en) | Assessment performance prediction | |
| Simsek et al. | The Use of Expert Systems in Individualized Online Exams. | |
| RU2649550C2 (ru) | Система критериально-ориентированного тестирования | |
| RU2657228C1 (ru) | Способ оценки соответствия компетенций обучаемого заданному уровню | |
| CN111127271A (zh) | 一种用于学情分析的教学方法及系统 | |
| TW201513063A (zh) | 語文診斷評量系統及其方法 | |
| Orlov et al. | Identifying students at risk using a new math skills assessment | |
| Tacke et al. | Behavioral changes in teachers as a function of student feedback: A case for the achievement motivation theory? | |
| Hasa et al. | Evaluating students' self-assessment in large classes | |
| KR20200114519A (ko) | 시험 합격률 예측 방법 및 시스템 | |
| RU2356100C2 (ru) | Система рейтингового тестирования | |
| Türkoguz | Comparison of Threshold Values of Three-Tier Diagnostic and Multiple-Choice Tests Based on Response Time. | |
| Irwan et al. | The Application of Computer Adaptive Test Using Expert System in E-Learning | |
| Tweed et al. | A confidence and safety approach to multiple-choice question scoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20180830 |