KR20060081979A - Ｃａｔ 기반의 문제은행시스템을 이용한 독서능력급수산정 방법 및 시스템 - Google Patents

Abstract

CAT (Computerized Adaptive Test) 기반의 인터랙티브 독서교육시스템은 개인화된 독서교육 보조솔루션으로 능력치, 변별도 기준을 정하여 평가문제를 풀면서 개인의 능력을 예측하고 적절한 독서방향 및 진도를 제시하여 주며 통계를 제공함으로써 개인의 능력을 보다 정확하게 측정활용할 수 있게 한다.

피험자가 가지는 사전점수에 비추어 추정한 능력에 따라서 상기 피험자의 독서능력급수 산정을 위한 평가를 시작한다. 표준화검사를 통하여 난이도 및 변별도가 정해진 다수의 문항들을 포함하는 데이터베이스로부터 문항을 선택해온다. 상기 선택해온 문항에 대한 상기 피험자의 응답을 분석하여, 그 분석 결과에 따라 다음에 제시될 문항의 난이도 및 변별도가 결정된다. 평가의 종료기준이 만족되는지의 여부를 결정한다. 문항의 분석에 대한 결과에 따라 상기 피험자의 독서능력급수를 산정한다.

독서능력급수, 문항반응, 난이도, 변별도, 문제은행

Description

ＣＡＴ 기반의 문제은행시스템을 이용한 독서능력급수 산정 방법 및 시스템 {METHOD AND SYSTEM FOR ESTIMATING READING ABILITY LEVEL USING CAT-BASED ITEM POOL SYSTEM}

도 1 은 본 발명의 독서능력급수 산정 시스템을 나타내는 블록도.

도 2 는 본 발명에 따른 독서능력급수 산정 방법을 나타내는 흐름도.

도 3 은 도 2 의 문항선택 단계 (S2) 와 관련하여 사전에 문항을 선정하는 단계들을 설명하는 도.

도 4a 는 문항특성곡선을 나타내는 도.

도 4b 는 문항난이도를 설명하는 도.

도 4c 는 문항변별도를 설명하는 도.

도 5 는 피험자에게 제공되는 15 개의 급수에 대한 산정기준을 나타내는 도.

도 6 는 본 발명의 독서능력급수 산정 방법 및 시스템에서 내부적으로 각 급수를 상, 중, 하의 3 단계로 나눈 45 개의 등급에 대한 산정기준을 나타내는 도.

* 도면의 주요부분에 대한 부호의 설명 *

20 : 클라이언트 30 : 독서능력급수 산정 서버

31 : 문항데이터베이스 32 : 평가시작부

33 : 문항선택부 34 : 능력추정부

35 : 종료기준결정부 36 : 진단결과제공부

본 발명은 정보통신 기술을 활용하여 독서능력급수를 산정하여 피험자에게 진단을 거치게 하고 진단결과를 제공하는 독서능력급수 산정 방법 및 시스템에 관한 것으로, 구체적으로는 CAT (Computerized Adaptive Test) 기반의 문제은행시스템을 이용하여 인터랙티브 (interactive) 방식으로 독서능력급수를 산정하고 진단하고 그 결과를 제공하는 독서능력급수 산정 방법 및 시스템에 관한 것이다.

종래의 몇가지 정립된 독서교육방법으로서 들 수 있는 것 중의 하나가 미국의 Metametrics 사의 렉사일 (Lexile) 독서교육 방법이다. 이 방법은 학생의 독서능력과 도서의 난이도를 동일지수체계로 규정하고, 학생의 렉사일 지수와 도서의 렉사일 지수가 동일할 경우 독서자의 도서에 대한 이해수준을 75 % 로 정의하며, 적합한 난이도의 도서를 적합한 능력을 가진 학생에게 적합한 시점에 제공하는 것을 기본적인 방향으로 하고 있다. 전술한 렉사일 독서교육방법은 렉사일 프레임워크 (Lexile Framework) 에 의해 구현되며, 렉사일 프레임워크는 수정의 방법으로 분석된 도서목록인 렉사일 목록 (표), 렉사일 분석기 및 각종 진단/평가/관리 도구로 구성된다. 특히, 본 기술은 CD 구동방식을 채택하는 것을 하나의 특징으로 하지만, 이는 평가의 신뢰성, 객관성, 및 현실성을 반영하기에 어려운 문제를 지닌다.

전술한 렉사일 방법은, 축척된 각 문항을 각각 파일형태로 문항 데이터베이스로 구축하는 단계, 구축된 데이터들을 CD-타이틀의 형태로 저장하여 오프라인에서 독서능력진단을 받게 하는 단계, 이 진단에서의 피험자의 반응결과를 지수화하여 독서능력지수를 산정하는 단계를 포함한다. 특히, 독서능력진단 단계에 있어서 주어지는 문항의 적절성을 담보하기 위해 그 전단계에서 영역 선호도를 검사하는 단계를 더 포함할 수 있으며, 이 때 제시되는 문항은 피험자의 학년을 고려하여 결정되며, 또한 메타데이터 (수준, 변별도, 배점 등) 을 포함하는 문항이다.

한편, 종래 국내의 다른 독서능력 산정 방법은 다음과 같다. 데이터베이스의 구축에 있어서 SQL 방식의 데이터베이스를 구축하며, 특히 이는 웹 SQL 데이터베이스 형태로 저장하고, 이를 온라인 또는 오프라인 (출력물 이용) 상에서 이용하여 피험자에게 독서능력진단을 거치게 하는 단계, 진단에서의 피험자의 반응 결과를 지수화하여 독서능력지수를 산정하는 단계를 포함한다. 이 때 상기 진단 단계에서 이용되는 문항들의 적절성을 담보하기 위하여, 일단 피험자의 학년을 고려하여 문항을 결정한다. 이 문항은 기구성되어 있는 학년별 진단지의 일부분이며, 제시된 문항은 문항의 메타데이터 (수준, 변별도, 배점 등) 를 포함한다.

또한, 종래의 상기 독서능력 산정 방법들은 P&PT (Paper & Pencil Test) 또는 CBT (Computer Based Test) 방법을 이용하는 것으로, 말 그대로 종이와 연필을 통한 시험 또는 컴퓨터에 기반을 둔 시험을 의미한다. 이하, 각각을 살펴본다.

P&PT 는, 종이와 연필을 검사매체로 하며, 문항제시에 있어서 모든 피험자에게 동일한 문항이 제공된다. 또한 종이에 인쇄된 형태로 문제가 출제되므로 움 직이는 영상 등은 문제에 이용될 수 없는 등 인쇄매체 수용범위로 문항형태가 한정되며, 문제은행식 출제는 선택적 사항으로 문제은행을 이용할 수도 있고 그렇지 않을 수도 있다. 검사시간 면에 있어서는, 후술할 CAT (Computerized Adaptive Test) 에 비하여 상대적으로 소요시간이 길고 다양한 난이도를 가진 긴 길이의 검사가 필요하며, 검사결과의 통보에 있어서도 시험이 이루어진 후 일정시간이 소요되는 별도의 채점과정을 거쳐서 그 결과가 통보되는 것이 대부분이므로 상대적으로 시간소요가 많은 편이다. 능력추정의 효율면에 있어서는 일괄적인 문제를 제시함으로써 능력이 낮은 피험자에게는 검사불안을 추래하며 능력이 높은 피험자에게는 부주의를 초래하는 특성을 지니며, 이로 인하여 신뢰도는 CAT 에 비하여 낮은 편이고, 부정행위도 어느 정도 가능하다.

다음으로 CBT 에 대하여 살펴보면, 이는 검사매체로 컴퓨터를 이용하며, 문항제시는 모든 피험자에게 동일하게 행해지며, P&PT 와는 달리 멀티미디어 기능을 이용한 다양한 형태를 취할 수 있다. P&PT 와 유사하게, 문제은행 시스템은 이용될 수도 있고 이용되지 않을 수도 있으며, CAT 에 비하여 상대적으로 소요시간이 길고 다양한 난이도를 가진 긴 길이의 검사가 필요하다. P&PT 와 다른 점은, 검사결과의 통보에 있어서, 컴퓨터를 이용하여 검사 후 즉각적으로 채점이 이루어질 수 있으므로 즉각적인 피드백이 이루어진다는 점을 들 수 있다. 그 외에, 능력 추정, 신뢰도, 및 부정행위의 측면에서는 P&PT 의 경우와 유사한 특성을 지닌다.

컴퓨터화 검사를 실현하기 위해서는 문항의 난이도와 변별도 등 문항의 특성 을 정확히 분석하는 것이 필수적이며, 문항분석은 컴퓨터화검사를 위한 양질의 문제은행 구성 및 문항과 피험자 능력의 정확한 추정과 체계적이고 과학적인 평가를 위한 전제조건이라 할 수 있다. 문항의 특성을 분석하기 위한 이론으로는 고전검사이론 (Classical Test Theory) 과 문항반응이론 (Item Response Theory) 이 있는데 고전검사이론은 19 세기 말부터 전개되어 현재까지 사용되고 있는 이론으로 문항분석 절차 및 검사분석 등이 비교적 단순하며, 문항반응이론은 고전검사이론처럼 검사총점에 의해 분석되는 것이 아니라 문항은 문항 하나하나의 독특한 특성을 지닌 고유한 문항특성곡선에 의해 분석된다는 이론이다.

특히, 전술한 P&PT 방식 또는 CBT 방식은 고전검사이론에 바탕을 둔 것으로, 그 기본개념 및 분석단위는 집단의 평균이나 검사의 총점에 대한 분석이며, 문항특성의 추정은 동일한 문항이라 해도 피험자집단 특성에 따라 문항특성이 다르게 분석되는 것이며, 능력추정 면에서는 검사도구의 특성에 따라 피험자의 능력추정이 변화되며, 측정의 오차 면에서는 모든 피험자에 대한 측정의 오차가 동일한 것을 특징으로 한다.

상기와 같은 종래의 독서능력 산정 방법이 지니는 몇가지 문제점은 다음과 같다.

종래 기술은 사용자에 대한 문항의 전달 방식이 CD-타이틀 또는 진단지 (서면) 의 방식이어서, 피험자와 문항제시 주체간의 상호작용이 일어날 수 없다.

또한, 종래의 기술은 문항 제시의 방식이 고정적이다. 즉, 개인차와 문항에 대한 반응에 따라 다른 문항들을 제시하는 것이 아니고 일정한 순서에 따라 정해진 문항들을 제시할 뿐이다.

또한, 종래의 기술은 개인의 능력이나 독서이력에 관한 자료를 데이터베이스화하기보다는, 이미 주어진 문항들을 바탕으로 개인의 능력을 평가하는데 중점을 두고 있으므로 상호작용 면이 빈약하며 지속적인 관리가 용이하지 않다.

또한, 종래의 기술은 확정적인 방법론을 적용하여 피험자의 독서능력을 일정한 수치 (지수) 로 나타낸다. 데이터의 신뢰도 및 사회적 인식도가 낮은 우리나라의 경우 일정한 수치 (지수) 의 제시보다는 급수의 제시가 바람직하나 종래의 기술은 그러하지 아니하다.

또한, 종래의 기술은 인터넷 또는 인트라넷 등의 네트워크 기술을 이용하여 독서능력을 산정하는 것이 아니어서 그 산정 결과를 피험자에게 전달함에 있어서도 이해하기 쉽고 다양한 방식으로 전달하기 힘들다.

본 발명의 목적은, 인터넷 또는 인트라넷 등의 네트워크 기술을 이용하여 웹 상에서 피험자와 문항제시 주체 간의 상호작용을 통하여 피험자의 독서능력을 산정할 수 있는 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은, 독서능력의 급수를 산정함에 있어, 피험자의 능력을 무시하고 동일한 내용을 제시하는 것이 아니라 피험자의 능력에 따라 각기 다른 문항을 제공할 수 있는 독서능력급수 산정 방법을 제공하는 것이다.

본 발명의 또다른 목적은, 컨텐츠를 효율적으로 관리하기 위하여 개인의 독서 이력 자료를 DB 화하고, 이를 학습자에 대한 평가의 기본 데이터로 활용할 수 있는 독서능력급수 산정 방법 및 시스템을 제공하는 것이다.

본 발명의 또다른 목적은, 데이터의 신뢰도 및 사회적 인식도가 낮은 우리나라의 경우에 적합한 (일정의 수치인 지수가 아닌) 급수를 제시하는 독서능력급수 산정 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은, 인터넷 또는 인트라넷 등의 네트워크 기술을 이용하여 웹 상에서 제시되는, 개인화된 독서교육 보조 솔루션으로 능력치, 변별도 기준을 정하여 평가문제를 풀면서 개인의 능력을 예측하고 적절한 독서방향 및 진도를 제시하여 주며, 통계 (석차, 성적분포) 를 제공함으로써 개인의 능력을 보다 정확하게 측정 활용할 수 있는 독서능력급수 산정 방법 및 시스템을 제공하는 것이다.

본 발명의 또다른 목적은, 독서 및 평가 전과정의 모니터링을 통해 학습자의 불필요한 행동을 최소화하고, 네트워크 상의 오류로 인한 평가진행자의 불이익을 막을 수 있는 재평가 방법 및 시스템을 제공하는 것이다.

본 발명의 또다른 목적은, 상기 산정된 독서능력급수를 독서교육에 활용하는 독서능력급수 산정 방법을 제공하는 것이다.

전술한 바와 같은 목적을 달성하기 위하여 본 발명은, 독서능력급수 산정 서버; 상기 독서능력급수 산정 서버에 연결된 문항 데이터베이스; 및 상기 독서능력급수 산정 서버와 네트워크 연결되는 클라이언트 컴퓨터를 포함하는 독서능력급수 산정시스템에서, 피험자의 독서능력급수를 산정하는 방법으로서, (a) 상기 클라이언트 컴퓨터로부터의 상기 피험자의 독서능력급수 산정 요청에 응답하여, 독서능력 급수 산정 서버에서 상기 피험자의 사전점수에 기초한 독서능력에 따라서 상기 피험자의 독서능력급수 산정을 위한 평가를 시작하는 단계; (b) 상기 독서능력급수 산정 서버가, 상기 문항 데이터베이스에서 난이도 및 변별도가 정해진 다수의 문항들을 선택하여 상기 선택된 문항들을 상기 문항 데이터베이스로부터 수신하는 단계; (c) 상기 독서능력급수 산정 서버가, 상기 수신된 문항들에 대한 상기 피험자의 응답을 분석하여, 분석 결과에 따라 다음에 제시될 문항의 난이도 및 변별도를 결정하는 단계; (d) 상기 독서능력급수 산정 서버가, 독서능력급수 산정을 위한 평가의 종료기준이 만족되는지의 여부를 결정하는 단계; 및 (e) 상기 독서능력급수 산정 서버가, 피험자에 제시된 문항 분석 결과에 따라 상기 피험자의 독서능력급수를 결정하는 단계를 포함하는 독서능력급수 산정 방법을 제공한다.

바람직하게는, 상기 문항 데이터베이스는 사전 저장된 문항을 포함하고 있으며, 상기 문항 데이터베이스에 사전 저장된 문항은, 상기 문항에 대한 각각의 피험자들의 응답결과에 기초하여 소정의 주기에 따라 문항의 난이도 및 변별도가 자동으로 업데이트되며, 상기 난이도 및 변별도가 업데이트된 문항은 상기 문항 데이터베이스에 저장된다.

또한 바람직하게는, 상기 (d) 단계에서 상기 종료기준은 검사시행 문항수, 검사시간, 컷오프 점수, 또는 추정오차 중 하나 이상이다.

또한 바람직하게는, 상기 (d) 단계에서 상기 종료기준이 만족되지 아니하였을 경우에는, 상기 (b) 및 (c) 단계를 반복한다.

또한 바람직하게는, 상기 (a) 단계에서의 상기 독서능력급수 산정을 위한 평 가는 평균수준능력에서 시작된다.

전술한 바와 같은 목적을 달성하기 위하여 본 발명은, 독서능력급수 산정 서버; 상기 독서능력급수 산정 서버에 연결된 문항 데이터베이스; 및 상기 독서능력급수 산정 서버와 네트워크 연결되는 클라이언트 컴퓨터를 포함하는 독서능력급수 산정시스템에 있어서,상기 독서능력 급수 산정 서버는 상기 클라이언트 컴퓨터로부터의 상기 피험자의 독서능력급수 산정 요청에 응답하여, 독서능력급수 산정 서버에서 상기 피험자의 사전점수에 기초한 독서능력에 따라서 상기 피험자의 독서능력급수 산정을 위한 평가를 시작하는 수단; 상기 문항 데이터베이스에서 난이도 및 변별도가 정해진 다수의 문항들을 선택하여 상기 선택된 문항들을 상기 문항 데이터베이스로부터 수신하는 수단; 상기 수신된 문항들에 대한 상기 피험자의 응답을 분석하여, 분석 결과에 따라 다음에 제시될 문항의 난이도 및 변별도를 결정하는 수단; 독서능력급수 산정을 위한 평가의 종료기준이 만족되는지의 여부를 결정하는 수단; 및 피험자에 제시된 문항 분석 결과에 따라 상기 피험자의 독서능력급수를 결정하는 수단을 포함하는 독서능력급수 산정 시스템을 제공한다.

이하, 첨부 도면을 참조하여 본 발명에 따른 독서능력급수 산정 방법 및 시스템을 보다 구체적으로 설명하면 다음과 같다.

먼저, 독서능력급수란 학생의 어휘의 이해, 문장의 이해, 글 내용의 이해 등의 독서에 관한 이해정도를 세부영역으로 나누어 각각의 도달도를 측정하여 종합적으로 산정되는 지수의 급수화를 말한다.

도 1 은 본 발명의 독서능력급수 산정 시스템을 나타내는 블록도이다.

본 발명의 독서능력급수 산정 시스템은 개략적으로, 피험자에 대한 사전정보에 기초하여 수준별로 독서능력 산정을 위한 평가를 시작는 평가시작부 (32), 문항을 선택하는 문항선택부 (33), 문항에 대한 피험자의 반응을 바탕으로 하여 능력추정부 (34), 독서능력급수 산정을 위한 평가의 종료기준이 만족되는지의 여부를 결정하는 종료기준결정부 (35), 및 진단결과를 제공하는 진단결과제공부 (36) 를 포함하는 독서능력급수 산정 서버 (30) 를 구비하며, 이는 문항을 저장하는 문항 데이터베이스 (31) 에 연결된다. 또는 문항 데이터베이스 (31) 를 독서능력급수 산정 서버 (30) 의 일부분으로 구성할 수도 있다. 이러한 독서능력급수 산정 서버 (30) 는 인터넷 또는 인트라넷과 같은 네트워크 상에서 제공되며, 예를 들어 웹 서비스의 형태로 클라이언트 (피험자) (20) 와 상호작용할 수 있다. 클라이언트 (20) 는, 예를 들어 피험자가 서버 (30) 에 접속하기 위해 이용하는 컴퓨터이다. 이하, 각각의 구성요소를 상세히 설명한다.

문항데이터베이스 (31) 는 출제된 문항들이 분류되어 저장되어 있는 부분으로, 후술하는 도 3 의 제반 단계를 거쳐서 각 문항의 수준, 난이도, 및 변별도 등이 지정되고 (단계 S25), 그 문항들이 저장 (단계 S26) 되는 부분이다. 즉, 도 3 에 나타난 단계들을 거친 문항들이 저장되는 부분이다. 또한, 이는 도 2 에서의 문항선택단계 (S2) 에서 문제가 선택되어 오는 부분이기도 하다.

상기 문항데이터베이스 (31) 는 객체관계형 DBMS (데이터베이스관리시스템) 에 의해 관리될 수 있다. 객체관계형 DBMS 는, 사용하는 질의 (query) 에 일정한 표준을 만들어 DBMS 프로그램이 다르더라도 기본적인 구문이나 문법이 서로 호 환이 되도록 하는 데이터베이스관리시스템이다. 객체관계형 DBMS 를 채택함으로써 멀티미디어 데이터의 관리 및 조작능력을 배가시킨다. 또한, 데이터의 중복성과 시스템에 부하를 주는 불필요한 중복호출을 최소화함으로써 시스템 부하 방지 및 성능 개선이 가능하다.

객체관계형 DBMS 에서는, 사용하는 질의에 대하여 일정한 표준을 만들어 DBMS 프로그램이 다르더라도 기본적인 구문이나 문법이 서로 호환이 된다. 관계형 데이터베이스의 개념은 데이터베이스를 객체 (object) 또는 관계 (relation) 의 집합, 관계 (relation) 에 가해지는 연산의 집합, 정확성 및 일관성을 위한 데이터의 무결성으로 설명할 수 있다. 이러한 객체관계의 구체적인 예는 테이블을 들 수 있으며, 테이블 상으로부터 데이터 검색을 위해 SQL 명령어를 이용한다. 이러한 DBMS 는 온라인으로 갱신가능하며, 완전한 데이터 독립성을 제공한다는 이점을 지닌다.

평가시작부 (32) 는, 사전점수에 비추어 측정한 임시적인 능력이나 평균수준능력에서 독서능력급수의 산정을 위한 평가를 시작하도록 하는 부분이다. 즉, 피험자에 대한 정보가 이미 데이터베이스화되어서 저장되어 있는 경우라면 그러한 저장된 수준 (예를 들어, 피험자의 학년, 나이, 또는 이전에 테스트한 결과 등에 따른 저장 수준) 에서부터 시작하고 피험자에 대한 정보가 없는 경우라면 평균적인 수준에서부터 시작하도록 설정하는 부분이다.

문항선택부 (33) 는, 피험자에게 제시할 문항을 문항 데이터베이스 (31) 로부터 불러오는 부분이다. 문항선택부 (33) 는 문항데이터베이스 (31) 로부터 문항을 단순히 순서대로 가져오는 것이 아니라, 피험자의 응답에 따라서 다른 문항을 선택해 온다. 즉, 문항선택부 (33) 는 문항데이터베이스 (31) 와 상호작용한다.

능력추정부 (34) 는 문항선택부 (33) 에서 주어진 문항에 대한 피험자의 반응에 따라서 피험자의 능력을 추정한다. 이때, 피험자의 능력에 따라 문항의 답을 맞힐 확률을 나타내는 문항특성곡선에 의하여 분석할 수 있다.

종료기준결정부 (35), 독서능력급수 산정을 위한 평가의 종료기준이 충족되는지의 여부를 체크하는 부분이다. 이 종료기준은 독서능력급수의 산정을 위한 평가가 어느 시점에 종료되는지에 관한 기준을 제시하는 것이며, 또한 이 종료기준은 검사문항수, 검사시간, 컷오프점수, 추정오차 등이 일정값에 이르면 해당되는 것으로 설정될 수 있고 상기의 여러 기준들이 단독으로 혹은 혼합되어 이용될 수 있다.

평가의 종료기준을 충족하는 경우, 진단결과제공부 (36) 로 이행하게 되는데, 이러한 검사종료와 동시에 진단결과제공부 (36) 에서 결과의 분석 및 제시가 가능하다.

한편, 종료기준을 충족하지 못하는 경우, 문항선택부 (33) 로 되돌아가서 피험자의 능력에 맞는 다른 문항을 선택하여 제시하게 된다.

진단결과제공부 (36) 는, 예를 들어, 피험자의 독서능력 급수를 1 급에서 15 급까지로 산정하며 내부적으로 각각 상, 중, 하의 3 단계를 지니고 있는 급수로 나타낸다. 급수의 산정과 관련하여, 도 5 는 피험자에게 제공되는 15 개의 급수 에 대한 산정기준의 예시를 나타내며, 도 6 는 본 발명의 독서능력급수 산정 방법 및 시스템에서 내부적으로 각 급수를 상, 중, 하의 3 단계로 나눈 45 개의 등급에 대한 산정기준의 예시를 나타낸다.

도 2 는 본 발명에 따른 독서능력급수 산정 방법을 나타내는 흐름도이다. 본 독서능력급수 산정 방법은 컴퓨터 등의 독서능력급수 산정 서버 (30) 를 이용하여 인터넷 또는 인트라넷을 이용하여, 예를 들어 웹 상에서 행해지는 일련의 단계들을 포함한다.

단계 S1 에서는, 사전점수에 비추어 측정한 임시적인 능력이나 평균수준능력에서 독서능력급수의 산정을 위한 평가를 시작한다. 즉, 피험자에 대한 정보가 이미 데이터베이스화되어서 저장되어 있는 경우라면 그러한 저장된 수준 (예를 들어, 피험자의 학년, 나이, 또는 이전에 테스트한 결과 등에 따른 저장 수준) 에서부터 시작하고 피험자에 대한 정보가 없는 경우라면 평균적인 수준에서부터 시작하도록 설정한다.

단계 S2 에서는, 문항선택부 (33) 를 이용하여 문항을 선택한다. 이때 이미 형성된 문제은행 (31; 문항 데이터베이스) 을 이용하여 문제은행 (31) 에서 피험자의 능력에 가장 적합한 문항을 선택하여 제시하는 단계이다. 이때 이용되는 문제은행 (31) 은 검사의 목적에 맞는 다양한 내용, 형태, 난이도를 지닌 문항들을 체계적으로 분류하여 각 문항의 정보와 함께 저장해 놓은 문항관리시스템이다. 또한, 본 독서능력급수 산정 방법은, 예를 들어, 컴퓨터 시스템 (30; 독서능력급수 산정 서버) 을 통해서 행해지는 것이므로 동영상, 사운드 등의 다양한 멀 티미디어 기능을 이용하여 문항을 제시하는 것도 가능하다. 사전에 문항을 선정하는 구체적인 단계에 관해서는 도 3 을 참조하여 후술한다.

단계 S3 에서는, 피험자로 하여금 상기 문항에 대하여 응답하게 하는 단계이다.

다음의 단계 S4 에서는, 능력추정부 (34) 에서 능력을 추정 (응답을 분석) 한다. 이때, 전단계의 응답 내용과 무관하게 미리 정해진 다음단계로 진행하는 것이 아니라 단계 S3 의 문항에 대한 피험자의 응답이 피드백되어 다음에 제시할 문항을 결정하는 1 요소가 되도록 하는 것이다. 즉, 피험자의 능력에 따라 문항의 답을 맞힐 확률을 나타내는 문항특성 곡선에 의하여 분석되는 검사로서, 문항특성과 피험자 능력을 안정적으로 추정한다.

이러한 분석에서는 개별문항 하나하나가 분석이 대상이 되며, 단순히 집단의 평균이나 검사의 총점에 대한 분석이 아니다. 능력추정부 (34) 의 문항특성 추정은 피험자 집단의 특성에 따라 영향을 받지 않으며, 능력 추정에 있어서 검사의 난이도에 따라 피험자 능력 추정이 영향을 받지 않는다.

특히 단계 S2 내지 단계 S4 에서는 문항반응이론 (IRT, Item Response Theory) 의 개념이 도입된다. 문항반응이론은 검사를 구성하고 있는 문항 하나하나를 분석단위로 하여 문항특성곡선 (ICC, Item Characteristic Curve) 에 의해서 문항고유의 속성을 파악하며, 문항의 특성과 피험자 특성의 함수 관계에 의해 피험자가 문항에 정답을 할 확률을 수학적으로 나타내는 측정모형이다.

이하, 도 4a 내지 도 4c 를 참조로 문항반응이론에 대하여 상세히 설명한다.

도 4a 는 문항특성곡선을 나타낸다. 문항특성곡선이란 특정 문항에 있어서 피험자의 능력수준 (θ) 에 따라 문항의 답을 맞힐 확률 P(θ) 을 나타낸 곡선으로, 각 문항마다 문항의 고유한 속성을 지니고 있으므로 각기 다른 형태의 문항특성곡선이 나타난다. 도 4a 에서 보듯이, 이는 항마다 답을 맞출 확률을 나타내는 곡선으로 S 자 형태를 지닌다. 가로축 (θ 축) 은 능력을 나타내고 세로축 (P(θ) 축) 은 답을 맞출 확률을 나타낸다. 가로축은 θ 로 표기하는데, 능력이란 거의 없는 상태에서 무한히 높은 범위까지 있을 수 있으나 이를 표준화하여 평균이 0 이고 표준편차가 1 인 점수로 변환한 값을 나타낸다. 세로축은 능력수준에 따라 문항의 답을 맞출 확률을 P(θ)로 나타내며 범위는 0 에서 1 이다. 문항특성곡선은 어느 능력수준에 위치하는가를 나타내는 위치지수 (문항 난이도), 얼마나 가파른가 (문항 변별도), 아무 것도 모르는 피험자가 우연히 답을 맞출 확률 (문항 추측도) 을 나타낸다.

도 4b 는 문항난이도를 설명하기 위한 도이다. 문항난이도 (Item Difficulty) 는 문항의 어려운 정도를 나타내며, 문항반응이론에서는 문항특성곡선이 어디에서 기능하는가와 연관된다. 문항특성곡선의 위치가 오른쪽에 있을수록 (즉, 도면의 ③ 의 위치) 높은 능력수준의 피험자들에게 기능하는 문항으로 어려운 문항이고, 왼쪽에 있을수록 (즉, 도면의 ① 의 위치) 능력수준이 낮은 피험자들에게 기능하는 문항이므로 쉬운 문항이다. 문항반응이론에서 문항의 난이도는 β 또는 b 로 표기하며, 보통 -3 에서 3 사이의 분포를 나타낸다. 난이도 값이 클수록 그 문항은 어려운 문항이라 할 수 있다.

도 4c 는 문항변별도를 설명하기 위한 도이다. 문항변별도 (Item Discrimination) 는 문항이 피험자를 변별하는 정도를 말하며, 문항특성곡선이 가파를수록 피험자를 보다 잘 변별하여 준다고 할 수 있다. 만약 문항특성곡선이 수평선이라면 능력의 변화에 따른 문항의 답을 맞힐 확률의 변화가 없으므로 문항변별도가 0 이라고 할 수 있다. 문항변별도는 문항특성곡선상의 문항난이도를 나타내는 점에서의 기울기이며, α 또는 a 로 표기한다. 보통 0 에서 2 사이의 범위를 나타내며 값이 클수록 피험자를 잘 변별한다고 할 수 있다. 즉, 도 4c 에서 ①' 곡선이 변별도가 높은 문항을 나타내며, ③' 곡선이 변별도가 낮은 문항을 나타낸다.

본 발명의 독서능력급수 산정 방법 및 시스템은, 전술한 바와 같은 문항반응이론을 이용함으로써, 1) 피험자 집단의 특성에 따라 문항의 난이도, 변별도, 및 추측도가 달리 추정되지 않으며, 2) 피험자가 동일한 갯수의 문항을 맞추더라도 보다 어려운 문항을 맞춘 피험자의 능력을 높게 분석하므로 능력추정이 보다 정확하며, 3) 쉬운 검사를 실시하면 능력이 과대추정되고 어려운 검사를 실시하면 능력이 과소추정되는 고전검사이론과는 달리 어떤 수준의 검사를 실시하더라도 피험자의 능력을 정확하고 안정적으로 추정할 수 있다.

다시 도 2 로 돌아가, 다음의 단계 S5 에서는, 독서능력급수 산정을 위한 평가의 종료기준이 충족되는지의 여부를 체크한다. 이 종료기준은 독서능력급수의 산정을 위한 평가가 어느 시점에 종료되는지에 관한 기준을 제시하는 것이며, 또한 이 종료기준은 검사문항수, 검사시간, 컷오프점수, 추정오차 등이 일정값에 이르면 해당되는 것으로 설정될 수 있고 상기의 여러 기준들이 단독으로 혹은 혼합되어 이용될 수 있다.

평가의 종료기준을 충족하는 경우, 결과분석 및 보고의 단계 (단계 S6) 로 이행하게 되는데, 이때 검사종료와 동시에 진단결과제공부 (36) 에서 결과의 분석 및 제시가 가능하다. 결과분석 및 보고 단계 (단계 S6) 후에 본 독서능력급수 산정 방법은 완료된다.

한편, 종료기준을 충족하지 못하는 경우, 문항선택부 (33) 의 문항선택 단계 (단계 S2) 로 되돌아가서 피험자의 능력에 맞는 다른 문항을 선택하여 제시하게 된다.

결과분석 및 보고 단계 (단계 S6) 는, 예를 들어, 피험자의 독서능력 급수를 1 급에서 15 급까지로 산정하며 내부적으로 각각 상, 중, 하의 3 단계를 지니고 있는 급수로 나타낸다.

도 5 는 피험자에게 제공되는 15 개의 급수에 대한 산정기준을 나타내며, 도 6 는 본 발명의 독서능력급수 산정 방법 및 시스템에서 내부적으로 각 급수를 상, 중, 하의 3 단계로 나눈 45 개의 등급에 대한 산정기준을 나타낸다.

도 6 에 나타난 테이블에 있어서 특징적인 사항은 보정계수의 산정 방식이다. 표준화검사를 거친 후, 각 문항별 난이도와 변별도를 재산정하고, 재산정된 난이도와 변별도에 의해 문항들은 새로운 등급으로 이동한다. 새로운 등급으로 이동된 문항들을 대상으로 서로 다른 가중치의 보정계수를 적용하여 각 등급 간의 관계를 시뮬레이션해 본 후 보정계수를 확정한다. 이를 바탕으로 각 등급 별 총점에 이에 따른 급수를 산정한 것이 도 6 에 나타나 있다.

어휘의 이해, 문장의 이해, 글 내용의 이해를 기본 골격으로 하여 각각의 세부 영역들에 대한 동일학년, 동일독서능력급수에 대한 도시별, 남녀별의 통계치와의 비교분석 자료 (텍스트와 그래프) 를 제공하며, 피험자 개인의 독서능력급수에 맞는 맞춤도서 리스트를 제공한다.

예를 들어, 일실시예로서 다음과 같은 순서로 진행이 가능하다.

1. 학생의 로그인 정보에서 학생의 학년을 확인한다 (단계 S1).

2. 해당학년의 어휘의 이해 문제를 추출한다 (단계 S2).

3. 피험자의 결과에 따라 어휘의 이해 문제를 추출한다 (단계 S3, S4).

4. 동일한 수준의 문제를 연속하여 2 회 맞추면 상위 수준의 문제를 출제한다 (단계 S5).

5. 동일한 수준의 문제를 연속하여 2 회 틀리면 하위 수준의 문제를 출제한다 (단계 S5).

(이때 어휘의 이해, 문장의 이해, 글 내용의 이해 항목에 대하여 문제를 추출하며, 각각 10 문항 추출한다.)

6. 피험자의 반응은 바로 기존의 문항 반응의 결과와 결합되어 각 영역별로 강, 약점 분석을 행한다 (단계 S6).

7. 마지막 피험자의 독서능력진단 결과를 추출하여 pdf 형식으로 피험자에게 제공한다 (단계 S6).

도 3 은 전술한 문항선택 단계 (도 1 의 S2 단계) 와 관련하여 사전에 문항 을 선정하는 단계들을 설명한 도이다.

단계 S21 에서, 데이터베이스 (31) 의 자료로 쓰일, 전문가들에 의해 출제된 문제들을 수집한다. 이 단계에서의 문제들은 아직 수준별로 분류되지 않은 상태의 것들이며 후에 일정한 기준에 의해 분류될 것을 요한다.

다음으로, 단계 S22 에서는 전단계에서 출제된 문제들을 분류하여 학년별로 진단지를 구성한다. 이때의 분류는 잠정적인 것이며 후에 다른 기준에 의해 재분류될 수 있다.

단계 S23 에서는 전단계에서 구성된 문제들을 이용하여 오프라인 진단을 실시한다.

다음으로, 단계 S24 에서 진단의 결과를 통계적으로 처리한다.

단계 S25 에서는 상기 통계처리결과에 따라 각 문항의 수준, 난이도, 및 변별도 등을 지정한다.

마지막으로, 단계 S26 에서는 상기 변별도 등이 지정된 문항들을 문항 데이터베이스에 저장한다.

도 3 의 상기의 단계들은 도 2 의 문항선택단계 (단계 S2) 를 세부적으로 나타낸다기보다는, 도 3 의 단계들을 거쳐서 미리 데이터베이스 (31) 에 저장된 문항들이 도 2 의 문항선택단계 (단계 S2) 에서 이용된다는 것을 나타낸다.

본 발명에 따르면, 개인화된 독서교육 보조 솔루션으로 능력치, 변별도 기준을 정하여 평가문제를 풀면서 개인의 능력을 예측하고 적절한 독서방향 및 진도를 제시하여 주며, 통계 (석차, 성적분포) 를 제공함으로써 개인의 능력을 보다 정확하게 측정 활용할 수 있다.

또한 본 발명에 따르면, 독서능력의 급수를 산정함에 있어, 피험자의 능력을 무시하고 동일한 내용을 제시하는 것이 아니라 피험자의 능력에 따라 각기 다른 문항을 제공한다.

또한 본 발명에 따르면, 피험자 집단의 특성에 따라 문항의 난이도, 변별도, 및 추측도가 달리 추정되지 않는다.

또한 본 발명에 따르면, 피험자가 동일한 갯수의 문항을 맞추더라도 보다 어려운 문항을 맞춘 피험자의 능력을 높게 분석하므로 능력추정이 보다 정확하다.

또한 본 발명에 따르면, 쉬운 검사를 실시하면 능력이 과대추정되고 어려운 검사를 실시하면 능력이 과소추정되는 고전검사이론과는 달리 어떤 수준의 검사를 실시하더라도 피험자의 능력을 정확하고 안정적으로 추정할 수 있다.

본 발명은 위 실시예들을 참조로 하여 특별히 도시되고 기술되었지만, 이는 단지 예시를 위하여 사용된 것이며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 첨부된 청구범위에서 정의된 것과 같이 본 발명의 기술적 사상 및 범위를 벗어나지 않고 다양한 변형을 할 수 있음이 이해되어야 할 것이다.

Claims (6)

1. 독서능력급수 산정 서버; 상기 독서능력급수 산정 서버에 연결된 문항 데이터베이스; 및 상기 독서능력급수 산정 서버와 네트워크 연결되는 클라이언트 컴퓨터를 포함하는 독서능력급수 산정시스템에서, 피험자의 독서능력급수를 산정하는 방법으로서,

   (a) 상기 클라이언트 컴퓨터로부터의 상기 피험자의 독서능력급수 산정 요청에 응답하여, 독서능력급수 산정 서버에서 상기 피험자의 사전점수에 기초한 독서능력에 따라서 상기 피험자의 독서능력급수 산정을 위한 평가를 시작하는 단계;

   (b) 상기 독서능력급수 산정 서버가, 상기 문항 데이터베이스에서 난이도 및 변별도가 정해진 다수의 문항들을 선택하여 상기 선택된 문항들을 상기 문항 데이터베이스로부터 수신하는 단계;

   (c) 상기 독서능력급수 산정 서버가, 상기 수신된 문항들에 대한 상기 피험자의 응답을 분석하여, 분석 결과에 따라 다음에 제시될 문항의 난이도 및 변별도를 결정하는 단계;

   (d) 상기 독서능력급수 산정 서버가, 독서능력급수 산정을 위한 평가의 종료기준이 만족되는지의 여부를 결정하는 단계; 및

   (e) 상기 독서능력급수 산정 서버가, 피험자에 제시된 문항 분석 결과에 따라 상기 피험자의 독서능력급수를 결정하는 단계

   를 포함하는 독서능력급수 산정 방법.
2. 제 1 항에 있어서,

   상기 문항 데이터베이스는 사전 저장된 문항을 포함하고 있으며,

   상기 문항 데이터베이스에 사전 저장된 문항은, 상기 문항에 대한 각각의 피험자들의 응답결과에 기초하여 소정의 주기에 따라 문항의 난이도 및 변별도가 자동으로 업데이트되며,

   상기 난이도 및 변별도가 업데이트된 문항은 상기 문항 데이터베이스에 저장되는 독서능력급수 산정 방법.
3. 제 1 항에 있어서,

   상기 (d) 단계에서 상기 종료기준은 검사시행 문항수, 검사시간, 컷오프 점수, 또는 추정오차 중 하나 이상인 독서능력급수 산정 방법.
4. 제 1 항에 있어서,

   상기 (d) 단계에서 상기 종료기준이 만족되지 아니하였을 경우에는, 상기 (b) 및 (c) 단계를 반복하는 독서능력급수 산정 방법.
5. 제 1 항에 있어서,

   상기 (a) 단계에서의 상기 독서능력급수 산정을 위한 평가는 평균수준능력에서 시작되는 독서능력급수 산정 방법.
6. 독서능력급수 산정 서버; 상기 독서능력급수 산정 서버에 연결된 문항 데이터베이스; 및 상기 독서능력급수 산정 서버와 네트워크 연결되는 클라이언트 컴퓨터를 포함하는 독서능력급수 산정시스템에 있어서,

   상기 독서능력 급수 산정 서버는

   상기 클라이언트 컴퓨터로부터의 상기 피험자의 독서능력급수 산정 요청에 응답하여, 독서능력급수 산정 서버에서 상기 피험자의 사전점수에 기초한 독서능력에 따라서 상기 피험자의 독서능력급수 산정을 위한 평가를 시작하는 수단;

   상기 문항 데이터베이스에서 난이도 및 변별도가 정해진 다수의 문항들을 선택하여 상기 선택된 문항들을 상기 문항 데이터베이스로부터 수신하는 수단;

   상기 수신된 문항들에 대한 상기 피험자의 응답을 분석하여, 분석 결과에 따라 다음에 제시될 문항의 난이도 및 변별도를 결정하는 수단;

   독서능력급수 산정을 위한 평가의 종료기준이 만족되는지의 여부를 결정하는 수단; 및

   피험자에 제시된 문항 분석 결과에 따라 상기 피험자의 독서능력급수를 결정하는 수단

   을 포함하는 독서능력급수 산정 시스템.

Images