KR100834208B1 - 문항특성과 언어수행능력 ｄｂ를 이용한 국어사용능력평가에 따른 등급 부여 방법, 이 등급 간 경계 영역 처리방법 및 그 시스템 - Google Patents
문항특성과 언어수행능력 ｄｂ를 이용한 국어사용능력평가에 따른 등급 부여 방법, 이 등급 간 경계 영역 처리방법 및 그 시스템 Download PDFInfo
- Publication number
- KR100834208B1 KR100834208B1 KR1020070038483A KR20070038483A KR100834208B1 KR 100834208 B1 KR100834208 B1 KR 100834208B1 KR 1020070038483 A KR1020070038483 A KR 1020070038483A KR 20070038483 A KR20070038483 A KR 20070038483A KR 100834208 B1 KR100834208 B1 KR 100834208B1
- Authority
- KR
- South Korea
- Prior art keywords
- language
- test
- korean
- ability
- korean language
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004069 differentiation Effects 0.000 title claims description 3
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims description 45
- 238000000611 regression analysis Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011056 performance test Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법에 관한 것으로서, (a) 수험생에 대해 시행한 집필검사 방식의 국어능력시험 결과를 수집하여 수험생별 국어능력시험 점수를 국어능력시험 DB에 저장하는 단계; (b) 상기 수험생 중 준거집단(Reference Group)을 선정하고 선정된 수험생을 대상으로 말하기 또는 쓰기에 대한 언어수행능력 평가를 별도로 시행하여 준거집단 내에 포함된 각 수험생의 언어수행능력 성취도를 언어수행능력 DB에 저장하는 단계; (c) 상기 국어능력시험 DB 및 언어수행능력 DB로부터 상기 준거집단으로 선정된 수험생들의 국어능력시험 점수와 언어수행능력 성취도를 독출하여 점수와 성취도 간의 상관관계를 통계적으로 분석하여 상관 방정식을 도출하는 단계; 및 (d) 상기 국어능력시험 DB 또는 상기 국어능력시험과 다른 시기에 시행된 국어능력시험의 결과로 구축된 국어능력시험 DB로부터 각 수험생별로 국어능력시험 점수를 독출하여 상기 상관 방정식에 대입함으로써 각 수험생의 언어수행능력 성취도를 계산한 후 성취도의 레벨에 따른 국어사용능력 등급을 부여하는 단계;를 포함하는 것을 특징으로 하는 한다.
국어능력시험, 언어수행능력, 국어사용능력, 문항반응이론, 등급판별문항
Description
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 시스템의 구성을 도시한 구성도이다.
도 2는 도 1에 도시된 언어수행능력 DB 형성부의 구성을 도시한 구성도이다.
도 3은 언어수행능력 DB 형성부의 기능을 설명하기 위해 도시한 블록도이다.
도 4는 도 1에 도시된 등급 간 경계 영역 처리부의 구성을 도시한 구성도이다.
도 5는 등급 간 경계 영역 처리부의 기능을 설명하기 위해 도시한 블록도이다.
도 6은 본 발명의 바람직한 실시예에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 방법을 설명하기 위해 도시한 흐름도이다.
도 7은 본 발명에 따른 국어사용능력 평가에 따른 등급 간 경계 영역 처리 과정을 설명하기 위해 도시한 흐름도이다.
도 8 및 도 9는 언어수행능력 평가의 쓰기 및 말하기의 조건 제시형 과제와 자유 과제의 수행을 예시한 도면이다.
도 10은 본 발명에 따른 회귀분석을 통해 도출된 선형방정식을 도시한 그래프이다.
도 11는 본 발명에 따른 회귀분석을 통해 도출된 선형방정식을 토대로 언어수행능력의 예측 값 산출을 설명하기 위해 도시한 그래프이다.
도 12는 본 발명에 따른 문항반응분석에 따른 난이도와 변별도를 평면 좌표에 구성하여 도시한 산점도(Scatter Diagram)이다.
도 13은 본 발명에 따른 등급 간 영역을 설명하기 위해 도시한 도면이다.
<도면의 주요 참조부호에 대한 설명>
100 : 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 시스템
110 : 준거집단 추출부 120 : 국어능력시험 DB
130 : 언어수행능력 DB 형성부 140 : 언어수행능력 DB
131 : 언어수행능력 데이터 처리수단
132 : 언어수행능력 데이터 보정수단
150 : 회귀 분석 도출부 160 : 등급 간 경계 영역 처리부
161 : 국어능력시험 성적처리 DB 162 : 난이도 및 변별도 산출수단
163 : 등급판별문항 추출수단 164 : 등급 간 경계 영역 추출수단
165 : 등급판별문항 정답률 산출수단
170 : 국어사용능력 등급부 180 : 국어사용능력 등급 DB
본 발명은 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 부여 방법에 관한 것으로서, 더욱 상세하게는 대단위 수험생의 국어능력시험의 누적된 점수와 실제 언어수행능력 사이의 상관관계를 DB로 구축한 후 이를 토대로 등급을 부여하는 메커니즘을 산출하고, 매회 시험마다 다른 문항특성이 반영되어 등급 간 경계 영역이 연동하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 부여 방법, 이 등급 간 경계 점수 처리 방법 및 그 시스템에 관한 것이다.
언어능력시험의 결과 표시 방식은 크게 등급제와 점수제로 구분할 수 있다. 등급제는 수험생의 언어숙달도의 위계를 미리 몇 개의 등급으로 나누고 해당 등급 수준에 도달해 있는지 여부를 평가하는 제도이다. 현재 한국어를 모국어로 하지 않는 외국인 및 재외 동포를 대상으로 실시하는 한국어능력시험(한국교육과정평가원)이 이러한 방식을 채택하고 있다. 반면 점수제는 언어능력을 테스트하는 한 세트의 시험 문제로 특정 언어의 숙달도를 점수로 표시해주는 제도이다. 현재 자국민을 대 상으로 실시하는 KBS한국어능력시험(KBS한국방송)이 이러한 방식을 사용하고 있다.
표면상 점수제와 등급제를 절충하는 경우도 있다. 이 경우는 맞은 개수(원점수)를 토대로 출제 기관이 임의적으로 작성한 등급표에 의해 등급을 부여하는 방식이 주종을 이룬다. 시험은 점수제로 실시하면서 원점수를 토대로 급간을 구분한 것에 불과하기 때문에 결국 점수제로 볼 수 있다. 이 방식은 특별한 측정이론과 시스템을 도입하지 않고 문항의 배점을 달리하는 방식을 통해 변별력을 조절하기 때문에 단위 학교에서 실시하는 정규고사(중간, 기말고사)와 큰 차이가 없다.
2008학년도 대학입학 수학능력시험부터 도입하는 9등급제는 전체 응시자 중에서 수험자의 위치를 산출한 석차백분율을 토대로 등급을 구분하는 방식을 취한다. 따라서 언어영역의 등급이 국어사용능력의 수준을 의미한다고 볼 수 없으며, 단지 전국 응시자 중에서 어느 정도의 득점을 했는지를 가늠할 수 있을 뿐이다. 엄밀히 말해서 이는 등급 부여 시스템이라고 볼 수 없다.
한국어를 모국어로 하지않는 외국인 및 재외 동포를 대상으로 실시하는 한국어능력시험은 모두 6개의 등급별로 문제를 다르게 출제하여 정답률이 60%(과락 40% 적용)를 넘으면 합격으로 판정을 하는 방식을 취한다. 수험자가 자신이 응시할 등급을 정하여 응시한 다음 합/불 여부를 판정하는 간단한 시스템이지만 두 개 등급을 동시에 응시한 응시자가 하위 등급은 불합격한 반면 상위 등급은 합격하는 모순이 발생하는 경우도 있다.
국어능력인증시험(한국언어문화연구원)은 맞은 개수를 기준으로 사전에 등급표를 작성하여 5개의 등급을 구분하는 방식으로 등급을 부여하고 있다. 이러한 원 점수에 근거한 등급 부여 방식은 처리 방식이 단순하여 평가 시스템 운영에 투입되는 전문 인력과 예산을 절감할 수 있다. 하지만 한 세트를 구성하는 문항들의 난이도에 따라 국어사용능력등급이 심하게 변동하는 모순을 피할 수 없다. 또 세계적인 추세를 살펴보아도 간단한 어휘력 검사나 유아들을 대상으로 한 읽기능력검사를 제외하고는 이러한 절충식을 취하는 일은 매우 드문 일이다. 점수 도출과 등급 부여 처리가 간단한 만큼 왜곡하는 정보 또한 많을 수밖에 없다.
이러한 기존의 등급 부여 방식은 사회적으로 민감한 두 가지 문제점을 가지고 있다. 첫째는 타당도와 관련된 문제로 출제 기관이 임의적으로 작성한 등급표를 토대로 국어사용능력을 칼로 무 자르듯이 수준을 구분하는 일이 과연 이론적 타당성을 보장할 수 있느냐이다. 184점은 2등급이고, 185점은 1등급이라는 평점 방식에 문제는 없으며, 과연 그 1점 차이가 등급을 뒤바꾸게 하는 이론적 근거는 무엇이냐는 반문도 이와 무관치 않다. 둘째는 신뢰도와 관련된 문제로 그러한 등급 평점이 일관성을 지닐 수 있느냐는 것이다. 이는 등급 간 경계에 있는 점수들을 처리하는 과정에서 상위 등급과 하위 등급 중 어느 곳으로 평정해야 하는 과학적 기준이 없다는 점과도 직결된다. 평가가 상급학교 진학과 취업을 좌지우지되는 현실을 고려할 때 이는 민감한 사회 문제로 대두될 불씨로 작용할 소지가 있다.
결론적으로 본 발명이 속하는 종래의 기술인 등급부여 방법은 원점수(정답률)이나 석차백분율을 토대로 평가 기관이 임의적으로 작성한 등급일 뿐 매회 시험마다 다른 문항 특성이 반영되어 등급을 나누는 경계 점수가 연동하는 과학적인 평가 메커니즘이라고 볼 수는 없다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 창안된 것으로서, 본 발명에 따른 국어사용능력 평가 및 등급 부여 시스템은 쉽게 출제된 시험에 응시한 수험생이 자신의 능력보다 높은 등급을 받는 것과 어렵게 출제된 시험에 응시한 수험생이 자신의 능력보다 낮은 등급을 받는 모순을 해결함은 물론 동점자라도 변별력이 높은 문항의 정답률이 높은 수험생이 더 높은 등급을 받도록 해야 하는 기술적 과제를 해결한 평가 시스템으로 대단위 언어사용능력 평가에 유용하게 활용할 수 있는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가 및 등급 부여 시스템을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법은, (a) 수험생에 대해 시행한 집필검사 방식의 국어능력시험 결과를 수집하여 수험생별 국어능력시험 점수를 국어능력시험 DB에 저장하는 단계; (b) 상기 수험생 중 준거집단(Reference Group)을 선정하고 선정된 수험생을 대상으로 말하기 또는 쓰기에 대한 언어수행능력 평가를 별도로 시행하여 준거집단 내에 포함된 각 수험생의 언어수행능력 성취도를 언어수행능력 DB에 저장하는 단계; (c) 상기 국어능력시험 DB 및 언어수행능력 DB로부터 상기 준거집단으로 선정된 수험생들의 국어능력시험 점수와 언어수행능력 성취도를 독출하여 점수와 성취도 간의 상관관계를 통계적으로 분석하여 상관 방정식을 도출하는 단계; 및 (d) 상기 국어능력시험 DB 또는 상기 국어능력시험과 다른 시기에 시행된 국어능력시험의 결과로 구축된 국어능력시험 DB로부터 각 수험생별로 국어능력시험 점수를 독출하여 상기 상관 방정식에 대입함으로써 각 수험생의 언어수행능력 성취도를 계산한 후 성취도의 레벨에 따른 국어사용능력 등급을 부여하는 단계;를 포함하는 것을 특징으로 하는 한다.
바람직하게, 상기 국어사용능력 등급은 성취도 레벨에 따라 국어사용능력 등급을 기술한 정성지표를 참고하여 산출한다.
바람직하게, 상기 상관 방정식은 준거집단에 속한 수험생들의 국어능력시험 점수와 언어수행능력 성취도 간의 관계를 회귀적으로 분석하여 도출한 선형 방정식이다.
바람직하게, 상기 회귀분석은, 상기 국어능력시험을 통해 취득한 국어능력시험 점수를 독립변수로 사용하고, 상기 언어수행능력을 통해 취득한 언어수행능력 성취도를 종속변수로 사용하여 이루어진다.
바람직하게, 상기 (d) 단계는, (a1) 상기 국어능력시험의 모든 문항과 이에 대한 모든 수험생의 답지 반응 양상을 국어능력시험 성적처리 DB에 저장하는 단계; (b1) 상기 국어능력시험 성적처리 DB로부터 독출한 국어능력시험에 출제된 모든 문항의 난이도 및 변별도를 문항반응이론(Item Response Theory; IRT)에 의해 정량적으로 산출하는 단계; (c1) 상기 산출된 모든 문항별 난이도 및 변별도 정보를 바탕으로 등급판별문항(Item for Level Differentiation; ILD) 매트릭스를 작성하는 단계; (d1) 상기 등급판별문항 매트릭스로부터 일정 수치 범위의 난이도와 변별도를 갖는 문항을 등급판별문항으로 지정하여 추출하는 단계; (e1) 상기 국어능력시험 성적처리 DB로부터 등급 간 경계 영역에 속하는 각 수험생을 대상으로 상기 등급판별문항에 대한 정답률을 산출하는 단계; (f1) 상기 등급판별문항에 대한 정답률의 범위에 따른 등급 판별 기준을 정의한 등급 판정 정보를 참조하여 각 수험생에 대해 산출한 등급판별문항의 정답률에 따라 국어사용능력 등급을 조정하는 단계;를 포함한다. 여기서, 상기 등급 간 경계 영역은, 상기 국어사용능력 시험의 표준편차 값을 고려하여 설정한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 시스템은, 수험생에 대해 시행한 집필검사 방식의 국어능력시험 결과를 수집하여 수험생별 국어능력시험 점수를 저장한 국어능력시험 DB; 상기 국어능력시험에 응시한 수험생 중 준거집단을 추출하는 준거집단 추출부; 상기 준거집단 추출부를 통해 추출된 수험생을 대상으로 시행한 언어수행능력 평가에 따른 언어수행능력 성취도를 언어수행능력 DB에 저장하는 언어수행능력 DB 형성부; 상기 국어능력시험 DB 및 언어수행능력 DB로부터 상기 준거집단으로 선정된 수험생들의 국어능력시험 점수와 언어수행능력 성취도를 독출하여 점수와 성취도 간의 상관관계를 통계적으로 분석하여 상관 방정식을 도출하는 회귀분석 도출부; 및 상기 국어능력시험 DB 또는 상기 국어능력시험과 다른 시기에 시행된 국어능력시험의 결과로 구축된 국어능력시험 DB로부터 각 수험생별로 국어능력시험 점수를 독출하여 상기 상관 방정식에 대입함으로써 각 수험생의 언어수행능력 성취도를 계산한 후 성취도의 레벨에 따른 국어사용능력 등급을 부여하는 국어사용능력 등급부;를 포함하는 것을 특징으로 한 다.
바람직하게, 상기 언어수행능력 DB 형성부는, 상기 준거집단 추출부를 통해 추출된 수험생들이 시행한 언어수행능력 평가의 결과물을 입력 받아 데이터화 하는 언어수행능력 데이터 처리 수단; 및 상기 언어수행능력 데이터 처리 수단에 입력된 언어수행능력 평가의 결과물에서 수험생을 평가한 점수의 편차가 큰 것을 보정하는 언어수행능력 데이터 보정 수단;을 더 포함하고, 상기 언어수행능력 평가 데이터를 상기 언어수행능력 DB에 저장하고 갱신한다.
바람직하게, 상기 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출하고 상기 국어사용능력 등급부가 상기 추출된 등급 간 경계 영역 수험생의 국어사용능력 등급을 조정할 수 있도록 처리하는 등급 간 경계 영역 처리부;를 더 포함하며, 이 등급 간 경계 영역 처리부는, 상기 국어능력시험의 모든 문항과 이에 대한 모든 수험생의 답지 반응 양상이 저장되어 있는 국어능력시험 성적처리 DB; 상기 국어능력시험 성적처리 DB로부터 독출한 국어능력시험에 출제된 모든 문항의 난이도 및 변별도를 문항반응이론에 의해 난이도 및 변별도를 산출하는 난이도 및 변별도 산출수단; 상기 난이도 및 변별도 산출수단을 통해 산출된 모든 문항별 난이도 및 변별도 정보를 바탕으로 등급판별문항 매트릭스를 작성하여 일정 수치 범위의 난이도와 변별도를 갖는 문항을 지정하여 추출하는 등급판별문항 추출수단; 상기 국어능력시험 성적처리 DB로부터 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출하는 등급 간 경계 영역 추출수단; 및 상기 등급 간 경계 영역 추출부에서 추출된 각 수험생의 등급판별문항에 대한 정답 률을 산출하는 등급판별문항 정답률 산출수단;으로 구성되어 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 시스템의 구성을 도시한 구성도이다.
도 1을 참조하면, 본 발명에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 시스템(100)은, 준거집단 추출부(110), 국어능력시험 DB(120), 언어수행능력 DB 형성부(130), 언어수행능력 DB(140), 회귀분석 도출부(150), 등급 간 경계영역 처리부(160), 국어사용능력 등급부(170) 및 국어사용능력 등급 DB(180)를 포함한다.
도 1에 도시된 바와 같이, 상기 준거집단 추출부(110)는 상기 국어능력시험 DB(120)와 연결되어 있다. 상기 국어능력시험 DB(120)에는 상기 국어능력시험에 응시한 대단위 수험생들의 정보와 시험 점수가 저장되어 있다. 준거집단 추출부(110) 는 이 국어능력시험 DB(120)를 토대로 상기 국어능력시험에 3회 이상 응시하고 점수 변동이 안정된 수험생을 대상으로 각 점수대별로 고르게 수험생을 추출한다. 이때 수험생의 추출은 랜덤하게 추출하는 것이 바람직하다.
상기 언어수행능력 DB 형성부(130)는 상기 준거집단 추출부(110)를 통해 추출된 수험생을 대상으로 언어수행능력 평가를 시행하고 이에 따른 언어수행능력 성취도를 데이터화 한다.
상기 언어수행능력 DB(140)는 상기 언어수행능력 DB 형성부(130)로부터 데이터화 된 정보를 저장한다.
상기 회귀분석 도출부(150)는 상기 국어능력시험 DB(120) 및 언어수행능력 DB(140)로부터 상기 준거집단으로 선정된 수험생들의 국어능력시험 점수와 언어수행능력 성취도를 독출하여 점수와 성취도 간의 상관관계를 통계적으로 분석하여 상관 방정식을 도출한다. 이때 상기 상관 방정식은 상기 국어능력시험 점수와 언어수행능력 성취도 간의 관계를 회귀분석하여 도출한 선형 방정식인 것이 바람직하다.
상기 등급 간 경계 영역 처리부(160)는 상기 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출하고 추출된 등급 간 경계 영역 수험생의 국어사용능력 등급을 확정할 수 있도록 처리한다.
상기 국어사용능력 등급부(170)는 상기 국어능력시험 DB(120)로부터 각 수험생별로 국어능력시험 점수를 독출하여 상기 등급 간 경계 영역 처리부(160)를 통해 등급 간 경계 영역 처리 과정을 거쳐 상기 상관 방정식(선형 방정식)에 대입함으로써 각 수험생의 언어수행능력 성취도를 계산한 후 성취도의 레벨에 따른 국어사용 능력 등급을 부여한다. 상기 국어사용능력 등급은 상기 수험생들의 언어수행능력을 평가한 전문가들에 의해 국어사용능력 등급을 기술한 정성지표를 참조하여 산출하는 것이 바람직하다. 상기 정성지표는 상기 언어수행능력 평가에 따른 지식수준과 기능수준의 성취도에 따라 등급을 나누며, 하위 등급에 대한 기능의 습득이 상위 등급에 대한 기능의 습득으로 발전하는 구조를 취한다. 또한, 정성지표는 사회적 요구를 반영하여 주기적으로 갱신할 수 있으며, 차후 지필 평가 중심의 국어능력시험과는 별도로 말하기능력시험 또는 쓰기능력시험이 실시될 경우 상기 준거집단을 통해 구축된 언어수행능력 DB에 각각 말하기능력평가 DB 또는 쓰기능력평가 DB를 구축하는 데 활용할 수도 있다.
상기 국어사용능력 등급 DB(180)는 상기 국어사용능력 등급부(170)로부터 각 수험생들에게 부여된 국어사용능력 등급을 저장한다.
또한, 도면에는 도시되지 않았지만 상기 국어사용능력 등급 DB(180)에 저장된 수험생들에게 부여된 국어사용능력 등급은 각 수험생들에게 통지할 수 있는 수단을 통해 국어사용능력 등급을 통지할 수도 있다. 통지방법으로는 이메일, 문자 메세지, 우편물 등이 이용될 수 있으며, 본 발명이 국어사용능력 등급을 통지하는 방법에 의해 한정되는 것은 아니다.
도 2는 도 1에 도시된 언어수행능력 DB 형성부의 구성을 도시한 구성도이며, 도 3은 언어수행능력 DB 형성부의 기능을 설명하기 위해 도시한 블록도이다.
도면을 참조하면, 상기 언어수행능력 DB 형성부(130)는 언어수행능력 데이터 처리수단(131) 및 언어수행능력 데이터 보정수단(132)으로 구성되어 있다.
도 3에 도시된 바와 같이, 상기 언어수행능력 데이터 처리수단(131)은 상기 준거집단 추출부(110)를 통해 추출된 수험생들이 시행한 언어수행능력 평가의 결과물을 입력 받아 데이터화 한다.
상기 언어수행능력 데이터 보정수단(132)은 상기 언어수행능력 데이터 처리수단(131)에 입력된 언어수행능력 평가의 결과물에서 수험생을 평가한 점수의 편차가 큰 것을 추려내고 이를 다시 상기 언어수행능력을 평가한 전문가들에게 재채점할 수 있도록 하여 보정된 언어수행능력 평가의 결과물을 입력 받아 데이터화 한다. 상기 언어수행능력 DB 형성부(130)는 언어수행능력 데이터 처리수단(131) 및 언어수행능력 보정수단(132)을 통해 형성된 언어수행능력 평가 데이터를 상기 언어수행능력 DB(140)에 저장하고 갱신한다.
도 4는 도 1에 도시된 등급 간 경계 영역 처리부의 구성을 도시한 구성도이며, 도 5는 등급 간 경계 영역 처리부의 기능을 설명하기 위해 도시한 블록도이다.
도면을 참조하면, 상기 등급 간 경계 영역 처리부(160)는 국어능력시험 성적처리 DB(161), 난이도 및 변별도 산출수단(162), 등급판별문항 추출수단(163), 등급 간 경계 영역 추출수단(164) 및 등급판별문항 정답률 산출수단(165)으로 구성되어 있다.
도 5에 도시된 바와 같이, 상기 국어능력시험 성적처리 DB(161)는 상기 국어능력시험의 모든 문항과 이에 대한 모든 수험생의 답지 반응 양상이 저장되어 있다.
상기 난이도 및 변별도 산출수단(162)은 상기 국어능력시험 성적처리 DB(161)로부터 독출한 국어능력시험에 출제된 모든 문항의 난이도 및 변별도를 문항반응이론에 의해 난이도 및 변별도를 산출한다.
상기 등급판정문항 추출수단(163)은 상기 난이도 및 변별도 산출수단(162)을 통해 산출된 모든 문항별 난이도 및 변별도 정보를 바탕으로 등급판별문항 매트릭스를 작성하여 일정 수치 범위의 난이도와 변별도를 갖는 문항을 지정하여 추출한다. 상기 난이도와 변별도의 일정 수치 범위에 대해서는 이후 자세히 설명한다.
상기 등급 간 경계 영역 추출수단(164)은 상기 국어능력시험 성적처리 DB(161)로부터 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출한다. 여기서, 등급 간 경계 영역은 상기 국어능력시험의 표준편차 값을 고려하여 모든 등급 간 경계가 동일한 범위로 거칠 수 있도록 설정하는 것이 바람직하다.
상기 등급판별문항 정답률 산출수단(165)은 상기 등급 간 경계 영역 추출부(164)에서 추출된 각 수험생의 등급판별문항에 대한 정답률을 산출한다.
이러한, 등급 간 경계 영역 처리부(160)에 의한 등급 간 경계 영역 처리 과정을 거침으로써 상기 국어사용능력 등급부(170)은 상기 등급판별문항에 대한 정답률의 범위에 따라 등급 판별 기준을 정의한 등급 판정 정보를 참조하여 등급 간 경계 영역에 속한 수험생들의 등급판별문항의 정답률에 따라 국어사용능력 등급을 확정하게 된다.
도 6은 본 발명의 바람직한 실시예에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 방법을 설명하기 위해 도시한 흐름도이고, 도 8 및 도 9는 언어 수행능력 평가의 쓰기 및 말하기의 조건 제시형 과제와 자유 과제의 수행을 예시한 도면이고, 도 10은 본 발명에 따른 회귀분석을 통해 도출된 선형방정식을 도시한 그래프이고, 도 11은 본 발명에 따른 회귀분석을 통해 도출된 선형방정식을 토대로 언어수행능력의 예측 값 산출을 설명하기 위해 도시한 그래프이다.
도 6을 참조하면, 본 발명에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 방법은, 국어능력시험 DB 구축(S100), 준거집단 추출단계(S200), 언어수행능력 평가단계(S3000), 정성지표(등급표) 구안단계(S400), 언어수행능력 DB 구축단계(S500), 회귀 분석단계(S600), 등급 간 경계 영역 처리단계(S700), 국어사용능력 등급 부여단계(S800)를 포함한다.
먼저, 수험생에 대해 시행한 집필검사 방식의 국어능력시험 결과를 수집하여 수험생별 국어능력시험 점수를 상기 국어능력시험 DB(120)에 저장한다(S100).
상기 국어능력시험 DB(120)로부터 국어능력시험에 최근 3회 이상 응시한 대단위 수험생 중에서 점수 변동이 안정된 수험생을 대상으로 각 점수대별로 고르게 분포하게 준거집단을 추출한다(S200). 준거집단의 추출은 객관적인 평가를 위해 랜던하게 추출하는 것이 바람직하다.
이어서, 상기 준거집단으로 선정된 수험생을 대상으로 실제 직무와 관련된 말하기 및 쓰기 과제를 부여하여 실제 직무를 수행할 수 있는 언어수행능력을 평가한다(S300). 여기서, 언어수행능력 평가를 위한 과제로는 하기 표 1에 도시된 바와 같다.
| 영역 | 과제 사례 | ||
| 쓰기 | 조건 제시형 과제 | 기획서 쓰기 | |
| 자유 과제 | 자유 작문 | ||
| 말하기 | 조건 제시형 과제 | 프레젠테이션 | |
| 자유 과제 | 대담 | ||
상기 표 1에 도시된 바와 같이, 언어수행능력 평가의 과제는 총 네 가지 영역으로 각각의 말하기 및 쓰기에 대해서 조건 제시형 과제와 자유 과제로 구분하여 특정 영역에 종사하는 응시자가 유리하지 않도록 수행 과제를 선정한다.
도 8은 상기 언어수행능력 평가의 말하기 및 쓰기의 조건 제시형 과제의 수행 모습으로써, 상기 말하기의 조건 제시형 과제는 하나 또는 그 이상에 대한 주제에 대해 발표하는 프레젠테이션이다. 또한, 상기 쓰기의 조건 제시형 과제는 하나 또는 그 이상에 대한 주제에 대해 기획하는 기획서 쓰기이다. 여기서, 주어지는 주제는 특정 영역에 종사하는 응시자가 유리하지 않는 주제를 선정하는 것이 바람직하다.
도 9는 상기 언어수행능력 평가의 말하기 및 쓰기의 자유 과제의 수행 모습으로써, 상기 말하기의 자유 과제는 언어수행능력을 평가하는 전문가와의 대담으로 일상적인 대화에서부터 응시자가 종사하는 영역의 전문적인 대화까지 특정한 주제에 한하지 않고 대화하여 전문가가 응시자의 언어수행능력을 평가한다. 또한, 상기 쓰기의 자유 과제는 정해진 주제 없이 자유롭게 기술하는 자유 작문이다. 이러한, 언어수행능력 평가는 주기적으로 실시하는 것이 바람직하다.
그런 다음, 상기 언어수행능력을 평가한 전문가들이 함께 협의를 통해 언어수행능력의 수준을 기술하는 정성지표(등급표)를 구안한다(S400). 언어수행능력 등급은 상기 언어수행능력 평가에 따른 지식수준과 기능수준의 성취도에 따라 등급을 나누며, 하위 등급에 대한 기능의 습득이 상위 등급에 대한 기능의 습득으로 발전하는 구조를 취하게 된다. 이러한 정성지표는 사회적 요구를 반영하여 주기적으로 갱신할 수 있다. 또한, 차후 지필 평가 중심의 국어능력시험과는 별도로 말하기능력시험이나 쓰기능력시험이 실시될 경우 상기 준거집단을 통한 언어수행능력 DB(140) 구축과정에 각각 말하기능력평가 DB나 쓰기능력평가 DB를 활용할 수도 있다.
예컨대, 상기 정성지표는 하기 표 2에 도시된 바와 같이 구안될 수 있다.
| 등급 | 영역 | 국어 능력 검정 기준 | |
| 1급 | 총평 | 전문가 수준의 뛰어난 국어 사용 능력을 가지고 있습니다. 창조적인 국 어 사용 능력의 소유자로서 언론인, 방송인, 저술가, 작가, 국어 관련 교육자, 기획 및 홍보 업무 책임자로서 | |
| 이해 | 국어 이해 능력이 최고급 단계에 있으며, 국어 관련 어문 규정을 거의 완벽하게 숙지하고 있습니다. | ||
| 표현 | 말하기 | 상황과 조건에 맞게 말할 내용을 구성하는 능력이 매우 우수합니다. 청자를 고려하여 내용을 조직하는 능력이 매우 우수합니다. 표준어 사용과 적합한 어휘 선택 능력이 매우 우수합니다. 비언어적 표현(시선처리 표정) 및 전달 능력이 매우 우수합니다. | |
| 쓰기 | 상황과 조건에 맞게 내용을 구성하는 능력이 매우 우수합니다. 독자를 고려하여 내용을 조직하는 능력이 매우 우수합니다. 어문규정을 준수하고 문장을 구사하는 능력이 매우 우수합니다. 글쓰기 능력과 관련된 창의적 사고 능력이 매우 우수합니다. | ||
| 2급 | 총평 | 일반인으로서 뛰어난 수준의 국어 사용 능력을 가지고 있습니다. 한정된 범위 내에서 언론인, 방송인, 저술가, 작가, 국어 관련 교육자, 기획 및 홍보 업무를 수행할 기초적인 언어 사용 능력을 갖추고 있는 사람이라 할 수 있습니다. | |
| 이해 | 국어 이해 능력이 상급 단계에 있으며, 국어 관련 어문 규정을 비교적 잘 숙지하고 있는 편입니다. | ||
| 표현 | 말하기 | 상황과 조건에 맞게 말할 내용을 구성하는 능력이 우수합니다. 청자를 고려하여 내용을 조직하는 능력이 우수합니다. 표준어 사용과 적합한 어휘 선택 능력이 우수합니다. 비언어적 표현(시선처리 표정) 및 전달 능력이 우수합니다. | |
| 쓰기 | 상황과 조건에 맞게 내용을 구성하는 능력이 우수합니다. 독자를 고려하여 내용을 조직하는 능력이 우수합니다. 어문규정을 준수하고 문장을 구사하는 능력이 우수합니다. 글쓰기 능력과 관련된 창의적 사고 능력이 우수합니다. | ||
| 3급 | 총평 | 일반인으로서 보통 수준의 국어 사용 능력을 가지고 있습니다. 한정된 범위 내에서 일반 업무를 수행할 수 있는 기초적인 언어 사용 능력을 갖추고 있는 사람이라 할 수 있습니다. | |
| 이해 | 국어 이해 능력이 중상급 단계에 있으며, 국어 관련 어문 규정을 숙지하고 있는 편입니다. | ||
| 표현 | 말하기 | 상황과 조건에 맞게 말할 내용을 구성하는 능력이 보통 수준입니다. 청자를 고려하여 내용을 조직하는 능력이 보통 수준입니다. 표준어 사용과 적합한 어휘 선택 능력이 보통 수준입니다. 비언어적 표현(시선처리 표정) 및 전달 능력이 보통 수준입니다. | |
| 쓰기 | 상황과 조건에 맞게 내용을 구성하는 능력이 보통 수준입니다. 독자를 고려하여 내용을 조직하는 능력이 보통 수준입니다. 어문규정을 준수하고 문장을 구사하는 능력이 보통 수준입니다. 글쓰기 능력과 관련된 창의적 사고 능력이 보통 수준입니다. | ||
| 4급 | 총평 | 고교 교육을 정상적으로 이수한 수준의 국어 사용 능력을 가지고 있습니다. 전문가의 도움을 바탕으로 한정된 범위 내에서 일반 업무를 수행할 수 있는 기초적인 국어 사용 능력을 갖추고 있는 사람이라 할 수 있습니다. | |
| 이해 | 국어 이해 능력이 중급 단계에 있으며, 국어 관련 어문 규정을 어느 정도 이해하고 있습니다. | ||
| 표현 | 말하기 | 상황과 조건에 맞게 말할 내용을 구성하는 능력이 다소 미흡합니다. 청자를 고려하여 내용을 조직하는 능력이 다소 미흡합니다. 표준어 사용과 적합한 어휘 선택 능력이 다소 미흡합니다. 비언어적 표현(시선처리 표정) 및 전달 능력이 다소 미흡합니다. | |
| 쓰기 | 상황과 조건에 맞게 내용을 구성하는 능력이 다소 미흡합니다. 독자를 고려하여 내용을 조직하는 능력이 다소 미흡합니다. 어문규정을 준수하고 문장을 구사하는 능력이 다소 미흡합니다. 글쓰기 능력과 관련된 창의적 사고 능력이 다소 미흡합니다. | ||
| 무급 | 국어 사용 능력 향상을 위해 노력해야 합니다. | ||
그리고 나서, 상기 준거집단으로 선정된 수험생들의 상기 언어수행능력 평가를 통해 얻어진 언어수행능력 평가의 결과물에서 수험생을 평가한 점수의 편차가 큰 것을 추려내고 이를 다시 상기 언어수행능력을 평가한 전문가들에게 재채점할 수 있도록 해 점수를 보정하여 언어수행능력 DB를 구축한다(S500). 예컨대, 상기 언어수행능력 DB(140)는 하기 표 3에 도시된 바와 같이 구축될 수 있다.
| 관리번호 | 국어능력시험 점수(990점 만점) | 언어수행능력 점수(100점 만점으로 환산) | |||||
| 3회 | 4회 | 5회 | 쓰기(1) | 쓰기(2) | 말하기(1) | 말하기(2) | |
| A-001 | 780 | 810 | 805 | 85.33 | 90.67 | 78.00 | 82.33 |
| A-002 | 810 | 805 | 750 | 90.67 | 78.00 | 82.33 | 85.33 |
| A-003 | 805 | 750 | 810 | 78.00 | 82.33 | 85.33 | 90.67 |
그런 후, 상기 준거집단으로 선정된 수험생들의 상기 국어능력시험 점수와 상기 언어수행능력 DB에 기록된 언어수행능력 점수의 상관관계를 회귀분석을 통해 선형방정식으로 도출한다(S600).
도 10에 도시된 바와 같이, 상기 국어능력시험 점수와 언어수행능력 점수를 회귀분석하여 선형방정식으로 도출하는데, 상기 회귀분석의 독립변수는 지필평가 방식의 국어능력시험을 통해 취득한 듣기/읽기 능력이고 종속변수는 언어수행평가에 해당하는 말하기/쓰기이다. 이 둘 사이의 관계를 하나의 식으로 도출한 것이 도 10과 같은 선형방정식이다.
그런 다음, 국어사용능력 등급을 부여하는데 앞서, 상기 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출하고 추출된 등급 간 경계 영역 수험생의 국어사용능력 등급을 확정할 수 있도록 하기 위한 과정을 거친다(S700).
최종적으로, 상기 회귀분석을 통해 도출된 선형방정식에 독립변수에 해당하는 전체 수험생의 국어능력시험 점수를 입력하여 종속변수에 해당하는 언어수행능력 예측 값을 산출하여, 이 산출된 예측 값을 토대로 전체 수험생의 국어능력시험 점수에 맞게 국어사용능력 등급을 부여하고 이를 국어사용능력 등급 DB(180)에 저장한다(S800).
또한, 도면에는 도시하지 않았지만, 상기 국어사용능력 등급 DB(180)에 저장된 수험생들의 국어사용능력 등급을 각 수험생들에게 통지할 수도 있다.
도 11에 도시된 바와 같이, 언어수행능력 DB(140)을 통해 구한 선형방정식이 "y=0.109567x-4.95803" 이라면 국어능력시험 점수가 700점인 수험생의 국어사용능력의 추정 성취도는 71.74%가 되고 국어사용능력 등급이 3급으로 부여받게 된다.
상기 상술된 바에 따른 국어사용능력 등급 간 경계 영역 처리 및 등급 부여 방법에서 등급이 부여되는 과정에서 민감하게 대두되는 점이 바로 등급 간 경계에 인접한 점수의 처리 문제이다. 예를 들어 1등급과 2등급의 경계에 인접한 성취도 89.9%와 90.1%는 성취도의 차이가 단 0.2%에 불과하지만 서로 상이한 등급으로 평가받게 된다. 만약 성취도 89.9%를 획득한 수험생이 90.1%를 획득한 수험생보다 변별력이 높은 문항에 대한 정답률이 더 높았다면 이러한 등급 사정은 응시자의 국어능력수준을 정확하게 변별했다고 볼 수 없다. 이러한 불합리성을 극복하기 위해서는 특정 점수를 기준으로 칼로 무 자르듯이 등급을 평가하는 방법을 보안하기 위해서 본 발명에서는 상기 (S700) 단계를 더 거치게 되는 것이다. 이 (S700) 단계에 대한 설명은 이하 도면을 참조하여 자세히 설명한다.
도 7은 본 발명에 따른 국어사용능력 평가에 따른 등급 간 경계 영역 처리 과정을 설명하기 위해 도시한 흐름도이고, 도 12는 본 발명에 따른 문항반응분석에 따른 난이도와 변별도를 평면 좌표에 구성하여 도시한 산점도(Scatter Diagram)이고, 도 13은 본 발명에 따른 등급 간 영역을 설명하기 위해 도시한 도면이다.
먼저, 상기 국어능력시험의 모든 문항과 이에 대한 모든 수험생의 답지 반응 양상을 국어능력시험 성적처리 DB(161)에 저장한다(S710).
이어서, 상기 국어능력시험 성적처리 DB(161)로부터 독출한 국어능력시험에 출제된 모든 문항을 문항반응이론(Item Response Theory; IRT)에 의해 난이도(Item Difficulty)와 변별도(Discriminating Power)를 정량적으로 산출한다(S720).
여기서, 문항반응이론은 문항 난이도를 시험을 치르는 피험자 집단의 능력 분포에 상관없이 그 문항을 특정하는 하나의 고유한 문항 특성으로 상정하고, 피험자 능력을 확률적으로 측정하는 방법을 취한다. 따라서 고전 검사 이론처럼 검사 총점에 의해 피험자의 능력을 추정하는 방식이 아니라, 검사를 구성하고 있는 문항 하나하나의 독특한 특성을 반영하고 있는 문항 특성 곡선(Item Characteristic Curve)에 의해 피험자의 능력을 파악한다.
상기 문항 난이도는 문항 특성 곡선에서 문항의 답을 맞힐 확률이 0.5에 해당하는 능력 수준의 점을 의미하며 문항의 어려움 정도를 나타낸다. 문항반응이론에서 문항 난이도는 β 또는 b로 표기하며 일반적으로 -2에서 +2사이에 존재한다. 문항 난이도의 범위에 따른 언어 표현은 하기 표 4에 도시된 바와 같다.
| 문항 난이도 범위 | 표현 | |
| +2.0 이상 | A | 매우 어렵다 |
| +0.5 ~ +2.0 | B | 어렵다 |
| -0.5 ~ +0.5 | C | 보통이다 |
| -2.0 ~ 0.5 | D | 쉽다 |
| -2.0 이하 | E | 매우 쉽다 |
상기 문항 변별도는 문항이 수험생의 능력에 따라 변별하는 정도를 나타낸다. 문항반응이론에 문항 변별도는 α 또는 a로 표기하고, 일반적으로 0에서 2.0의 사이에 존재한다. 문항 변별도의 범위에 따른 언어 표현은 하기 표 5에 도시된 바와 같다.
| 문항 변별도 범위 | 표현 | |
| 1.70 이상 | A | 매우 높다 |
| 1.35 ~ 1.69 | B | 높다 |
| 0.65 ~ 1.34 | C | 보통이다 |
| 0.35 ~ 0.64 | D | 낮다 |
| 0.00 ~ 0.34 | E | 매우 낮다 |
그런 다음, 상기 문항반응이론에 의해 도출된 모든 문항의 난이도와 변별도 수치를 활용하여 등급판별문항 매트릭스를 작성한다(S730). 하기 표 6은 본 발명에 따라 작성된 등급판별문항 매트릭스이며, 모든 문항은 이 매트릭스를 구성하는 25개 영역 중 어느 하나에는 반드시 속하게 된다.
| 문항 질 | 난이도 | 변별도 | 해석 |
| 매우 좋음 | A | A | 매우 어렵고 변별력이 매우 높다 |
| B | A | 어렵고 변별력이 매우 높다 | |
| C | A | 보통이고 변별력이 매우 높다 | |
| D | A | 쉽고 변별력이 매우 높다 | |
| E | A | 매우 쉽고 변별력이 매우 높다 | |
| 좋음 | A | B | 매우 어렵고 변별력이 높다 |
| B | B | 어렵고 변별력이 높다 | |
| C | B | 보통이고 변별력이 높다 | |
| D | B | 쉽고 변별력이 높다 | |
| E | B | 매우 쉽고 변별력이 높다 | |
| 보통 | A | C | 매우 어렵고 변별력이 적절하다 |
| B | C | 어렵고 변별력이 적절하다 | |
| C | C | 보통이고 변별력이 적절하다 | |
| D | C | 쉽고 변별력이 적절하다 | |
| E | C | 매우 쉽고 변별력이 적절하다 | |
| 낮음 | B | D | 어렵고 변별력이 낮다 |
| C | D | 보통이고 변별력이 낮다 | |
| D | D | 쉽고 변별력이 낮다 | |
| B | E | 어렵고 변별력이 매우 낮다 | |
| C | E | 보통이고 변별력이 매우 낮다 | |
| D | E | 쉽고 변별력이 매우 낮다 | |
| 매우 낮음 | A | D | 매우 어렵고 변별력이 낮다 |
| A | E | 매우 어렵고 변별력이 매우 낮다 | |
| E | D | 매우 쉽고 변별력이 낮다 | |
| E | E | 매우 쉽고 변별력이 매우 낮다 |
그러고 나서, 상기 등급판별문항 매트릭스를 바탕으로 난이도가 적절한 범위인 -0.5부터 +0.5 사이 영역에서 변별도가 1.35이상인 문항을 추출한다(S740).
도 12는 문항 난이도를 X축으로 하고, 문항 변별도를 Y축으로 하여 제3회 KBS한국어능력시험(100문항)의 문항 난이도와 문항 변별도를 평면 좌표로 구성하여 산점도로 나타낸 것이다. 좌표 공간에서 왼쪽 아래에 위치하고 있는 문항들은 변별도는 낮으면서 매우 쉬운 문항들이고, 오른쪽 아래에 위치하고 있는 문항들은 변별도는 낮으면서 매우 어려운 문항이다.
그런 후, 등급 간 경계 영역에 속한 수험생 개인별로 등급판별문항에 대한 정답률을 산출한다(S750). 등급판별문항이 12개라면 하기 표 7과 같이 산출될 수 있다.
| 수험번호 | 추정 성취도 | 득점한 등급판별문항 개수 | 등급판별문항에 대한 정답률 |
| A-001 | 91.00 | 5 | 41.67% |
| A-002 | 89.34 | 9 | 75.00% |
| A-003 | 89.34 | 5 | 41.67% |
여기서, 상기 등급 간 경계 영역에 속한 수험생은 상기 국어능력시험 성적처리 DB(161)로부터 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출한 것이다(S760). 또한, 등급 간 경계 영역은 전체 수험생의 표준편차 값을 구하여, 그 값의 1/2만큼 걸칠 수 있도록 설정한다. 예컨대, 전체 수험생의 표준편차가 8이었다면 경계 영역은 도 13에 도시된 바와 같이 등급 경계로부터 ±2%영역으로 설정하게 되는 것이다.
최종적으로, 상기 등급판별문항에 대한 정답률의 범위에 따른 등급 판별 기준을 정의한 등급 판정 정보를 참조하여 각 수험생에 대해 산출한 등급판별문항의 정답률에 따라 국어사용능력 등급을 확정하여 국어사용능력 등급을 부여한다(S800). 이러한 등급 간 경계 영역에 속한 수험생의 국어사용능력 등급에 대한 판정 기준을 정답률이 50%인 경우를 기준으로 정한다면 하기 표 8과 같은 결과를 도출할 수 있다.
| 수험번호 | 추정 성취도 | 등급판별문항에 대한 정답률 | 등급 판정 |
| A-001 | 91.00 | 41.67% | 2등급 |
| A-002 | 89.34 | 75.00% | 1등급 |
| A-003 | 89.34 | 41.67% | 2등급 |
상기 표 8의 결과를 보면 수험번호 A-001번의 추정 성취도는 A-002번 보다 1.66이 더 높지만 등급은 오히려 더 낮게 판정되었다. 또 추정 성취도가 동일한 A-002변과 A-003번의 등급이 서로 다르게 평정되었음을 알 수 있다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명에 따르면, 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 부여 및 이 등급 간 경계 영역 처리 방법을 제공함으로써, 쉽게 출제된 시험에 응시한 수험생이 자신의 능력보다 높은 등급을 받는 것과 어렵게 출제된 시험에 응시한 수험생이 자신의 능력보다 낮은 등급을 받는 모순점을 해결할 수 있고, 시험 점수에 있어 동점자가 발생할 경우 변별력이 높은 문항의 정답률이 높은 수험생이 더 높은 등급을 받을 수 있는 평가 시스템으로 대단위 언어사용능력 평가에 유용하게 활용할 수 있다.
Claims (9)
- (a) 수험생에 대해 시행한 집필검사 방식의 국어능력시험 결과를 수집하여 수험생별 국어능력시험 점수를 국어능력시험 DB에 저장하는 단계;(b) 상기 수험생 중 준거집단(Reference Group)을 선정하고 선정된 수험생을 대상으로 말하기 또는 쓰기에 대한 언어수행능력 평가를 별도로 시행하여 준거집단 내에 포함된 각 수험생의 언어수행능력 성취도를 언어수행능력 DB에 저장하는 단계;(c) 상기 국어능력시험 DB 및 언어수행능력 DB로부터 상기 준거집단으로 선정된 수험생들의 국어능력시험 점수와 언어수행능력 성취도를 독출하여 점수와 성취도 간의 상관관계를 통계적으로 분석하여 상관 방정식을 도출하는 단계; 및(d) 상기 국어능력시험 DB 또는 상기 국어능력시험과 다른 시기에 시행된 국어능력시험의 결과로 구축된 국어능력시험 DB로부터 각 수험생별로 국어능력시험 점수를 독출하여 상기 상관 방정식에 대입함으로써 각 수험생의 언어수행능력 성취도를 계산한 후 성취도의 레벨에 따른 국어사용능력 등급을 부여하는 단계;를 포함하는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법.
- 제1항에 있어서,상기 국어사용능력 등급은 성취도 레벨에 따라 국어사용능력 등급을 기술한 정성지표를 참고하여 산출하는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법.
- 제1항에 있어서,상기 상관 방정식은 준거집단에 속한 수험생들의 국어능력시험 점수와 언어수행능력 성취도 간의 관계를 회귀적으로 분석하여 도출한 선형 방정식인 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법.
- 제3항에 있어서,상기 회귀분석은, 상기 국어능력시험을 통해 취득한 국어능력시험 점수를 독립변수로 사용하고, 상기 언어수행능력을 통해 취득한 언어수행능력 성취도를 종속변수로 사용하여 이루어지는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법.
- 제1항에 있어서, 상기 (d) 단계는,(a1) 상기 국어능력시험의 모든 문항과 이에 대한 모든 수험생의 답지 반응 양상을 국어능력시험 성적처리 DB에 저장하는 단계;(b1) 상기 국어능력시험 성적처리 DB로부터 독출한 국어능력시험에 출제된 모든 문항의 난이도 및 변별도를 문항반응이론(Item Response Theory; IRT)에 의해 정량적으로 산출하는 단계;(c1) 상기 산출된 모든 문항별 난이도 및 변별도 정보를 바탕으로 등급판별문항(Item for Level Differentiation; ILD) 매트릭스를 작성하는 단계;(d1) 상기 등급판별문항 매트릭스로부터 일정 수치 범위의 난이도와 변별도를 갖는 문항을 등급판별문항으로 지정하여 추출하는 단계;(e1) 상기 국어능력시험 성적처리 DB로부터 등급 간 경계 영역에 속하는 각 수험생을 대상으로 상기 등급판별문항에 대한 정답률을 산출하는 단계;(f1) 상기 등급판별문항에 대한 정답률의 범위에 따른 등급 판별 기준을 정의한 등급 판정 정보를 참조하여 각 수험생에 대해 산출한 등급판별문항의 정답률에 따라 국어사용능력 등급을 조정하는 단계;를 포함하는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법.
- 제5항에 있어서,상기 등급 간 경계 영역은, 상기 국어능력시험의 표준편차 값을 고려하여 설정하는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 방법.
- 수험생에 대해 시행한 집필검사 방식의 국어능력시험 결과를 수집하여 수험생별 국어능력시험 점수를 저장한 국어능력시험 DB;상기 국어능력시험에 응시한 수험생 중 준거집단을 추출하는 준거집단 추출부;상기 준거집단 추출부를 통해 추출된 수험생을 대상으로 시행한 언어수행능력 평가에 따른 언어수행능력 성취도를 언어수행능력 DB에 저장하는 언어수행능력 DB 형성부;상기 국어능력시험 DB 및 언어수행능력 DB로부터 상기 준거집단으로 선정된 수험생들의 국어능력시험 점수와 언어수행능력 성취도를 독출하여 점수와 성취도 간의 상관관계를 통계적으로 분석하여 상관 방정식을 도출하는 회귀분석 도출부; 및상기 국어능력시험 DB 또는 상기 국어능력시험과 다른 시기에 시행된 국어능력시험의 결과로 구축된 국어능력시험 DB로부터 각 수험생별로 국어능력시험 점수를 독출하여 상기 상관 방정식에 대입함으로써 각 수험생의 언어수행능력 성취도를 계산한 후 성취도의 레벨에 따른 국어사용능력 등급을 부여하는 국어사용능력 등급부;를 포함하는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 시스템.
- 제7항에 있어서,상기 언어수행능력 DB 형성부는,상기 준거집단 추출부를 통해 추출된 수험생들이 시행한 언어수행능력 평가의 결과물을 입력 받아 데이터화 하는 언어수행능력 데이터 처리 수단; 및상기 언어수행능력 데이터 처리 수단에 입력된 언어수행능력 평가의 결과물에서 수험생을 평가한 점수의 편차가 큰 것을 보정하는 언어수행능력 데이터 보정 수단;을 더 포함하고, 상기 언어수행능력 평가 데이터를 상기 언어수행능력 DB에 저장하고 갱신하는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 시스템.
- 제7항에 있어서,상기 국어능력시험에 응시한 수험생 중 등급 간 경계 영역에 속하는 수험생을 추출하고 상기 국어사용능력 등급부가 상기 추출된 등급 간 경계 영역 수험생의 국어사용능력 등급을 조정할 수 있도록 처리하는 등급 간 경계 영역 처리부;를 더 포함하며, 이 등급 간 경계 영역 처리부는,상기 국어능력시험의 모든 문항과 이에 대한 모든 수험생의 답지 반응 양상이 저장되어 있는 국어능력시험 성적처리 DB;상기 국어능력시험 성적처리 DB로부터 독출한 국어능력시험에 출제된 모든 문항의 난이도 및 변별도를 문항반응이론에 의해 산출하는 난이도 및 변별도 산출수단;상기 난이도 및 변별도 산출수단을 통해 산출된 모든 문항별 난이도 및 변별도 정보를 바탕으로 등급판별문항 매트릭스를 작성하여 일정 수치 범위의 난이도와 변별도를 갖는 문항을 지정하여 추출하는 등급판별문항 추출수단;상기 국어능력시험 성적처리 DB로부터 국어능력시험에 응시한 수험생 중 등 급 간 경계 영역에 속하는 수험생을 추출하는 등급 간 경계 영역 추출수단; 및상기 등급 간 경계 영역 추출부에서 추출된 각 수험생의 등급판별문항에 대한 정답률을 산출하는 등급판별문항 정답률 산출수단;으로 구성되어 있는 것을 특징으로 하는 문항특성과 언어수행능력 DB를 이용한 국어사용능력 평가에 따른 등급 간 경계 영역 처리 및 등급 부여 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070038483A KR100834208B1 (ko) | 2007-04-19 | 2007-04-19 | 문항특성과 언어수행능력 ｄｂ를 이용한 국어사용능력평가에 따른 등급 부여 방법, 이 등급 간 경계 영역 처리방법 및 그 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070038483A KR100834208B1 (ko) | 2007-04-19 | 2007-04-19 | 문항특성과 언어수행능력 ｄｂ를 이용한 국어사용능력평가에 따른 등급 부여 방법, 이 등급 간 경계 영역 처리방법 및 그 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100834208B1 true KR100834208B1 (ko) | 2008-06-10 |
Family
ID=39769751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070038483A KR100834208B1 (ko) | 2007-04-19 | 2007-04-19 | 문항특성과 언어수행능력 ｄｂ를 이용한 국어사용능력평가에 따른 등급 부여 방법, 이 등급 간 경계 영역 처리방법 및 그 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100834208B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190074924A (ko) * | 2017-12-20 | 2019-06-28 | 고려대학교 산학협력단 | 인지력 기반의 외국어능력 검사장치 및 그 방법 |
| KR102494641B1 (ko) * | 2022-01-05 | 2023-02-07 | 한석현 | 문항반응이론 및 동등화 기반의 수학학습능력수준 진단 시스템 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040013233A (ko) * | 2002-08-05 | 2004-02-14 | 주식회사 케이세스 | 학습 프로그램 제공방법 |
| KR20050095667A (ko) * | 2004-03-25 | 2005-09-30 | 주식회사 유웨이중앙교육 | 성적 정보 제공 방법 및 장치 |
| KR20060027233A (ko) * | 2004-09-22 | 2006-03-27 | 김용명 | 영어 능력 평가 및 진단 처방 시스템, 이를 이용한 영어능력 평가 및 진단 처방 방법, 그리고 영어 능력 평가 및진단 처방 프로그램이 기록된 컴퓨터로 읽을 수 있는기록매체 |
| KR20060081979A (ko) * | 2005-01-11 | 2006-07-14 | 사단법인 한국독서능력개발원 | Ｃａｔ 기반의 문제은행시스템을 이용한 독서능력급수산정 방법 및 시스템 |
-
2007
- 2007-04-19 KR KR1020070038483A patent/KR100834208B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040013233A (ko) * | 2002-08-05 | 2004-02-14 | 주식회사 케이세스 | 학습 프로그램 제공방법 |
| KR20050095667A (ko) * | 2004-03-25 | 2005-09-30 | 주식회사 유웨이중앙교육 | 성적 정보 제공 방법 및 장치 |
| KR20060027233A (ko) * | 2004-09-22 | 2006-03-27 | 김용명 | 영어 능력 평가 및 진단 처방 시스템, 이를 이용한 영어능력 평가 및 진단 처방 방법, 그리고 영어 능력 평가 및진단 처방 프로그램이 기록된 컴퓨터로 읽을 수 있는기록매체 |
| KR20060081979A (ko) * | 2005-01-11 | 2006-07-14 | 사단법인 한국독서능력개발원 | Ｃａｔ 기반의 문제은행시스템을 이용한 독서능력급수산정 방법 및 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190074924A (ko) * | 2017-12-20 | 2019-06-28 | 고려대학교 산학협력단 | 인지력 기반의 외국어능력 검사장치 및 그 방법 |
| KR102079342B1 (ko) * | 2017-12-20 | 2020-02-19 | 고려대학교 산학협력단 | 인지력 기반의 외국어능력 검사장치 및 그 방법 |
| KR102494641B1 (ko) * | 2022-01-05 | 2023-02-07 | 한석현 | 문항반응이론 및 동등화 기반의 수학학습능력수준 진단 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chao et al. | Organizational socialization: Its content and consequences. | |
| Sander | A systemic analysis of affirmative action in American law schools | |
| Du Plessis et al. | The influence of emotional intelligence and trust on servant leadership | |
| Paul et al. | The need for work: Jahoda's latent functions of employment in a representative sample of the German population | |
| Woodrow | A model of adaptive language learning | |
| Sabeh et al. | A match or a mismatch between student and teacher learning style preferences | |
| Eriksson | Does the language of instruction in primary school affect later labour market outcomes? Evidence from South Africa | |
| Allbright et al. | Conceptualizing equity in the implementation of California education finance reform | |
| Saccuzzo | Identifying Underrepresented Disadvantaged Gifted and Talented Children: A Multifaceted Approach.(Volumes 1 and 2.). | |
| DeMarree et al. | Documenting individual differences in the propensity to hold attitudes with certainty. | |
| 語言訓練測驗中心 | LTTC-GEPT | |
| Bastedo | Holistic admissions as a global phenomenon | |
| Holbrook et al. | Race‐and ethnicity‐of‐interviewer effects | |
| Lucas et al. | Race and Track Assignment: A Reconsideration with Course-Based Indicators of Track Locations. | |
| Blazar et al. | Professional Staff Diversity and Student Outcomes: Extending Our Understanding of Race/Ethnicity-Matching Effects in Education. EdWorkingPaper No. 21-500. | |
| KR100834208B1 (ko) | 문항특성과 언어수행능력 ｄｂ를 이용한 국어사용능력평가에 따른 등급 부여 방법, 이 등급 간 경계 영역 처리방법 및 그 시스템 | |
| Thompson | The mothers and fathers of invention: A meta-analysis of gender differences in creativity | |
| Slama et al. | Massachusetts English Language Learners' Profiles and Progress: A Report for the Massachusetts Department of Elementary and Secondary Education. | |
| Schnepf | Inequalities in secondary school attendance in Germany | |
| Hattie | Schools like mine: Cluster analysis of New Zealand schools | |
| Morreira | Disruption by Curriculum Design: Using Steve Biko's I Write What I Like as a Tool for Participatory Parity in post-Apartheid Higher Education. | |
| Huang | The relationships among job satisfaction, professional commitment, organizational alienation, and coaching efficacy of school volleyball coaches in Taiwan | |
| Laudenbach et al. | Enhancing Mobility–Validation of Prior Non-formal and Informal Learning and its Impact on Individuals' Employment Biography: Qualitative Insights from Germany and Poland | |
| Esfandiari et al. | An Investigation into the Relationship between Personality Traits and Iranian EFL Learners' Performance on C-Test | |
| Ryoo | Magnet school choice and its impacts on student achievement and racial and socio-economic segregation in Florida |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130520 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140522 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20150508 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20160414 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20170526 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20180213 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20190213 Year of fee payment: 12 |