KR20090094576A - 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법 - Google Patents

Abstract

본 발명의 목적은 첫째 컴퓨터를 이용하여 일반적인 대화 방식으로 언어를 발화(말하기 시도)하며, 특히 예측되는 대화의 수를 제한하므로 컴퓨터의 제한된 자원을 이용하여 자연스러운 대화 방식의 말하기 평가를 유도하여 학습의 성취도를 평가할 수 있고, 둘째 수험자의 말하기 입력을 데이터부의 데이터베이스에 미리 기록되어 있는 평가기준과 비교하여 수험자의 특정언어의 말하기 능력을 객관적이고 신뢰도가 높게 평가할 수 있을 뿐만 아니라, 셋째 수험자의 말하기 시도가 데이터베이스에 저장되어있는 총괄적 채점기준으로서 전체적인 수험자의 말하기 시도의 느낌, 자연성, 인상 등을 고려하고 분석적 채점 기준(발음의 정확성 혹은 적절성, 문법적 정확성, 어휘 선택의 적절성, 내용의 관련성, 표현의 명료성, 유창성 등)을 원어민의 말하기 발화 데이터에 근거를 둔 평가준거로 데이터베이스에 입력하여 부분점수를 합산하여 총점으로 수량화할 수 있는 음성인식을 활용한 컴퓨터 주도형 말하기 언어학습 능력 평가장치 및 그 평가방법을 제공하는데 있다.

말하기 평가 시스템, 평가 기준 구축, 언어 발화, 컴퓨터, 대화의 수, 음성인식, 도우미,

Description

음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력 평가 장치 및 그 평가방법{AN APPARATUS AND METHOD FOR EVALUATING SPOKEN ABILITY BY SPEECH RECOGNITION THROUGH COMPUTER-LEAD INTERACTION AND THEREOF}

본 발명은 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가 시스템 및 그 방법에 관한 것으로서, 특히 특정 언어의 말하기 능력을 상호 대화식으로 구성하여 실생활에서와 같은 자연스러운 대화를 컴퓨터와 주고받는 과정을 통하여 말하기 능력을 평가할 수 있으며, 컴퓨터를 이용하여 일반적인 대화 방식으로 언어를 발화(말하기 시도)하며, 예측되는 대화의 수를 제한하므로 컴퓨터의 제한된 자원을 이용하여 자연스러운 대화 방식의 학습을 유도하여 수험자의 특정언어에 대한 말하기 능력을 객관적이고 신뢰도가 높게 평가할 수 있는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가 시스템 및 그 방법에 관한 것이다.

종래로부터 널리 사용되고 있는 기존의 말하기 평가는 주로 사람에 의해 이루어지고 사람에 의해 평가되어 왔으나 이러한 평가는 많은 시간이 소요된다는 문제점이 있고, 또 객관적인 평가와 채점자의 신뢰도, 다수의 수험자를 즉석에서 평가할 수 없다는 문제점이 있었다.

이러한 문제점을 개선하기 위하여 최근 컴퓨터를 통해 수험자의 말하기 시도를 녹음하여 채점자에게 전달하여 채점을 하게 하는 방식이 많이 활용되어지고 있다.

그런데, 이러한 평가 또한 채점자의 주관에 의해 수험자의 점수가 결정될 여지가 여전히 남아있고 채점자 선정 및 채점 기간이 오래 소요되는 등의 문제점이 있을 뿐만 아니라, 수험자는 말하기 평가를 위한 질문에 수동적으로 답변만을 해야하고 수험자 자신의 의견을 피력하고 대화를 위한 상대방과의 협상 등이 결여되어있어 폐쇄성의 문제점이 있었다.

또한 채점 기준으로도 등급제로 구성되어 채점자의 선택에 수험자의 점수가 결정되는 불합리한 점을 해소할 수 없다는 문제점이 있었다.

이러한 문제점을 해결하기 위해서 최근에 등장한 컴퓨터에 의한 말하기 능력평가는 컴퓨터에서 제시된 내용을 수험자가 단순히 읽고 따라하거나 문장을 반복하고, 짧은 답변 등으로 입력된 말하기 시도를 컴퓨터가 저장하여 수험자의 발음과 말하기 유창도에 따라 점수가 결정되는 말하기 평가도 선보이고 있으나, 이러한 말하기 평가 역시 자연스러운 대화의 유도를 통한 살아있는 말하기능력 평가가 아닌 수험자의 발음이나 말하기의 유창도를 등급제로 나누어 간접적인 방법으로 말하기 능력을 평가한다는 문제점이 있었다.

이러한 문제점들을 해소하기 위하여 본 발명의 출원인들이 2000년과 4건(제0287227,0287228,0296271,0296272)을 등록받은 바 있으며, 특허출원(특허출원번호 10-2007-0063336호)한 컴퓨터 주도형 대화장치 및 방법에서는 컴퓨터에 의하여 1:1 또는 다수와의 언어 대화를 주도하는 것으로서, 대화에서 예측되는 대화의 수를 제한하여 상호작용적 대화가 이루어지도록 설계되어 있다.

종래의 말하기 평가는 총괄적 채점 기준으로 수험자의 말하기 시도에 대한 느낌과 부분적 채점기준으로 발음, 유창성, 문법오류, 어휘 선택 등을 세분화하여 등급으로 표시하였으나 인간이 채점 하는 경우에 세분화된 부분을 정확하게 분석하는데 상당한 시간이 걸리고 채점자의 몸 상태, 기분 여하에 따라 점수가 달라지는 등의 객관적인 채점이 어려운 것이 사실이다. 인간이 채점하는 경우에는 전체적인 인상으로 점수를 주는 총괄적 채점기준에 많이 의존하였고 부분적인 채점 기준에 의거하여 채점을 하기에는 무리가 따른 것이 사실이었다. 인간이 채점하는 경우 수험자의 말하기를 듣고 부분적 채점기준과 일일이 대조하여 점수를 등급화하는 것은 거의 불가능한 실정에 있다는 문제점이 있었다.

그러므로 인간이 채점하는 경우는 느낌과 수험자에 대한 인상, 분위기, 감 등에 의존하여 채점하므로 객관성을 유지할 수 없다는 문제점이 있을 뿐만 아니라, 최근에 등장한 컴퓨터에 의한 채점은 반대로 너무나 부분적인 채점에만 의존하는 경향이 있어 객관성을 유지할 수 없다는 문제점이 있었다.

예를 들면, 수험자의 발음, 어휘 선택 등을 기계적으로 분류하고 단답식에 가까운 짧은 답변을 정답과 오답으로 분류하여 채점하고 문법적으로 완벽한 문장은 정답으로 인식하고, 일부 오류를 내포한 문장은 오답으로 인식하여 충분히 의사소통을 원할하게 할 수 있는 경우에도 낮은 점수로 결정되는 문제점이 있었다.

따라서, 본 발명은 상기 여러 가지 문제점을 해결하기 위하여 이루어진 것으로서, 본 발명의 목적은 컴퓨터를 이용하여 일반적인 대화 방식으로 언어를 발화(말하기 시도) 하며, 특히 예측되는 대화의 수를 제한하므로 컴퓨터의 제한된 자원을 이용하여 자연스러운 대화 방식의 말하기 평가를 유도하는 음성인식을 활용한 컴퓨터 주도형 말하기 언어학습 능력 평가장치 및 그 평가방법을 제공하는데 있다.

본 발명의 다른 목적은 수험자의 말하기 입력을 데이터부의 데이터베이스에 미리 기록되어 있는 평가기준과 비교하여 수험자의 특정언어의 말하기 능력을 객관적이고 신뢰도가 높게 즉석에서

은 평가결과를 도출할 수 있는 음성인식을 활용한 컴퓨터 주도형 말하기 언어학습 능력 평가장치 및 그 평가방법을 제공하는데 있다.

본 발명의 또 다른 목적은 수험자의 말하기 시도가 데이터베이스에 저장되어있는 총괄적 채점기준으로서 전체적인 수험자의 말하기 시도의 느낌, 자연성, 인상 등을 고려하고 분석적 채점 기준(발음의 정확성 혹은 적절성, 문법적 정확성, 어휘 선택의 적절성, 내용의 관련성, 표현의 명료성, 유창성 등)을 원어민의 말하기 발화 데이터에 근거를 둔 평가준거로 데이터베이스에 입력하여 부분점수를 합산하여 총점으로 수량화할 수 있는 음성인식을 활용한 컴퓨터 주도형 말하기 언어학습 능력 평가장치 및 그 평가방법을 제공하는데 있다.

본 발명은 상기와 같은 목적을 달성하기 위하여 이루어진 것으로서, 본 발명의 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치는 컴퓨터가 주도하여 언어평가를 받고자하는 수험자에게 제공하는 프로그램이 저장된 프로그램 저장부와; 수험자의 답변이 예측되지 않은 답변이면 처리부의 도우미부에 저장된 도우미에 의해 답변을 유도하고, 검색된 답변과 비교하여 답변하도록 제어하는 제어부와; 음성신호를 인식하고 답변 음성신호, 배경 음향신호, 배경영상신호를 해당 데이터로부터 변환하며, 예측가능한 답변인지 여부를 판단하고 지정된 도우미 신호를 출력하는 처리부와; 인식된 음성신호, 출력할 음성신호, 배경 음향신호, 배경 영상신호, 예측되는 답변신호, 도우미 정보를 데이터베이스로 기록하는 데이터부와; 수험자의 음성답변 신호 또는 음성질문 신호를 입력하는 마이크와; 평가를 위한 배경영상ㆍ문자를 컬러로 출력하는 표시부와; 평가 요청을 위한 평가요청명령과 데이터 정보를 입력하는 입력부와; 말하기를 평가하기 위한 음성신호와 배경음향 신호를 출력하는 스피커와; 다른 컴퓨터와 유선 또는 무선으로 통신하는 통신부로 구성되어 있는 것을 특징으로 한다.

또한, 본 발명의 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법은 컴퓨터에 의하여 언어학습용 배경영상ㆍ문자 및 배경음향을 표시부에 출력하는 배경영상ㆍ문자/배경음향 출력과정과; 상기 배경영상ㆍ문자/배경음향 출력과정 후에 말하기 평가를 위한 대화 음성신호를 출력하는 평가용 대화 음성신호 출력과정과; 상기 평가용 대화 음성신호 출력과정에서 음성신호가 인식된 후에 평가용 대화 음 성신호에 대한 답변을 마이크에서 답변하는 답변과정과, 상기 답변과정에서 수험자가 답변한 음성신호를 인식하였는지 여부를 판별하는 음성인식 판별과정과; 상기 음성인식 판별과정에서 수험자가 답변한 음성신호를 인식하였을 경우에 상기 음성인식 판별과정에서 수험자가 답변한 인식된 음성신호가 예측된 답변인지 여부를 판별하는 답변판별과정과; 상기 답변판별과정의 판별결과 예측된 답변일 경우에 수험자의 답변을 제어부의 제어하에 상기 데이터부의 예측답변 데이터베이스에 저장된 답변자료를 검색하는 답변자료 검색과정과; 상기 답변자료 검색과정에서 검색된 답변자료와 수험자의 답변이 유사한지 여부를 판별하는 답변유사여부 판별과정과; 상기 답변유사여부 판별과정에서 수험자의 답변이 상기 데이터부의 예측답변 데이터베이스에서 검색된 답변자료와 유사할 경우에 적절한 답변으로 평가하는 적절 답변 평가과정과; 상기 적절 답변 평가과정에서 평가된 평가 결과를 상기 데이터부의 평가결과 데이터베이스부에 저장하는 평가결과 저장과정과; 상기 답변유사여부 판별과정의 판별결과 상기 답변자료 검색과정에서 검색된 답변자료와 수험자의 답변이 유사하지 않을 경우, 틀린 답변으로 평가하는 틀린 답변 평가과정과; 상기 평가결과 저장과정으로 나아가서 상기 평가결과를 상기 데이터부의 평가결과 데이터베이스에 저장하는 평가결과 저장공정을 포함하는 것을 특징으로 한다.

본 발명에 따른 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치 및 평가방법에 의하면, 첫째 컴퓨터를 이용하여 일반적인 대화 방식으로 언어를 발화(말하기 시도)하며, 특히 예측되는 대화의 수를 제한하므로 컴퓨터의 제한된 자원 을 이용하여 자연스러운 대화 방식의 말하기를 유도하여 말하기 성취도를 평가할 수 있고, 둘째 수험자의 말하기 입력을 데이터부의 데이터베이스에 미리 기록되어 있는 평가기준과 비교하여 수험자의 특정언어의 말하기 능력을 객관적이고 신뢰도가 높게 즉석에서 평가할 수 있을 뿐만 아니라, 셋째 수험자의 말하기 시도(발화)가 데이터부의 데이터베이스에 저장되어 있는 총괄적 채점기준으로서 전체적인 수험자의 말하기 시도의 느낌, 자연성, 인상 등을 고려하고 분석적 채점 기준(발음의 정확성 혹은 적절성, 문법적 정확성, 어휘 선택의 적절성, 내용의 관련성, 표현의 명료성, 유창성, 논리성 등)을 원어민의 말하기 발화 데이터에 근거를 둔 평가준거로 데이터베이스에 입력하여 부분점수를 합산하여 총점으로 즉석에서 수량화할 수 있다는 등의 여러 가지 뛰어난 효과가 있다.

이하, 본 발명의 일실시예에 의한 본 발명의 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치에 관하여 첨부 도면에 의거하여 상세히 설명한다.

본 발명의 일실시예를 설명함에 있어서, 본 발명과 직접적으로 관련 없고, 잘 알려져 있는 기술 내용에 대하여서는 도면 도시 및 설명을 생략하여 본 발명의 요지를 명확하게 설명한다.

도 1은 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치를 개략적으로 도시한 블록도이고, 도 2는 도 1에서 처리부 및 데이터부의 상세 구조를 도시한 블록도이고, 도 3은 본 발명의 일실시예에 의한 음성인 식을 활용한 컴퓨터 주도형 말하기 능력 평가장치에 있어서 대화의 질문과 응답에 의한 트리구조를 개략적으로 도시한 도면이다.

도 1 및 도 2에 도시한 바와 같이 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치는 컴퓨터가 주도하여 대화식 언어평가를 받고자하는 수험 혹은 수험자(이하, 수험자라 한다)에게 제공하는 프로그램이 저장된 프로그램 저장부(10)와; 수험자의 답변이 예측되지 않은 답변이면 처리부(30)의 도우미부(36)에 저장된 도우미에 의해 답변을 유도하고, 검색된 답변과 비교하여 답변하도록 제어하는 제어부(20)와; 음성신호를 인식하고 답변 음성신호, 배경 음향신호, 배경영상신호를 해당 데이터로부터 변환하며, 예측가능한 답변인지 여부를 판단하고 지정된 도우미 신호를 출력하는 처리부(30)와; 인식된 음성신호, 출력할 음성신호, 배경 음향신호, 배경 영상신호, 예측되는 답변신호, 도우미 정보를 데이터베이스로 기록하는 데이터부(40)와; 수험자의 음성답변 신호를 입력하는 마이크(50)와; 평가를 위한 배경영상, 문자를 컬러로 출력하는 표시부(60)와; 평가 요청을 위한 평가요청명령과 데이터 정보를 입력하는 입력부(70)와; 말하기를 평가하기 위한 음성신호와 배경음향 신호를 출력하는 스피커(80)와; 다른 컴퓨터와 유선 또는 무선으로 통신하는 통신부(90)로 구성되어 있다.

또한, 도 2에 도시한 바와 같이 상기 처리부(30)는 음성신호를 인식하고 데이터로 변환하는 음성인식부(31)와; 검색되어 제공되는 음성 데이터를 음성신호로 변환해서 출력하는 음성출력부(32)와; 검색되어 제공되는 배경음향 데이터를 오디오 신호로 변환하는 배경음향부(33와; 검색되어 제공되는 배경영상 데이터또는 문 자데이터를 영상신호로 변환하는 배경영상부(34)와; 제공되는 답변신호가 데이터부(40)로부터 검색된 예측가능한 답변신호인지 여부를 확인하는 예측가능 대화부(35)와; 지정되어 검색된 데이터를 해당 도우미 정보로 변환하는 도우미부(36)로 구성되어 있다.

또한, 상기 데이터부(40)는 음성신호 데이터를 데이터화하여 저장하는 음성인식 데이터베이스(41)와; 음성출력 데이터를 저장하며 말하기의 평가를 위하여 검색된 음성 데이터를 상기 제어부(20)에 출력하는 음성출력 데이터베이스(42)와; 말하기 평가를 위한 배경음향 데이터를 저장하고, 저장된 배경음향 데이터를 검색해서 상기 제어부(20)에 출력하는 배경음향 데이터베이스(43)와; 말하기평가를 위한 배경영상 데이터를 저장하고, 저장된 배경영상 데이터를 검색해서 상기 제어부(20)에 출력하는 배경영상 데이터베이스(44)와; 언어평가를 위한 수험자의 예측되는 답변신호를 저장하고 상기 처리부(30)의 음성인식부(31)에서 인식한 답변신호를 상기 제어부(20)로부터 제공받아 유사한 답변신호가 있는지 여부를 검색하는 예측학습 데이터베이스(45)와; 캐릭터, 문자, 음향, 색상을 도우미 데이터로 저장하고 지정된 도우미 데이터를 검색하여 상기 제어부(20)에 제공하는 도우미 데이터베이스(46)와; 수험자의 말하기 발화 능력을 평가하기 위한 평가준거(평가기준)를 저장함과 동시에, 상기 음성출력 데이터베이스(42)에 저장된 음성출력 데이터를 받아서 답변신호와 비교하여 비결결과를 상기 제어부(20)에 출력하는 평가준거 데이터베이스(47)와; 대화 소재데이터 또는 주제데이터를 저장하는 대화 소재ㆍ주제 데이터베이스(48)와, 수험자의 평가결과 데이터를 저장하는 평가결과 데이터베이스(49)로 구성되어 있다.

다음에, 이와 같이 구성된 본 발명의 일실시예에 따른 본 발명의 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치의 작용 및 효과에 대하여 설명한다.

먼저, 본 발명의 일실시예에 따른 본 발명의 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치는 수험자가 입력부(70)에서 언어평가를 시작하고자 요청하는 평가 요청신호가 제어부(20)에 입력되면, 상기 제어부(20)에서는 프로그램 저장부(10)로부터 언어평가를 위한 해당 응용 프로그램을 로딩하여 수험자에게 언어평가 서비스를 제공하기 위한 대기상태가 된다.

이때 상기 제어부(20)는 통신부(90)를 감시하여 다른 학습용 컴퓨터 또는 관리용 컴퓨터와 상기 통신부(90)에 접속되었는지 여부를 판별하고, 상기 판별결과 다른 평가 및 학습용 컴퓨터 또는 관리용 컴퓨터와 접속되었을 경우에는 현재의 운용상태 정보와 관리용으로 필요한 운용정보를 상호 교환하며, 말하기 평가 진행에 따라 서로 필요한 정보를 교환하도록 주기적으로 제어한다.

상기 제어부(20)는 말하기 평가서비스를 수험자에게 제공하기 위하여, 상기 데이터부(40)의 음성출력 데이터베이스(42), 배경음향 데이터베이스(43), 배경영상 데이터베이스(44)로부터 말하기 평가서비스의 배경영상 신호와 배경음향 신호 및 텍스트(TEXT) 데이터로 이루어진 음성신호를 검색하여 상기 처리부(30)에 제공한다.

상기 처리부(30)는 제어부(20)로부터 제공된 배경영상 신호와 배경음향 신호 및 텍스트 데이터를 처리부(30)의 배경영상부(34), 배경음향부(33), 음성출력 부(32)에 각각 제공하여, 상기 처리부(30)의 배경영상부(34)에서 배경영상 데이터를 배경영상 신호(문자 신호 포함)로 변환하고, 상기 처리부(30)의 배경음향부(33)에서 배경음향 데이터를 배경음향 신호로 변환하며, 상기 처리부(30)의 음성 데이터인 텍스트 데이터를 TTS(TEXT TO SPEECH) 기술에 의하여 음성신호로 변환한다.

그리고, 상기 처리부(30)에 의하여 각각 변환된 영상신호 및 문자신호는 상기 제어부(20)에서 출력하여 표시부(60)에 출력하여 표시부(60)에 영상화면을 표출함과 동시에, 상기 처리부(30)의 배경음향부(33)에서 변환된 배경음향 신호와 상기 처리부(30)의 음성출력부(32)에서 변환된 배경음성 신호는 스피커(80)에 각각 제공하여 음향 및 음성을 출력한다.

상기 제어부(20)는 마이크(50)로부터 수험자의 음성신호가 입력되는지 감시하여 수험자의 음성신호가 입력되었을 경우 상기 처리부(30)의 음성인식부(31)에 제공하여 인식되었는지 여부를 확인한다.

상기 처리부(30)의 음성인식부(31)에서는 인식된 답변 음성신호를 예측학습부(35)에 제공하여 말하기 평가를 위한 예측된 답변에 포함되어 있는지 여부를 확인한다. 상기 처리부(30)의 예측학습부(35)는 데이터부(40)의 예측학습 데이터베이스(45)를 검색하여 인식된 답변과 유사한 답변이 있는지 여부를 분석한다. 즉, 인식된 답변과 설정된 소정 비율 이상 유사한 답변이 예측학습 데이터베이스(45)로부터 검색하여 상기 데이터부(40)의 예측학습 데이터베이스(45)에 예측된 답변과 인식된 답변을 디지털 데이터 처리하여 대비하여 유사도가 상기 데이터부(40)의 예측학습 데이터베이스(45)에 미리 설정된 소정 비율 이상인지 여부를 확인할 수 있다.

상기 설명에 있어서, 유사도 측정을 위하여 설정된 소정 비율은 상기 마이크(50)를 통해 입력되어 인식된 답변 음성신호에 주변환경의 잡음이 포함된 상태, 수험자 억양의 변화, 비슷한 단어 및 어구의 사용, 수험자의 연령 및 성별 등에 의한 음성신호의 차이 등을 감안하여 반복된 실험으로 적정한 값을 선택하여 평가한다.

상기 제어부(20)는 수험자에 의해 입력된 답변이 예측한 답변의 범위에 포함되는 것으로 확인되면, 상기 데이터부(40)의 음성출력 데이터베이스(42)로부터 지정된 답변 자료를 검색하고 데이터 처리하여 유사도를 확인한다.

인식된 답변과 검색된 지정 답변의 설정된 소정 비율 이상 유사한 경우에는 "적절한 답변입니다"와 같은 표현을 수험자에게 제공하고 언어학습 진행을 위하여 다음 단계로 복귀하며, 유사하지 않은 경우는 "틀린 답변입니다"와 같은 표현을 스피커(80)를 통해서 수험자에게 제공하고, 다음 단계로 복귀하며, 이러한 말하기 평가결과는 데이터부(40)의 평가결과 데이터베이스(49)에 저장하여 앞으로의 학습 진도에 활용함과 동시에, 수험자가 요청할 경우에 수험자에게 제공한다.

또한, 상기 제어부(20)는 감시중인 음성인식부(31)에 입력된 수험자의 답변이 예측학습부(35)에 의하여 예측된 답변이 아닐 경우는 도우미부(36)를 제어하여, 지정된 도우미가 출력되도록 하고 수험자로부터 제한된 범위의 답변이 입력 및 인식되도록 유도한다.

지정된 도우미로서는 캐릭터, 그림, 동영상, 문자 메시지, 음성 메시지, 색상 메시지 등이 포함되고, 일예로, "~~이 궁금하지 않니? 한번 물어봐." 또는 " ~~ 하게 물어보는 것은 어떠니?" 등과 같이 말하기 평가를 위한 대화를 컴퓨터가 주도하는 동시에 대화의 범위를 제한한다. 이러한 도우미 정보는 데이터부(40)의 도우미 데이터베이스(46)에 기록 관리되며, 사전에 평가의 단계 별로 도우미를 지정 기록 및 관리한다.

종래에는 단순하게 수험자의 음성신호를 인식하고 지정된 음성신호가 입력되었는지 여부를 비교하여 옳고 그름을 판단하는 방식, 즉 음성인식의 성공여부만을 판단하여 대화를 이끌어 가는 것으로, 수험자는 제시된 문장 또는 단어를 읽거나 외워서 질문 또는 대화에 답변하는 방식이었으나, 본 발명에서는 도우미를 이용하여 대화를 주도하여 일정한 방향의 대화가 이루어지도록 대화의 방향을 유도하거나 제한하므로 컴퓨터의 적은 데이터베이스(DATABASE: DB) 용량으로도 수험자와 자유로운 대화식 또는 상호 작용적 쌍방향의 말하기능력을 평가할 수 있다.

일반적인 대화에서는 수험자와의 대화 및 질문이 어떤 내용을 포함할 것인지, 예를 들면, 긍정, 부정, 의문사를 지닌 의문문, 부가 의문문 등과 같이 매우 복잡한 형태에 의한 무한대의 대화의 수 또는 질문의 수가 발생하므로 수험자에게 답변하기 위한 내용 저장을 위하여 데이터베이스의 용량이 무한대로 필요하다. 또한 그 처리 방법도 매우 복잡함과 동시에 시간이 많이 소요되는 문제가 있었으나, 본 발명에서는 대화를 주도하여 원하는 방향으로 유도 및 제한하므로, 즉, 미리 정해진 제한된 문장, 단어 등에 의한 도우미를 이용하여 언어학습을 위한 대화의 방향을 컴퓨터가 주도하므로 적은 용량의 컴퓨터 데이터베이스로 자연스러운 대화 방식으로 말하기 능력을 평가할 수 있다.

도우미를 이용하여 상호작용적 대화식 전개 방식에는 여러 가지가 있으나, 본 발명에서 일실시예를 들어서 설명하면 다음과 같다.

가. 그림, 동영상 도우미 활용

소정의 그림이나 동영상을 이용하여 질문 또는 답변이 발생하도록 일정한 방향으로 유도하므로, 무한대의 질문 및 답변의 수가 발생할 수 있는 대화를 원하는 방향으로 제한한다.

이러한 대화는 언어학습의 각 단계별 상황에 적합하게 대화의 순서를 구성하고, 수험자는 컴퓨터와 1:1 대화를 위하여 그림이나 동영상으로 주어진 상황의 주인공으로 인식하게 하여 컴퓨터의 유도질문에 답변하도록 하여 말하기 능력을 평가할 수 있다.

나. 예측 가능한 데이터 입력

수험자의 인식도가 떨어지는 답변을 미리 예측하여 데이터로 기록하고, 설정된 전개방향을 확인하도록 데이터로 입력하여 말하기 평가 진행 상태를 제어하고 대화의 수를 제한한다. 또한 문법 구조와 의사소통이 가능한 문장, 오류가 포함된 문장 등을 데이터로 입력하고 수험자 입력으로 인식되는 음성 데이터와 비교하여 오류의 유형을 파악하여 말하기 능력을 평가할 수 있다.

다. 캐릭터와 제3 신호 등에 의한 도우미 활용

그림, 동영상에 의한 제3 캐릭터를 도우미로 활용하여 수험자가 컴퓨터에 질문하는 상황, 일예로, "무엇이 궁금하지 않니? 한번 물어봐(Aren't you curious about something? Ask him, What....)" 등과 같이 유도하고 수험자의 답변을 데이 터로 입력하여 분석한다. 수험자의 답변이 예측된 내용과 유사하지 않으면 컴퓨터는 재차 질문하여 설정된 대화의 방향으로 유도하여 말하기 능력을 평가한다.

이러한 캐릭터를 활용하지 않는 경우는 When, Where, What, Why, Who, How, Yes-No에 의한 의문문 형태를 미리 정하여 약속된 색상, 모양의 그림, 음향, 문자 등과 같은 제3의 신호로 전개한다는 사용법을 수험자에게 소개하고 질문 또는 답변하도록 하거나, 자막으로 유도(예; It's your turn.)하여 질문 또는 답변하게 하므로 자연적인 대화로 의문문을 학습하도록 유도하여 말하기 능력을 평가한다.

언어학습이 원만하게 진행되는 중간 상황에서는 도우미 대신에 설정된 소정의 신호만으로도 수험자가 질문 또는 답변할 순서임을 인지하도록 할 수 있으므로 말하기를 용이하고 신속하게 평가할 수 있다.

라. 대화의 전개를 나무구조(Tree - Structure)로 제한

컴퓨터와의 대화를 나무의 가지 구조처럼 상황 전개하므로 다양한 대화의 수로 말하기의 능력을 평가하고, 또한 일정한 방향으로 대화가 진행되도록 유도하여 상황이 무한대로 전개되지 않도록 제한함으로서 말하기를 평가할 수 있다.

첨부된 도 3에 이러한 나무구조의 대화 상황이 도시되어 있다.

즉, 대화의 질문에 대한 답변을 미리 예측하여 컴퓨터에 입력하고, 대화의 수를 제한하여 무한대로 펼쳐지지 않도록 제한하며, 제한된 대화의 수를 다시 전개하는 과정을 반복하므로 수험자는 제한 유도된 대화의 수에 의하여서도 다양한 상황의 질문을 선택하여 말하기를 평가할 수 있다.

도 4는 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법을 개략적으로 도시한 순서도이다. 도면에 있어서, S는 스텝(Step)을 표시한다.

도 4에 도시한 바와 같이 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법은 스텝S1에서 컴퓨터에 의하여 말하기 평가용 배경영상ㆍ배경문자 및 배경음향을 표시부(60)에 출력하고(배경영상ㆍ배경문자/배경음향 출력과정), 스텝S2로 나아가서 상기 배경영상ㆍ배경문자/배경음향 출력과정 후에 말하기 평가를 위한 대화 음성신호를 출력하고(평가용 대화 음성신호 출력과정), 상기 평가용 대화 음성신호 출력과정에서 음성신호가 인식된 후에 스텝S3으로 나아가서 평가용 대화 음성신호에 대한 답변을 마이크(50)에서 답변한다(답변과정).

다음에 스텝S4로 나아가서 상기 답변과정에서 수험자가 답변한 음성신호를 인식하였는지 여부를 판별하고(음성인식 판별과정), 상기 음성인식 판별과정에서 수험자가 답변한 음성신호를 인식하였을 경우(YES일 경우)에 스텝S5로 나아가서 상기 음성인식 판별과정에서 수험자가 답변한 인식된 음성신호가 예측된 답변인지 여부를 판별하고(답변판별과정), 상기 답변판별과정의 판별결과 예측된 답변일 경우(YES일 경우))에 스텝S6으로 나아가서 수험자의 답변을 제어부(20)의 제어하에 상기 데이터부(40)의 예측답변 데이터베이스(45)에 저장된 답변자료를 검색하고(답변자료 검색과정), 스텝S7로 나아가서 상기 답변자료 검색과정에서 검색된 답변자료와 수험자의 답변이 유사한지 여부를 판별한다(답변유사여부 판별과정).

다음에, 상기 답변유사여부 판별과정에서 수험자의 답변이 상기 데이터 부(40)의 예측답변 데이터베이스(45)에서 검색된 답변자료와 유사할 경우(YES일 경우)에 스텝S8로 나아가서 적절한 답변으로 평가하고(평가과정), 스텝S9로 나아가서 상기 평가과정에서 평가된 평가 결과를 상기 데이터부(40)의 평가결과 데이터베이스부(49)에 저장하고(평가결과 저장과정), 상기 스텝S7의 상기 답변유사여부 판별과정의 판별결과 상기 답변자료 검색과정에서 검색된 답변자료와 수험자의 답변이 유사하지 않을 경우(NO일 경우), 스텝S10으로 나아가서 틀린 답변으로 평가하고(틀린 답변 평가과정), 상기 스텝S9의 평가결과 저장과정으로 나아가서 상기 평가결과를 상기 데이터부(40)의 평가결과 데이터베이스(49)에 저장한다

한편, 상기 스텝S4에서 음성인식 판별과정의 판별결과 수험자가 답변한 음성신호를 인식하지 못하였을 경우(NO일 경우), 스텝S1의 배경영상ㆍ배경문자/배경음향 출력과정으로 복귀하여 상기 배경영상ㆍ배경문자/배경음향 출력과정 이하의 과정을 반복해서 행한다.

그리고, 상기 스텝S5의 답변판별과정 결과 수험자가 답변한 인식된 음성신호가 예측된 답변이 아닐 경우(NO일 경우), 스텝S20으로 나아가서 상기 데이터부(40)의 도우미 데이터베이스(46)에 저장되어 있는 지정된 도우미로 한정된 질문을 유도하고(도우미 도움과정), 상기 도우미 도움과정 후에, 스텝S21로 나아가서 도우미 도움에 따라 수험자가 마이크(50)에 질문을 행하고(질문과정), 스텝S22로 나아가서 상기 질문과정에서 수험자가 질문한 음성신호를 인식하였는지 여부를 판별하고(질문음성인식 판별과정), 상기 질문음성인식 판별과정에서 수험자가 질문한 음성신호를 인식하였을 경우(YES일 경우)에 스텝S23으로 나아가서 상기 질문음성인식 판별 과정에서 수험자가 질문한 인식된 질문음성신호가 예측된 질문인지 여부를 판별하고(질문판별과정), 상기 질문판별과정의 판별결과 예측된 질문일 경우(YES일 경우))에 스텝S24로 나아가서 수험자의 질문을 제어부(20)의 제어하에 상기 데이터부(40)의 도우미 데이터베이스(45)에 저장된 질문자료를 검색하고(질문자료 검색과정), 스텝S25로 나아가서 상기 질문자료 검색과정에서 검색된 질문자료와 수험자의 질문이 유사한지 여부를 판별한다(질문유사여부 판별과정).

다음에, 상기 질문유사여부 판별과정에서 수험자의 질문이 상기 데이터부(40)의 도우미 데이터베이스(46)에서 검색된 질문자료와 유사할 경우(YES일 경우)에 스텝S26으로 나아가서 적절한 질문으로 평가하고(유사 질문평가과정), 상기 유사 평가결과 저장과정으로 나아가서 상기 질문평가과정에서 평가된 평가 결과를 상기 데이터부(40)의 평가결과 데이터베이스부(49)에 저장하고(평가결과 저장과정), 상기 스텝S25의 상기 질문유사여부 판별과정의 판별결과 상기 질문자료 검색과정에서 검색된 질문자료와 수험자의 질문이 유사하지 않을 경우(NO일 경우), 스텝S27로 나아가서 틀린 질문으로 평가하고(틀린 질문 평가과정), 상기 스텝S9의 평가결과 저장과정으로 나아가서 상기 평가결과를 상기 데이터부(40)의 평가결과 데이터베이스(49)에 저장한다

본 발명에 있어서, 수험자의 말하기 발화 능력을 평가하기 위한 평가준거를 평가준거 데이터베이스(47)의 구성은 총괄적 채점과 분석적 채점기준의 통합하여 데이터베이스를 구축한 총괄-분석적 채점 등급으로 구성하고 각 등급 간의 점수는 시험의 목적에 따라 세분화 혹은 단순화 할 수 있다. 각 영역의 평가 세부 평가 기 준은 아래와 같다.

1) 과제실현 능력(task achievement ability): 주어진 대화과제에 응답하고 실현하는 능력을 평가하며 과제를 최종적으로 실현 유무를 판단함.

2) 의사소통능력: 의미를 전달하거나 이해하고 대화를 지속할 수 있는 능력을 판단함.

3) 대화의 논리성: 평가자나 다른 대화자에게 대화의 본질을 벗어나지 않고 논리적으로 적절하게 응답하는 능력을 판단함.

4) 언어자료 활용 능력: 의미를 전달하기 위한 적절한 어휘 및 문법을 사용하고 대화의 상대방이 이해하지 못하는 경우 바꾸어 말하기 전략(paraphrase strategy) 등을 구사하여 대화를 지속할 수 있는 능력을 판단함.

5) 발음: 수험자가 하는 말이 명료하여 대화 상대자에게 의미의 전달이 적절히 이루어질 수 있는 가를 판단함.

6) 유창성: 수험자가 하는 말의 속도, 리듬 및 주저함(hesitation) 등이 자연스러운지를 판단함.

위에 제시된 6개 항목은 아래의 7개 항목으로 다시 세부 평가가 이루어지도록 한다.

① 주어진 과제의 실현 유무: 주어진 과제가 실현되었는지를 판단

② 과제 실현 시간: 원어민 평균 과제 실현 시간과 비교

③ 핵심 어휘 사용: 핵심어휘 사용 혹은 핵심어휘 미사용 후 바꾸어 말하기 등으로 의사표현을 등급으로 조정

④ 문장의 정확성(문법 오류 유무): 문법의 정확성은 문법의 중요성 정도(의사소통에 영향을 미치는 지 여부)에 따라 오류를 등급으로 나누어 점수를 산정

⑤ 발음의 정확성: 원어민의 발음과 비교하여 일반적 원어민 수준의 발음부터 의사소통에 영향을 미치는 지 여부에 따라 차등 등급

⑥ 유창성: 수험자가 하는 말의 속도, 리듬 및 주저함 등을 기준으로 원어민의 데이터와 비교하여 차등 등급 제시

⑦ 논리성: 대화가 일관성 있게 원할히 전개되었는지를 판단하는 기준으로 대화의 일관성을 유지하기 위하여 도우미가 등장해서 수험자가 대화를 지속하였는지 혹은 본인이 스스로 대화를 잘 수행하였는지를 판단한다. 도우미의 등장 횟수에 따라 점수의 감점이 이루어진다.

위에 제시된 세부 평가 항목을 순서에 따라 원어민의 기준으로 점수화하여 평가준거 데이터베이스(47)에 입력한다. 예를 들어서 과제가 실현되지 못한 경우는 점수는 0점으로 산정되고 과제가 실현된 경우 세부 항목으로 다시 ②③④⑤ 항에 따라 점수를 0점에서 특정점수(1~10 혹은 1~ 특정점수) 등의 단계(시험의 성격 및 목적에 따라 단계를 달리 할 수 있음)로 차등화 한다. 이러한 평가 산정기준을 통해 수험자가 입력한 말하기 내용이 평가준거 데이터베이스(47)에서 검증되어 점수로 산출된다.

따라서, 본 발명은 컴퓨터를 이용하여 일반적인 대화 방식으로 언어를 발화(말하기 시도)하며, 특히 예측되는 대화의 수를 제한하므로 컴퓨터의 제한된 자원을 이용하여 자연스러운 대화 방식의 말하기를 유도하여 말하기 능력을 평가할 수 있고, 수험자의 말하기 입력을 데이터부의 데이터베이스에 미리 기록되어 있는 평가기준과 비교하여 수험자의 특정언어의 말하기 능력을 객관적이고 신뢰도가 높게 즉석에서 평가할 수 있을 뿐만 아니라, 수험자의 말하기 시도(발화)가 데이터부의 데이터베이스에 저장되어 있는 총괄적 채점기준으로서 전체적인 수험자의 말하기 시도의 느낌, 자연성, 인상 등을 고려하고 분석적 채점 기준(발음의 정확성 혹은 적절성, 문법적 정확성, 어휘 선택의 적절성, 내용의 관련성, 표현의 명료성, 유창성 등)을 원어민의 말하기 발화 데이터에 근거를 둔 평가준거로 데이터베이스에 입력하여 부분점수를 합산하여 총점으로 수량화할 수 있다.

상기 설명에 있어서, 특정 실시예를 들어서 도시하고 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 예를 들면 본 발명의 개념을 이탈하지 않는 범위내에서 이 기술 분야의 통상의 지식을 가진 자에 의해 여러가지로 설계 변경할 수 있음은 물론이다.

도 1은 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 언어학습 능력 평가장치를 개략적으로 도시한 블록도이다.

도 2는 도 1에서 처리부 및 데이터부의 상세 구조를 도시한 블록도이다.

도 3은 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치에 있어서 학습 대화의 질문과 응답에 의한 트리구조를 개략적으로 도시한 도면이다.

도 4는 본 발명의 일실시예에 의한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법을 개략적으로 도시한 순서도이다.

<도면의 주요 부분에 대한 부호의 설명>

10 : 프로그램부 20 : 제어부

30 : 처리부 31 : 음성인식부

32 : 음성출력부 33 : 배경음향부

34 : 배경영상부 35 : 예측가능한 대화부

36 : 도우미부 40 : 데이터부

41 : 음성인식 데이터베이스 42 : 음성출력 데이터베이스

43 : 배경음향 데이터베이스 44 : 배경영상 데이터베이스

45 : 예측가능 대화 데이터베이스 46 : 도우미 데이터베이스

47:평가준거 데이터베이스(DB) 50 : 마이크

48:대화 소재ㆍ주제 데이터베이스 60 : 표시부

70 : 입력부 80 : 스피커

90 : 통신부

Claims (7)

1. 컴퓨터가 주도하여 대화식 언어평가를 받고자하는 수험자에게 제공하는 프로그램이 저장된 프로그램 저장부(10)와;

   수험자의 답변이 예측되지 않은 답변이면 처리부(30)의 도우미부(36)에 저장된 도우미에 의해 답변을 유도하고, 검색된 답변과 비교하여 답변하도록 제어하는 제어부(20)와;

   음성신호를 인식하고 답변 음성신호, 배경 음향신호, 배경영상신호를 해당 데이터로부터 변환하며, 예측가능한 답변인지 여부를 판단하고 지정된 도우미 신호를 출력하는 처리부(30)와;

   인식된 음성신호, 출력할 음성신호, 배경 음향신호, 배경 영상신호, 예측되는 답변신호, 도우미 정보를 데이터베이스로 기록하는 데이터부(40)와;

   수험자의 음성답변 신호 또는 음서질문 신호를 입력하는 마이크(50)와;

   학습을 위한 배경영상ㆍ문자를 컬러로 출력하는 표시부(60)와;

   말하기에 대한 평가 요청을 위한 평가요청명령과 데이터 정보를 입력하는 입력부(70)와;

   말하기를 평가하기 위한 음성신호와 배경음향 신호를 출력하는 스피커(80)와;

   다른 컴퓨터와 유선 또는 무선으로 통신하는 통신부(90)로 구성되어 있는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 언어학습 능력 평가장 치.
2. 제1항에 있어서, 상기 처리부(30)는

   음성신호를 인식하고 데이터로 변환하는 음성인식부(31)와; 검색되어 제공되는 음성 데이터를 음성신호로 변환해서 출력하는 음성출력부(32)와;

   검색되어 제공되는 배경음향 데이터를 오디오 신호로 변환하는 배경음향부(33)와;

   검색되어 제공되는 배경영상 데이터또는 문자데이터를 영상신호로 변환하는 배경영상부(34)와;

   제공되는 답변신호가 데이터부(40)로부터 검색된 예측가능한 답변신호인지 여부를 확인하는 예측가능 대화부(35)와;

   지정되어 검색된 데이터를 해당 도우미 정보로 변환하는 도우미부(36)로 구성되어 있는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치.
3. 제1항에 있어서, 상기 데이터부(40)는

   음성신호 데이터를 데이터화하여 저장하는 음성인식 데이터베이스(41)와;

   음성출력 데이터를 저장하며 말하기 평가를 위하여 검색된 음성 데이터를 상기 제어부(20)에 출력하는 음성출력 데이터베이스(42)와;

   말하기를 위한 배경음향 데이터를 저장하고, 저장된 배경음향 데이터를 검색 해서 상기 제어부(20)에 출력하는 배경음향 데이터베이스(43)와;

   말하기를 위한 배경영상 데이터를 저장하고, 저장된 배경영상 데이터를 검색해서 상기 제어부(20)에 출력하는 배경영상 데이터베이스(44)와;

   말하기 평가를 위한 수험자의 예측되는 답변신호를 저장하고 상기 처리부(30)의 음성인식부(31)에서 인식한 답변신호를 상기 제어부(20)로부터 제공받아 유사한 답변신호가 있는지 여부를 검색하는 예측답변 데이터베이스(45)와;

   캐릭터, 문자, 음향, 색상을 도우미 데이터로 저장하고 지정된 도우미 데이터를 검색하여 상기 제어부(20)에 제공하는 도우미 데이터베이스(46)와;

   수험자의 말하기 발화 능력을 평가하기 위한 평가준거(평가기준)를 저장함과 동시에, 상기 음성출력 데이터베이스(42)에 저장된 음성출력 데이터를 받아서 답변신호와 비교하여 비교결과를 상기 제어부(20)에 출력하는 평가준거 데이터베이스(47)와;

   대화 소재데이터 또는 주제데이터를 저장하는 대화 소재ㆍ주제 데이터베이스(48)와;

   수험자의 평가결과 데이터를 저장하는 평가결과 데이터베이스(49)로 구성되어 있는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가장치.
4. 컴퓨터에 의하여 언어학습용 배경영상ㆍ문자 및 배경음향을 표시부(60)에 출력하는 배경영상ㆍ문자/배경음향 출력과정과;

   상기 배경영상ㆍ문자/배경음향 출력과정 후에 말하기 평가를 위한 대화 음성신호를 출력하는 평가용 대화 음성신호 출력과정과;

   상기 평가용 대화 음성신호 출력과정에서 음성신호가 인식된 후에 평가용 대화 음성신호에 대한 답변을 마이크(50)에서 답변하는 답변과정과,

   상기 답변과정에서 수험자가 답변한 음성신호를 인식하였는지 여부를 판별하는 음성인식 판별과정과;

   상기 음성인식 판별과정에서 수험자가 답변한 음성신호를 인식하였을 경우에 상기 음성인식 판별과정에서 수험자가 답변한 인식된 음성신호가 예측된 답변인지 여부를 판별하는 답변판별과정과;

   상기 답변판별과정의 판별결과 예측된 답변일 경우에 수험자의 답변을 제어부(20)의 제어하에 상기 데이터부(40)의 예측답변 데이터베이스(45)에 저장된 답변자료를 검색하는 답변자료 검색과정과;

   상기 답변자료 검색과정에서 검색된 답변자료와 수험자의 답변이 유사한지 여부를 판별하는 답변유사여부 판별과정과;

   상기 답변유사여부 판별과정에서 수험자의 답변이 상기 데이터부(40)의 예측답변 데이터베이스(45)에서 검색된 답변자료와 유사할 경우에 적절한 답변으로 평가하는 적절 답변 평가과정과;

   상기 적절 답변 평가과정에서 평가된 평가 결과를 상기 데이터부(40)의 평가결과 데이터베이스부(49)에 저장하는 평가결과 저장과정과;

   상기 답변유사여부 판별과정의 판별결과 상기 답변자료 검색과정에서 검색된 답변자료와 수험자의 답변이 유사하지 않을 경우, 틀린 답변으로 평가하는 틀린 답변 평가과정과;

   상기 평가결과 저장과정으로 나아가서 상기 평가결과를 상기 데이터부(40)의 평가결과 데이터베이스(49)에 저장하는 평가결과 저장공정을 포함하는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법.
5. 제4항에 있어서, 상기 음성인식 판별과정의 판별결과 수험자가 답변한 음성신호를 인식하지 못하였을 경우, 상기 배경영상ㆍ문자/배경음향 출력과정으로 복귀하여 상기 배경영상ㆍ문자/배경음향 출력과정 이하의 과정을 행하는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법.
6. 제4항에 있어서, 상기 답변판별과정 결과 수험자가 답변한 인식된 음성신호가 예측된 답변이 아닐 경우, 상기 데이터부(40)의 도우미 데이터베이스(46)에 저장되어 있는 지정된 도우미로 한정된 질문을 유도하는 도우미 도움과정과;

   상기 도우미 도움과정 후에, 도우미 도움에 따라 수험자가 마이크(50)에 질문을 행하는 질문과정과;

   상기 질문과정에서 수험자가 질문한 음성신호를 인식하였는지 여부를 판별하는 질문음성인식 판별과정과;

   상기 질문음성인식 판별과정에서 수험자가 질문한 음성신호를 인식하였을 경우에 상기 질문음성인식 판별과정에서 수험자가 질문한 인식된 질문음성신호가 예 측된 질문인지 여부를 판별하는 질문판별과정과;

   상기 질문판별과정의 판별결과 예측된 질문일 경우에 수험자의 질문을 제어부(20)의 제어하에 상기 데이터부(40)의 도우미 데이터베이스(46)에 저장된 질문자료를 검색하는 질문자료 검색과정과;

   상기 질문자료 검색과정에서 검색된 질문자료와 수험자의 질문이 유사한지 여부를 판별하는 유사 질문여부 판별과정과;

   상기 질문유사여부 판별과정에서 수험자의 질문이 상기 데이터부(40)의 도우미 데이터베이스(46)에서 검색된 질문자료와 유사할 경우에 적절한 질문으로 평가하는 적절 질문평가과정과;

   상기 질문유사여부 판별과정의 판별결과 상기 질문자료 검색과정에서 검색된 질문자료와 수험자의 질문이 유사하지 않을 경우 틀린 질문으로 평가하는 틀린 질문 평가과정을 추가로 포함하는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법.
7. 제6항에 있어서, 상기 질문음성인식 판별과정에서 수험자가 질문한 음성신호를 인식하지 못하였을 경우 또는 상기 질문판별과정에서 수험자가 질문한 인식된 질문음성신호가 예측된 질문이 아닐 경우에는 상기 도우미 도움과정으로 복귀하여 상기 도우미 도움과정 이하의 동작을 행하는 것을 특징으로 하는 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법.

Images