KR20010095941A - 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한상호 대화 언어 학습 시스템 - Google Patents

Abstract

본 발명은 음성 인식 기능을 구비한 컴퓨터에 유선 또는 무선으로 연결된 인형을 이용하여 사용자의 음성 인식을 수행하므로 인형과 대화를 통하여 언어학습을 실시할 수 있도록 한 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호대화 학습 시스템에 관한 것이다.

본 발명은 특히, 사용자의 음성을 입력받아 전기적인 신호로 바꾸는 입력수단, 상기의 입력 수단의 전기 신호를 변조하여 무선으로 컴퓨터에 송신하는, 또한, 컴퓨터에서 보내온 영상이나 음향 또는 음성 신호를 수신하여 복조하는 무선 송수신 수단, 수신된 자료를 오디오 장치 및/또는 영상 출력 장치에 출력하는 영상 및/또는 음성 출력 수단들을 모두 포함하는 인형과, 인형에서 송신된 무선 신호를 수신하여 전기 신호로 변환하는 무선 수신 수단, 무선 수신 수단의 출력 전기 신호를 음성 단어로 변환시키는 음성 인식수단, 상기 음성 인식 수단에서 출력된 신호를 입력받아 저장된 데이터와 비교하고, 그 비교 결과에 따라 다음 진행 자료의 출력을 제어하는 제어수단, 그리고, 또한 상기 제어수단에서 출력된 영상이나 음향 또는 음성 자료를 변조하여 무선으로 인형에 송신하는 무선 송신수단을 포함하는 컴퓨터로 구성된다.

따라서, 본 발명은 사용자가 대화의 주체가 되어 컴퓨터와 연결 매체가 되는 인형을 통하여 음성 인식을 수행하는 컴퓨터와 상호 대화를 진행하도록 함으로써, 사용자가 선택하는 방향으로 트리 (Tree) 구조의 대화가 진행되게 하여, 인형을 통하여 상호 대화식으로 입체적인 대화를 수행하는 효과를 주어 학습자가 언어를 배울 수 있도록 하여, 사용자의 흥미와 학습 효과를 높일 수 있게 한다.

Description

음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습시스템 { Interactive Language Teaching System consisted of Dolls and Voice Recognizing Computer}

본 발명은 음성 인식 기능을 갖는 컴퓨터를 이용하여 일대일 혹은 일대 다수의 사용자가 컴퓨터에 무선으로 연결된 인형들을 통하여 상호 대화 방식으로 언어학습을 실시할 수 있는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템에 관한 것으로, 특히 사용자의 질문이나 응답 내용을 음성 인식을 통해 컴퓨터가 인식 및 판단할 수 있도록 함으로써 사용자 주도의 상호 양방향 대화가 인형을 통하여 사용자와 컴퓨터 사이에서 전개될 수 있도록 하며, 또한 실생활 대화에서 전개될 수 있는 다양한 상황의 대화 내용 및 그 대화 내용에 알 맞는 배경 영상자료나 음향자료를 데이터 베이스에 미리 저장하여 사용자의 질문이나 응답에 대응하여 다음 대화를 트리 (Tree) 구조에 따라 선택하면서 동시에 그에 따른 배경 화면 및 음향을 무선으로 인형에 송신하여 인형에서 음향과 음성을 출력할 수 있도록 함으로써, 사용자의 의도에 능동적으로 대처할 수 있도록 한 컴퓨터와 상호 대화하는 무선 언어 학습 인형에 관한 것이다.

종래의 인형을 사용한 교육 시스템은 미리 전개될 대화 스토리를 설정하고, 주어진 문장에 맞는 대답을 요구하는 형태의 일방적인 컴퓨터 주도 대화 진행 방식으로 이루어져있다. 그래서, 사용자에게 문장을 암기하고 대답하기를 요구하므로, 학습 대화의 스토리 전개가 단조롭고 대답에 다양한 선택 여지가 없을 뿐만 아니라 융통성이 결여되어 있어서, 사용자는 쉽게 싫증이 나고 학습 효율이 저하되는 등의 문제점이 있었다. 즉, 일상 생활에서의 대화는 질문 내용에 따라 다양한 상황이 전개되며, 다양한 형태의 대답으로 대화가 진행되므로, 특정한 형태로 고정되어진 대화 형태는 비현실적이다. 이러한 것은 사용자의 학습 의욕을 상실하게 하고 싫증나도록 하여 학습 효과를 저조하게 한다.

또한, 음성 인식 기능을 포함하지 않기 때문에 사용자의 대답 내용의 타당성을 판단하는 능력이 없다. 일정시간 동안 사용자가 대답할 시간을 준 후 대답의 내용에 무관하게 다음 문장으로 대화가 진행되거나, 키보드에 의한 수동 문장 입력 또는 버튼으로 제시된 답변 문장의 선택 등의 방법으로만 다음 대화 내용이 진행되게 구성되어 있어, 실제적인 상호 대화가 불가능하였다.

상기와 같이, 종래의 인형을 이용한 언어 학습 시스템들은 멀티미디어를 이용한 상호 협조 체계가 미흡하고 음성 인식 방법이 사용되지 않아서, 사용자와 컴퓨터간의 상호 대화가 불가능하고 언어를 자율적으로 학습하기가 어렵다. 그리고, 실시간 상호 입체 언어 교육용 소프트웨어 개발은 국내 및 해외에서도 전무한 형편이다.

따라서, 대화 질문에 따라 사용자가 상황에 적절하고 다양한 대답을 제시할 수가 있고, 제시한 대답 문장에 따라 새로운 상황으로 대화가 진행되어 실제의 일상 생활 대화 상황과 같은 실생활 언어가 진행되도록 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템의 개발이 요구되고 있다.

이에, 본 발명은 상기와 같은 문제점들을 해결하기 위해 도출된 것으로서, 본 발명은 다수의 사용자의 질문이나 응답 내용을 무선 인형들을 사용하여 음성 인식 기능을 갖는 컴퓨터가 인식 및 판단할 수 있도록 하고, 실생활 대화에서 전개될 수 있는 다양한 상황의 대화내용 및 그 대화내용에 적합한 배경 영상자료나 음향자료를 데이터 베이스에 미리 저장하여 사용자들의 질문이나 응답에 대응하여 트리(Tree) 구조의 다음 대화를 선택하면서 동시에 그에 따른 배경 화면 및 음향을 출력할 수 있도록 함으로써, 사용자의 의도에 능동적으로 대처하여, 사용자 주도의 상호 양방향 대화가 인형을 통하여 다수의 사용자와 컴퓨터 사이에서 전개될 수 있도록 한 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템을 제공함에 목적이 있다.

상기 목적을 달성하기 위하여 본 발명의 일 실시 예에서는 인형에서 송신된음성 입력수단을 통해 들어오는 음성신호를 분석하고, 그 음성신호가 의미하는 내용을 인식하는 음성 인식수단; 영상신호 및 음성신호를 각각 신호 처리하여 모니터화면 및 스피커로 출력하는 영상 및 음성출력수단; 실생활 대화에서 전개될 수 있는 다양한 상황을 바탕으로 한 질문데이터와, 그 질문에 따른 다수의 답변데이터, 및 상기 질문과 다수의 답변 데이터 각각의 내용에 알맞는 영상데이터와 음향데이터를 학습자료로 저장하는 데이터 저장수단; 사용자가 원하는 학습자료를 상기 데이터 저장수단에서 읽어 해당 학습자료의 질문데이터를 상기 영상 및/또는 음성 출력수단으로 내보내고, 상기 음성 인식수단을 통해 사용자의 답변데이터가 들어오면 상기 데이터 저장수단으로부터 읽어낸 답변데이터와 비교하여 정답/오답 여부를 판단하고, 그 판단 결과에 따라 사용자의 답변데이터에 부응하는 다음 질문데이터를 상기 데이터 저장수단의 학습자료를 읽어내 상기 영상 및/또는 음성 출력수단으로 내보내는 제어수단을 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템을 제공한다.

상기 본 발명의 일 실시 예에서, 상기 데이터 저장수단은, 언어 학습을 위한 질문자료와 그 질문자료에 대한 다수의 답변자료, 및 그 대화내용에 따른 배경 영상자료 및 배경 음향자료로 각각 구분된 데이터 베이스를 구성하되, 상기 질문자료와 그 질문자료에 대한 다수의 답변자료, 및 상기 각 답변자료에 대한 새로운 질문자료와 그 새로운 질문자료에 대한 새로운 다수의 답변자료를 나무(tree)구조로 구성하여 학습 데이터를 저장하는 것을 특징으로 한다.

도 1은 본 발명의 일 실시 예에 따른 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템의 블록도,

도 2(a)는 도 1의 주 처리부와 부 처리부를 상세하게 나타낸 블록도,

도 2(b)는 트리 (Tree) 자료 구조를 상세하게 나타낸 블록도,

도 3은 본 발명에 따른 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템의 동작 흐름도,

도 4a는 도 3의 자료 처리 서브루틴에 대한 동작 흐름도,

도 4b는 도 3의 음성인식 서브루틴에 대한 동작 흐름도,

도 4c는 도 3의 배경 영상출력 서브루틴에 대한 동작 흐름도,

도 4d는 도 3의 배경 음향출력 서브루틴에 대한 동작 흐름도,

도 5는 본 발명에 따른 음성 인식 기능을 갖는 컴퓨터와 다수 무선 인형들을 이용한 상호 대화 언어 학습 시스템의 다른 실시 예를 설명하기 위하여 도시한 블록 도이다.

<도면 주요 부분에 대한 부호의 설명>

10 : 키입력부 20 : 음성 인식부

21 : 마이크 30 : 음성 출력부

31 : 스피커 40 : 영상 출력부

41 : 모니터 50 : 주 처리부

60 : 부 처리부 61 : 배경영상 처리부

62 : 배경음향 처리부 63 : 음성출력 처리부

64 : 음성인식 처리부 70 : 데이터 저장부

71 : 배경영상 데이터 베이스 72 : 배경음향 데이터 베이스

73 : 음성출력 데이터 베이스 74 : 음성인식 데이터 베이스

이하, 본 발명의 바람직한 실시예들을 첨부된 도면을 참고로 하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 상호 대화식 언어 학습시스템의 구성을 간략하게 나타내 보인 블록도로서, 외부에서 입력되는 음성신호를 전기적인 신호로 변환하는 음성 입력수단(21) 및 상기 음성 입력수단을 통해 외부에서 들어오는 음성신호를 분석하고, 그 음성신호가 의미하는 내용을 인식하여 문자데이터로 변환하는 음성인식수단(20)과, 영상신호 및 음성신호를 각각 신호 처리하여 모니터 화면 및 스피커로 각각 출력하는 영상 출력수단(40,41) 및 음성 출력수단(30,31)과, 데이터베이스에 저장할 학습 데이터의 입력 및 사용자가 요청하는 학습 종류의 선택을 위한 키입력수단(10)과, 실생활 대화에서 전개될 수 있는 다양한 상황을 바탕으로 구성한 질문자료와 상기 질문에 대한 답변자료 및 상기 대화내용에 따른 배경 영상자료나 음향자료를 학습 데이터로 저장하는 데이터 저장수단(70)과, 상기 데이터 저장수단에 저장된 학습 데이터 중에서 사용자가 원하는 종류의 학습 데이터를 읽어 상기 영상 및 음성출력수단으로 내보내고, 사용자의 음성을 상기 음성 인식수단을 통해 인식하여 상기 데이터 저장수단으로부터 읽어낸 해당 학습 데이터와 비교하고, 그 비교결과에 따라 사용자가 응답한 내용에 부응하는 다음 질문 자료를 데이터 베이스에서 읽어내 출력하는 제어수단(50,60)으로 구성된다.

상기 영상 출력수단(40)은 상기 제어수단에서 출력된 신호를 입력받아 영상시호로 변환 처리하는 영상 출력장치로 구성할 수 있으며, 그 변환된 신호를 외부 영상 화면으로 출력하는 모니터(41)를 더 포함할 수 있다. 그리고 상기 음성 출력수단(30)은 상기 제어수단에서 출력된 신호를 입력받아 구동 신호를 출력하는 오디오 장치로 구성할 수 있으며, 상기 오디오 장치에서 출력된 구동 신호를 입력받아 음향이나 음성을 출력하는 스피커(31)를 더 포함하여 구성할 수 있다.

상기 음성 인식수단(20)은 사람의 음성을 입력받아 전기적인 신호로 변환하는 마이크(21)를 포함할 수도 있으며, 상기 마이크(21)에서 출력된 신호를 입력받아 사용자의 발음과 액센트를 근거로 하여 일치하는 단어로 변환시켜 제어수단으로 출력하는 음성 인식 장치(20)로 구성할 수 있으며, 또한 이것은 상기 제어수단에 의해 호출되고 구동되는 서브 루틴으로도 구성할 수 있다.

상기 제어수단은 각각의 처리루틴을 개별적으로 구비한 부 처리부(60)와, 상기 부 처리부(60)를 제어하는 다수의 프로세스 제어신호를 출력하는 주 처리부(50)를 포함할 수 있으며, 학습 데이터를 저장하는 데이터 저장부(70)를 포함하거나 또는 별도로 구성할 수도 있다. 상기 제어수단에서는 사용자에 의한 학습 요구가 있을 경우에 주 처리부(50)는 다수의 태스크를 이용하여 부 처리부(60)를 제어하여 데이터 저장부(70)의 학습 데이터를 읽어오거나, 읽어낸 데이터를 음성 및 영상 출력으로 내보낼 수 있다. 또한 상기 음성 인식수단(20)을 통해 외부에서 들어온 신호가 상기 데이터 저장부(70)의 답변 데이터와 일치하는지 비교하고, 그 비교결과에 따라 배경 영상 및 배경음향의 출력을 제어하며, 그와 동시에 다음 대화를 위한 학습 자료를 읽어오거나 또는 반복적인 학습을 위해 현재의 학습 데이터를 이전의 동작 흐름을 따라 반복 처리할 수 있다.

도 2a는 도 1의 부 처리부와 데이터 저장부를 상세하게 나타낸 블록도이다.도면에서와 같이, 상기 데이터 저장부(70)는 음성 출력을 위한 언어 학습 질문자료와 그 질문자료에 대한 다수의 답변자료, 및 그 대화내용에 따른 배경 영상자료 및 배경 음향자료로 구분된 각각의 데이터 베이스(71-74)를 구성하되, 상기 질문자료와 그 질문자료에 대한 다수의 답변자료, 및 상기 각 답변자료에 대한 새로운 질문자료와 그 새로운 질문자료에 대한 새로운 다수의 답변자료를 하나의 파일로 형성하여, 그것을 도 2b와 같은 나무(tree)구조의 형태를 갖도록 구성한다.

이때 상기 배경 영상 데이터 베이스(71)는 배경 화면 출력을 위한 영상자료를 저장하고, 배경 음향 데이터 베이스(72)는 배경 음향 출력을 위한 음향 자료를 저장하고, 음성출력 데이터 베이스(73)는 음성출력을 위한 사용자료(질문 자료와 그에 해당하는 다수의 답변자료 및 상기 대화 내용에 따른 분위기를 연출하기 위한 배경 영상자료 및 음향자료가 저장되는 각각의 메모리 번지 등)를 저장하고, 음성인식 데이터 베이스(74)는 인식된 음성에 해당하는 단어자료를 저장할 수 있다.

상기 부 처리부(60)는 상기 주 처리부(50)에서 출력된 프로세스 제어신호에 해당하는 데이터를 상기 배경영상 데이터 베이스(71)에서 로드하여 상기모니터(41)로 출력하고, 현재 상태에 대한 자료를 상기 주 처리부(50)로 되돌려 주는 배경영상 처리부(61)와; 상기 주 처리부(50)에서 출력된 프로세스 제어신호에 해당하는 배경음향 데이터를 상기 배경 음향 데이터 베이스(72)에서 로드하여 상기 스피커(31)로 출력하고, 현재 상태에 대한 자료를 상기 주 처리부(50)로 되돌려 주는 배경음향 처리부(62)와; 상기 주 처리부(50)에서 출력된 프로세스 제어신호에 해당하는 음성 데이터를 상기 음성 출력 데이터 베이스(73)에서 로드하여 상기 스피커(31)로 출력하고, 현재 상태에 대한 자료를 상기 주 처리부로(50)로 되돌려 주는 음성 출력 처리부(63)와; 상기 주 처리부의 프로세스 제어신호에 따라 제어되어 상기 음성 인식부(20)에서 인식된 신호와 상기 음성 인식 데이터 베이스(74)에서 로드한 데이터를 비교하고, 그 비교결과에 대한 자료를 주 처리부(50)로 되돌려 주는 음성 인식 처리부(64)로 구성된다.

도 3은 본 발명에 따른 상호 대화식 언어 학습시스템의 동작 흐름도로서, 제어수단의 주 처리부(50)가 실행하는 신호 처리흐름을 도시하고 있다.

도면에서 본 발명은 프로그램 개시와 동시에 학습 안내를 위한 초기화면을 구성하여 출력하고, 그 초기화면을 통해 학습 요청이 있기를 대기하는 제1단계(S311-S313)와; 사용자에 의한 학습요청이 있게 되면, 음성출력을 위한 서브루틴(도 4a)을 실행하여 데이터 베이스에 저장된 학습 데이터의 질문자료를 읽어 음성으로 출력 처리하면서, 그와 동시에 음성인식을 위한 서브루틴(도 4b)을 실행하여 음성으로 인식된 결과와 데이터 베이스의 저장 답변자료로부터 사용자의 응답 내용이 올바른 것인지를 판단하는 제 2단계(S318, S319-1, S320)와; 상기 판단 결과에 따라, 상기 질문자료와 사용자가 응답한 답변자료를 하나로 묶어 파일을 형성하고, 해당 파일을 데이터 베이스에서 읽어내 다음 질문을 위한 자료를 선택하여 음성으로 출력함으로써, 사용자의 답변내용에 부합되는 내용의 다음 학습을 계속해서 실시하는 제 3단계(S320-1, S321)로 구성할 수 있다.

여기서 상기 제 1단계에서는 예를 들어 "문장 연습" 이나 "문장 따라하기" 또는 "발음연습" 별로 구분할 수 있는 학습 종류(a)와, 각 학습종류에 따라 난이도를 구분할 수 있는 학습 등급(b) 등을 사용자의 의도에 따라 선택할 수 있도록 안내화면을 출력하는 단계(S314)와; 그 안내화면을 통해 학습 종류(a)나 학습등급(b)을 선택하기를 대기하는 단계(S315)와; 상기 대기상태에서 선택이 이루어진 경우 선택된 학습 종류와 등급을 학습 레벨로 설정하는 단계(S316)와; 상기 대기상태에서 선택이 이루어지지 않을 경우 미리 지정된 기본적인 학습 종류와 등급을 학습 레벨로 설정하는 단계(S317)를 더 포함할 수 있다.

그리고, 상기 제 2단계는 학습 데이터의 질문자료 음성출력 처리 서브루틴(도 4a)과 동시에 배경 화면출력을 위한 서브루틴(도 4c)을 실행하여 데이터 베이스에 저장된 학습 데이터의 배경 영상자료를 읽어 모니터 화면으로 출력처리하고, 배경 음향출력을 위한 서브루틴(도 4d)을 실행하여 데이터 베이스에 저장된 학습 데이터의 배경 음향자료를 읽어 스피커로 출력처리하는 단계(S319)를 더 포함하여 구성할 수 있다.

또한 상기 제 3단계는 상기 서브루틴 수행결과로부터 사용자가 답변한 내용과 데이터 베이스에 저장된 답변내용이 불일치하는 것이 판단되면, 올바른 답변이 아님을 알리기 위한 경고 메시지를 출력 처리하는 단계(S322)를 더 포함할 수 있으며, 또한 음성 출력 서브루틴을 실행하여 데이터 베이스의 저장 답변내용 및 새로운 질문자료를 읽어내 음성으로 출력 처리하는 단계(S323)를 더 포함할 수 있다. 이때 경고 메시지나 저장 답변내용 및 새로운 질문자료는 문자로도 출력할 수 있으며, 음성이나 문자를 동시에 사용할 수도 있다.

또한 상기 제 3단계는 정답이 틀린 학습 데이터에 대해서는 반복학습할 것인지를 체크하는 단계(S324)를 더 구비하여, 사용자의 의도에 따라 반복학습을 실시하도록 구성할 수 있다.

도 4a 내지 도 4d는 각각 상기 도 3의 음성출력 서브루틴과, 음성인식 서브루틴과, 배경 영상출력 서브루틴과, 배경 음향출력 서브루틴에 대한 동작 흐름도이다. 상기 도면에서 각각의 서브루틴은 메인 루틴(도 3)에 의해 각각 호출되어 구동되며, 데이터 베이스를 탐색하기 위한 자료는 상기 메인 루틴으로부터 제공받고, 데이터 베이스를 탐색한 결과 및 음성인식한 결과는 다시 메인루틴으로 되돌려 주도록 구성되어 있다.

도 5는 본 발명에 따른 상호 대화식 언어학습 시스템의 다른 실시예를 설명하기 위하여 도시한 블록도로서, 상기 도 1에 도시된 구성요소를 갖는 하나의 관리용 피시(100)와, 버스를 통해 데이터 및 어드레스를 주고 받으며 제어신호를 공급받아 상기 관리용 피시에 의해 피동적으로 동작하는 다수개의 학습용 피시(110-130)가 상기 관리용 피시에 병렬로 연결되어 일대 다수인(교수 일인과 학생 여러명) 사이의 언어학습이 이루어질 수 있도록 구성한 형태를 보이고 있다.

이와 같이 구성되는 본 발명의 동작 및 그 작용 효과를 설명하면 아래와 같다.

상기 각 도면을 참조하면, 프로그램 작동 개시(S311)와 동시에 초기 화면을 출력(S312)하고, 학습요청이 있는지를 판단(S313)한다. 상기 판단 결과 학습 요청이 있게 되면, 다시 학습 종류나 학습 등급(난이도)를 선택할 수 있는 선택화면을 출력(S314)한다. 이때 선택화면에서는 원하는 학습 종류를 선택할 수 있도록 하며,사용자가 교육 수준을 선택할 수가 있도록 여러 단계 수준의 메뉴를 제시하고 선택할 수 있도록 한다. 그 상태에서 선택되는 학습 종류와 난이도를 이후 학습할 레벨로 설정(S316)한다. 만약 선택이 없으면, 미리 지정된 값을 이용하여 학습 레벨을 설정(S317)한다.

그리고 나서, 음성출력 서브루틴을 호출(S318)하여 실행한다. 이때 음성출력서브루틴에서는 도 4a에서 도시된 바와 같이 메인 루틴에서 제공되는 자료를 이용하여 데이터 베이스 초기값을 체크하여, 설정된 레벨에 해당하는 학습 데이터를 데이터 베이스에서 로드(S402), 상기 로드된 학습 데이터의 질문 자료를 음성(또는 문자)으로 출력(S403)하고, 그 값을 다시 메인 루틴으로 되돌려 준다(S404).

다음으로 상기 음성 출력 서브루틴에서 되돌려 받은 자료를 이용하여 배경 영상출력 서브루틴과 배경 음향출력 서브루틴을 동시에 호출(S319)하여 실행시키고, 또한 음성 인식 서브루틴을 호출하여 실행(S319-1)시킨다. 따라서 상기 음성인식 서브루틴에서는 도 4b 에서와 같이, 메인 루틴에서 제공되는 자료를 이용하여 데이터 베이스 초기값을 체크한 후, 음성인식결과가 있기를 기다리며(S412), 음성인식결과가 나타나면, 데이터 베이스에서 답변자료를 조사(S413)하여, 상기 음성 인식된 결과와 데이터 베이스의 답변 자료를 비교(S414)하여, 그 비교결과를 각각 다시 메인 루틴으로 되돌려 준다(S415, S416). 배경 영상출력 서브루틴과 배경 음향 서브루틴에서는 도 4c 및 도 4d에 도시된 바와 같이, 메인 루틴에서 제공되는 자료를 이용하여 데이터 베이스 초기값을 체크하여, 설정된 레벨에 해당하는 학습 데이터의 배경 영상자료 및 배경 음향자료를 각각의 데이터 베이스에서 로드(S422,S432), 상기 로드된 학습 데이터의 배경 영상자료 및 배경 음향자료를 출력(S423, S433)한다.

그 다음, 상기 음성 인식 서브루틴에서 되돌려준 결과를 체크(S320)하여, 올바른 응답인 경우는 다음 사용자료를 데이터 베이스에서 읽어오기 위해 질문 자료와 그 응답자료를 하나로 묶어 파일로 형성(S320-1)하고, 해당 파일을 데이터 베이스에서 찾아 음성 출력 서브루틴을 실행(S321)시킴으로써, 상기 사용자의 응답에 부응하는 새로운 질문자료를 음성으로 출력하여, 새로운 학습을 계속할 수 있도록 한다.

상기 음성 인식 서브루틴에서 되돌려준 결과를 체크(S320)하여, 올바른 응답이 아닌 경우는, 올바른 응답이 아님을 알리기 위한 메시지를 음성이나 문자로 출력(S322)하며, 바로 다음에 데이터 베이스에 저장된 정답자료를 읽어 음성이나 문자로 출력(S323)함으로써, 사용자가 정답을 확인할 수 있도록 한다. 그리고 틀린 문제를 다시 복습할 것인지를 묻고(S324), 그 물음에 긍정적으로 응답하면 상기 틀린 문제를 다시 학습할 수 있도록 배경 화면 및 음향 출력과 음성 인식을 차례로 실시하는 단계(S319)로 복귀시킨다. 상기 틀린 문제를 복습하기를 원하지 않는 경우, 다음 사용자료를 데이터 베이스에서 읽어오기 위해 질문 자료와 그 응답자료를 하나로 묶어 파일로 형성(S320-1)하고, 해당 파일을 데이터 베이스에서 찾아 음성출력 서브루틴을 실행(S321)시킴으로써, 상기 사용자의 응답에 부응하는 새로운 질문자료를 음성으로 출력하여, 새로운 학습을 계속할 수 있도록 한다.

상기 과정들을 구체적인 예로서 설명하면 다음과 같다.

먼저 김포공항에서 한 외국 방문자를 맞이하는 한국인이 방문자의 한국 방문경험에 대하여 질문하는 대화 상황을 가정하면, 상호 입체식 대화 영어 학습 방법은 다음과 같이 진행된다.

Welcome to Korea! Have you been in Korea before?

위의 질문에 대답 가능한 모든 답변 문장들은 데이터 저장부(70)에 저장되어있다. 그리고, 이 때 배경 화면은 김포공항이 되며, 비행기가 이착륙하는 동적 배경과 음향 효과가 동시에 전개된다. 데이터 저장부(70)에 저장된 답변은 다음 중하나와 같다고 가정한다.

가) Yes, I have.

나) Yes, I have been there many times.

다) No, I have not.

사용자가 위의 3가지 답변들 중 일치하는 대답을 하는 경우, 선택된 대답에 따른 다음 대화 진행 내용은 데이터 저장부(70)에 저장되어 있다. 예로서, 상기 가) 문장에 대한 데이터 저장부(70)에 저장된 새 질문은 다음과 같다고 가정한다.

How long have you stayed?

여기에 가능한 답변으로 데이터 저장부(70)에 다음과 같이 저장되어 있다고 가정한다.

가) a week

나) two weeks

다) a month

라) More than two months

사용자가 상기 가)의 대답을 한 경우 데이터 저장부(70)에 저장되어 있는 다음 진행 문답의 질문은 다음과 같다고 가정한다.

What was your impression of Korea?

이러한 질문에 대한 배경 화면은 질문의 내용을 적절히 표시하는 내용으로서, 데이터 저장부(70)에 저장되어 있다. 상기 질문의 경우에는 인상을 강조하는 내용의 배경 화면으로 좋은 느낌을 의미하는 하트 심벌, 아름다움을 의미하는 가을설악산 풍경, 싫은 느낌의 출퇴근 시간의 복잡한 지하철 내부 등의 다양한 3차원 배경 영상이 데이터 저장부(70)에 저장되어 있다.

상기와 같이 영상 출력부(40)는 상기 영상 자료를 화면에 출력하면서 사용자의 이해를 시각적으로 자극하여 학습 효율을 높인다.

따라서, 본 발명의 학습 시스템에 의하면, 무선으로 컴퓨터에 연결되어 있는 인형을 통하여 사용자와 상호 대화가 가능하도록 함으로서 학습 내용에 따라 다양한 내용의 언어 전개가 가능하도록 함으로써, 사용자가 주체가 되어 언어를 진행할 수 있는 이점이 있으며, 대화 진행 내용에 따른 영상과 배경 음향이 모니터 화면과 스피커로 출력되도록 함으로써, 실제 생활 언어와 같이 인형과 입체적인 대화 방식의 교육을 할 수 있어 사용자의 집중력과 학습 효과를 높일 수 있는 이점이 있다.

Claims (13)

1. 사용자의 음성을 입력받아 전기적인 신호로 바꾸는 음성입력수단;

   상기의 음성입력 수단의 출력 전기 신호를 변조하여 무선으로 컴퓨터에 송신하고, 또 한, 컴퓨터에서 보내온 영상이나 음향 또는 음성 신호를 수신하여 복조하는 무선 송수신 수단;

   영상신호 및/또는 음성신호를 각각 신호 처리하여 모니터 화면 및/또는 오디오 시스템으로 출력하는 영상 및/또는 음성 출력수단을 포함하는 인형과,

   상기의 인형에서 송신된 무선 신호를 컴퓨터에서 수신하고 신호를 복조하고, 또 한, 컴퓨터의 출력 영상이나 음향 또는 음성 신호를 변조하여 무선으로 인형에 송신하는 무선 송수신 수단;

   수신된 신호에서 추출한 음성신호를 분석하고, 그 음성신호가 의미하는 내용을 인식하는 음성 인식수단;

   실생활 대화에서 전개될 수 있는 다양한 상황의 질문데이터와, 그 질문에 따른 다수의 답변데이터, 및 상기 질문과 다수의 답변 데이터 각각의 내용에 적합한 영상데이터 및/또는 음향 데이터를 저장하는 데이터 저장수단;

   상기의 데이터 저장 수단에 저장된 자료들을 사용자들의 질문이나 응답에 대응하여 선택하고, 선택된 영상 및 음성 자료들을 출력 수단으로 출력하는 것을 제어하는 제어 수단을 포함하는 컴퓨터로 구성되는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
2. 제 1항에 있어서, 사용자가 질문에 대한 응답으로 음성 입력대신 수동 조작에 의한 입력을 가능하게 하는 버튼 키 입력 수단을 더 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
3. 제 1항에 있어서, 사용자가 선택한 학습자료의 질문데이터를 상기 데이터 저장수단에서 읽어 상기 영상 및/또는 음성 출력수단으로 내보내고, 인형에 장착된 상기 음성 인식수단을 통해 사용자의 응답이나 답변 데이터가 들어오면 상기 데이터 저장수단에 미리 저장된 답변데이터와 비교하여 정답/오답 여부를 판단하고, 그 판단 결과에 따라 사용자의 답변 데이터에 부응하는 다음 질문데이터와 이에 해당하는 영상 및/또는 음성 데이터를 상기 데이터 저장수단의 학습자료에서 읽어내 상기 영상 및/또는 음성 출력수단으로 내보내는 제어수단을 더 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
4. 제 3항에 있어서, 입력 음성 신호를 분석하여, 그 입력 음성 신호가 의미하는 내용을 문자 데이터로 변환하여 출력하는 음성인식수단을 더 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
5. 제 3항에 있어서, 상기 데이터 저장수단은,

   질문데이터와 그 질문에 대한 다수의 답변 데이터를 저장할 때, 각 답변 데이터에 해당하는 다음 질문데이터의 해당 소재를 추출할 수 있는 정보와 각 답변데이터에 해당하는 출력 영상 데이터 및 음향 데이터를 추출할 수 있는 정보들을 함께 포함하여, 질문과 답변을 하나로 묶어 파일 형태로 저장하는 학습자료구조를 형성한 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
6. 제 3항에 있어서, 상기 데이터 저장수단은,

   언어 학습을 위한 질문데이터와 그 질문에 대한 다수의 답변데이터, 및 상기다수의 각 답변데이터에 부응하는 새로운 질문데이터와 그 새로운 질문에 대한 새로운 다수의 답변데이터를 나무(tree)구조로 하여 사용자의 질문이나 응답에 대응하여 트리(Tree) 구조로 대화가 진행되는 학습자료구조를 형성한 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
7. 제 3항에 있어서, 상기 인형은,

   영상 자료를 출력하는 모니터 화면 및 영상 출력 장치를 더 포함하는 인형으로 구성되는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을이용한 상호 대화 언어 학습 시스템.
8. 제 3항에 있어서, 다수의 인형들과 무선 송수신 가능한 무선 송수신 수단을 더 포함하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
9. 제 3항에 있어서, 상기 제어수단은

   다수의 태스크(task)를 한꺼번에 지원하기 위하여 다수의 프로세스 제어신호를 동시에 처리하는 주 처리수단;

   상기 주 처리수단의 프로세서 제어신호에 의해 작동하여 상기 데이터 저장수단의 학습자료를 탐색하고, 탐색된 학습자료데이터의 다음 질문 내용과 해당 배경영상자료 및/또는 배경 음향 자료의 위치 정보를 주 처리 수단으로 제공하는 자료처리수단을 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
10. 제 9항에 있어서, 상기 제어수단은

    상기 주 처리수단의 프로세스 제어신호에 의해 작동하여 상기 음성 인식수단을 구동시키고, 상기 음성 인식수단을 통해 들어오는 사용자의 답변 데이터와 상기데이터 저장수단으로부터 읽어낸 답변 데이터를 비교하여, 그 비교결과를 상기 주처리수단으로 제공하는 음성인식 처리수단을 더 포함하는 것을 특징으로 하는 음성인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
11. 제 9항에 있어서, 상기 제어수단은

    상기 주 처리수단의 프로세스 제어신호에 의해 작동하여 상기 데이터 저장수단으로부터 학습자료구조의 영상데이터를 읽어내, 영상 출력수단을 통해 출력 처리하는 배경영상 처리수단을 더 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
12. 제 9항에 있어서, 상기 제어수단은

    상기 주 처리수단의 프로세스 제어신호에 의해 작동하여 상기 데이터 저장수단으로부터 학습자료구조의 음향자료를 읽어내, 상기 음성 출력수단을 통해 출력처리하는 배경음향 처리수단을 더 포함하는 것을 특징으로 하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.
13. 제 9항에 있어서, 다수 인형들과 대화하는 다수의 태스크를 한꺼번에 지원하기 위해 다수의 인형 프로세서 제어 신호를 동시에 처리하는 주 처리 수단을 더 포함하는 음성 인식 기능을 갖는 컴퓨터와 무선 인형들을 이용한 상호 대화 언어 학습 시스템.