KR100877343B1 - Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby - Google Patents

Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby Download PDF

Info

Publication number
KR100877343B1
KR100877343B1 KR1020070083162A KR20070083162A KR100877343B1 KR 100877343 B1 KR100877343 B1 KR 100877343B1 KR 1020070083162 A KR1020070083162 A KR 1020070083162A KR 20070083162 A KR20070083162 A KR 20070083162A KR 100877343 B1 KR100877343 B1 KR 100877343B1
Authority
KR
South Korea
Prior art keywords
sentence
hmm
dictation
user
content
Prior art date
Application number
KR1020070083162A
Other languages
Korean (ko)
Inventor
임영남
신광섭
Original Assignee
임영남
신광섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임영남, 신광섭 filed Critical 임영남
Priority to KR1020070083162A priority Critical patent/KR100877343B1/en
Application granted granted Critical
Publication of KR100877343B1 publication Critical patent/KR100877343B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Abstract

An interactive robot for learning foreign language and a learning method using the same are provided to improve foreign language hearing capability of user by using human voice of native speaker as response voice of a robot. An interactive robot for learning foreign language comprises a housing(1) and a LED board(3). The housing includes a memory and a controller. The LED board is positioned in a front of the housing. The memory stores contents HMM database and guide sentence database. The controller generates HMM data by extracting voice waveform from user oral sentence inputted through a microphone(7), compares the HMM data of the user oral sentence with HMM data of the contents HMM database, and reruns a sentence through a speaker. The LED board has a plurality of LEDs(5a, 5b) which is arranged into eye and mouse shape of human. If the HMM data of the user oral sentence is in the contents HMM database, the LED displays a smile image.

Description

외국어 학습용 대화형 로봇 및 로봇을 이용한 외국어 학습 방법{ INTERACTIVE ROBOT FOR EXERCISING FOREIGN LANGUAGE AND MEHTOD OF EXERCISING FOREIGN LANGUAGE THEREBY}INTERACTIVE ROBOT FOR EXERCISING FOREIGN LANGUAGE AND MEHTOD OF EXERCISING FOREIGN LANGUAGE THEREBY}

본 발명은 외국어 학습용 대화형 로봇에 관한 것으로, 더 상세하게는 사용자 응답 정오 표시 기능을 갖는 외국어 학습용 대화형 로봇에 관한 것이다.The present invention relates to an interactive robot for learning a foreign language, and more particularly, to an interactive robot for learning a foreign language having a user response noon display function.

본원의 출원인은 한국공개특허공보 특2001-67934호 발명에서 완구를 이용한 언어 학습 시스템을 개시하였고 현재 양산하여 시판하고 있다. 특2001-67934호 발명에 따른 언어 학습 시스템은 인터페이스를 통하여 다른 장치에 탈착될 수 있는 메모리카드, 음성입출력장치, 음성 인식/합성 프로그램을 실행하고 음성입출력장치를 제어하기 위한 마이콤, 연산 및 프로그램 저장을 위한 메모리를 구비한 음성 인식/합성 장치 본체와, 상기 음성 인식/합성 장치 본체를 내부에 수용할 수 있는 완구와, 상기 메모리카드에 저장된 것과 동일한 대화(dialogue) 내용이 인쇄되어, 상기 메모리카드와 함께 사용자에게 주기적으로 제공되는 언어학습지를 포함하여 구성되 고, 상기 메모리카드에는 사용자와 완구의 대화(dialogue) 내용을 텍스트파일로 포맷(format)하여 저장한 텍스트 파일 데이터베이스(text file 데이터base), 완구의 응답을 음성 합성하기 위한 완구 응답용 음성파일 데이터베이스(speech file 데이터base), 음성인식 프로그램 등이 저장 된다. 특2001-67934호 발명에 의하면 사용자는 대화 내용이 미리 인쇄된 언어학습지를 보고 완구와 대화하면서 말하기와 듣기를 연습할 수 있다. Applicant of the present application discloses a language learning system using toys in the present invention, Korean Patent Laid-Open No. 2001-67934 and is currently mass-produced and marketed. The language learning system according to the present invention includes a memory card, a voice input / output device, a voice recognition / synthesis program that can be attached to and detached from another device through an interface, and a microcomputer, operation, and program storage for controlling the voice input / output device. A voice recognition / synthesizing device body having a memory for printing, a toy capable of accommodating the voice recognition / synthesizing device body therein, and a dialogue content identical to that stored in the memory card is printed; And a language learning paper that is periodically provided to the user, and the memory card includes a text file database in which a dialogue content between the user and the toy is formatted into a text file and stored therein. A speech file database for toy responses for speech synthesis of the toys' responses, Include ceremony program is stored. According to the present invention, a user can practice speaking and listening while talking with a toy while looking at a language learning paper preprinted with conversation contents.

그러나, 음성 인식 솔루션 및 음성 합성 솔루션을 이용하는 특2001-67934호 발명은 다음과 같은 문제점이 들어나 그 개선이 요구되고 있다.However, Korean Patent Application No. 2001-67934, which uses a speech recognition solution and a speech synthesis solution, has the following problems, but improvement thereof is required.

우선, 특2001-67934호 발명에 따른 언어학습 시스템은 주로 유치원생이나 초등학생의 외국어 학습용으로 주로 사용되고 있는데, 유치원생이나 초등학생이 언어학습 시스템을 사용하면서 순서에 맞는 문장을 정확하게 발음하지 않으면, 언어학습 시스템에서 제대로 인식하지 못하여, 이어지는 다음 대화로 진행하지 못하고 대화가 중단되게 되는 경우가 빈발하고 있다. 이 것은 음성인식 솔루션이 갖는 음성인식률의 한계(통상 80% 내외)에 기인하는 점도 있고, 아동들의 발음의 부정확성에 기인하는 점도 있다. 이러한 상태에 놓이게 되면 어린 아동들은 대부분은 언어학습 시스템이 고장인 것으로 판단하여 더 이상 언어학습 시스템을 사용하지 않으려고 한다. 따라서, 언어학습 시스템의 사용 도중 아동들에게 자신이 표현한 문장이 문장순서에 맞는지와 발음이 정확한 것인지를 시각적으로나 청각적으로 즉시 그리고 정 확히 알려 주어 언어학습 시스템에 문제가 없음을 인식시키고 사용자의 응답을 다시 하도록 안내할 필요가 있다. First, the language learning system according to the invention No. 2001-67934 is mainly used for foreign language learning of kindergarten or elementary school students. If a kindergarten or elementary school student does not correctly pronounce sentences in order while using the language learning system, Frequently, it is not recognized properly and the conversation is interrupted without going to the next conversation. This is attributable to the limitation of speech recognition (typically around 80%) of speech recognition solutions, and to the inaccuracy of children's pronunciation. Once in this state, most young children assume that the language learning system is broken and are no longer willing to use it. Therefore, during the use of the language learning system, children are immediately and accurately informed whether the sentences they express are correct in the order of the sentences and the pronunciation is correct. You need to be guided to try again.

다음, 특2001-67934호 발명에 따른 언어학습 시스템은 완구의 대화(dialogue) 내용을 텍스트파일로 포맷(format)하여 저장한 텍스트 파일 데이터베이스(text file 데이터base) 및 완구의 응답을 음성 합성하기 위한 완구 응답용 음성파일 데이터베이스(speech file 데이터base)을 구비하여 사용자와 대화할 때 언어학습 시스템이 합성된 음성을 이용하여 응답하도록 구성되어 있으나, 합성음은 아동들에게 자연스럽지 못하고 정확한 네이티브 스피커의 발음을 익히고자 하는 언어학습 시스템의 취지에도 맞지 않는 단점이 있다. 뿐만 아니라, 통상 임베디드 시스템을 이용하는 완구나 아동용 로봇에 있어서 음성합성 솔루션을 탑재하는 것은 가격 뿐만 아니라, 메모리 용량이나 프로세서 처리에 있어서 한계를 드러내는 실정이다. Next, the language learning system according to the present invention No. 2001-67934 is used for speech synthesis of a text file database and a response of a toy, which are stored by formatting the dialogue contents of the toy into a text file. The speech learning database has a speech file database for toy responses, but the language learning system is configured to respond using synthesized voices. There are disadvantages that do not fit the purpose of the language learning system. In addition, in the case of a toy or a children's robot using an embedded system, the speech synthesis solution is not only expensive but also reveals limitations in memory capacity and processor processing.

본 발명은 상술한 종래 언어학습 시스템의 단점을 해결하고자 안출된 것으로, 외국어 학습용 대화형 로봇의 사용 도중 아동들에게 자신이 표현한 문장이 문장순서에 맞는지와 발음이 정확한 것인지를 시각적으로 즉시 그리고 정확히 알려 주어 사용자의 구술 문장을 정확히 발음할 수 있도록 유도할 수 있는 외국어 학습용 대화형 로봇 및 외국어 학습용 대화형 로봇의 사용자 구술 정오 표시 방법을 제공하는 데 그 목적이 있다. The present invention has been made to solve the above-mentioned disadvantages of the conventional language learning system, and visually and accurately informs the children whether the sentences they express are correct in sentence order and pronunciation during use of the interactive robot for foreign language learning. It is an object of the present invention to provide a method for displaying a user dictation noon of an interactive robot for foreign language learning and an interactive robot for foreign language learning that can induce a user to accurately pronounce an oral sentence.

본 발명의 다른 목적은 로봇의 응답 음성으로 네이티브 스피커의 사람 음성이 그대로 표현되는 외국어 학습용 대화형 로봇 및 외국어 학습용 대화형 로봇의 사용자 구술 정오 표시 방법을 제공하는 데 있다. Another object of the present invention is to provide a method for displaying a verbal noon of an interactive robot for foreign language learning and an interactive robot for foreign language learning, in which a human voice of a native speaker is expressed as a response voice of a robot.

상술한 목적을 달성하고자 하는 본 발명에 따른 외국어 학습용 대화형 로봇은Interactive robot for foreign language learning according to the present invention to achieve the above object is

하우징 내부에, 학습하고자 하는 교재의 내용에 따라 의미 있는 순서로 진행되는 복수의 문장을 사람이 읽고 녹음한 후 이를 히든마코프모델(HMM)로 모델링하여 문장 배치 순서에 따라 데이터베이스화한 콘텐츠 HMM 디비(Contents HMM Database)와 사용자가 상기 콘텐츠 HMM 디비 가운데서 학습하고자 하는 교재와 단원을 선택할 수 있도록 안내를 하는 안내문장 디비(Database)를 저장한 메모리와, 마이크를 통하여 입력된 사용자 구술 문장으로 부터 음성 파형을 추출하여 HMM 데이터를 만들고, 사용자 구술 문장의 HMM 데이터와 상기 콘텐츠 HMM 디비의 HMM 데이터를 비교하여 확률적으로 같은 문장을 찾아 사용자 구술 문장의 직후에 배치된 문장을 스피커를 통해 재생하는 컨트롤러를 구비하고, 하우징 전면에, 다수의 엘이디를 사람의 눈과 입의 형상으로 배열한 엘이디 보드를 구비하여, 상기 컨트롤러가 사용자 구술 문장의 다음 문장을 콘텐츠 HMM 디비로 부터 찾아 스피커를 통해 재생하기 이전에, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 있는지 여부와 문장 구술 순서가 맞는지 여부를 판단하여, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 있고 그 문장 구술 순서가 맞으면 상기 엘이디를 점등하여 웃는 이미지(smile image)를 표시하고, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 없거나 그 문장 구술 순서가 틀리면 상기 엘이디를 점등하여 화난 이미지(angry image)를 표시하는 것을 특징으로 한다.Inside the housing, a human body reads and records a plurality of sentences proceeding in a meaningful order according to the contents of the textbook to be studied, and then models them as Hidden Markov Models (HMMs) to database the contents according to the order of sentence placement. Contents HMM Database) and a memory that stores the instructional database to guide the user to select the textbooks and lessons to be studied among the contents HMM DB, and the audio waveform from the user oral sentence input through the microphone. Extracts the HMM data, compares the HMM data of the user dictation sentence with the HMM data of the content HMM DB, and finds the same sentence probably, and includes a controller for reproducing the sentence placed immediately after the user dictation sentence through a speaker. In front of the housing, a large number of LEDs arranged in the shape of human eyes and mouth And a board, wherein the HMM data of the user dictation sentence is in the content HMM DB and whether the sentence dictation order is correct before the controller finds the next sentence of the user dictation sentence from the content HMM DB and plays it through the speaker. If the HMM data of the user dictation sentence is in the content HMM DB and the sentence dictation order is correct, the LED is turned on to display a smile image, and the HMM data of the user dictation sentence is not in the content HMM DB, or If the sentence dictation order is wrong, the LED is turned on to display an angry image.

상술한 목적을 달성하고자 하는 본 발명에 따른 외국어 학습용 대화형 로봇의 사용자 구술 정오 표시 방법은 학습하고자 하는 교재의 내용에 따라 의미 있는 순서로 진행되는 복수의 문장을 사람이 읽고 녹음하여 콘텐츠 HMM 데이터를 만드는 단계; 콘텐츠 HMM 데이터로부터 유효한 대화가 되게 하기 위한 문장 배치 순서에 따라 콘텐츠 HMM 디비를 만드는 단계; 사용자가 교재 중에서 학습하고자 하는 교재와 단원을 선택할 수 있도록 안내를 하는 단계; 마이크를 통하여 입력된 사용자 구술 문장으로 부터 음성 파형을 추출하여 HMM 데이터를 만드는 단계; 사용자 구술 문장의 HMM 데이터와 콘텐츠 HMM 디비의 HMM 데이터를 비교하여 확률적으로 같은 문장을 찾는 단계; 사용자 구술 문장의 직후에 배치된 문장을 콘텐츠 HMM 디비로 부터 찾아 스피커를 통해 재생하는 단계를 수행하면서 외국어를 학습을 보조하는 로봇에 있어서, 다수의 엘이디를 사람의 눈과 입의 형상으로 배열한 엘이디 보드를 로봇의 전면에 구비하여, 사용자 구술 문장의 직후에 배치된 문장을 콘텐츠 HMM 디비로 부터 찾아 스피커를 통해 재생하기 이전에, 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있는지 여부와 문장 구술 순서가 맞는지 여부를 판단하여 사 용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있고 그 문장 구술 순서가 맞으면 상기 엘이디를 점등하여 웃는 이미지(smile image)를 표시하고, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 없거나 그 문장 구술 순서가 틀리면 상기 엘이디를 점등하여 화난 이미지(angry image)를 표시하는 것을 특징으로 한다.According to the present invention, in order to achieve the above object, the method for displaying a user dictation noon of an interactive robot for learning a foreign language according to the present invention reads and records a plurality of sentences which proceed in a meaningful order according to the contents of a textbook to be read, and records the content HMM data. Making step; Creating a content HMM database according to a sentence arrangement order for a valid conversation from the content HMM data; Guiding the user to select a textbook and a unit to learn from the textbook; Extracting a speech waveform from a user dictation sentence input through a microphone to create HMM data; Comparing the HMM data of the user dictation sentence with the HMM data of the content HMM DB to find the same sentence in probability; In a robot that assists learning a foreign language while performing a step of retrieving a sentence placed immediately after a user oral sentence from a content HMM DB, a speaker, an LED having a plurality of LEDs arranged in the shape of a human eye and a mouth. A board is provided on the front of the robot, and whether the sentence placed immediately after the user dictation sentence is retrieved from the content HMM DB and played through the speaker, whether the HMM data of the user dictation sentence is in the content HMM DB and the sentence dictation It is determined whether the order is correct, and if the HMM data of the user dictation sentence is in the content HMM DB and the sentence dictation order is correct, the LED is turned on to display a smile image, and the HMM data of the user dictation sentence is the content. If you are not in the HMM DVD or if the sentence dictation is wrong, Characterized in that the display support (angry image).

상술한 구성을 갖는 본 발명에 의하면, 외국어 학습용 대화형 로봇의 사용 도중 아동들에게 자신이 표현한 문장이 문장순서에 맞는지와 발음이 정확한 것인지를 직감적으로 정확히 알려 주어 사용자의 구술 문장을 정확히 발음할 수 있도록 유도할 수 있을 뿐만 아니라, 로봇의 응답 음성으로 네이티브 스피커(native speaker)의 사람 음성이 그대로 표현되므로 사용자의 외국어 히어링(hearing) 능력을 실질적으로 향상시킬 수 있는 효과가 있다.According to the present invention having the above-described configuration, it is possible to correctly pronounce the oral sentences of the user by intuitionally and accurately telling the children whether the sentences expressed by them are correct in sentence order and the pronunciation is correct during the use of the interactive robot for foreign language learning. In addition, since the human voice of a native speaker is expressed as a response voice of the robot, the user's foreign language hearing ability can be substantially improved.

이하, 첨부한 도면을 참조하여 발명에 따른 외국어 학습용 대화형 로봇과 외국어 학습용 대화형 로봇의 사용자 구술 정오 표시 방법을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a method of displaying the user dictation noon of the interactive robot for foreign language learning and the interactive robot for foreign language learning according to the invention.

도 1은 본 발명에 따른 외국어 학습용 대화형 로봇의 외관사시도를, 도 2는 본 발명에 따른 외국어 학습용 대화형 로봇의 측단면도를, 도 3a 내지 도 3c는 본 발명 에 따른 외국어 학습용 대화형 로봇의 사용자 구술 정오 표시 방법을 보여 주는 사용상태도를 각각 나타낸다.1 is an external perspective view of an interactive robot for foreign language learning according to the present invention, FIG. 2 is a side cross-sectional view of an interactive robot for foreign language learning according to the present invention, and FIGS. 3A to 3C are views of an interactive robot for foreign language learning according to the present invention. Each use state diagram shows how the user dictates the noon.

도 1 및 도 2를 참조하면, 본 발명에 따른 외국어 학습용 대화형 로봇은 전면에 넓은 면적의 엘이디 보드(Light Emitting Diode Board)(3)를 설치할 수 있게 전체적으로 구형을 갖는 하우징(1)을 사용하는 것이 바람직하다. 또한 엘이디 보드(5)는 하우징(1) 전면의 대부분을 차지하는 원반(disk)형으로 형성하는 것이 바람직하다. 이렇게 함으로써 로봇의 표정을 사용자에게 매우 효과적으로 전달할 수 있게 된다.1 and 2, the interactive robot for learning a foreign language according to the present invention uses a housing 1 having a generally spherical shape so as to install a large area of a light emitting diode board 3 on its front surface. It is preferable. In addition, the LED board 5 is preferably formed in a disk shape that occupies most of the front surface of the housing 1. By doing so, it is possible to effectively convey the expression of the robot to the user.

상기 하우징(1) 내부에는 후레시 메모리 등 메모리(17)를 구비하여, 학습하고자 하는 교재의 내용에 따라 의미 있는 순서로 진행되는 복수의 문장을 사람이 읽고 녹음한 후 이를 히든마코프모델(HMM)로 모델링하여 문장 배치 순서에 따라 데이터베이스화한 콘텐츠 HMM 디비(Contents HMM Database)와 사용자가 상기 콘텐츠 HMM 디비 가운데서 학습하고자 하는 교재와 단원을 선택할 수 있도록 안내를 하는 안내문장 디비(Database)를 저장한다. 또한 상기 메모리(17)에는 컨트롤러(15)에서 실행될 주프로그램(main)을 포함한다. 상기 주프로그램은 마이크(7)를 통하여 입력된 사용자 구술 문장으로 부터 음성 파형을 추출하여 HMM 데이터를 만들고, 사용자 구술 문장의 HMM 데이터와 상기 콘텐츠 HMM 디비의 HMM 데이터를 비교하여 확률적으로 같은 문장을 찾아 사용자 구술 문장의 직후에 배치된 문장을 스피커(13)를 통해 재생한다. The housing 1 is provided with a memory 17 such as a flash memory, and a person reads and records a plurality of sentences proceeding in a meaningful order according to the contents of the textbook to be learned, and then, as a hidden Markov model (HMM). Contents HMM Database modeled and databased according to sentence arrangement order and guide sentence DB for guiding the user to select textbooks and lessons to be studied among the content HMM DB. The memory 17 also includes a main program (main) to be executed in the controller 15. The main program extracts a speech waveform from a user dictation sentence input through the microphone 7 to generate HMM data, compares the HMM data of the user dictation sentence with the HMM data of the content HMM DB, and generates a probability sentence identically. The sentence placed immediately after the user dictation sentence is found and reproduced through the speaker 13.

이 때 주프로그램은 공지 공용의 히든 마코프 모델 (HMM:Hidden Markov Model) 음성인식 엔진을 서브루틴으로 이용하여, 사용자 구술 문장으로 부터 HMM 데이터를 만든다. 따라서, 상기 메모리(17)에는 HMM 음성인식 엔진도 함께 저장된다. 히든 마코프 모델은 음성인식을 위한 기본단위(음소)를 모델링하는 방법이다. 즉 음성인식 엔진으로 들어오는 음소와 음성인식 엔진내의 DB로 갖고 있는 음소를 결합해 단어와 문장을 만드는 방법으로 국내 대부분의 음성인식 엔진업체들이 현재 사용하고 있다. 이러한 방법에 의하여, 본원 발명은 사용하고자 하는 문장에 대하여 미리 입력된 HMM 디비와 마이크를 통하여 입력된 사용자의 구술 음성이 갖는 파형의 통계적 유사도를 비교하여 입력된 음성 파형이 미리 저장된 음성 파형 특징과 확률적으로 같은 파형인지를 구분하는 방법을 사용하는 것이다. At this time, the main program uses the publicly known Hidden Markov Model (HMM) speech recognition engine as a subroutine to generate HMM data from user dictation sentences. Therefore, the memory 17 also stores the HMM speech recognition engine. Hidden Markov model is a method of modeling the basic unit (phoneme) for speech recognition. In other words, most Korean voice recognition engine companies are using the phonemes coming from the voice recognition engine and the phonemes in the DB in the voice recognition engine to make words and sentences. By this method, the present invention compares the statistical similarity of the waveforms of the dictated voice of the user input through the microphone with the HMM DB in advance for the sentence to be used, and compares the speech waveform characteristics and probability with the pre-stored voice waveform. In general, a method of distinguishing between the same waveforms is used.

이러한 점에서 본원 발명은 종래 음성인식을 이용한 언어학습장치와 다르다. 즉 종래 음성인식을 이용한 언어학습장치는 입력된 음성신호를 음성인식 기법을 통하여 단어로 변환하고 미리 저장된 텍스트와 비교하는 방법을 사용하여 왔다. 종래 음성인식기를 이용한 언어 학습 방법은 일반 PC 기반의 S/W에 의한 음성인식을 기반으로 하고 있기 때문에 이러한 방법의 실현이 용이하다. 종래 음성인식기는 PC 기반에서 프로그램이 구동되면 사용자의 선택을 위한 초기화면을 표시하고 사용자가 원하는 기능을 선택하면 이에 해당하는 각각의 서브루틴을 멀티태스킹으로 구현하도 록 되어있다. 그러나 본 발명에 의하면 PC 기반을 요구하지 않으며, One-Chip IC를 이용한 Non-OS Embedded System에서 용이하게 언어학습시스템을 구축할 수 있게 된다. In this regard, the present invention is different from the conventional language learning apparatus using speech recognition. That is, the conventional language learning apparatus using speech recognition has used a method of converting an input speech signal into a word through a speech recognition technique and comparing it with previously stored text. Since the conventional language learning method using the speech recognizer is based on speech recognition by general PC-based S / W, it is easy to realize such a method. The conventional voice recognizer is to display the initial screen for the user's selection when the program is driven on the PC, and to implement the multi-tasking of each subroutine corresponding to the user selects the desired function. However, the present invention does not require a PC base, and it is possible to easily construct a language learning system in a non-OS embedded system using a one-chip IC.

본 발명의 다른 특징은 상기 원반형의 엘이디 보드(3)에, 다수의 엘이디(5a, 5b)를 이용하여 아직 정오 판단이나 시비 판단의 능력이 떨어지는 어린 아동들이 언어학습을 하는 과정에서 자신의 응답의 정오를 직감적으로 알 수 있도록 하기 위하여 사람의 눈과 입의 형상을 만들고, 상기 컨트롤러(15)가 사용자 구술 문장의 다음 문장을 상기 콘텐츠 HMM 디비로 부터 찾아 스피커(13)를 통해 재생하기 이전에, 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있는지 여부와 문장 구술 순서가 맞는지 여부를 판단하여 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있고 그 문장 구술 순서가 맞으면 눈과 입의 형상으로 배열된 엘이디(5a, 5b)를 점등하여 웃는 이미지(smile image)를 표시하고, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 없거나 그 문장 구술 순서가 틀리면 상기 눈과 입의 형상으로 배열된 엘이디(5a, 5b)를 점등하여 화난 이미지(angry image)를 표시하는 데 있다. 이러한 구성은 아동의 인식 능력을 고려한 것으로 아동들에게 외국어 학습용 대화형 로봇의 사용법 및 한계를 미리 자세히 설명하지 않아도, 표정에 의하여 자연스럽게 자신들의 발음을 교정해 가면서 학습을 계속해 나가도록 유도해 준다. Another feature of the present invention is that the disk-shaped LED board 3, using a plurality of LEDs (5a, 5b) of young children who are still poor at the ability of noon judgment or fertilization judgment of their response in the process of language learning Before the controller 15 makes a shape of a human eye and mouth so that it knows noon intuitively, and the controller 15 finds the next sentence of the user dictation sentence from the content HMM DB, and plays it through the speaker 13, It is determined whether the HMM data of the user dictation sentence is in the content HMM DB and whether the sentence dictation order is correct. If the HMM data of the user dictation sentence is in the content HMM DB and the sentence dictation order is correct, it is arranged in the shape of eyes and mouth. Lighted LEDs 5a and 5b to light up a smile image, and the HMM data of the user dictation sentence is stored in the content HMM Or a statement that is incorrect, an oral order is used to display the image upset (angry image) to light up the LED (5a, 5b) arranged in the shape of the eyes and mouth. This configuration considers children's cognitive abilities and encourages children to continue learning while naturally correcting their pronunciation by facial expressions without having to explain in detail the usage and limitations of interactive robots for foreign language learning.

다시 도 1 및 도 2를 참조하면, 본원 발명은 아동이 선호할 수 있는 로봇 형상을 가지며, 이 로봇의 외형은 전체적으로 둥근 구형의 하우징(1)과, 상기 하우징(1) 양측에 결합된 팔(19) 및 손(21)과, 상기 하우징(9)의 하부에 결합한 다리(23) 및 발(25)을 포함하는 것이 바람직하다. 상기 팔(19), 손(21), 다리(23), 발(25)등에는 모터를 연결하여 상기 엘이디(5a, 5b)의 점등시에 동시에 이들이 일정한 움직임을 갖도록 형성할 수도 있다. 또한, 상기 컨트롤러(15), 엘이디(5a, 5b) 등에 전력을 공급하는 전원스위치(9)와, 상기 컨트롤러(15)에 사용자 명령을 입력하는 컨트롤 스위치(11)를 하우징에 구비한다.Referring back to Figures 1 and 2, the present invention has a robot shape that can be preferred by the child, the outer shape of the robot is a round spherical housing (1) as a whole, and the arms coupled to both sides of the housing (1) ( 19 and hand 21, it is preferable to include a leg 23 and the foot 25 coupled to the lower portion of the housing (9). A motor may be connected to the arms 19, the hands 21, the legs 23, the feet 25, and the like so that they may have a certain movement at the same time when the LEDs 5a and 5b are turned on. In addition, the housing includes a power switch 9 for supplying power to the controller 15, the LEDs 5a, 5b, and the like, and a control switch 11 for inputting a user command to the controller 15.

본 발명에 따른 사용자와 외국어 학습용 대화형 로봇간의 응답은 상기 주프로그램의 제어에 의하여 수행되며, 도 3a 내지 도 3b를 참조하여 구체적으로 설명하면 다음과 같다.The response between the user and the interactive robot for learning a foreign language according to the present invention is performed by the control of the main program, which will be described in detail with reference to FIGS. 3A to 3B.

학습하고자 하는 교재의 내용에 따라 의미 있는 순서로 진행되는 복수의 문장을 사람이 읽고 녹음하여 콘텐츠 HMM 데이터를 만드고, 콘텐츠 HMM 데이터로부터 유효한 대화가 되게하기 위한 문장 배치 순서에 따라 데이터베이스화하여 콘텐츠 HMM 디비를 만들어 저장한다. Content HMM is created by reading and recording a plurality of sentences that proceed in a meaningful order according to the contents of the textbook to be learned, and databased according to the sentence arrangement order to make a valid conversation from the content HMM data. Create and save the db.

사용자가 전원을 켜면, 상기 컨트롤러(15)는 사용자가 DB화 된 교재 중에서 학습하고자 하는 교재와 단원을 선택할 수 있도록 안내를 한다. 이 때 사용자는 음성 또 는 상기 컨트롤 스위치(11)를 이용하여 선택이 가능하도록 주프로그램을 프로그램하는 것이 바람직하다.When the user turns on the power, the controller 15 guides the user to select a textbook and a unit to be studied among DB-based textbooks. At this time, it is preferable that the user programs the main program so that the user can make a selection using voice or the control switch 11.

사용자가 교재 중의 일정 문장을 구술하면, 상기 컨트롤러(15)는 마이크(7)를 통하여 입력된 사용자 구술 문장으로 부터 음성 파형을 추출하여 HMM 데이터를 만들고, 사용자 구술 문장의 HMM 데이터와 상기 콘텐츠 HMM 디비의 HMM 데이터를 비교하여 확률적으로 같은 문장을 찾는다. When the user dictates a certain sentence in the textbook, the controller 15 extracts a speech waveform from the user dictation sentence input through the microphone 7 to generate HMM data, and the HMM data of the user dictation sentence and the content HMM DB Compare the HMM data to find the same sentence.

상기 컨트롤러(15)는 사용자 구술 문장의 HMM 데이터가 저장된 HMM 데이터 중에 있는지 여부와 그 문장 배치 순서에 맞는지를 판단하여 사용자 구술 문장의 HMM 데이터가 저장된 HMM 데이터 중에 있고 그 문장 배치 순서가 맞으면, 도 3b에 도시된 바와 같이, 상기 엘이디(5a, 5b)를 점등하여 웃는 모양(smile)을 표시하고, 사용자 구술 문장의 HMM 데이터가 저장된 HMM 데이터 중에 없거나 그 문장 배치 순서가 틀리면, 도 3c에 도시된 바와 같이, 상기 엘이디(5a, 5b)를 점등하여 우는 모양(angry)을 표시함으로써, 아동 등의 사용자가 대화 중 직감적으로 자신의 구술 문장이 잘되었거나 잘못되었음을 인식시켜 준다. 이 때 사용자 구술 문장의 정오를 상기 스피커(13)를 통해 음성으로 더 표시할 수도 있다. The controller 15 determines whether the HMM data of the user dictation sentence is in the stored HMM data and whether the sentence arrangement order is correct, and if the HMM data of the user dictation sentence is in the stored HMM data and the sentence arrangement order is correct, FIG. 3B. As shown in FIG. 3, if the LEDs 5a and 5b are turned on to display a smile, and the HMM data of the user dictation sentence is not in the stored HMM data or the order of arrangement of the sentences is different, as shown in FIG. 3C. Likewise, by lighting the LEDs 5a and 5b to display an crying, the user, such as a child, intuitively recognizes that his oral sentence is good or wrong during a conversation. At this time, the noon of the user dictation sentence may be further displayed as voice through the speaker 13.

다음, 상기 컨트롤러(15)는 사용자 구술 문장의 다음 문장을 콘텐츠 HMM 디비로 부터 찾아 상기 스피커(13)를 통해 재생한다. 이 때 상기 컨트롤러(15)는 도 3a에 도 시된 바와 같이 눈 모양을 이루는 엘이디(5a)는 점등하고, 입 모양을 이루는 엘이디(5b)는 모두 상하부 엘이디와 중심부 엘이디를 순차적으로 점멸시켜 대화 순서가 로봇임을 표시하는 것이 바람직하다.Next, the controller 15 finds the next sentence of the user dictation sentence from the content HMM DB and plays it through the speaker 13. At this time, as shown in FIG. 3A, the controller 15 turns on the LEDs 5a forming an eye shape and the LEDs 5b forming a mouth sequentially flash upper and lower LEDs and the central LEDs sequentially. It is preferable to indicate that it is a robot.

상기 컨트롤러(15)는 다음 문장이 더 이상 없을 경우 다시 반복하거나 다른 교재나 단원을 선택할 수 있도록 안내한다.If the next sentence is no longer present, the controller 15 repeats or guides the user to select another textbook or lesson.

이상, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 예시적으로 설명하였으나, 본 발명의 보호 범위를 이에 한정하는 것은 아니며, 본 발명의 보호 범위는 특허청구범위의 각 청구항에 기재된 사항에 의하여 결정되어야 한다.As mentioned above, although the exemplary embodiment of the present invention was exemplarily described with reference to the accompanying drawings, the scope of protection of the present invention is not limited thereto, and the scope of protection of the present invention is defined by the matters described in the claims of the claims. It must be decided.

도 1은 본 발명에 따른 외국어 학습용 대화형 로봇의 외관사시도이다.1 is an external perspective view of an interactive robot for learning a foreign language according to the present invention.

도 2는 본 발명에 따른 외국어 학습용 대화형 로봇의 측단면도이다.2 is a side cross-sectional view of an interactive robot for learning a foreign language according to the present invention.

도 3a 내지 도 3c는 본 발명에 따른 외국어 학습용 대화형 로봇의 사용자 구술 정오 표시 방법을 보여 주는 사용상태도이다.3A to 3C are usage state diagrams illustrating a user dictation noon display method of the interactive robot for foreign language learning according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명*                   * Explanation of symbols for the main parts of the drawings *

1 : 하우징, 3 : 엘이디 보드, 5a, 5b : 엘이디, 7 : 마이크, 9 : 전원스위치, 11 : 컨트롤 스위치, 13 : 스피커, 15 : 컨트롤러, 17 : 메모리, 19 : 팔, 21 : 손, 23 : 다리, 25 : 발Reference Signs List 1 housing, 3 LED board, 5a, 5b LED, 7 microphone, 9 power switch, 11 control switch, 13 speaker, 15 controller, 17 memory, 19 arm, 21 hand, 23 : Legs, 25: feet

Claims (2)

하우징 내부에는, 학습하고자 하는 교재의 내용에 따라 의미 있는 순서로 진행되는 복수의 문장을 사람이 읽고 녹음한 후 이를 히든마코프모델(HMM)로 모델링하여 문장 배치 순서에 따라 데이터베이스화한 콘텐츠 HMM 디비(Contents HMM Database)와 사용자가 상기 콘텐츠 HMM 디비 가운데서 학습하고자 하는 교재와 단원을 선택할 수 있도록 안내를 하는 안내문장 디비(Database)를 저장한 메모리(17)와, 마이크(7)를 통하여 입력된 사용자 구술 문장으로부터 음성 파형을 추출하여 HMM 데이터를 만들고, 사용자 구술 문장의 HMM 데이터와 상기 콘텐츠 HMM 디비의 HMM 데이터를 비교하여 확률적으로 같은 문장을 찾아 사용자 구술 문장의 직후에 배치된 문장을 스피커(13)를 통해 재생하는 컨트롤러(15)를 구비하고, Inside the housing, a human body reads and records a plurality of sentences proceeding in a meaningful order according to the contents of the textbook to be studied, and then models them with a Hidden Markov Model (HMM) to database the contents according to the sentence arrangement order. Memory 17 storing contents HMM Database) and a guide database for guiding the user to select textbooks and units to be studied among the contents HMM DBs, and user dictation input through a microphone 7 The speech waveform is extracted from the sentence, and the HMM data is generated. The HMM data of the user dictation sentence and the HMM data of the content HMM DB are compared to find the same sentence. It has a controller 15 for playing through, 하우징(1) 전면에는, 다수의 엘이디(5a, 5b)를 사람의 눈과 입의 형상으로 배열한 엘이디 보드(3)를 구비하여, On the front surface of the housing 1, an LED board 3 having a plurality of LEDs 5a and 5b arranged in the shape of a human eye and a mouth is provided. 상기 컨트롤러(15)가 사용자 구술 문장의 다음 문장을 상기 콘텐츠 HMM 디비로 부터 찾아 스피커(13)를 통해 재생하기 이전에, 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있는지 여부와 문장 구술 순서가 맞는지 여부를 판단하여 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있고 그 문장 구술 순서가 맞으면 상기 엘이디(5a, 5b)를 점등하여 웃는 이미지(smile image)를 표시하고, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 없거나 그 문장 구술 순서가 틀리면 상기 엘이디(5a, 5b)를 점등하여 화난 이미지(angry image)를 표시하는 것을 특징으로 하는 외국어 학습용 대화형 로봇.Before the controller 15 finds the next sentence of the user dictation sentence from the content HMM DB and plays it through the speaker 13, whether the HMM data of the user dictation sentence is in the content HMM DB and the sentence dictation order are different. If the HMM data of the user dictation sentence is in the content HMM DB and the sentence dictation order is correct, the LEDs 5a and 5b are turned on to display a smile image, and the HMM data of the user dictation sentence is determined. And when the dictation of the sentence is not in the content HMM DVD or the sentence dictation order is wrong, the LEDs (5a, 5b) are turned on to display an angry image. 학습하고자 하는 교재의 내용에 따라 의미 있는 순서로 진행되는 복수의 문장을 사람이 읽고 녹음하여 콘텐츠 HMM 데이터를 만드는 단계; 콘텐츠 HMM 데이터로부터 유효한 대화가 되게 하기 위한 문장 배치 순서에 따라 콘텐츠 HMM 디비를 만드는 단계; 사용자가 교재 중에서 학습하고자 하는 교재와 단원을 선택할 수 있도록 안내를 하는 단계; 마이크를 통하여 입력된 사용자 구술 문장으로부터 음성 파형을 추출하여 HMM 데이터를 만드는 단계; 사용자 구술 문장의 HMM 데이터와 콘텐츠 HMM 디비의 HMM 데이터를 비교하여 확률적으로 같은 문장을 찾는 단계; 사용자 구술 문장의 직후에 배치된 문장을 콘텐츠 HMM 디비로 부터 찾아 스피커를 통해 재생하는 단계를 포함하는 로봇을 이용한 외국어 학습 방법에 있어서,Creating and reading content HMM data by reading and recording a plurality of sentences in a meaningful order according to the contents of the text to be learned; Creating a content HMM database according to a sentence arrangement order for a valid conversation from the content HMM data; Guiding the user to select a textbook and a unit to learn from the textbook; Extracting a speech waveform from a user dictation sentence input through a microphone to generate HMM data; Comparing the HMM data of the user dictation sentence with the HMM data of the content HMM DB to find the same sentence in probability; In the foreign language learning method using a robot comprising a step of retrieving a sentence placed immediately after the user dictation sentence from the content HMM DB, through a speaker, 다수의 엘이디(5a, 5b)를 사람의 눈과 입의 형상으로 배열한 엘이디 보드(3)를 로봇의 전면에 구비하여, On the front of the robot, the LED board 3 having a plurality of LEDs 5a and 5b arranged in the shape of a human eye and a mouth is provided. 사용자 구술 문장의 직후에 배치된 문장을 콘텐츠 HMM 디비로 부터 찾아 스피커를 통해 재생하기 이전에, 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있는지 여부와 문장 구술 순서가 맞는지 여부를 판단하여 사용자 구술 문장의 HMM 데이터가 상기 콘텐츠 HMM 디비 중에 있고 그 문장 구술 순서가 맞으면 상기 엘이디(5a, 5b)를 점등하여 웃는 이미지(smile image)를 표시하고, 사용자 구술 문장의 HMM 데이터가 콘텐츠 HMM 디비 중에 없거나 그 문장 구술 순서가 틀리면 상기 엘이디(5a, 5b)를 점등하여 화난 이미지(angry image)를 표시하는 단계를 포함하는 것을 특징으로 하는 로봇을 이용한 외국어 학습 방법.Prior to retrieving a sentence placed immediately after the user dictation sentence from the content HMM DB and playing through the speaker, it is determined whether the HMM data of the user dictation sentence is in the content HMM DB and whether the sentence dictation order is correct. If the sentence's HMM data is in the content HMM DB and the sentence dictation order is correct, the LEDs 5a and 5b are turned on to display a smile image, and the HMM data of the user's dictation sentence is not in the contents HMM DB or the like. And illuminating the LEDs (5a, 5b) to display an angry image if the sentence dictation order is not correct.
KR1020070083162A 2007-08-20 2007-08-20 Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby KR100877343B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070083162A KR100877343B1 (en) 2007-08-20 2007-08-20 Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070083162A KR100877343B1 (en) 2007-08-20 2007-08-20 Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby

Publications (1)

Publication Number Publication Date
KR100877343B1 true KR100877343B1 (en) 2009-01-07

Family

ID=40482252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070083162A KR100877343B1 (en) 2007-08-20 2007-08-20 Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby

Country Status (1)

Country Link
KR (1) KR100877343B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101037247B1 (en) 2009-06-18 2011-05-26 포항공과대학교 산학협력단 Foreign language conversation training method and apparatus and trainee simulation method and apparatus for qucikly developing and verifying the same
CN109712454A (en) * 2019-03-11 2019-05-03 荆州职业技术学院 A kind of intelligence Language for English learning system
KR102496690B1 (en) * 2022-11-07 2023-02-06 (주)그로비교육 Learning Terminal Storage Cradle Having A Structure To Improve Concentration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100287227B1 (en) 1999-02-13 2001-04-16 이경목 Language study method by interactive conversation
KR20030006444A (en) * 2001-07-12 2003-01-23 설창우 Studying apparatus for language use of a voice recognition & studying method
KR100499854B1 (en) 2002-04-11 2005-07-08 주식회사 언어과학 System and Method for detecting error type by phoneme, and System and method using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100287227B1 (en) 1999-02-13 2001-04-16 이경목 Language study method by interactive conversation
KR20030006444A (en) * 2001-07-12 2003-01-23 설창우 Studying apparatus for language use of a voice recognition & studying method
KR100499854B1 (en) 2002-04-11 2005-07-08 주식회사 언어과학 System and Method for detecting error type by phoneme, and System and method using the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101037247B1 (en) 2009-06-18 2011-05-26 포항공과대학교 산학협력단 Foreign language conversation training method and apparatus and trainee simulation method and apparatus for qucikly developing and verifying the same
CN109712454A (en) * 2019-03-11 2019-05-03 荆州职业技术学院 A kind of intelligence Language for English learning system
CN109712454B (en) * 2019-03-11 2021-04-30 荆州职业技术学院 Intelligent English teaching language learning system
KR102496690B1 (en) * 2022-11-07 2023-02-06 (주)그로비교육 Learning Terminal Storage Cradle Having A Structure To Improve Concentration

Similar Documents

Publication Publication Date Title
US7366664B2 (en) Interactive book
US6405167B1 (en) Interactive book
Celce-Murcia et al. Teaching pronunciation: A reference for teachers of English to speakers of other languages
US6134529A (en) Speech recognition apparatus and method for learning
US5429513A (en) Interactive teaching apparatus and method for teaching graphemes, grapheme names, phonemes, and phonetics
US5717828A (en) Speech recognition apparatus and method for learning
Godwin-Jones Speech tools and technologies
US20070003913A1 (en) Educational verbo-visualizer interface system
US20050069848A1 (en) Method of teaching reading
US20030134257A1 (en) Interactive learning apparatus
Reid Teaching English pronunciation to different age groups
KR100877343B1 (en) Interactive robot for exercising foreign language and mehtod of exercising foreign language thereby
Pimwan The effect of teaching English pronunciation through songs of prathomuska 4 students at WatratchaphatigaramSchool
KR20220011109A (en) Digital english learning service method and system
HU226347B1 (en) Computer system and method for teaching handwriting and reading
Granström Towards a virtual language tutor
KR20140087956A (en) Apparatus and method for learning phonics by using native speaker's pronunciation data and word and sentence and image data
Kantor et al. Reading companion: The technical and social design of an automated reading tutor
Choudhury Teaching English in Indian Schools
Wik The virtual language teacher
Çekiç The effects of computer assisted pronunciation teaching on the listening comprehension of Intermediate learners
CN112863268B (en) Spoken English man-machine conversation device
Kusrini Improving English pronunciation through children songs
Ames et al. Think or Sink? Teaching Non-L1 English Fricatives to Japanese Learners
JP2003208084A (en) Device and method for learning foreign language

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee