KR20220022763A - Method and recording medium storing program for the same - Google Patents

Method and recording medium storing program for the same Download PDF

Info

Publication number
KR20220022763A
KR20220022763A KR1020200104113A KR20200104113A KR20220022763A KR 20220022763 A KR20220022763 A KR 20220022763A KR 1020200104113 A KR1020200104113 A KR 1020200104113A KR 20200104113 A KR20200104113 A KR 20200104113A KR 20220022763 A KR20220022763 A KR 20220022763A
Authority
KR
South Korea
Prior art keywords
information
microphone
user
control unit
changed
Prior art date
Application number
KR1020200104113A
Other languages
Korean (ko)
Other versions
KR102403347B1 (en
Inventor
안성민
박동길
Original Assignee
주식회사 오투오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오투오 filed Critical 주식회사 오투오
Priority to KR1020200104113A priority Critical patent/KR102403347B1/en
Publication of KR20220022763A publication Critical patent/KR20220022763A/en
Application granted granted Critical
Publication of KR102403347B1 publication Critical patent/KR102403347B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/22—Games, e.g. card games
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

The present invention relates to a voice recognition-based learning method and a recording medium storing a program for executing the method. The voice recognition-based learning method according to an embodiment of the present invention is executed at an electronic device including a display, a microphone, and a control unit. The method includes the following steps in which the control unit: displays a first object and a second object on the display; moves the first object and the second object simultaneously or sequentially; causes the microphone to be turned on; changes an image of any one of the first object and the second object; and determines whether user voice information detected by the microphone matches the changed object information.

Description

음성인식을 활용한 학습방법 및 상기 방법을 실행하는 프로그램이 저장된 기록매체{Method and recording medium storing program for the same}A learning method using voice recognition and a recording medium storing a program for executing the method {Method and recording medium storing program for the same}

본 발명은 음성인식을 활용한 학습방법 및 상기 방법을 실행하는 프로그램이 저장된 기록매체에 관한 것이다. The present invention relates to a learning method utilizing voice recognition and a recording medium storing a program for executing the method.

언어 학습에 있어서 단어를 암기하는 것은 매우 중요하다. 그러나, 단어는 반복적으로 노출되어 쓰거나 읽음으로써 기억되기 때문에, 단어 암기는 매우 어렵고 지루한 언어 학습이다. 이러한 문제를 해결하기 위해 게임 방식을 이용한 다양한 단어 암기 방법이 개발되었다. Memorizing words is very important in language learning. However, since words are repeatedly exposed and remembered by writing or reading, memorizing words is very difficult and tedious language learning. To solve this problem, various word memorization methods using game methods have been developed.

선행기술문헌은 게임을 이용함으로써 흥미를 높일 수 있는 단어암기게임 앱 프로그램을 개시한다. The prior art document discloses a word memorization game app program that can increase interest by using the game.

한국특허공개번호 제10-2016-0134169호Korean Patent Publication No. 10-2016-0134169

본 발명은 효율적으로 단어를 암기할 수 있는 음성인식을 활용한 학습방법 및 상기 방법을 실행하는 프로그램을 제공한다. The present invention provides a learning method using voice recognition capable of efficiently memorizing words and a program for executing the method.

또한, 단어의 발음을 학습시킴으로써 회화에 적용할 수 있는 단어 학습 방법을 제공한다. In addition, it provides a word learning method that can be applied to conversations by learning the pronunciation of words.

본 발명의 실시 예를 따르는 음성인식을 활용한 학습방법은, 디스플레이, 마이크 및 제어부를 포함하는 전자기기에서 수행되며, 상기 제어부가 상기 디스플레이에 제1객체 및 제2객체를 나타내는 단계; 상기 제어부가 상기 제1객체 및 제2객체를 동시에 또는 순차적으로 이동시키는 단계; 상기 제어부가 상기 마이크의 상태가 온-상태가 되도록 하는 단계; 상기 제어부가 상기 제1객체 및 제2객체 중 어느 하나의 이미지를 변경하는 단계; 및 상기 제어부가 상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계를 포함한다. A learning method using voice recognition according to an embodiment of the present invention is performed in an electronic device including a display, a microphone, and a control unit, the control unit displaying a first object and a second object on the display; moving, by the controller, the first object and the second object simultaneously or sequentially; causing the control unit to turn on the state of the microphone; changing, by the controller, an image of any one of the first object and the second object; and determining, by the controller, whether the user's voice information sensed by the microphone matches the changed object information.

또한, 상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계에서, 상기 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 경우, 상기 제어부가 게임점수를 저장하는 단계 및 상기 제어부가 상기 마이크의 상태가 오프-상태가 되도록 하는 단계를 포함하고, 상기 게임점수는 상기 마이크가 사용자의 음성정보를 감지한 때의 시간정보 및 변경된 객체의 위치정보 중 적어도 하나를 기초로 연산한 것이다.In addition, in the step of determining whether the user's voice information sensed by the microphone matches the changed object information, if the user's voice information matches the changed object information, the controller stores the game score and causing the state of the microphone to be off-state by the control unit, wherein the game score is based on at least one of time information when the microphone detects the user's voice information and location information of the changed object is calculated with

본 발명의 실시 예를 따르는 음성인식학습방법을 실행하는 프로그램이 저장된 기록매체는, 디스플레이를 포함하는 전자기기 상에서 앞서 설명한 음성인식학습방법을 실행하는 프로그램이 저장된 것이다. The recording medium storing the program for executing the voice recognition learning method according to an embodiment of the present invention stores the program for executing the voice recognition learning method described above on an electronic device including a display.

본 발명의 실시 예를 따르는 음성인식을 활용한 학습방법 및 상기 방법을 실행하는 프로그램은 효율적인 단어 암기 방법을 제공한다. A learning method using voice recognition according to an embodiment of the present invention and a program for executing the method provide an efficient word memorization method.

또한, 단어의 발음을 학습시킴으로써 회화에 적용할 수 있는 단어 학습 방법을 제공한다. In addition, it provides a word learning method that can be applied to conversations by learning the pronunciation of words.

도 1 내지 도 6은 본 발명의 실시 예를 따르는 음성인식을 활용한 학습방법을 도시한 것이다.
도 7 내지 9는 본 발명의 다른 실시 예를 따르는 음성인식을 활용한 학습방법을 도시한 것이다. 1 to 6 are diagrams illustrating a learning method using voice recognition according to an embodiment of the present invention.
7 to 9 show a learning method using voice recognition according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다. 그러나, 본 발명의 실시 형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다.　 또한, 본 발명의 실시 형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.　 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면 상의 동일한 부호로 표시되는 요소는 동일한 요소이다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다. 덧붙여, 명세서 전체에서 어떤 구성요소를 "포함"한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiment of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. In addition, the embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description, and elements indicated by the same reference numerals in the drawings are the same elements. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions. In addition, "including" a certain element throughout the specification means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

본 발명의 실시 예에 따른 방법은 디스플레이, 마이크 및 제어부를 포함하는 전자기기에서 수행되는 것이다. 따라서, 본 발명의 실시 예에 따른 방법은 컴퓨터, 휴대폰, 태블릿 및 기타 전자기기로 읽을 수 있는 기록매체에 컴퓨터, 휴대폰, 태블릿 및 기타 전자기기가 읽을 수 있는 프로그램 또는 코드로서 구현할 수 있다. 컴퓨터, 휴대폰, 태블릿 및 기타 전자기기가 읽을 수 있는 기록매체는 컴퓨터, 휴대폰, 태블릿 및 기타 전자기기 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.The method according to an embodiment of the present invention is performed in an electronic device including a display, a microphone, and a control unit. Accordingly, the method according to an embodiment of the present invention may be implemented as a program or code readable by a computer, a mobile phone, a tablet, and other electronic devices in a computer, a mobile phone, a tablet, and other electronic device-readable recording media. Computers, mobile phones, tablets, and other electronic device-readable recording media include all kinds of recording devices in which data readable by computers, mobile phones, tablets and other electronic device systems is stored. In addition, the computer-readable recording medium may be distributed in a network-connected computer system to store and execute computer-readable programs or codes in a distributed manner.

또한, 컴퓨터, 휴대폰, 태블릿 및 기타 전자기기가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령 또는 정보를 저장 또는 수행하는 하드웨어 장치를 포함할 수 있다. In addition, computer, mobile phone, tablet, and other electronic device-readable recording medium may include a hardware device for storing or executing program instructions or information, such as ROM, RAM, flash memory, etc. can

제어부는 앞서 설명한 기록매체를 포함할 수 있으며, 본 발명의 실시 예에 해당하는 프로그램을 저장한 기록매체 및 다른 기록매체, 상기 기록매체에 저장된 정보 및 프로그램을 실행 및 저장하는 하드웨어 장치를 포함할 수 있다. The control unit may include the above-described recording medium, and may include a recording medium and other recording medium storing a program corresponding to an embodiment of the present invention, and a hardware device for executing and storing information and programs stored in the recording medium. there is.

디스플레이는 본 발명의 실시 예에 따른 방법이 수행됨에 따른 시각 정보를 사용자에게 제공하는 구성요소로서, 모니터 등 종래에 시각 정보의 전달을 위해 사용하고 있는 기기를 포함한다. 마이크는 사용자의 음성을 인식하여 이를 전자정보로 변환할 수 있도록 하는 것으로써 특별히 제한되지 않는다.A display is a component that provides visual information to a user when the method according to an embodiment of the present invention is performed, and includes a device conventionally used to deliver visual information, such as a monitor. The microphone is not particularly limited as it recognizes the user's voice and converts it into electronic information.

본 발명의 실시 예에서 각 방법은 앞서 설명한 기기, 장치 및 시스템에서 구현될 수 있는 것으로, 기록매체에 저장된 프로그램 또는 코드를 실행함으로써 수행될 수 있다. In an embodiment of the present invention, each method may be implemented in the devices, apparatuses and systems described above, and may be performed by executing a program or code stored in a recording medium.

도 1 내지 도 6은 본 발명의 실시 예를 따르는 음성인식을 활용한 학습방법을 도시한 것이다. 도 1 내지 도 6을 참조하면, 본 발명의 실시 예를 따르는 음성인식을 활용한 학습방법은, 디스플레이, 마이크 및 제어부를 포함하는 전자기기에서 수행되며, 상기 제어부가 상기 디스플레이에 제1객체(100) 및 제2객체(200)를 나타내는 단계; 상기 제어부가 상기 제1객체(100) 및 제2객체(200)를 동시에 또는 순차적으로 이동시키는 단계; 상기 제어부가 상기 마이크의 상태가 온-상태가 되도록 하는 단계; 상기 제어부가 상기 제1객체(100) 및 제2객체(200) 중 어느 하나의 이미지를 변경하는 단계; 및 상기 제어부가 상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계를 포함한다. 1 to 6 are diagrams illustrating a learning method using voice recognition according to an embodiment of the present invention. 1 to 6 , the learning method using voice recognition according to an embodiment of the present invention is performed in an electronic device including a display, a microphone and a control unit, and the control unit displays the first object 100 on the display. ) and representing the second object 200; moving, by the control unit, the first object 100 and the second object 200 simultaneously or sequentially; causing the control unit to turn on the state of the microphone; changing, by the controller, an image of any one of the first object 100 and the second object 200; and determining, by the controller, whether the user's voice information sensed by the microphone matches the changed object information.

또한, 상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계에서, 상기 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 경우, 상기 제어부가 게임점수를 저장하는 단계 및 상기 제어부가 상기 마이크의 상태가 오프-상태가 되도록 하는 단계를 포함하고, 상기 게임점수는 상기 마이크가 사용자의 음성정보를 감지한 때의 시간정보 및 변경된 객체의 위치정보 중 적어도 하나를 기초로 연산한 것이다.In addition, in the step of determining whether the user's voice information sensed by the microphone matches the changed object information, if the user's voice information matches the changed object information, the controller stores the game score and causing the state of the microphone to be off-state by the control unit, wherein the game score is based on at least one of time information when the microphone detects the user's voice information and location information of the changed object is calculated with

제1객체(100) 및 제2객체(200)는 디스플레이 상에 표현되고 이동되는 것으로써, 특정한 이미지를 갖는 것을 의미한다. 상기 제1객체(100) 및 제2객체(200)는 과일, 동물, 도형 등 다양한 이미지를 가질 수 있으며 특별히 제한되지 않는다. 또한, 특정 행위나 특정 현상을 이미지로 표현한 것일 수 있다. 예를 들면 두 사람이 대화하고 있는 모습을 표현한 것 또는 비가 오는 날씨를 표현한 것일 수 있다. 상기 제1객체(100) 및 제2객체(200)는 사용자의 선택이나, 사용자의 단어 학습 진도에 따라 선택되어 질 수 있다. 본 발명의 실시 예에서, 객체의 수는 특별히 제한되지 않으며, 2개 이상일 수 있다. 도 1에서는 과일 형상의 객체 3개가 표시되어 있다. The first object 100 and the second object 200 are expressed and moved on the display, meaning that they have a specific image. The first object 100 and the second object 200 may have various images such as fruits, animals, and figures, and are not particularly limited. Also, a specific action or a specific phenomenon may be expressed as an image. For example, it may be an expression of two people having a conversation or an expression of rainy weather. The first object 100 and the second object 200 may be selected according to the user's selection or the user's word learning progress. In an embodiment of the present invention, the number of objects is not particularly limited, and may be two or more. In FIG. 1, three fruit-shaped objects are displayed.

상기 제1객체 및 제2객체를 동시에 또는 순차적으로 이동시키는 단계에서, 상기 객체들은 다양한 방향, 속도 및 경로로 이동할 수 있으며, 특별히 제한되지 않는다. 바람직하게는 사용자의 학습 편의를 위해 디스플레이의 아래 방향으로 향하도록 이동할 수 있다. 또한, 상기 제1객체 및 제2객체는 동시에 이동할 수 있을 뿐 아니라, 도 2에 도시된 바와 같이 순차적으로 이동할 수 있다. In the step of simultaneously or sequentially moving the first object and the second object, the objects may move in various directions, velocities and paths, and are not particularly limited. Preferably, it can be moved to face downward of the display for the user's learning convenience. In addition, the first object and the second object may move simultaneously as well as sequentially as shown in FIG. 2 .

마이크의 상태가 온-상태가 되도록 하는 단계는 상기 제1객체 및 제2객체가 이동한 후에 수행되거나 그 이전 단계에서 수행될 수 있다. 또한, 상기 제1객체 및 제2객체 중 어느 하나의 이미지를 변경하는 단계 이후에 수행될 수 있다. 본 단계를 수행함으로써 전자기기가 사용자의 음성 정보를 얻을 준비를 완료하게 된다. The step of turning the state of the microphone into the on-state may be performed after the first object and the second object have moved, or may be performed before the first object and the second object. Also, it may be performed after the step of changing the image of any one of the first object and the second object. By performing this step, the electronic device is ready to obtain the user's voice information.

상기 제1객체 및 제2객체 중 어느 하나의 이미지를 변경하는 단계에서 상기 제1객체 및 제2객체는 형상, 크기, 효과 등이 변경될 수 있다. 도 3을 참조하면 제1객체인 바나나의 주변에 빨간색 원이 표시됨으로써 제1객체의 이미지가 변경되었다. 본 단계는 사용자가 말해야 하는 객체를 표시하는 것으로써, 사용자는 제2객체에 해당하는 언어를 발음할 수 있다. 일 예에서, 본 발명의 실시 예가 영어 학습용이라면, 사용자는 'banana'를 발음할 수 있다. In the step of changing the image of any one of the first object and the second object, the shape, size, effect, etc. of the first object and the second object may be changed. Referring to FIG. 3 , the image of the first object is changed by displaying a red circle around the banana, which is the first object. In this step, the object to be spoken by the user is displayed, and the user can pronounce a language corresponding to the second object. In one example, if the embodiment of the present invention is for learning English, the user may pronounce 'banana'.

다음으로, 상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계를 수행한다. 도 1 내지 도 3에서 사용자가 발음해야 하는 객체의 올바른 정보는 'banana'이며, 상기 마이크에서 감지한 사용자의 음성정보가 'banana'인지 여부를 판단한다. 만일 사용자의 음성정보가 'banana'로 판단되는 경우에는 상기 제어부가 게임점수를 저장하고 이를 디스플레이에 표시할 수 있다. 도 4를 참조하면, 제1객체의 이미지에 빨간색 원을 추가로 표시하였으며, 'Total Point'에 '90'을 표시하였다. 다음으로 상기 제어부는 마이크의 상태가 오프-상태가 되도록 한다. Next, a step of determining whether the user's voice information sensed by the microphone matches the changed object information is performed. 1 to 3 , the correct information of the object to be pronounced by the user is 'banana', and it is determined whether the user's voice information detected by the microphone is 'banana'. If it is determined that the user's voice information is 'banana', the controller may store the game score and display it on the display. Referring to FIG. 4 , a red circle is additionally indicated in the image of the first object, and '90' is indicated in 'Total Point'. Next, the control unit causes the state of the microphone to be off-state.

본 단계에서, 사용자에게 답변을 여러 번 발음하도록 요청할 수 있고, 기 설정된 횟수만큼 발음을 한 경우 비로소 게임점수를 획득하도록 할 수 있다. 또한, 상기 제어부는 답변의 정확도에 따라 차등적으로 점수를 부여할 수 있다. 일 예로, 객체가 특정한 행위나 현상을 표현한 이미지이고, 상기 객체에 대하여 기 저장된 답변 정보가 다양한 단어 또는 문장일 수 있다. 이 경우, 상기 객체에 대한 답변 정보는 단어 별 유의성 정도에 따라 점수를 다르게 부여할 수 있다. 또한, 답변 정보가 문장인 경우에는 다양한 답변이 존재할 수 있으며, 답변별로 점수를 차등적으로 부여할 수 있다. 또한, 답변 정보가 문장인 경우에는 해당 답변 정보에 포함된 단어별로 점수를 부여할 수 있다. 이 경우, 사용자의 음성정보가 일부 단어인 경우, 전체 문장을 말하지 못하였더라도 해당 단어에 대한 점수를 부여할 수 있다. 예를 들어, 객체가 '비가 오는 날 사람이 우산을 쓰고 가는 모습을 표현한 이미지'인 경우, 사용자가 'rain' 또는 'umbrella'라고만 말하더라도 일부 점수를 부여할 수 있다. 이를 통해 사용자는 보다 정확한 답변을 만들어갈 수 있고, 문장을 만드는 방법을 익힐 수 있으며, 학습에 대한 효율성을 높일 수 있다. In this step, it is possible to request the user to pronounce the answer several times, and only when the user pronounces the answer a preset number of times can the game score be obtained. In addition, the control unit may give a score differentially according to the accuracy of the answer. For example, the object may be an image expressing a specific action or phenomenon, and pre-stored answer information for the object may be various words or sentences. In this case, the answer information for the object may be given a different score according to the degree of significance for each word. In addition, when the answer information is a sentence, various answers may exist, and a score may be differentially assigned to each answer. Also, when the answer information is a sentence, a score may be given for each word included in the corresponding answer information. In this case, when the user's voice information includes some words, a score may be given to the corresponding word even if the entire sentence is not spoken. For example, if the object is an 'image expressing a person wearing an umbrella on a rainy day', some points may be given even if the user only says 'rain' or 'umbrella'. Through this, the user can make more accurate answers, learn how to make sentences, and increase the efficiency of learning.

본 단계에서 상기 제어부는 마이크에서 획득된 음성정보를 텍스트 정보로 변환한 후 이를 기 저장된 객체 정보와 대비할 수 있다. 이러한 음성정보의 처리방법은 음성인식 분야에서 일반적으로 사용하는 음성처리기술일 수 있으며 특별히 제한하지 않는다. In this step, the control unit may convert the voice information obtained from the microphone into text information and compare it with pre-stored object information. Such a method of processing voice information may be a voice processing technology generally used in the field of voice recognition, and is not particularly limited.

상기 게임 점수는 상기 마이크가 사용자의 음성정보를 감지한 때의 시간정보 및 변경된 객체의 위치정보 중 적어도 하나를 기초로 연산한 것이다. 시간정보란, 변경된 객체가 이동한 시간 또는 변경된 객체가 변경된 시점부터 마이크가 사용자의 음성정보를 받아들인 시점 사이의 시간일 수 있다. 이를 통해 사용자가 빨리 대답을 하는 경우 높은 점수를 부여할 수 있는 바, 사용자의 빠른 응답을 유도함으로써 학습효과를 높일 수 있다. 상기 변경된 객체의 위치정보는 마이크에서 사용자의 음성정보를 받아들인 시점의 변경된 객체가 존재하는 디스플레이상의 위치에 대한 정보이다. 도 4를 참조하면, 마이크가 사용자의 음성을 인식한 시점에 상기 제2객체는 디스플레이에 표시된 배경의 영역 중 위에서 세번째 영역에 위치하고 있으며, 제어부는 해당 영역의 점수인 90점을 게임점수로 확정하여 저장 및 표시하였다. 본 단계에서 제어부는 기록매체에 게임정보를 저장하여, 사용자의 점수를 지속적으로 관리할 수 있다. 또한, 상기 제어부는 객체(단어)별로 사용자의 정답률, 오답률, 학습 횟수 등을 저장할 수 있으며, 이를 통해 오답률이 높거나 학습횟수가 낮은 객체(단어)를 디스플레이에 표시함으로써 사용자의 학습효율을 높일 수 있다. The game score is calculated based on at least one of time information when the microphone detects the user's voice information and location information of the changed object. The time information may be a time when the changed object is moved or a time between when the changed object is changed and when the microphone receives the user's voice information. Through this, when the user answers quickly, a high score can be given, and the learning effect can be increased by inducing the user's quick response. The location information of the changed object is information on the location on the display where the changed object is present at the point in time when the user's voice information is received from the microphone. Referring to FIG. 4 , when the microphone recognizes the user's voice, the second object is located in the third area from the top among the background areas displayed on the display, and the control unit determines 90 points, which is the score of the corresponding area, as the game score. Stored and displayed. In this step, the control unit may store the game information in the recording medium to continuously manage the user's score. In addition, the control unit can store the user's correct rate, incorrect answer rate, number of learning times, etc. for each object (word), and through this, the user's learning efficiency can be increased by displaying an object (word) with a high incorrect answer rate or a low learning frequency on the display. there is.

도 5를 참조하면, 정답으로 처리된 제1객체는 디스플레이에서 사라지고, 다음 객체인 제2객체의 주변에 빨간색 원이 표시됨으로써 제2객체의 이미지를 변경하였다. 사용자는 이미지가 변경된 제2객체에 해당하는 발음인 'apple'을 발음할 수 있다. Referring to FIG. 5 , the first object treated as the correct answer disappears from the display, and a red circle is displayed around the second object, which is the next object, thereby changing the image of the second object. The user may pronounce 'apple', which is a pronunciation corresponding to the second object whose image has been changed.

상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계에서, 상기 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하지 않을 수 있다. 이 경우, 상기 변경된 객체는 다시 처음 이미지로 돌아가고, 다음 객체의 이미지가 변경되어 사용자가 응답할 대상을 변경할 수 있다. 다른 실시 예에서는, 상기 변경된 객체가 종료조건에 해당하는 단계, 제어부가 상기 종료조건에 해당한 객체의 종료점수를 저장하는 단계 및 상기 마이크의 상태가 오프-상태가 되도록 하는 단계를 포함할 수 있다. 도 5에서 사용자가 'apple'이 아닌 다른 발음을 하거나 아무런 발음을 하지 않은 경우에는 제2객체는 계속 이동하여 종료조건인 Drop Line에 이르게 된다. 이 때, 제어부는 사용자의 게임점수에 실패에 따른 패널티인 종료점수를 반영할 수 있다. 도 6을 참조하면, 제2객체가 Drop Line에 이르게 됨에 따라 Total point가 80으로 변경됨을 알 수 있다.In the step of determining whether the user's voice information sensed by the microphone matches the changed object information, the user's voice information may not match the changed object information. In this case, the changed object returns to the initial image, and the image of the next object is changed so that the user can change the object to which the user responds. In another embodiment, the method may include a step in which the changed object corresponds to an end condition, the step of the control unit storing an end score of the object corresponding to the end condition, and the step of turning the state of the microphone into an off-state. . In FIG. 5 , when the user pronounces a pronunciation other than 'apple' or does not pronounce any pronunciation, the second object continues to move and reaches the drop line, which is an end condition. In this case, the controller may reflect the end score, which is a penalty according to failure, to the user's game score. Referring to FIG. 6 , it can be seen that the total point is changed to 80 as the second object reaches the drop line.

앞서 설명한 실시 예의 단계 이외에, 상기 제어부가 상기 디스플레이 상에 복수의 영역으로 구분된 배경부를 표시하는 단계를 더 포함할 수 있다. In addition to the steps of the above-described embodiment, the method may further include displaying, by the controller, a background part divided into a plurality of regions on the display.

상기 제1객체 및 제2객체를 동시에 또는 순차적으로 이동시키는 단계는, 상기 제1객체 및 제2객체는 상기 배경부의 적어도 하나의 영역에 위치하는 단계를 포함하고, 상기 게임점수는 상기 변경된 객체가 위치한 상기 배경부의 영역에 대한 정보를 기초로 연산한 것일 수 있다. 도 1 내지 도 6을 참조하면, 제1객체 및 제2객체가 이동하는 경로 상에 100poin, 90point, 80point, 70point로 표시된 각각의 영역이 구분되어 배치됨을 알 수 있다. 제어부는 객체에 대한 음성정보를 인식한 시점에 상기 객체가 위치한 영역의 점수 정보를 게임점수로 설정할 수 있다. The step of moving the first object and the second object simultaneously or sequentially may include positioning the first object and the second object in at least one area of the background part, and the game score is determined by the changed object. It may be calculated based on the information on the region of the background part located. Referring to FIGS. 1 to 6 , it can be seen that each area indicated by 100 points, 90 points, 80 points, and 70 points is separated and disposed on the path on which the first object and the second object move. The control unit may set score information of a region in which the object is located as a game score at the point in time when voice information about the object is recognized.

도 7 내지 9는 본 발명의 다른 실시 예를 따르는 음성인식을 활용한 학습방법을 도시한 것이다. 도 7 내지 도 9를 참조하면, 앞서 설명한 실시 예의 단계 이외에, 상기 배경부의 복수의 영역은 점수 정보를 포함하고, 상기 게임점수는 상기 변경된 객체가 위치한 상기 배경부의 영역의 점수 정보를 기초로 연산한 것일 수 있다. 이 때, 상기 배경부의 복수의 영역이 포함하는 점수 정보는 규칙 또는 불규칙적으로 변할 수 있다. 이를 통해 사용자는 자신이 얻고자 하는 점수 상태에서 정답을 말함으로써 높은 점수를 얻을 수 있으며, 단어 암기에 대한 흥미를 높여 학습 효율을 향상할 수 있다.7 to 9 show a learning method using voice recognition according to another embodiment of the present invention. 7 to 9 , in addition to the steps of the above-described embodiment, the plurality of regions of the background part include score information, and the game score is calculated based on the score information of the region of the background part where the changed object is located. it could be In this case, the score information included in the plurality of regions of the background part may be changed regularly or irregularly. Through this, the user can obtain a high score by saying the correct answer in the score state that he or she wants to obtain, and can improve learning efficiency by increasing interest in memorizing words.

도 7 및 도 8에서 제1객체의 이미지가 변경되었으며, 동시에 배경부의 해당영역의 점수도 100point에서 80point로 변경되었다. 도 9를 참조하면, 사용자는 제1객체가 그 다음 영역으로 이르렀을 때 발음을 하여 마이크가 사용자의 음성정보를 인식하였으며, 이때 해당 영역의 점수는 50point였다. 따라서, 제어부는 게임점수를 50으로 정하고 Total Point에 50을 표시하였다. 7 and 8, the image of the first object is changed, and at the same time, the score of the corresponding area of the background part is also changed from 100 points to 80 points. Referring to FIG. 9 , when the user made a pronunciation when the first object reached the next area, the microphone recognized the user's voice information, and the score of the corresponding area was 50 points. Therefore, the control unit set the game score to 50 and displayed 50 in the Total Point.

본 발명의 실시 예를 따르는 음성인식학습방법을 실행하는 프로그램이 저장된 기록매체는, 디스플레이, 마이크 및 제어부를 포함하는 전자기기 상에서 앞서 설명한 음성인식학습방법을 실행하는 프로그램이 저장된 것이다. The recording medium storing the program for executing the voice recognition learning method according to an embodiment of the present invention stores the program for executing the voice recognition learning method described above on an electronic device including a display, a microphone, and a control unit.

본 발명은 상술한 실시 형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다. The present invention is not limited by the above-described embodiments and the accompanying drawings, but is intended to be limited by the appended claims. Therefore, various types of substitution, modification and change will be possible by those skilled in the art within the scope not departing from the technical spirit of the present invention described in the claims, and it is also said that it falls within the scope of the present invention. something to do.

100: 제1객체
200: 제2객체100: first object
200: second object

Claims (6)

디스플레이, 마이크 및 제어부를 포함하는 전자기기에서 수행되는 음성인식을 활용한 학습방법에 있어서,
상기 제어부가 상기 디스플레이에 제1객체 및 제2객체를 나타내는 단계;
상기 제어부가 상기 제1객체 및 제2객체를 동시에 또는 순차적으로 이동시키는 단계;
상기 제어부가 마이크의 상태가 온-상태가 되도록 하는 단계;
상기 제어부가 상기 제1객체 및 제2객체 중 어느 하나의 이미지를 변경하는 단계; 및
상기 제어부가 상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계;를 포함하고,
상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계에서, 상기 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 경우,
상기 제어부가 저장부에 게임점수를 저장하는 단계 및
상기 제어부가 상기 마이크의 상태가 오프-상태가 되도록 하는 단계를 포함하고,
상기 게임점수는 상기 마이크가 사용자의 음성정보를 감지한 때의 시간정보 및 변경된 객체의 위치정보 중 적어도 하나를 기초로 연산한 것인,
음성인식을 활용한 학습방법.
In a learning method using voice recognition performed in an electronic device including a display, a microphone and a control unit,
displaying, by the controller, a first object and a second object on the display;
moving, by the controller, the first object and the second object simultaneously or sequentially;
causing the control unit to turn on the state of the microphone;
changing, by the controller, an image of any one of the first object and the second object; and
Determining whether the user's voice information sensed by the microphone corresponds to the changed object information by the control unit;
In the step of determining whether the user's voice information sensed by the microphone matches the changed object information, if the user's voice information matches the changed object information,
storing the game score in the storage unit by the control unit; and
and the control unit causing the state of the microphone to be off-state,
The game score is calculated based on at least one of time information when the microphone detects the user's voice information and location information of the changed object,
Learning method using voice recognition.
 제1항에 있어서,
상기 제어부가 상기 디스플레이 상에 복수의 영역으로 구분된 배경부를 표시하는 단계를 포함하고,
상기 제1객체 및 제2객체를 동시에 또는 순차적으로 이동시키는 단계는, 상기 제어부가 상기 제1객체 및 제2객체는 상기 배경부의 적어도 하나의 영역에 위치하는 단계를 포함하고,
상기 게임점수는 상기 변경된 객체가 위치한 상기 배경부의 영역에 대한 정보를 기초로 연산한 것인,
음성인식학습방법.
The method of claim 1,
Displaying, by the control unit, a background part divided into a plurality of regions on the display;
The step of moving the first object and the second object simultaneously or sequentially includes the step of the controller locating the first object and the second object in at least one area of the background part,
The game score is calculated based on the information on the area of the background in which the changed object is located,
Voice recognition learning method.
 제2항에 있어서,
상기 배경부의 복수의 영역은 점수 정보를 포함하고,
상기 게임점수는 상기 변경된 객체가 위치한 상기 배경부의 영역의 점수 정보를 기초로 연산한 것인,
음성인식학습방법.
3. The method of claim 2,
The plurality of areas of the background part include score information,
The game score is calculated based on the score information of the area of the background part where the changed object is located,
Voice recognition learning method.
 제3항에 있어서,
상기 배경부의 복수의 영역이 포함하는 점수 정보는 규칙 또는 불규칙적으로 변하는 것인,
음성인식학습방법.
4. The method of claim 3,
The score information included in the plurality of regions of the background part changes regularly or irregularly,
Voice recognition learning method.
 제1항에 있어서,
상기 마이크에서 감지한 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하는 지 판단하는 단계에서, 상기 사용자의 음성정보가 상기 변경된 객체의 정보에 부합하지 않는 경우,
상기 변경된 객체가 종료조건에 해당하는 단계,
상기 제어부가 상기 종료조건에 해당한 객체의 종료점수를 저장하는 단계 및
상기 제어부가 상기 마이크의 상태가 오프-상태가 되도록 하는 단계를 포함하는 것인,
음성인식학습방법.
The method of claim 1,
In the step of determining whether the user's voice information sensed by the microphone matches the changed object information, if the user's voice information does not match the changed object information,
Step in which the changed object corresponds to the termination condition;
storing, by the control unit, an end score of an object corresponding to the end condition; and
which includes the step of the control unit causing the state of the microphone to be off-state,
Voice recognition learning method.
 제1항에 음성인식학습방법을 실행하는 프로그램이 저장된 기록매체.
A recording medium storing a program for executing the voice recognition learning method according to claim 1 .
KR1020200104113A 2020-08-19 2020-08-19 Method and recording medium storing program for the same KR102403347B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200104113A KR102403347B1 (en) 2020-08-19 2020-08-19 Method and recording medium storing program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200104113A KR102403347B1 (en) 2020-08-19 2020-08-19 Method and recording medium storing program for the same

Publications (2)

Publication Number Publication Date
KR20220022763A true KR20220022763A (en) 2022-02-28
KR102403347B1 KR102403347B1 (en) 2022-06-02

Family

ID=80497450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200104113A KR102403347B1 (en) 2020-08-19 2020-08-19 Method and recording medium storing program for the same

Country Status (1)

Country Link
KR (1) KR102403347B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006181246A (en) * 2004-12-28 2006-07-13 Kazuhide Yonekawa Smart ball type letter combination game board
KR101003349B1 (en) * 2009-11-25 2010-12-22 올토주식회사 Method for learning language
KR20110064964A (en) * 2009-12-09 2011-06-15 (주)지앤넷 The intelligent language system which has a improve on pronunciation
KR20130005599A (en) * 2011-07-07 2013-01-16 윤동주 English speaking platform by using voice-based interface adventure game content
US20130323692A1 (en) * 2012-05-29 2013-12-05 Nerdcoach, Llc Education Game Systems and Methods
KR20160134169A (en) 2015-05-15 2016-11-23 최정은 This is a organization of app-program that can be memorized foreign words efficiently and systematically on playing the game

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006181246A (en) * 2004-12-28 2006-07-13 Kazuhide Yonekawa Smart ball type letter combination game board
KR101003349B1 (en) * 2009-11-25 2010-12-22 올토주식회사 Method for learning language
KR20110064964A (en) * 2009-12-09 2011-06-15 (주)지앤넷 The intelligent language system which has a improve on pronunciation
KR20130005599A (en) * 2011-07-07 2013-01-16 윤동주 English speaking platform by using voice-based interface adventure game content
US20130323692A1 (en) * 2012-05-29 2013-12-05 Nerdcoach, Llc Education Game Systems and Methods
KR20160134169A (en) 2015-05-15 2016-11-23 최정은 This is a organization of app-program that can be memorized foreign words efficiently and systematically on playing the game

Also Published As

Publication number Publication date
KR102403347B1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US8793118B2 (en) Adaptive multimodal communication assist system
KR101819457B1 (en) Voice recognition apparatus and system
KR101743230B1 (en) Apparatus and method for providing realistic language learning contents based on virtual reality and voice recognition
US9478143B1 (en) Providing assistance to read electronic books
CN109817244B (en) Spoken language evaluation method, device, equipment and storage medium
US20180011687A1 (en) Head-mounted display system and operating method for head-mounted display device
CN108877334B (en) Voice question searching method and electronic equipment
US20140278428A1 (en) Tracking spoken language using a dynamic active vocabulary
KR20190130774A (en) Subtitle processing method for language education and apparatus thereof
JP7067751B2 (en) Teaching material authoring system
KR20190065116A (en) Method for learing language based on gamificaion
KR102403347B1 (en) Method and recording medium storing program for the same
CN116884282A (en) Question answering method, device, electronic equipment and storage medium
US20210343172A1 (en) Information processing device, information processing method, and program
KR20090054951A (en) Method for studying word and word studying apparatus thereof
KR20220084696A (en) Method and recording medium storing program for the same
JP2007148170A (en) Foreign language learning support system
KR102272567B1 (en) Speech recognition correction system
US10529330B2 (en) Speech recognition apparatus and system
KR20140107067A (en) Apparatus and method for learning word by using native speakerpronunciation data and image data
US20160307453A1 (en) System and method for auditory capacity development for language processing
KR101931076B1 (en) Method for inducing uttering and Apparatus thereof
KR20170009487A (en) Chunk-based language learning method and electronic device to do this
CN111031232B (en) Dictation real-time detection method and electronic equipment
JP7036483B1 (en) Programs, information processing equipment and information processing methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right