KR100780531B1

KR100780531B1 - Game system using lip language education

Info

Publication number: KR100780531B1
Application number: KR1020070002842A
Authority: KR
Inventors: 오범수; 김화성; 조성업
Original assignee: 한국문화콘텐츠진흥원; 비쥬텍쓰리디(주)
Priority date: 2007-01-10
Filing date: 2007-01-10
Publication date: 2007-11-30

Abstract

A game system using lip language education is provided to cause educational interest by performing vocalization, pronunciation and listening education of children with hearing difficulties through animation game method. A game mode setting unit(12) sets a specific game mode, and sets a numerical value of vocalization and pronunciation for proceeding a game. A voice input unit(16) generates vocalization data by converting voice inputted from a hearing handicapped child into digital data. A voice analysis unit(18) analyzes vocalization data and generates vocalization analysis data to generate visual game animation. A user input unit(30) performs user operation to proceed a game mode requiring user input instead of voice of the hearing handicapped child. A vocalization visualization information generation unit(20) performs voice visualization processing. A feedback animation generation unit(22) displays vocalization analysis data, user operation information and voice visualization processing information on a game screen through an animation method. A memory unit(24) is stored with a gate application program and animation data information of each game.

Description

Game System Using Lip Language Education

도 1은 본 발명에 따른 구화 교육용 게임 시스템의 구성을 나타낸 도면, 1 is a view showing the configuration of a game system for the educational game according to the present invention,

도 2는 도 1에 도시된 음성 분석부의 상세한 구성을 나타낸 도면, FIG. 2 is a diagram illustrating a detailed configuration of a voice analyzer illustrated in FIG. 1;

도 3은 본 발명의 바람직한 실시예에 따라 게임의 진행을 위한 발성의 설정 상태를 나타낸 도면, 3 is a view showing a setting state of speech for the progress of the game according to a preferred embodiment of the present invention;

도 4는 본 발명의 바람직한 실시예에 따라 발성의 유무를 게임을 통해 학습하기 위한 게임 진행 화면을 나타낸 도면, 4 is a view showing a game progress screen for learning through the game the presence or absence of utterance according to a preferred embodiment of the present invention,

도 5는 본 발명의 바람직한 실시예에 따라 발성의 지속 시간을 게임을 통해 학습하기 위한 게임 진행 화면을 나타낸 도면, 5 is a view showing a game progress screen for learning the duration of utterance through a game according to a preferred embodiment of the present invention;

도 6은 본 발명의 바람직한 실시예에 따라 발성의 강도를 게임을 통해 학습하기 위한 게임 진행 화면을 나타낸 도면, 6 is a view showing a game progress screen for learning the strength of vocalization through a game according to a preferred embodiment of the present invention;

도 7은 본 발명의 바람직한 실시예에 따라 발성의 시작 유무를 게임을 통해 학습하기 위한 게임 진행 화면을 나타낸 도면, 7 is a view showing a game progress screen for learning through the game whether the start of utterance according to a preferred embodiment of the present invention,

도 8은 본 발명의 바람직한 실시예에 따라 발성의 높이를 게임을 통해 학습하기 위한 게임 진행 화면을 나타낸 도면, 8 is a view showing a game progress screen for learning the height of vocalization through a game according to a preferred embodiment of the present invention;

도 9는 본 발명의 바람직한 실시예에 따라 유성음의 유무를 게임을 통해 학습하기 위한 게임 진행 화면을 나타낸 도면, 9 is a view showing a game progress screen for learning through the game the presence or absence of voiced sound, according to an embodiment of the present invention,

도 10은 본 발명의 바람직한 실시예에 따라 발음 학습을 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면, 10 is a view showing a game progress screen for progressing the pronunciation learning through the game according to an embodiment of the present invention,

도 11은 본 발명의 바람직한 실시예에 따라 청능 학습으로서 발음에 해당하는 글자 맞추기를 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면, 11 is a view showing a game progress screen for proceeding through the game to match the pronunciation of the pronunciation as a sound learning according to an embodiment of the present invention,

도 12는 본 발명의 바람직한 실시예에 따라 청능 학습으로서 발음에 해당하는 그림 맞추기를 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면, 12 is a view showing a game progress screen for proceeding through the game to match the picture corresponding to the pronunciation according to a preferred embodiment of the present invention,

도 13은 본 발명의 바람직한 실시예에 따라 청능 학습으로서 문장 맞추기를 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면, 13 is a view showing a game progress screen for proceeding through the game to match the sentence as the auditory learning according to an embodiment of the present invention,

도 14는 본 발명의 바람직한 실시예에 따라 청능 학습으로서 문장에 해당하는 그림 맞추기를 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면, 14 is a view showing a game progress screen for proceeding through the game to match the picture corresponding to the sentence as a hearing learning according to an embodiment of the present invention,

도 15는 본 발명의 바람직한 실시예에 따라 청능 학습으로서 문장 완성하기를 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면, 15 is a view showing a game progress screen for proceeding through the game to complete the sentence as the auditory learning according to an embodiment of the present invention,

도 16은 본 발명의 바람직한 실시예에 따라 청능 학습으로서 문장에 해당하는 그림 완성하기를 게임을 통해 진행하기 위한 게임 진행 화면을 나타낸 도면이다. 16 is a diagram illustrating a game progress screen for progressing through a game to complete a picture corresponding to a sentence as auditory learning according to a preferred embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10:게임모드 입력부, 12:모드 설정부,10: game mode input unit, 12: mode setting unit,

14:마이크로폰, 16:음성 입력부,14: microphone, 16: audio input,

18:음성 분석부, 20:발성 시각화 정보 발생부,18: voice analysis unit, 20: voice visualization information generation unit,

22:피드백 애니메이션 발생부, 24:메모리,22: feedback animation generator, 24: memory,

26:화면 디스플레이부, 28:스피커,26: On-screen display, 28: Speaker,

30:사용자 입력부, 32:입력정보 처리부.30: user input unit, 32: input information processing unit.

본 발명은 청각 장애아들을 위한 우리말의 발성, 발화, 발음 및 청능 교육을 게임 방식으로 진행하기 위한 구화 교육용 게임 시스템에 관한 것이다.The present invention relates to a game system for speech education for teaching speech, speech, pronunciation, and hearing in Korean for a hearing impaired child.

주지하는 바와 같이, 인간은 의사소통을 통하여 상호관계를 보다 원만하고 친밀하게 유지하게 되며, 이것은 삶의 현장에서 차지하는 비중이 매우 크다.As is well known, humans maintain a smoother and more intimate relationship with each other through communication, which is very important in the field of life.

그러나, 청각 장애인들은 건청인과는 달리 자신의 생각이나 감정을 표현하는데 있어서, 음성언어를 능숙하게 사용하는 것이 어렵도록 되어 있는 바, 상대방과의 의사소통을 위해서 음성 언어 대신에 손짓, 몸짓, 얼굴의 표정 등을 사용한 언어인 수화를 주로 사용하게 된다. However, hearing impaired people are unlikely to be able to use their speech language skillfully in expressing their thoughts and feelings. Sign language, which is a language using facial expressions, is mainly used.

여기서, 손짓, 몸짓 등을 이용한 의사전달 방법인 수화의 경우에는 행위와 문자를 상호 접목하는 행위를 반복하는 과정에서 숙지할 수 있도록 되어 있다. Here, in the case of sign language, which is a communication method using gestures, gestures, and the like, the sign language can be understood in the process of repeating the act of combining the action and the letter.

한편, 이러한 청각 장애인들의 수화를 이용한 의사 소통은, 청각 장애인들끼리의 대화에는 상호 능숙하게 적용될 수 있지만, 건청인들과 의사 소통을 하려면 해당 건청인이 부득이하게 수화를 익혀야 하고, 청각 장애인들 특히, 선천적인 장애아의 경우에는 일찍부터 수화에만 의존하게 되면 청각 능력 및 언어 능력을 개발하는 것이 어렵게 되어 퇴화해버리기 쉽게 된다.On the other hand, the communication using the sign language of the hearing impaired can be mutually skillfully applied to the conversation between the hearing impaired, but in order to communicate with the hearing impaired, the impaired person must inevitably learn sign language, In the case of children with disabilities, early relying on sign language makes it difficult to develop hearing and language skills, which can easily degenerate.

이를 감안하여 최근에는 청각 장애아들에게 다양한 방법으로 발성, 발화, 발음 교육 및 청능 교육을 본격적으로 실시하는 비중이 높아지고 있는 바, 청각 장애에 대한 전문 지식을 갖춘 선생님들이 장애아들을 대상으로 그림책이나 낱말 카드, 마이크로폰, 녹음기 등의 교재 및 기자재를 활용하여 발성, 발화, 발음, 청능 교육을 실시하도록 하고 있다.In view of this, in recent years, the proportion of speech, speech, pronunciation, and hearing education has been increased in earnest for children with hearing impairment. Therefore, teachers with expertise in hearing impairment have picture books or word cards. In addition, textbooks, microphones, recorders, and other materials are used to provide speech, speech, pronunciation, and hearing training.

하지만, 이러한 청각 장애아들을 위한 발화 및 청능 교육의 경우에는 발음 상태 및 청능이 뒤떨어진 청각 장애아들을 상대로 하여 반복적으로 발성할 수 있도록 하고, 음성을 반복적으로 들을 수 있도록 하는 교육 방식을 채택하고 있기 때문에, 일정 정도의 성과가 나타나기까지 장시간이 소요될 뿐만 아니라, 발성 및 청음이 뒤떨어진 청각 장애아의 입장에서는 교육의 흥미가 반감되어 훈련 효율이 떨어질 수 밖에 없다는 불리함이 있다.However, in the case of speech and hearing education for children with hearing impairment, it is possible to repeatedly speak to the hearing impaired children with poor pronunciation state and hearing, and to adopt the education method to listen to the voice repeatedly. Not only does it take a long time to achieve a certain level of performance, but it also has the disadvantage that the educational efficiency is deteriorated because the interest of education is deteriorated for the hearing impaired child who is poor in speech and hearing.

이에, 청각 장애에 비해서 정상적인 시각을 가지고 있는 청각 장애아들을 대상으로 하는 교육상의 흥미 유발과 보다 정확하고 가시적인 교육 효과를 기대하기 위해서는, 장애아들이 지속적으로 흥미를 유발시킬 수 있는 애니메이션 게임 등의 방식을 접목하여 교육을 실시할 수 있도록 하는 시스템의 개발이 절실히 요구되는 실정이다. Therefore, in order to induce educational interest and more accurate and visible educational effects for deaf children who have normal vision compared to hearing impairment, animation games such as children with disabilities can continuously induce interest. There is an urgent need for the development of a system that allows education to be combined.

따라서, 본 발명은 상기한 종래의 사정을 감안하여 이루어진 것으로서, 그 목적은 청각 장애아들의 발성, 발화, 발음 교육 및 청능 교육을 애니메이션 게임 방식으로 진행할 수 있도록 하여 교육상의 흥미를 유발할 수 있는 구화 교육용 게 임 시스템을 제공하는 것이다. Accordingly, the present invention has been made in view of the above-described conventional circumstances, and its object is to make speech education crabs that can induce educational interest by enabling speech, speech, pronunciation education, and hearing education of hearing-impaired children to be progressed in an animation game system. Im going to provide a system.

상기한 목적을 달성하기 위해 본 발명에 따르면, 청각 장애아들을 위해 구비된 복수의 게임 모드 중에서 특정 게임 모드를 설정하고, 게임의 진행을 위한 발성 및 발음의 수치값을 설정하는 게임 모드 설정 수단과, 청각 장애아로부터 입력되는 음성을 입력받아 디지털 변환하여 발성 데이터를 발생하는 음성 입력 수단, 상기 게임 모드 설정 수단에 의해 설정된 게임 모드에 따라 상기 음성 입력 수단으로부터의 발성 데이터를 분석하여 그 분석 결과에 따른 시각적인 게임 애니메이션이 발생되도록 하기 위한 발성 분석 데이터를 발생하는 음성 분석 수단, 상기 게임 모드 설정 수단에 의해 설정된 게임 모드에 따라 장애아의 음성 대신에 사용자 입력이 요구되는 게임 모드의 진행을 위한 사용자 조작을 수행하는 사용자 입력 수단, 상기 음성 분석 수단의 발성 분석 데이터와, 상기 음성 입력 수단을 통해 입력된 청각 장애아의 발성 데이터를 분석하여 영상 화면에 웨이브폼(Waveform), 스팩트럼(Spectrum), 스팩트로그램(Spectrogram)의 형태로 시각화하여 표시하기 위한 음성의 시각화 처리를 수행하는 발성 시각화 정보 발생 수단, 상기 음성 분석 수단의 발성 분석 데이터와, 상기 사용자 입력 수단으로부터의 사용자 조작 정보, 상기 발성 시각화 정보 발생 수단의 음성 시각화 처리 정보를 게임 화면에 애니메이션 방식으로 표시하는 피드백 애니메이션 발생 수단 및, 복수의 게임 모드에 대한 게임 어플리케이션 프로그램과, 각 게임의 애니메이션 데이터 정보가 저장되어 있는 메모리 수단을 포함하여 구성된 것을 특징으로 하는 구화 교육용 게임 시스템을 제공 한다.In order to achieve the above object, according to the present invention, game mode setting means for setting a specific game mode of the plurality of game modes provided for the hearing impaired child, and setting the numerical value of speech and pronunciation for the progress of the game, Voice input means for receiving voice input from a hearing impaired child and digitally converting to generate voice data, and analyzing voice data from the voice input means in accordance with a game mode set by the game mode setting means and visually analyzing the voice data from the voice input means. Voice analysis means for generating voice analysis data for generating an in-game animation, and performing a user operation for the progress of a game mode requiring user input instead of the voice of a disabled child according to the game mode set by the game mode setting means User input means, the voice analysis means Voice analysis data and voice data of the hearing impaired child inputted through the voice input means, and a voice for visualizing and displaying in the form of a waveform, spectrum, and spectrogram on an image screen Voice visualization information generating means for performing visualization processing of the voice, voice analysis data of the voice analyzing means, user manipulation information from the user input means, and voice visualization processing information of the voice visualization information generating means in an animation manner on a game screen. Provided is a spoken educational game system comprising a feedback animation generating means for displaying, a game application program for a plurality of game modes, and a memory means for storing animation data information of each game.

이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다. Hereinafter, the present invention configured as described above will be described in detail with reference to the accompanying drawings.

즉, 도 1은 본 발명에 따른 구화 교육용 게임 시스템의 구성을 나타낸 도면이다. That is, Figure 1 is a view showing the configuration of a game system for spoken education according to the invention.

도 1에 도시된 바와 같이, 본 발명에 따른 구화 교육용 게임 시스템은, 게임모드 입력부(10)와, 모드 설정부(12), 마이크로폰(14), 음성 입력부(16), 음성 분석부(18), 발성 시각화 정보 발생부(20), 피드백 애니메이션 발생부(22), 메모리(24), 화면 디스플레이부(26), 스피커(28), 사용자 입력부(30), 입력정보 처리부(32)로 구성된다. As illustrated in FIG. 1, the game education system for speech education according to the present invention includes a game mode input unit 10, a mode setting unit 12, a microphone 14, a voice input unit 16, and a voice analysis unit 18. The voice visualization information generator 20 includes a feedback animation generator 22, a memory 24, a screen display 26, a speaker 28, a user input unit 30, and an input information processor 32. .

상기 게임모드 입력부(10)는 청각 장애아를 위해 구비된 다양한 게임모드 즉, 발성 유무 측정 게임, 발성 지속시간 측정 게임, 발성 크기 측정 게임, 발성 시작 유무 측정 게임, 발성 높이 측정 게임, 유/무성음 측정 게임, 발음 정확성 측정 게임, 청능 학습으로서 단어 및 그림 찾기 게임과, 그림 및 문장 찾기 게임 및 문장 완성하기 게임을 모드절환하기 위한 키입력을 수행한다. The game mode input unit 10 is a variety of game modes provided for hearing impaired children, that is, the presence or absence measurement game, utterance duration measurement game, vocalization size measurement game, vocalization start or absence measurement game, vocal height measurement game, voice / silent sound measurement A word, picture search game, picture and sentence search game, and sentence completion as a game, pronunciation accuracy measurement game, auditory learning, and key input for mode switching game.

또한, 상기 게임모드 입력부(10)는 도 3에 도시된 바와 같이, 다양한 게임모드에 따른 게임 진행상의 발성 및 발음의 수치값 즉, 발성 유무, 발성 지속시간, 발성 시작 기준 크기, 발성 강도, 발성의 높이, 발음의 유사도, 잡음 환경의 수치값을 설정하기 위한 키입력을 수행한다.In addition, as shown in Figure 3, the game mode input unit 10, the numerical value of the utterance and pronunciation in the progress of the game according to the various game modes, that is, whether there is a utterance, utterance duration, vocal start reference size, vocal intensity, vocalization A keystroke is performed to set the numerical value of the height, the similarity of the pronunciation, and the noise environment.

상기 모드 설정부(12)는 상기 게임모드 입력부(10)에서 입력되어 선택된 게 임모드에 따라 게임이 진행되도록 모드 설정을 수행하고, 게임 진행상의 발성 및 발음의 수치값을 설정한다. The mode setting unit 12 performs mode setting so that the game proceeds according to the selected game mode input from the game mode input unit 10, and sets numerical values of utterance and pronunciation in game progress.

상기 마이크로폰(14)은 발성, 발화, 발음 및 청능 교육 게임의 진행을 위한 청각 장애아들의 음성을 입력받게 되고, 상기 음성 입력부(16)는 상기 마이크로폰(14)을 통해 입력된 청각 장애아의 음성을 샘플링 및 양자화하여 디지털 변환하게 된다. The microphone 14 receives voices of deaf children for speech, speech, pronunciation, and hearing education games, and the voice input unit 16 samples voices of the hearing impaired children input through the microphone 14. And quantize to digital conversion.

상기 음성 분석부(18)는 상기 음성 입력부(16)를 통해 디지털 변환된 청각 장애아의 발성 데이터를 입력받아 발성 유무, 발성 지속시간, 발성 크기, 발성 시작 유무, 발성 높이, 유/무성음, 발음 정확도의 측정을 위한 음성 분석을 수행한다.The voice analyzer 18 receives the voice data of the deaf child digitally converted through the voice input unit 16, and whether the voice is present, voice duration, voice size, voice start, voice height, voice / voice, and pronunciation accuracy. Perform voice analysis for the measurement of.

여기서, 상기 음성 분석부(18)는 도 2에 도시된 바와 같이, 상기 발성 데이터를 분석하여 발성이 있는지의 유무의 분석 결과에 따른 발성 유무 분석 데이터를 발생하는 발성 유무 분석 모듈(40)과, 상기 발성 데이터를 분석하여 발성의 지속시간이 얼마나 되는지의 여부를 분석한 결과에 따른 발성 지속시간 분석 데이터를 발생하는 발성 지속시간 분석 모듈(42), 상기 발성 데이터를 분석하여 발성의 크기가 얼마나 되는지의 여부를 분석한 결과에 따른 발성 크기 분석 데이터를 발생하는 발성 크기 분석 모듈(44), 상기 발성 데이터를 분석하여 발성이 시작되고 있는지의 여부를 분석한 결과에 따른 발성 시작 분석 데이터를 발생하는 발성 시작 분석 모듈(46), 상기 발성 데이터를 분석하여 발성의 높이가 얼마나 되는지의 여부를 분석한 결과에 따른 발성 높이 분석 데이터를 발생하는 발성 높이 분석 모듈(48), 상기 발성 데이터로 입력되는 음성이 유성음인지 또는 무성음인지를 분석한 결과에 따른 유/무성음 분석 데이터를 발생하는 유/무성음 분석 모듈(50), 상기 발성 데이터를 분석하여 기준 발음 정보에 따른 음성 데이터와 비교하여 두 음성데이터 사이의 유사도를 측정한 결과에 따라 입력 음성의 발음 정확도가 얼마나 되는지의 여부를 분석한 결과에 따른 발음 정확도 분석 데이터를 발생하는 발음 정확도 분석 모듈(52)을 포함하여 구성된다. Here, as shown in FIG. 2, the voice analyzer 18 analyzes the voice data and generates a voice analysis module 40 generating voice analysis data according to an analysis result of whether voice is present, and A voice duration analysis module 42 for generating voice duration analysis data according to a result of analyzing whether or not the duration of the voice is analyzed by analyzing the voice data, and how much the size of the voice is analyzed by analyzing the voice data. Voice size analysis module 44 for generating voice size analysis data according to the result of analyzing whether or not, voice analysis for generating voice start analysis data according to the result of analyzing whether the voice is started by analyzing the voice data. Start analysis module 46, the voice height according to the result of analyzing whether the height of the voice is analyzed by analyzing the voice data Voice height analysis module 48 for generating analysis data, voiced / unvoiced sound analysis module 50 for generating voiced / unvoiced sound analysis data according to a result of analyzing whether the voice input as the voiced data is voiced or unvoiced sound, According to the result of analyzing the voice data and comparing the voice data according to the reference pronunciation information and measuring the similarity between the two voice data, the pronunciation accuracy analysis data according to the result of analyzing how much the pronunciation accuracy of the input voice is generated It is configured to include a pronunciation accuracy analysis module 52.

상기 발음 정확도 분석 모듈(52)에서는 시간적으로 서로 다음 모양을 가지는 두 음성 데이터의 차이를 보정하고, 이를 주파수 영역으로 변환하게 되며, 음성 분석을 위한 특징 파라미터를 추출함에 의해, 그 특징 파라미터를 통해서 발음의 정확도를 측정하게 된다. The pronunciation accuracy analysis module 52 corrects a difference between two voice data having a next shape in time, converts the voice data into a frequency domain, and extracts a feature parameter for voice analysis. We measure the accuracy of.

도 1에서, 상기 발성 시각화 정보 발생부(20)는 상기 마이크로폰(14)을 통해 입력되어 음성 입력부(16)를 통한 청각 장애아의 발성 데이터를 분석하여 영상 화면에 웨이브폼(Waveform), 스팩트럼(Spectrum), 스팩트로그램(Spectrogram)의 형태로 시각화하여 표시하기 위한 음성의 시각화 처리를 수행한다. In FIG. 1, the speech visualization information generator 20 is input through the microphone 14 and analyzes speech data of a hearing impaired child through the voice input unit 16 to display a waveform and spectrum on an image screen. ), A visualization process of voice for visualization and display in the form of a spectrogram is performed.

상기 피드백 애니메이션 발생부(22)는 상기 음성 분석부(18)로부터의 발성 유무, 발성 지속시간, 발성 크기, 발성 시작 유무, 발성 높이, 유/무성음, 발음 정확도를 분석한 분석 데이터와, 상기 발성 시각화 정보 발생부(20)로부터의 웨이브폼, 스팩트럼, 스팩트로그램의 시각화 정보, 상기 입력정보 처리부(32)를 통한 사용자 입력부(30)로부터의 사용자 조작 정보를 상기 화면 디스플레이부(26)의 게임 화면에 애니메이션 방식으로 표시하기 위해, 상기 메모리(24)로부터의 게임 어플리 케이션 프로그램의 실행 하에서 게임 애니메이션 데이터 정보를 사용한 애니메이션 정보를 발생한다. The feedback animation generator 22 analyzes the speech data from the voice analyzer 18, speech duration, speech size, speech start, speech height, voice / voice, and pronunciation accuracy. Waveform, spectrum, spectrogram visualization information from the visualization information generation unit 20, user operation information from the user input unit 30 through the input information processing unit 32, the game of the screen display unit 26 In order to display on the screen in an animation manner, animation information using game animation data information is generated under execution of the game application program from the memory 24.

상기 메모리(24)는 발성 유무 측정 게임, 발성 지속시간 측정 게임, 발성 크기 측정 게임, 발성 시작 유무 측정 게임, 발성 높이 측정 게임, 유/무성음 측정 게임, 발음 정확성 측정 게임, 청능 학습으로서 단어 및 그림 찾기 게임과, 그림 및 문장 찾기 게임 및 문장 완성하기 게임의 다양한 게임 모드에 대한 게임 어플리케이션 프로그램과, 각 게임의 애니메이션 데이터 정보가 저장되어 있다. The memory 24 includes speech and voice measurement games, voice duration measurement games, voice size measurement games, voice start and exit measurement games, voice height measurement games, voice and voiceless measurement games, pronunciation accuracy measurement games, words and pictures as auditory learning. A game application program for various game modes of a search game, a picture and sentence search game and a sentence, and animation data information of each game are stored.

상기 사용자 입력부(30)는 게임 모드 중에서 청능 학습을 위한 단어 및 그림 찾기 게임, 그림 및 문장 찾기 게임, 문장 완성하기 게임의 진행을 위한 사용자 조작을 수행하게 되고, 상기 입력정보 처리부(32)는 상기 사용자 입력부(30)를 통한 게임 진행상의 사용자 조작 정보를 입력받아 상기 피드백 애니메이션 발생부(22)에 전송한다. The user input unit 30 performs a user operation for the progress of a word and picture search game, a picture and sentence search game, a sentence completion game for hearing learning in a game mode, and the input information processor 32 It receives the user operation information on the game progress through the user input unit 30 and transmits it to the feedback animation generation unit 22.

이어, 상기한 바와 같이 이루어진 본 발명의 동작에 대해 첨부도면을 참조하여 상세히 설명한다. Next, the operation of the present invention made as described above will be described in detail with reference to the accompanying drawings.

먼저, 게임 모드 입력부(10)에서는 다양한 게임 모드의 진행 상에서 발성 및 발음의 수치값 조정을 위해, 도 3에 도시된 바와 같이 화면 디스플레이부(26) 상에서 발성 및 발음의 조정 화면이 표시되는 상태에서 발성 유무와, 발성 지속시간, 발성 시작 기준 크기, 발성 강도, 발성의 높이, 발음의 유사도, 잡음 환경을 설정하기 위한 키입력을 수행한다. First, in the game mode input unit 10, in order to adjust numerical values of speech and pronunciation in progress of various game modes, as shown in FIG. 3, the screen for adjusting the speech and pronunciation is displayed on the screen display unit 26. Key input is performed to set the presence / absence of speech, duration of speech, speech start reference size, speech intensity, speech height, pronunciation similarity, and noise environment.

그 상태에서, 상기 게임 모드 입력부(10)에 의해 다양한 게임 모드 중에서 발성 유무 측정 게임이 선택되면, 도 4에 도시된 바와 같이 발성의 유무를 학습하는 게임 화면이 표시되고, 마이크로폰(14)을 통해 입력되는 청각 장애아의 음성이 음성 입력부(16)를 통해 디지털 발성 데이터로 변환되면, 음성 분석부(18)의 발성유무 분석 모듈(40)에서는 상기 발성 데이터의 발성 유무를 분석하여 그에 따른 발성 유무 분석 데이터를 발생한다.In this state, when the game presence measurement game is selected from the various game modes by the game mode input unit 10, a game screen for learning the presence or absence of speech is displayed as shown in FIG. 4, and the microphone 14 is displayed. When the voice of the hearing-impaired child is converted into digital voice data through the voice input unit 16, the voice analysis module 40 of the voice analyzer 18 analyzes whether the voice data is spoken and analyzes whether there is voice. Generate data.

이에, 상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 발성 유무에 따라 도 4의 좌측에 위치한 애니메이션 캐릭터가 움직이도록 피드백함으로써, 청각 장애아가 자신의 발성 유무를 애니메이션을 통해 시각적으로 확인할 수 있도록 한다. Accordingly, the feedback animation generation unit 22 feeds back the animation character located on the left side of FIG. 4 according to the presence or absence of the utterance data to enable the hearing impaired child to visually check the presence or absence of his / her speech. .

그 다음에, 상기 게임 모드 입력부(10)에 의해 발성의 지속시간 측정 게임이 선택되면, 도 5에 도시된 바와 같이 발성의 지속시간을 학습하는 게임 화면이 표시되고, 상기 음성 분석부(18)의 발성 지속시간 분석 모듈(42)은 상기 마이크로폰(14)을 통해 입력되어 음성 입력부(16)를 통해 디지털 변환된 발성 데이터를 분석하여 발성 지속시간을 측정한 결과에 따른 발성 지속시간 분석 데이터를 발생한다.Then, when the duration measurement game of phonation is selected by the game mode input unit 10, a game screen for learning the duration of utterance as shown in Fig. 5 is displayed, the voice analysis unit 18 The speech duration analysis module 42 of the speaker generates the speech duration analysis data according to the result of measuring the speech duration by analyzing the speech data input through the microphone 14 and digitally converted through the voice input unit 16. do.

이에, 상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 발성 지속시간에 따라 도 5의 좌측에 위치한 애니메이션 캐릭터가 움직이도록 피드백함으로써, 청각 장애아가 자신의 발성 지속시간을 애니메이션을 통해 시각적으로 확인할 수 있도록 한다. Accordingly, the feedback animation generator 22 feedbacks the animation character located on the left side of FIG. 5 according to the duration of the utterance of the utterance data so that the hearing impaired child can visually check the duration of the utterance of the utterance through animation. Make sure

또한, 상기 게임 모드 입력부(10)에 의해 발성의 강도 측정 게임이 선택되 면, 도 6에 도시된 바와 같이 발성의 지속시간을 학습하는 게임 화면이 표시되고, 상기 음성 분석부(18)의 발성 크기 분석 모듈(44)은 상기 마이크로폰(14)을 통해 입력되어 음성 입력부(16)를 통해 디지털 변환된 발성 데이터를 분석하여 발성의 강도를 측정한 결과에 따른 발성 크기 분석 데이터를 발생한다.In addition, when the game of intensity measurement of the voice is selected by the game mode input unit 10, as shown in FIG. 6, a game screen for learning the duration of speech is displayed, and the voice of the voice analyzer 18 The size analysis module 44 analyzes the voice data input through the microphone 14 and digitally converted through the voice input unit 16 to generate voice size analysis data according to a result of measuring the intensity of the voice.

이에, 상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 발성 강도에 따라 도 6의 좌측에 위치한 애니메이션 캐릭터가 움직이도록 피드백함으로써, 청각 장애아가 자신의 발성 강도를 애니메이션을 통해 시각적으로 확인할 수 있도록 한다. Accordingly, the feedback animation generator 22 feeds back the animated character located on the left side of FIG. 6 according to the vocal intensity of the vocalization data, so that the hearing impaired child can visually check his vocal intensity through animation. .

또, 상기 게임 모드 입력부(10)에 의해 발성의 시작 유무 측정 게임이 선택되면, 도 7에 도시된 바와 같이 발성의 시작 유무를 학습하는 게임 화면이 표시되고, 상기 음성 분석부(18)의 발성 시작 분석 모듈(46)은 상기 마이크로폰(14)을 통해 입력되어 음성 입력부(16)를 통해 디지털 변환된 발성 데이터를 분석하여 발성 시작 유무를 분석한 결과에 따른 발성 시작 분석 데이터를 발생한다.In addition, when the game of measuring the presence or absence of vocalization is selected by the game mode input unit 10, a game screen for learning the presence or absence of vocalization is displayed as shown in FIG. The start analysis module 46 analyzes the voice data input through the microphone 14 and digitally converted through the voice input unit 16 to generate voice start analysis data according to a result of analyzing the presence or absence of voice start.

이에, 상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 발성 시작 유무에 따라 도 7의 좌측에 위치한 애니메이션 캐릭터가 움직이도록 피드백함으로써, 청각 장애아가 자신의 발성이 시작되었는지의 여부를 애니메이션을 통해 시각적으로 확인할 수 있도록 한다. Accordingly, the feedback animation generator 22 feeds back the animation character located on the left side of FIG. 7 according to whether the voice data starts to be spoken, thereby visualizing whether the hearing impaired child has started his / her speech. To check.

한편, 상기 게임 모드 입력부(10)에 의해 발성의 높이 측정 게임이 선택되면, 도 8에 도시된 바와 같이 발성의 높이를 학습하는 게임 화면이 표시되고, 상기 음성 분석부(18)의 발성 높이 분석 모듈(48)은 상기 마이크로폰(14)을 통해 입력되 어 음성 입력부(16)를 통해 디지털 변환된 발성 데이터를 분석하여 발성 높이를 측정한 결과에 따른 발성 높이 분석 데이터를 발생한다.On the other hand, when the height measurement game of vocalization is selected by the game mode input unit 10, a game screen for learning the height of vocalization is displayed as shown in Fig. 8, the voice height analysis of the speech analysis unit 18 The module 48 analyzes the voice data input through the microphone 14 and digitally converted through the voice input unit 16 to generate voice height analysis data according to the result of measuring the voice height.

이에, 상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 발성 높이를 분석한 결과에 따라, 도 8의 좌측에 위치한 애니메이션 캐릭터가 높이 움직이도록 피드백함으로써, 청각 장애아가 자신의 발성 높이가 어느 정도로 올라가는 지의 여부를 애니메이션을 통해 시각적으로 확인할 수 있도록 한다. Accordingly, the feedback animation generator 22 feeds back the animation character located on the left side of FIG. 8 to move high according to a result of analyzing the utterance height of the utterance data, so that the hearing impaired child increases his utterance height to some extent. It is possible to visually check whether or not the animation is present.

또한, 상기 게임 모드 입력부(10)에 의해 발성의 유/무성음 측정 게임이 선택되면, 도 9에 도시된 바와 같이 발성의 유/무성음을 학습하는 게임 화면이 표시되고, 상기 음성 분석부(18)의 유/무성음 분석 모듈(50)은 상기 마이크로폰(14)을 통해 입력되어 음성 입력부(16)를 통해 디지털 변환된 발성 데이터가 유성음인지 또는 무성음인지를 분석하여 그에 따른 유/무성음 분석 데이터를 발생한다.In addition, when the voice / voiceless sound measuring game is selected by the game mode input unit 10, as illustrated in FIG. 9, a game screen for learning voice / voiced voice is displayed, and the voice analyzer 18 is displayed. The voiced / unvoiced voice analysis module 50 analyzes whether voice data input through the microphone 14 and digitally converted by the voice input unit 16 is voiced or unvoiced, and generates voiced / unvoiced voice data accordingly. .

상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 유/무성음 분석 결과에 따라, 도 9의 좌측에 위치한 애니메이션 캐릭터의 색상과 움직임이 변화되도록 피드백함으로써, 청각 장애아가 자신의 발성이 유성음인지 또는 무성음인지의 여부를 애니메이션을 통해 시각적으로 확인할 수 있도록 한다. The feedback animation generator 22 feeds back the color and movement of the animation character located on the left side of FIG. 9 according to the analysis result of the voiced / unvoiced sound of the speech data, so that the hearing impaired child is voiced or unvoiced. Allows you to visually check whether or not you are aware of this.

또, 상기 게임 모드 입력부(10)에 의해 발음 정확도를 측정하는 게임 모드가 선택되는 경우에, 도 10에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 발음의 정확도에 대한 학습을 위해, 게임 화면 상에 학습하고자 하는 글자와, 해당 글자를 동영상으로 발음하는 립싱크 애니메이션 캐릭터가 표시되도록 한다. In addition, when a game mode for measuring pronunciation accuracy is selected by the game mode input unit 10, as illustrated in FIG. 10, the feedback animation generator 22 may play a game in order to learn about the accuracy of pronunciation. The characters to be learned on the screen and the lip-sync animation characters that pronounce the characters as a video are displayed.

그 상태에서, 상기 음성 분석부(18)의 발음 정확도 분석 모듈(52)은 상기 마 이크로폰(14)을 통해 입력되어 음성 입력부(16)를 통해 디지털 변환된 발성 데이터와, 게임 화면 상에 표출된 글자의 기준 발음 정보 데이터를 비교하여 발음의 유사도를 측정함에 의해, 그 유사도를 점수로 측정한 발음 정확도 분석 데이터를 발생한다. In this state, the pronunciation accuracy analysis module 52 of the voice analysis unit 18 is input through the microphone 14 and digitally converted through the voice input unit 16 and displayed on the game screen. By comparing the reference pronunciation information data of the written characters and measuring the similarity of the pronunciation, pronunciation accuracy analysis data in which the similarity is measured as a score is generated.

그에 따라, 상기 피드백 애니메이션 발생부(22)는 상기 발성 데이터의 발음 정확도 측정에 따라 산출된 점수에 의해, 도 10의 좌측에 위치한 애니메이션 캐릭터가 움직이도록 피드백함으로써, 청각 장애아가 자신의 발음에 대한 정확도를 애니메이션 캐릭터를 통해 시각적으로 확인할 수 있게 된다. Accordingly, the feedback animation generator 22 feeds back the animation character located on the left side of FIG. 10 based on the score calculated according to the pronunciation accuracy measurement of the utterance data, so that the hearing impaired child has an accuracy with respect to his / her pronunciation. You can visually check through the animation character.

한편, 상기 게임 모드 입력부(10)에 의해 청능 학습을 위한 글자 맞추기 게임 모드가 선택되는 경우에, 도 11에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 청능 학습을 위해, 특정 글자를 동영상으로 발음하는 립싱크 애니메이션 캐릭터와, 해당 특정 글자를 포함하는 예제 글자 캐릭터를 화면 디스플레이부(26) 상에 배열 표시하게 된다. On the other hand, when the letter matching game mode for auditory learning is selected by the game mode input unit 10, as shown in FIG. The lip-sync animation character to be pronounced as an example and an example character character including the specific character are arranged and displayed on the screen display unit 26.

그 상태에서, 사용자 입력부(30)의 사용자 조작에 의해 링싱크 애니메이션에서 발음되는 글자의 캐릭터에 대한 선택이 있게 되면, 상기 피드백 애니메이션 발생부(22)는 청각 장애아에 의한 발음 글자의 선택 상태를 화면 디스플레이부(26) 상에 표시하고, 그에 따른 정답을 표시하게 된다. In this state, when there is a selection of the character of the letter to be pronounced in the ring-sink animation by the user's operation of the user input unit 30, the feedback animation generator 22 displays the selection state of the pronunciation letter by the deaf child. The display unit 26 displays the correct answer.

또한, 상기 게임 모드 입력부(10)에 의해 청능 학습을 위한 그림 맞추기 게임 모드가 선택되는 경우에, 도 12에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 청능 학습을 위해, 특정 글자를 동영상으로 발음하는 립싱크 애니메이 션 캐릭터와, 해당 특정 글자와 대응하는 그림을 포함하는 예제 그림 캐릭터를 화면 디스플레이부(26) 상에 배열 표시하게 된다. In addition, when the picture matching game mode for auditory learning is selected by the game mode input unit 10, as illustrated in FIG. 12, the feedback animation generator 22 may display a specific character as a moving image. The lip-sync animation character to be pronounced as an example and an example figure character including a picture corresponding to the specific character are arranged and displayed on the screen display unit 26.

그 상태에서, 상기 사용자 입력부(30)의 사용자 조작에 의해 립싱크 애니메이션에서 발음되는 글자와 대응하는 그림 캐릭터에 대한 선택이 있게 되면, 상기 피드백 애니메이션 발생부(22)는 청각 장애아에 의한 그림 선택 상태를 화면 디스플레이부(26) 상에 표시하고, 그에 따른 정답을 표시하게 된다. In this state, when there is a selection of a picture character corresponding to a character pronounced in the lip-sync animation by a user manipulation of the user input unit 30, the feedback animation generator 22 selects a picture selection state by a hearing impaired child. It is displayed on the screen display unit 26, and the correct answer is displayed.

또, 상기 게임 모드 입력부(10)에 의해 청능 학습을 위한 문장 맞추기 게임 모드가 선택되는 경우에, 도 13에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 청능 학습을 위해, 특정 문장이 스피커(28)를 통해 음성 출력되도록 함과 더불어, 해당 발음 문장을 포함하는 예제 문장 캐릭터를 화면 디스플레이부(26) 상에 배열 표시하게 된다. In addition, when the sentence matching game mode for auditory learning is selected by the game mode input unit 10, as shown in FIG. 13, the feedback animation generating unit 22 uses a specific sentence as a speaker for auditory learning. In addition to the voice output through 28, the example sentence character including the pronunciation sentence is arranged and displayed on the screen display unit 26.

그 상태에서, 상기 사용자 입력부(30)의 사용자 조작에 의해 음성으로 발음되는 문장과 대응하는 문장 캐릭터에 대한 선택이 있게 되면, 상기 피드백 애니메이션 발생부(22)는 청각 장애아에 의한 문장 선택 상태를 화면 디스플레이부(26) 상에 표시하고, 그에 따른 정답을 표시하게 된다. In this state, when there is a selection of a sentence to be pronounced by voice and a sentence character corresponding to the user's operation of the user input unit 30, the feedback animation generator 22 displays the sentence selection state by the deaf child. The display unit 26 displays the correct answer.

한편, 상기 게임 모드 입력부(10)에 의해 청능 학습을 위한 문장 그림 맞추기 게임 모드가 선택되는 경우에, 도 14에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 청능 학습을 위해, 특정 문장이 스피커(28)를 통해 음성 출력되도록 함과 더불어, 해당 발음 문장과 대응하는 그림을 포함하는 예제 문장 그림 캐릭터를 화면 디스플레이부(26) 상에 배열 표시하게 된다. On the other hand, when the match picture game mode for hearing learning is selected by the game mode input unit 10, as shown in FIG. 14, the feedback animation generator 22 is a specific sentence for hearing learning, In addition to the voice output through the speaker 28, an example sentence figure character including a picture corresponding to the corresponding pronunciation sentence is arranged and displayed on the screen display unit 26.

그 상태에서, 상기 사용자 입력부(30)의 사용자 조작에 의해 음성으로 발음되는 문장과 대응하는 문장 그림 캐릭터에 대한 선택이 있게 되면, 상기 피드백 애니메이션 발생부(22)는 청각 장애아에 의한 문장 그림의 선택 상태를 화면 디스플레이부(26) 상에 표시하고, 그에 따른 정답을 표시하게 된다. In this state, when there is a selection of a sentence pronounced by a voice and a sentence figure character corresponding to the user's operation of the user input unit 30, the feedback animation generator 22 selects a sentence figure by a deaf child. The status is displayed on the screen display unit 26 and the correct answer is displayed accordingly.

또한, 상기 게임 모드 입력부(10)에 의해 청능 학습을 위한 조합 문장 맞추기 게임 모드가 선택되는 경우에, 도 15에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 청능 학습을 위해, 특정 문장이 스피커(28)를 통해 음성 출력되도록 함과 더불어, 해당 발음 문장을 포함하는 복수의 예제 문장을 각각 주어, 명사, 술어 등으로 나눈 글자 캐릭터를 화면 디스플레이부(26) 상에 배열 표시하게 된다. In addition, when a combination sentence matching game mode for auditory learning is selected by the game mode input unit 10, as illustrated in FIG. 15, the feedback animation generator 22 may display a specific sentence for auditory learning. In addition to the voice output through the speaker 28, a plurality of example sentences including the corresponding pronunciation sentences are given, respectively, and the character characters divided into nouns, predicates, etc. are arranged and displayed on the screen display unit 26.

그 상태에서, 상기 사용자 입력부(30)의 사용자 조작에 의해 음성으로 발음되는 문장과 대응하는 문장을 완성하기 위한 글자의 짜맞추기 선택이 있게 되면, 상기 피드백 애니메이션 발생부(22)는 청각 장애아에 의해 선택되는 글자의 짜맞춤상태를 화면 디스플레이부(26) 상에 표시하고, 그에 따른 정답을 표시하게 된다. In this state, when there is a selection of combining letters to complete a sentence corresponding to a voice and a sentence spoken by a user's operation of the user input unit 30, the feedback animation generator 22 is selected by the deaf child. The combined state of the letters is displayed on the screen display unit 26, and the correct answer is displayed accordingly.

또, 상기 게임 모드 입력부(10)에 의해 청능 학습을 위한 조합 문장 그림 맞추기 게임 모드가 선택되는 경우에, 도 16에 도시된 바와 같이 상기 피드백 애니메이션 발생부(22)는 청능 학습을 위해, 특정 문장이 스피커(28)를 통해 음성 출력되도록 함과 더불어, 해당 발음 문장을 포함하는 복수의 예제 문장의 주요 부분을 그림으로 표현한 그림 캐릭터를 화면 디스플레이부(26) 상에 배열 표시하게 된다. In addition, when the combination sentence matching game mode for auditory learning is selected by the game mode input unit 10, as shown in FIG. 16, the feedback animation generator 22 may recognize a specific sentence for auditory learning. In addition to the audio output through the speaker 28, a picture character representing a main portion of the plurality of example sentences including the pronunciation sentence as a picture is displayed on the screen display unit 26.

그 상태에서, 상기 사용자 입력부(30)의 사용자 조작에 의해 음성으로 발음되는 문장과 대응하는 문장을 완성하기 위한 그림의 짜맞추기 선택이 있게 되면, 상기 피드백 애니메이션 발생부(22)는 청각 장애아에 의해 선택되는 그림의 짜맞춤상태를 화면 디스플레이부(26) 상에 표시하고, 그에 따른 정답을 표시하게 된다. In this state, when there is a selection of structuring a picture for completing a sentence corresponding to a voice pronounced by a user's operation of the user input unit 30, the feedback animation generator 22 is selected by the deaf child. The assembled state of the figure is displayed on the screen display unit 26, and the correct answer is displayed accordingly.

상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.While specific embodiments of the present invention have been described and illustrated above, it will be apparent that the present invention may be embodied in various modifications by those skilled in the art. Such modified embodiments should not be understood individually from the technical spirit or the prospect of the present invention, but should fall within the claims appended to the present invention.

이상과 같이 본 발명에 따르면, 청각 장애아의 발성, 발화, 발음 및 청능 교육을 위해 장애아의 발성 상태 측정과 청능 학습을 게임 방식으로 진행할 수 있도록 함에 따라, 청각 장애아의 지속적인 흥미를 유발하면서 발성, 발화, 발음 및 청능 교육을 실행하는 것이 가능하게 되면서 학습 효과가 배가될 수 있다는 효과를 갖게 된다.As described above, according to the present invention, it is possible to proceed to measure the hearing state and hearing learning of the child with a game method for the speech, speech, pronunciation and hearing education of the hearing impaired child, while inducing a continuous interest of the hearing impaired child, In addition, it becomes possible to implement pronunciation and hearing education, which has an effect that the learning effect can be doubled.

Claims

Game mode setting means for setting a specific game mode among a plurality of game modes provided for the hearing impaired child, and for setting numerical values of speech and pronunciation for the progress of the game;

Voice input means for receiving voice input from a hearing impaired child and digitally converting the voice data to generate voice data;

Voice analysis means for analyzing voice data from the voice input means in accordance with the game mode set by the game mode setting means and generating voice analysis data for generating a visual game animation according to the analysis result;

User input means for performing a user operation for the progress of the game mode in which a user input is required instead of the voice of a disabled child according to the game mode set by the game mode setting means;

Analyzes voice data of the hearing impaired child input through the voice input means, and performs a visualization process of voice to visualize and display the waveform, spectrum, and spectrogram on a video screen. Speech visualization information generating means;

Feedback animation generating means for displaying the voice analysis data of the voice analysis means, the user operation information from the user input means, and the voice visualization processing information of the voice visualization information generating means in an animated manner on a game screen; And

A game system for educational education, characterized in that it comprises a game application program for a plurality of game modes, and memory means for storing animation data information of each game.

The method of claim 1,

The plural game modes set by the game mode setting means include a vocalization measuring game, a vocalization duration measuring game, a vocalization size measuring game, a vocalization starting and measuring game, a vocal height measuring game, a voiced / voiceless sound measuring game, and pronunciation accuracy. At least one of a measurement game, a word and picture search game, a picture and sentence search game, and a sentence completion game as audio learning,

And the user input means performs a user operation for progressing a word and picture search game, a picture and sentence search game, and a sentence completion game for hearing learning among a plurality of game modes.

The method of claim 1,

The voice analysis means may include a voice analysis module for analyzing voice data and generating voice analysis data according to an analysis result of whether voice is present;

Voice duration analysis module for generating the voice duration analysis data according to the analysis of the voice data to analyze the duration of the voice,

Voice size analysis module for generating voice size analysis data according to the result of analyzing the size of the voice by analyzing the voice data;

Voice start analysis module for generating a voice start analysis data according to the analysis result of the analysis of the voice data or not,

Voice height analysis module for generating a voice height analysis data according to the analysis of the voice data to analyze the height of the voice,

Voice / unvoiced sound analysis module for generating voice / unvoiced sound analysis data according to the result of analyzing the voice / unvoiced voice input as the voice data;

A pronunciation accuracy analysis module for generating pronunciation accuracy analysis data based on a result of analyzing pronunciation accuracy of an input speech by analyzing the speech data and comparing similarity between two speech data by comparing the speech data according to reference pronunciation information; Old school educational game system, characterized in that configured to include.