KR20120035059A - Method for language studying using speech recognition of terminal and system - Google Patents
Method for language studying using speech recognition of terminal and system Download PDFInfo
- Publication number
- KR20120035059A KR20120035059A KR1020100096545A KR20100096545A KR20120035059A KR 20120035059 A KR20120035059 A KR 20120035059A KR 1020100096545 A KR1020100096545 A KR 1020100096545A KR 20100096545 A KR20100096545 A KR 20100096545A KR 20120035059 A KR20120035059 A KR 20120035059A
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- voice
- language
- data
- pattern data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 단말기의 음성인식을 통한 어학학습 방법 및 시스템에 관한 것으로, 특히, 다양한 원어민의 음성데이터를 수집하여 국적, 지역, 나이 및 성별 등의 다양한 환경에 따른 개인차를 고려하여 복수의 패턴데이터를 설정하고, 사용자 음성을 인식함으로써, 인식 결과에 대한 신뢰도를 향상시키는 단말기의 음성인식을 통한 어학학습 방법 및 시스템에 관한 것이다.The present invention relates to a language learning method and system through voice recognition of a terminal, and in particular, collects a plurality of pattern data in consideration of individual differences according to various environments such as nationality, region, age and gender by collecting voice data of various native speakers. The present invention relates to a language learning method and system through speech recognition of a terminal by setting and recognizing a user's voice, thereby improving reliability of a recognition result.
국제화의 추세에 따라 외국어에 대한 중요성이 날로 커지고 있으며, 이에 맞추어 많은 사람들이 외국어 학습에 많은 시간을 할애하고 있다. 특히, 최근에는 시간이 부족한 현대인들을 위하여, 혼자서도 효과적으로 외국어를 학습하고, 원어민의 발음과 비교 평가하는 오프라인 어학 학습기나 온라인 학습 서비스가 제공되고 있다. 이러한 어학용 학습기나 온라인 학습 서비스에서의 학습 컨텐츠를 일방적으로 사용자에게 제공하는 것뿐만 아니라, 사용자의 음성 인식을 통해, 사용자의 학습 정도를 평가하는 기능까지 함께 제공하는 경우가 많다. 뿐만 아니라, 음성 인식 기술은, 다양한 전자 장치에서 키보드 대신 문자를 입력하기 위한 수단으로서, 또는 로봇이나 텔레매틱스 등 음성으로 기기를 제어하거나 정보 검색을 하는 경우 등 다양한 분야에서 응용되고 있다.With the trend of internationalization, the importance of foreign languages is increasing day by day, and many people spend a lot of time studying foreign languages. In particular, in recent years, for the modern people lacking time, an offline language learner or an online learning service for effectively learning a foreign language by yourself and comparing and evaluating the pronunciation of native speakers is provided. In addition to unilaterally providing the learning contents of the language learner or the online learning service to the user, the user may also provide a function for evaluating the degree of learning through the user's voice recognition. In addition, voice recognition technology has been applied in various fields such as a means for inputting characters instead of a keyboard in various electronic devices, or for controlling devices or searching for information by voice such as robots or telematics.
이러한 음성 인식 기술은 미리 기록해 둔 음성 패턴과 사용자의 음성 패턴을 비교하여, 매칭되는 패턴의 음성 정보로 인식한다. The speech recognition technology compares a previously recorded speech pattern with a user's speech pattern and recognizes the speech pattern as a matching pattern.
그런데 실제적으로는 국적, 나이, 성별, 지역 등과 같은 개인적인 성향이나 신체적 특성에 따라서 사람마다 음성 특징에 차이가 발생하는데, 기존의 음성 인식 분야에서는 이러한 개인적인 성향 차이가 전혀 고려되고 있지 않았으며, 따라서, 음성 인식에 대한 신뢰도가 떨어진다는 단점이 있다.However, in practice, voice characteristics vary from person to person depending on personal characteristics or physical characteristics such as nationality, age, gender, and region, and in the conventional speech recognition field, these differences in personal characteristics are not considered at all. There is a disadvantage that the reliability of speech recognition is low.
이러한 종래의 문제점을 해결하기 위하여, 본 발명의 목적은 다양한 원어민의 음성데이터를 수집하여 국적, 지역, 나이 및 성별 등의 다양한 환경의 개인차를 고려하여 복수의 패턴데이터를 설정하고, 사용자 음성을 인식함으로써, 인식 결과에 대한 신뢰도를 향상시킬 수 있는 단말기의 음성인식을 통한 어학학습 방법 및 시스템을 제공하고자 한다.In order to solve this problem, an object of the present invention is to collect voice data of various native speakers, set a plurality of pattern data in consideration of individual differences in various environments such as nationality, region, age and gender, and recognize user voice. Thus, to provide a language learning method and system through the speech recognition of the terminal that can improve the reliability of the recognition result.
또한, 본 발명의 목적은 어학 어플리케이션 서비스를 실행하여 어학문제를 제시하고, 어학문제에 대응하는 음성데이터를 사용자로부터 수집하고, 수집된 음성데이터를 분석하여 기 설정된 다수의 패턴데이터와 비교하여 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 어학문제에 대한 결과를 제시할 수 있는 단말기의 음성인식을 통한 어학학습 방법 및 시스템을 제공하고자 한다.In addition, an object of the present invention is to present a language problem by executing a language application service, to collect the voice data corresponding to the language problem from the user, and to analyze the collected voice data to compare with a plurality of preset pattern data voice data If there is a pattern data matched with the present invention, it is to provide a language learning method and system through the speech recognition of the terminal that can perform speech recognition, and present the results of language problems according to the recognized speech.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 음성인식을 통한 어학학습 시스템에 있어서, 사용자의 음성데이터를 개인의 발음 차이를 고려하여 기 설정된 다수의 패턴데이터와 비교하고, 다수의 패턴데이터 중에서 매칭도가 높은 패턴데이터를 기준으로 음성 인식 및 학습 평가를 수행하는 단말기 및 음성데이터와 기 설정된 다수의 패턴데이터를 비교하여 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 단말기로 어학문제에 대한 평가 결과를 전송하는 어학 어플리케이션 서버를 포함하는 것을 특징으로 한다.In the language learning system using the voice recognition of the present invention for achieving the above object, the voice data of the user is compared with a plurality of preset pattern data in consideration of individual pronunciation differences, matching among a plurality of pattern data The terminal performs voice recognition and learning evaluation based on high pattern data, and compares a plurality of preset pattern data with voice data, and if there is pattern data matching the voice data, performs voice recognition and recognizes the recognized voice. The language application server for transmitting the evaluation result for the language problem according to the terminal.
본 발명에 따른 단말기는 어학 어플리케이션 실행에 따른 화면을 제공하는 표시부와, 각각 다수개가 음소, 단어 및 문장 단위로 설정되는 다수의 패턴데이터를 저장하는 단말저장부 및 어학 어플리케이션을 실행하여 적어도 하나의 어학문제를 제시하고, 어학문제에 대응하는 음성데이터를 사용자로부터 수집하고, 수집된 음성데이터와 음성코드 별로 개인의 발음 차이를 고려하여 기 설정된 다수의 패턴데이터를 비교하고, 매칭도가 높은 패턴데이터를 기준으로 음성 인식 및 어학문제에 대한 평가 결과를 실행하는 단말제어부를 포함하는 것을 특징으로 한다.The terminal according to the present invention executes at least one language by executing a display unit for providing a screen according to the execution of the language application, a terminal storage unit for storing a plurality of pattern data set in units of phonemes, words, and sentences, respectively. Presenting a problem, collecting voice data corresponding to a language problem from a user, comparing a plurality of preset pattern data in consideration of individual pronunciation differences by collected voice data and voice code, and comparing pattern data with high matching It characterized in that it comprises a terminal control unit for executing the evaluation results for speech recognition and language problems as a reference.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 어학 어플리케이션 서버로 어학 어플리케이션 서비스를 요청하여 어학문제를 수신하고, 어학문제에 대응하는 음성을 수신하여 음성데이터로 변환하고, 변환된 음성데이터를 어학 어플리케이션 서버로 전송하고, 인식된 음성에 따라 어학문제에 대한 결과를 수신하여 표시하는 것을 특징으로 한다.In addition, in the terminal according to the present invention, the terminal control unit requests a language application service to the language application server to receive a language problem, receives a voice corresponding to the language problem, converts it into voice data, and converts the converted voice data into a language It transmits to the application server, and receives and displays the result of the language problem according to the recognized voice.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 오디오처리부를 통해 사용자의 가청음을 전기신호인 음성데이터로 변환하고, 변환된 음성데이터를 저장하는 것을 특징으로 한다.In the terminal according to the present invention, the terminal controller converts the audible sound of the user into voice data, which is an electrical signal, through the audio processor, and stores the converted voice data.
또한, 본 발명에 따른 단말기에 있어서, 패턴데이터는 개인의 음성에 대한 발음 차이를 국적, 지역, 나이 및 성별 중 적어도 하나 이상을 기준으로 구분되는 음성코드 별로 설정되는 데이터인 것을 특징으로 한다.Further, in the terminal according to the present invention, the pattern data is characterized in that the data is set for each voice code divided by at least one of the nationality, region, age and gender of the pronunciation difference for the individual voice.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 어학 어플리케이션 서버로부터 패턴데이터와 어학문제를 다운로드하는 것을 특징으로 한다.In addition, in the terminal according to the present invention, the terminal controller is characterized in that to download the pattern data and language problems from the language application server.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교하는 것을 특징으로 한다.In the terminal according to the present invention, the terminal controller selects pattern data having a high degree of matching with the voice data, and compares the selected pattern data with the voice data.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 팝업메시지를 표시하는 것을 특징으로 한다.In addition, in the terminal according to the present invention, if there is no pattern data matching the voice data as a result of the comparison, the terminal control unit, characterized in that to display a pop-up message.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 음성데이터와 매칭되는 패턴데이터가 존재하지 않는 경우, 어학 어플리케이션 서버로부터 팝업메시지를 수신하고, 수신된 팝업메시지를 표시하는 것을 특징으로 한다.In addition, in the terminal according to the present invention, if there is no pattern data matching the voice data, the terminal control unit is characterized in that for receiving a pop-up message from the language application server, and displays the received pop-up message.
또한, 본 발명에 따른 단말기에 있어서, 단말제어부는 음성데이터와 매칭되는 패턴데이터에 해당하는 음성코드를 확인하고, 음성코드에 최적으로 매칭되는 음성을 인식하는 것을 특징으로 한다.In the terminal according to the present invention, the terminal controller checks a voice code corresponding to the pattern data matched with the voice data, and recognizes the voice optimally matching the voice code.
본 발명에 따른 어학 어플리케이션 서버는 단말기와 어학 어플리케이션 서비스를 위한 데이터를 송수신하는 서버통신부 및 단말기로부터 어학 어플리케이션 서비스가 요청되면, 단말기로 어학문제를 제공하고, 단말기로부터 음성데이터를 수신하고, 수신된 음성데이터를 확인하고, 확인된 음성데이터와 기 설정된 다수의 패턴데이터를 비교하여 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 단말기로 발음문제에 대한 결과를 전송하는 서버제어부를 포함하는 것을 특징으로 한다.The language application server according to the present invention provides a language problem to a terminal, receives a speech data from a terminal, and receives a speech from a terminal when a language application service is requested from a server communication unit and a terminal for transmitting and receiving data for a language application service. Check the data, compare the identified voice data with a plurality of preset pattern data, if there is pattern data that matches the voice data, perform voice recognition, and transmits the result of the pronunciation problem to the terminal according to the recognized voice It characterized in that it comprises a server control unit.
또한, 본 발명에 따른 어학 어플리케이션 서버에 있어서, 서버제어부는 다수의 단말기 사용자로부터 음성데이터를 수집하고, 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하고, 설정된 패턴데이터를 저장하는 것을 특징으로 한다.In addition, in the language application server according to the present invention, the server control unit collects voice data from a plurality of terminal users, sets a plurality of pattern data by separating the voice pattern of the collected voice data, and stores the set pattern data It is characterized by.
또한, 본 발명에 따른 어학 어플리케이션 서버에 있어서, 개인의 음성에 대한 발음 차이를 국적, 지역, 나이 및 성별 중 적어도 하나 이상을 기준으로 구분되는 음성코드 별로 설정되는 패턴데이터를 저장하는 서버저장부를 더 포함하며, 패턴데이터는 각각 다수개가 음소, 단어 및 문장 단위로 설정되는 데이터인 것을 특징으로 한다.In addition, in the language application server according to the present invention, the server storage unit for storing the pattern data set for each voice code divided by at least one of the nationality, region, age and gender of the pronunciation difference for the individual voice Includes, the pattern data is characterized in that each of the data is set in units of phonemes, words and sentences.
또한, 본 발명에 따른 어학 어플리케이션 서버에 있어서, 서버제어부는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교하는 것을 특징으로 한다.In addition, in the language application server according to the present invention, the server controller selects the pattern data having a high degree of matching with the voice data, and compares the selected pattern data with the voice data.
또한, 본 발명에 따른 어학 어플리케이션 서버에 있어서, 서버제어부는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 팝업메시지를 단말기로 전송하는 것을 특징으로 한다.In addition, in the language application server according to the present invention, if there is no pattern data matching the voice data, the server controller transmits a pop-up message to the terminal.
본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법은 단말기가 어학 어플리케이션을 실행하여 적어도 하나의 어학문제를 제시하는 단계와, 단말기가 어학문제에 대응하는 음성데이터를 사용자로부터 수집하는 단계와, 단말기가 수집된 음성데이터와 음성코드 별로 개인의 발음 차이를 고려하여 기 설정된 다수의 패턴데이터와 비교하는 단계 및 비교 결과, 매칭도가 높은 패턴데이터를 기준으로 음성 인식 및 어학문제에 대한 평가 결과를 실행하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a language learning method through voice recognition of a terminal, the terminal executing a language application to present at least one language problem, the terminal collecting voice data corresponding to the language problem from a user, and the terminal. Compared with a plurality of preset pattern data in consideration of the pronunciation difference of the individual for each collected voice data and voice code, and executes the result of evaluating speech recognition and language problem based on the pattern data with high matching. Characterized in that it comprises a step.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 수집하는 단계는 단말기가 사용자의 가청음을 전기신호인 음성데이터로 변환하는 단계 및 단말기가 변환된 음성데이터를 저장하는 단계를 더 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the collecting step further comprises the step of the terminal converts the audible sound of the user to the voice data of the electrical signal and the step of storing the converted voice data It is characterized by including.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 개인의 음성에 대한 발음 차이를 국적, 지역, 나이 및 성별 중 적어도 하나 이상을 기준으로 구분되는 음성코드 별로 설정되는 데이터인 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, it is the data that is set for each voice code divided by at least one of the nationality, region, age and gender of the pronunciation difference for the individual voice It features.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 제시하는 단계 이전에, 단말기가 어학 어플리케이션 서버로부터 패턴데이터와 어학문제를 다운로드하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the language learning method through the voice recognition of the terminal according to the present invention, before the presenting step, characterized in that the terminal further comprises the step of downloading the pattern data and language problems from the language application server.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 비교하는 단계는 단말기가 음성데이터와 매칭도가 가장 높은 패턴데이터를 선택하는 단계 및 단말기가 선택된 패턴데이터를 음성데이터와 비교하는 단계를 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the step of comparing the terminal selecting the pattern data having the highest matching with the voice data and the terminal comparing the selected pattern data with the voice data Characterized in that it comprises a step.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 비교하는 단계는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 단말기가 팝업메시지를 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the comparing step further comprises the step of displaying a pop-up message, if the terminal, there is no pattern data matching the voice data as a result of the comparison; It features.
본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법은 어학 어플리케이션 서버가 단말기로부터 어학 어플리케이션 서비스가 요청되면, 단말기로 적어도 하나의 어학문제를 제공하는 단계와, 어학 어플리케이션 서버가 단말기로부터 사용자의 음성데이터를 수신하는 단계와, 어학 어플리케이션 서버가 수신된 사용자의 음성데이터를 확인하고, 확인된 사용자의 음성데이터와 기 설정된 다수의 패턴데이터를 비교하는 단계와, 비교 결과, 음성데이터와 일치하는 패턴데이터가 존재하면, 어학 어플리케이션 서버가 음성 인식을 수행하는 단계 및 어학 어플리케이션 서버가 인식된 음성에 따라 단말기로 어학문제에 대한 결과를 전송하는 단계를 포함하는 것을 특징으로 한다.According to the present invention, a language learning method through voice recognition of a terminal includes providing at least one language problem to a terminal when a language application server requests a language application service from a terminal, and the language application server provides voice data of the user from the terminal. Receiving the voice data, the language application server checks the received voice data of the user, and compares the voice data of the identified user with a plurality of preset pattern data, and as a result of the comparison, the pattern data matching the voice data If present, the language application server performs a voice recognition and the language application server characterized in that it comprises the step of transmitting a result for the language problem to the terminal according to the recognized voice.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 제공하는 단계 이전에, 어학 어플리케이션 서버가 다수의 사용자로부터 음성데이터를 수집하는 단계와, 어학 어플리케이션 서버가 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하는 단계 및 어학 어플리케이션 서버가 설정된 패턴데이터를 저장하는 단계를 더 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, before the providing step, the language application server to collect the voice data from a plurality of users, the language application server voice of the collected voice data The method may further include setting a plurality of pattern data by dividing the pattern, and storing the set pattern data by the language application server.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 패턴데이터는 사용자의 음성에 대한 발음 차이를 구분하기 위하여 국적, 지역, 나이 및 성별을 조합하여 음소, 단어 및 문장 단위로 설정되며, 패턴데이터는 각각의 음성에 따른 음성코드를 가지는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the pattern data is set in units of phonemes, words, and sentences by combining nationality, region, age, and gender to distinguish the pronunciation difference of the user's voice. The pattern data is characterized by having a voice code corresponding to each voice.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 비교하는 단계는 어학 어플리케이션 서버가 음성데이터와 매칭도가 높은 패턴데이터를 선택하는 단계 및 어학 어플리케이션 서버가 선택된 패턴데이터를 음성데이터와 비교하는 단계를 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the step of comparing the language application server selects the pattern data with a high degree of matching with the speech data and the language application server selected pattern data voice data It characterized in that it comprises a step of comparing with.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 비교하는 단계는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 어학 어플리케이션 서버가 팝업메시지를 단말기로 전송하는 단계를 더 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the comparing step, if there is no pattern data matching the voice data as a result of the comparison, the language application server transmits a pop-up message to the terminal It further comprises.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 인식하는 단계는 단말기가 음성데이터와 매칭되는 패턴데이터에 해당하는 음성코드를 확인하는 단계 및 단말기가 음성코드에 대응하는 음성을 인식하는 단계를 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, the step of recognizing the step of the terminal to check the voice code corresponding to the pattern data matching the voice data and the terminal to recognize the voice corresponding to the voice code Recognizing comprises the step of.
본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법은 단말기가 어학 어플리케이션 서버로 어학 어플리케이션 서비스를 요청하는 단계와, 단말기가 어학 어플리케이션 서버로부터 적어도 하나의 어학문제를 수신하는 단계와, 단말기가 어학문제에 대응하는 음성을 수신하여 음성데이터로 변환하는 단계와, 단말기가 변환된 음성데이터를 어학 어플리케이션 서버로 전송하는 단계 및 단말기가 인식된 음성에 따라 어학문제에 대한 결과를 수신하여 표시하는 단계를 포함하는 것을 특징으로 한다.In the language learning method through voice recognition of a terminal according to the present invention, the terminal requests a language application service to a language application server, the terminal receives at least one language problem from an language application server, and the terminal receives a language problem. Receiving a voice corresponding to the voice data and converting the voice data into a voice data; transmitting the converted voice data to a language application server; and receiving and displaying a result of a language problem according to the recognized voice by the terminal. Characterized in that.
또한, 본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법에 있어서, 전송하는 단계 이후에, 음성데이터와 매칭되는 패턴데이터가 존재하지 않는 경우, 단말기가 어학 어플리케이션 서버로부터 팝업메시지를 수신하는 단계 및 단말기가 수신된 팝업메시지를 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, in the language learning method through the voice recognition of the terminal according to the present invention, after the step of transmitting, if there is no pattern data matching the voice data, the terminal receiving a pop-up message from the language application server and And displaying the received pop-up message by the terminal.
본 발명에 따른 단말기의 음성인식을 통한 어학학습 방법은 단말기가 어학 어플리케이션을 실행하여 적어도 하나의 어학문제를 제시하는 단계와, 단말기가 어학문제에 대응하는 음성데이터를 사용자로부터 수집하여 저장하는 단계와, 단말기가 저장된 음성데이터와 음성코드 별로 개인의 발음 차이를 고려하여 매칭도가 가장 높은 패턴데이터를 비교하는 단계 및 비교 결과, 매칭도가 높은 패턴데이터를 기준으로 패턴데이터에 해당하는 음성코드를 확인하여 음성을 인식하고, 어학문제에 대한 평가 결과를 실행하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of learning a language through voice recognition of a terminal, the terminal executing a language application to present at least one language problem, and collecting and storing voice data corresponding to the language problem from a user. The terminal compares the pattern data with the highest matching degree in consideration of the pronunciation difference of the individual by the stored voice data and the voice code, and confirms the voice code corresponding to the pattern data based on the pattern data with high matching degree. Recognizing the voice, and characterized in that it comprises the step of executing the evaluation result for the language problem.
본 발명은, 다양한 종류의 음성데이터를 통계화하여 음성 인식의 기준이 되는 패턴데이터를 복수 개 마련하고, 사용자의 음성데이터를 복수의 패턴데이터와 비교하여 매칭도가 가장 높은 패턴데이터를 기준으로 사용자 음성을 인식함으로써, 국적, 나이 및 성별 등의 다양한 환경의 개인차에 의해 나타나는 발음 오차를 고려하여, 사용자의 음성을 보다 정확하게 인식할 수 있다.According to the present invention, a plurality of pattern data serving as a criterion for speech recognition are provided by statistically analyzing various types of voice data, and the user's voice data is compared with the plurality of pattern data, and the user has the highest matching data based on the pattern data. By recognizing the voice, it is possible to recognize the user's voice more accurately in consideration of pronunciation errors caused by individual differences in various environments such as nationality, age and gender.
도 1은 본 발명의 실시 예에 따른 단말기의 음성인식을 통한 어학학습 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 단말기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 어학 어플리케이션 서버의 구성을 나타내는 블록도이다.
도 4는 본 발명의 제1실시 예에 따른 단말기의 음성인식을 통한 어학학습 동작을 설명하기 위한 흐름도이다.
도 5는 본 발명의 제2실시 예에 따른 단말기의 음성인식을 통한 어학학습 동작을 설명하기 위한 흐름도이다.
도 6 내지 도 9는 본 발명의 실시 예에 따른 단말기의 음성인식을 통한 어학학습 동작을 설명하기 위한 화면 예이다.1 is a view showing a language learning system through voice recognition of a terminal according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a terminal according to an exemplary embodiment of the present invention.
3 is a block diagram showing the configuration of a language application server according to an embodiment of the present invention.
4 is a flowchart illustrating a language learning operation through voice recognition of a terminal according to the first embodiment of the present invention.
5 is a flowchart illustrating a language learning operation through voice recognition of a terminal according to a second embodiment of the present invention.
6 to 9 are screen examples illustrating a language learning operation through voice recognition of a terminal according to an exemplary embodiment of the present invention.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of well-known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that like elements are denoted by the same reference numerals as much as possible throughout the drawings.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to ordinary or dictionary meanings, and the inventors are appropriate as concepts of terms for explaining their own invention in the best way. It should be interpreted as meanings and concepts in accordance with the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, and various alternatives may be substituted at the time of the present application. It should be understood that there may be equivalents and variations.
이하에서는 본 발명의 실시 예에 따른 단말기는 어학 어플리케이션 서비스를 제공할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 또한, 본 발명의 실시 예에 따른 이동통신단말기는 통신망을 이용하여 어학 어플리케이션 서버와 어학 어플리케이션 서비스를 제공하기 위한 데이터를 송수신하는 단말기가 될 수 있다.Hereinafter, a terminal according to an embodiment of the present invention will be described as a representative example of a mobile communication terminal that can provide language application services, but the terminal is not limited to a mobile communication terminal, all information communication devices, multimedia terminals, wired terminals, fixed type It can be applied to various terminals such as a terminal and an IP (Internet Protocol) terminal. In addition, the mobile communication terminal according to an embodiment of the present invention may be a terminal for transmitting and receiving data for providing a language application service and a language application service using a communication network.
본 발명의 실시 예에 따른 어학학습 시스템은 단말기가 어학 어플리케이션에 대한 데이터를 어학 어플리케이션 서버로부터 어학 어플리케이션 서비스에 대한 데이터를 다운로드하여 사용자에게 어학 어플리케이션 서비스를 제공하거나, 사용자 요청 시 실시간으로 어학 어플리케이션 서버에 접속하여 어학 어플리케이션 서비스를 제공할 수 있다. 이하, 도면을 참조하여 본 발명에 따른 두가지 실시 예를 설명하기로 한다.The language learning system according to an embodiment of the present invention provides a language application service to a user by downloading data on a language application service from a language application server to a language application server, or at a user's request in real time. A language application service can be provided by accessing. Hereinafter, two embodiments according to the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시 예에 따른 단말기의 음성인식을 통한 어학학습 시스템을 나타내는 도면이다.1 is a view showing a language learning system through voice recognition of a terminal according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따른 어학학습 시스템(100)은 단말기(10), 어학 어플리케이션 서버(20) 및 통신망(30)으로 구성된다.Referring to FIG. 1, a
통신망(30)은 어학학습 시스템(100)에서 단말기(10) 및 어학 어플리케이션 서버(20) 간의 데이터 송수신을 위한 통로를 제공하는 기능을 한다. 여기서, 통신망(30)은 단말기(10) 및 어학 어플리케이션 서버(20) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 이와 같은 기능을 수행하는 통신망(30)은 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 일 수 있다. 또한, 통신망(30)은 유선통신망, 이동통신망, Wibro(Wireless Broadband)망, HSDPA(High Speed Downlink Packet Access)망, 위성통신망 및 와이파이(Wi-Fi)망을 포함하는 무선랜 중 하나일 수 있다.The
본 발명의 실시 예에 따른 단말기(10)가 어학 어플리케이션 서버(20)로부터 어학 어플리케이션 서비스에 대한 데이터를 다운로드하여 사용자에게 어학 어플리케이션 서비스를 제공하는 경우를 살펴보면, 단말기(10)는 어학 어플리케이션 서비스를 실행하여 어학문제를 제시하고, 제시된 어학문제에 대응하는 음성데이터를 사용자로부터 수집하고, 수집된 음성데이터를 분석하여 기 설정된 다수의 패턴데이터와 비교하여 음성데이터와 매칭되는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 어학문제에 대한 결과를 제시한다. 여기서, 단말기(10)는 사용자의 가청음을 전기신호인 음성데이터로 변환하고, 변환된 음성데이터를 저장한다. 그리고, 패턴데이터는 수집되는 다수의 발화자 들에 대한 음성데이터를 분석하여 획득된 데이터가 될 수 있다. 즉, 패턴데이터는 다양한 국적, 지역, 나이 및 성별 등의 환경을 고려하여 구분되며, 사용자와 유사한 환경에 따라 선택적으로 음성데이터와 비교될 수 있다.Looking at a case in which the terminal 10 according to an embodiment of the present invention downloads data on a language application service from the
단말기(10)는 어학 어플리케이션 서버로부터 패턴데이터와 어학문제를 다운로드한다. 여기서, 패턴데이터는 음소, 단어 및 문장 단위 별로 국적, 지역, 나이 및 성별 등과 같은 발음 차이를 고려하여 다수개가 선정되고, 각각 다른 가중치를 반영하여 설정되는 데이터가 될 수 있다.The terminal 10 downloads the pattern data and the language problem from the language application server. Here, a plurality of pattern data may be selected in consideration of pronunciation differences such as nationality, region, age, and gender for each phoneme, word, and sentence unit, and may be set to reflect different weights.
단말기(10)는 패턴데이터와 음성데이터를 비교한 후, 음성데이터와 매칭도가 높은 패턴데이터를 선택하여 사용자의 어학 능력을 평가한다. 이때, 단말기(10)는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 음성의 재 입력을 위한 팝업메시지를 표시할 수 있다.After comparing the pattern data with the voice data, the terminal 10 selects the pattern data having high matching with the voice data and evaluates the language ability of the user. At this time, if there is no pattern data matching the voice data as a result of the comparison, the terminal 10 may display a pop-up message for re-input of the voice.
단말기(10)는 어학 어플리케이션 서버(20)로부터 패턴데이터와 어학문제에 대한 데이터베이스를 업데이트한다.The terminal 10 updates the database for pattern data and language problems from the
또한, 본 발명의 실시 예에 따른 단말기(10)가 사용자 요청 시 실시간으로 어학 어플리케이션 서버(20)에 접속하여 어학 어플리케이션 서비스를 제공하는 경우를 살펴보면, 단말기(10)는 어학 어플리케이션 서버(20)로 어학 어플리케이션 서비스를 요청하고, 어학 어플리케이션 서버(20)로부터 어학문제를 수신하고, 어학문제에 대응하는 음성을 수신하여 음성데이터로 변환하고, 변환된 음성데이터를 어학 어플리케이션 서버(20)로 전송하고, 인식된 음성에 따라 어학문제에 대한 결과를 수신하여 표시한다.In addition, referring to a case in which the terminal 10 according to an embodiment of the present invention provides a language application service by accessing the
단말기(10)는 음성데이터와 매칭되는 패턴데이터가 존재하지 않는 경우, 어학 어플리케이션 서버(20)로부터 음성의 재 입력을 위한 팝업메시지를 수신하고, 수신된 팝업메시지를 표시할 수 있다.When there is no pattern data matching the voice data, the terminal 10 may receive a pop-up message for re-input of the voice from the
어학 어플리케이션 서버(20)는 단말기(10)로부터 어학 어플리케이션 서비스가 요청되면, 단말기(10)로 어학문제를 제공하고, 단말기(10)로부터 음성데이터를 수신하고, 수신된 음성데이터를 확인하고, 확인된 음성데이터와 기 설정된 다수의 패턴데이터를 비교하여 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 단말기(10)로 어학문제에 대한 결과를 전송한다. 여기서, 어학 어플리케이션 서버(20)는 다수의 단말기 사용자로부터 음성데이터를 수집하고, 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하고, 설정된 패턴데이터를 저장할 수 있다.When the
어학 어플리케이션 서버(20)는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교한다. 이때, 어학 어플리케이션 서버(20)는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 음성의 재입력을 위한 팝업메시지를 단말기(10)로 전송한다.The
도 2는 본 발명의 실시 예에 따른 단말기의 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of a terminal according to an exemplary embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 단말기(10)는 단말제어부(11), 입력부(12), 표시부(13), 단말저장부(14), 오디오처리부(15) 및 단말통신부(16)를 포함하여 구성된다. 이때, 단말제어부(11)는 음성인식부(11a)를 포함하고, 단말저장부(14)는 제1 패턴데이터 DB(14a)와 제1 어학문제 DB(41b)를 포함한다.Referring to FIG. 2, the terminal 10 according to an exemplary embodiment of the present invention includes a
단말통신부(16)는 단말기(10)의 통신을 수행하는 기능을 한다. 즉, 단말통신부(16)는 통신망(30)을 통해 어학 어플리케이션 서버(20)와 데이터를 유선통신 또는 무선통신으로 송수신 한다. 여기서, 단말통신부(16)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신부와 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함한다. 또한, 단말통신부(16)는 데이터를 송수신하기 위하여 데이터통신 케이블로 어학 어플리케이션 서버(20)와 연결될 수 있다. 특히, 본 발명의 실시 예에 따른 단말통신부(16)는 어학 어플리케이션 서비스의 실행이 요청되면, 어학 어플리케이션 서버(20)에 접속하여 어학문제와 연관된 데이터를 다운로드할 수 있다. 이를 위해 단말통신부(16)는 무선 네트워크 방식 또는 유선 네트워크 방식을 적용할 수 있다.The
입력부(12)는 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능들의 설정 및 단말기(10)의 기능 제어와 관련하여 입력되는 신호를 단말제어부(11)로 전달한다. 또한, 입력부(12)는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력부(12)는 표시부(13)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구성되어 입력과 표시 기능을 함께 수행할 수 있다. 특히, 입력부(12)는 사용자의 요청에 따라 어학 어플리케이션 서비스와 관련된 데이터를 어학 어플리케이션 서버(20)로부터 다운로드하기 위한 요청 신호를 입력 받아 단말제어부(11)로 전달할 수 있다. 또한, 입력부(12)는 단말기(10)가 터치스크린 형태로 구성되는 경우 화면에 터치되는 신호를 입력 받거나, 키보드 및 마우스 등의 입력을 받을 수 있다.The
표시부(13)는 단말기(10)에서 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등의 정보를 표시한다. 또한, 표시부(13)는 단말기(10)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 표시부(13)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 및 LED 등으로 구성될 수 있다. 특히, 본 발명의 실시 예에 따른 표시부(13)는 어학 어플리케이션 서비스 실행에 따른 결과를 화면에 표시한다.The
단말저장부(14)는 단말기(10)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 단말저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말기(10)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 단말제어부(11)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. 특히, 본 발명의 실시 예에 따른 프로그램 영역은 단말기(10)를 부팅시키는 운영체제(OS, Operating System), 사용자의 입력 신호에 따라 어학 어플리케이션 서비스를 실행하는 프로그램, 어학 어플리케이션 서비스에서 어학문제를 제공하는 프로그램, 패턴데이터를 설정하는 프로그램, 음성데이터와 패턴데이터를 비교하는 프로그램 및 음성을 인식하는 프로그램 등을 저장한다. The
또한, 데이터 영역은 단말기(10)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 특히, 본 발명의 실시 예에 따른 데이터 영역은 사용자의 입력 신호에 따라 어학 어플리케이션 서비스를 위한 제1 패턴데이터 DB(14a)와 제1 어학문제 DB(14b)를 저장한다. 여기서, 제1 패턴데이터 DB(14a)는 음소, 단어 및 문장 단위 별로 국적, 지역, 나이 및 성별 등과 같은 발음 차이를 고려하여 선정되고, 다른 가중치를 반영하여 설정되는 복수의 패턴데이터이다. 또한, 제1 어학문제 DB(14b)는 어학 어플리케이션 서비스를 위한 다양한 종류의 어학문제 예를 들면, 단어 또는 문장에 대한 발음문제가 포함될 수 있다.The data area is an area where data generated according to use of the terminal 10 is stored. In particular, the data area according to an embodiment of the present invention stores the first pattern data DB 14a and the first
오디오처리부(15)는 오디오 신호를 재생하거나 또는 마이크(MIC)로부터 입력되는 오디오 신호를 단말제어부(11)에 전달하는 기능을 수행한다. 특히, 오디오처리부(15)는 어학 어플리케이션 서비스의 실행에 따른 경고음이나 효과음을 제공할 수 있다. 또한, 오디오처리부(15)는 마이크로폰을 구비하여 사용자의 음성에 대한 가청음을 감지하고, 이에 대한 신호를 단말제어부(11)에 전달할 수 있다.The
단말제어부(11)는 단말기(10)의 각 구성을 초기화하고, 필요한 신호 제어를 수행할 수 있다. 특히, 본 발명의 실시 예에 따른 단말기(10)가 어학 어플리케이션 서버(20)로부터 어학 어플리케이션 서비스에 대한 데이터를 다운로드하여 사용자에게 어학 어플리케이션 서비스를 제공하는 경우를 살펴보면, 단말제어부(11)는 어학 어플리케이션 서비스를 실행하여 어학문제를 제시하고, 제시된 어학문제에 대응하는 음성데이터를 사용자로부터 수집하고, 수집된 음성데이터를 분석하여 기 설정된 다수의 패턴데이터와 비교하여 음성데이터와 매칭되는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 어학문제에 대한 결과를 제시한다. 여기서, 패턴데이터는 수집되는 다수의 발화자 들에 대한 음성데이터를 분석하여 획득된 데이터가 될 수 있다. 즉, 패턴데이터는 다양한 국적, 지역, 나이 및 성별 등의 환경을 고려하여 구분되며, 사용자와 유사한 환경에 따라 선택적으로 음성데이터와 비교될 수 있다. 이때, 단말제어부(11)는 음성데이터와 패턴데이터의 비교를 통해 매칭되는 패턴데이터가 존재하는 경우, 이에 해당하는 음성코드를 통해 음성을 인식할 수 있다. 예를 들어, 단말제어부(11)는 인식된 음성에 대한 음성데이터와 다수의 패턴데이터 중 적어도 80~90% 이상 매칭되는 패턴데이터가 존재하면, 해당되는 패턴데이터에 대한 음성코드에 대응하는 음성을 인식할 수 있다.The
단말제어부(11)는 사용자의 가청음을 전기신호인 음성데이터로 변환하고, 변환된 음성데이터를 저장한다.The
단말제어부(11)는 어학 어플리케이션 서버(20)로부터 패턴데이터와 어학문제를 다운로드한다. 여기서, 패턴데이터는 사용자의 음성에 대한 발음 차이를 구분하기 위하여 국적, 지역, 나이 및 성별을 조합하여 음소, 단어 및 문장 단위로 설정되는 데이터이다. 이때, 각각의 패턴데이터는 음성에 따른 음성코드를 가질 수 있다.The
단말제어부(11)는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교하여 사용자의 학습 성취도를 평가한다. 더하여, 단말제어부(11)는 패턴데이터 별로 서로 다른 가중치를 부여하고, 각 패턴데이터와 음성데이터의 일치 정도 및 해당 패턴데이터의 가중치를 조합하여 학습 성취도를 평가한다. 이때, 단말제어부(11)는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 음성의 재 입력을 위한 팝업메시지를 표시할 수 있다.The
단말제어부(11)는 어학 어플리케이션 서버(20)로부터 패턴데이터와 어학문제에 대한 데이터베이스를 업데이트한다.The
또한, 본 발명의 실시 예에 따른 단말기(10)가 사용자 요청 시 실시간으로 어학 어플리케이션 서버(20)에 접속하여 어학 어플리케이션 서비스를 제공하는 경우를 살펴보면, 단말제어부(11)는 어학 어플리케이션 서버(20)로 어학 어플리케이션 서비스를 요청하고, 어학 어플리케이션 서버(20)로부터 어학문제를 수신하고, 어학문제에 대응하는 음성을 수신하여 음성데이터로 변환하고, 변환된 음성데이터를 어학 어플리케이션 서버(20)로 전송하고, 인식된 음성에 따라 어학문제에 대한 결과를 수신하여 표시한다.In addition, referring to the case in which the terminal 10 according to an embodiment of the present invention provides a language application service by accessing the
단말제어부(11)는 음성데이터와 매칭되는 패턴데이터가 존재하지 않는 경우, 어학 어플리케이션 서버(20)로부터 음성의 재 입력을 위한 팝업메시지를 수신하고, 수신된 팝업메시지를 표시할 수 있다.If there is no pattern data matching the voice data, the
이와 같은 기능을 보다 효과적으로 수행하기 위하여 단말제어부(11)는 음성인식부(11a)를 구비한다. 즉, 음성인식부(11a)는 사용자로부터 발생하는 가청음을 전기신호인 음성데이터로 변환하고, 변환된 음성데이터를 단말제어부(11)로 전달한다.In order to more effectively perform such a function, the
도 3은 본 발명의 실시 예에 따른 어학 어플리케이션 서버의 구성을 나타내는 블록도이다. 3 is a block diagram showing the configuration of a language application server according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시 예에 따른 어학 어플리케이션 서버(20)는 서버제어부(21), 서버저장부(22) 및 서버통신부(23)로 구성된다. 여기서, 서버제어부(21)는 음성처리부(21a)를 포함하고, 서버저장부(22)는 제2 패턴데이터 DB(22a)와 제2 어학문제 DB(22b)를 포함한다.Referring to FIG. 3, the
서버통신부(23)는 단말기(10)와 통신망(30)을 통해 데이터 송수신을 위한 인터페이스를 가진다.The
서버저장부(22)는 단말기(10)에서 실행될 수 있는 어학 어플리케이션 서비스에 관한 데이터를 저장할 수 있다. 특히, 본 발명의 실시 예에 따른 데이터 영역은 사용자의 입력 신호에 따라 어학 어플리케이션 서비스를 위한 제2 패턴데이터 DB(22a)와 제2 어학문제 DB(22b)를 저장한다. 여기서, 제2 패턴데이터 DB(22a)는 음소, 단어 및 문장 단위로 이루어질 수 있으며, 국적, 지역, 나이 및 성별 등과 같은 발음 차이를 고려하여 선정되고, 다른 가중치를 반영하여 설정되는 데이터이다. 또한, 제2 어학문제 DB(22b)는 어학 어플리케이션 서비스를 위한 다양한 종류의 어학문제 예를 들면, 단어 또는 문장에 대한 발음문제가 포함될 수 있다.The
서버제어부(21)는 어학 어플리케이션 서버(20)의 각 구성을 초기화하고, 필요한 신호 제어를 수행할 수 있다. 특히, 본 발명의 실시 예에 따른 서버제어부(21)는 단말기(10)로부터 어학 어플리케이션 서비스가 요청되면, 단말기(10)로 어학문제를 제공하고, 단말기(10)로부터 음성데이터를 수신하고, 수신된 음성데이터를 확인하고, 확인된 음성데이터와 기 설정된 다수의 패턴데이터를 비교하여 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 인식된 음성에 따라 단말기로 발음문제에 대한 결과를 전송한다.The
서버제어부(21)는 다수의 단말기 사용자로부터 음성데이터를 수집하고, 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하고, 설정된 패턴데이터를 저장한다. 여기서, 패턴데이터는 음소, 단어 및 문장 단위로 이루어지며, 국적, 지역, 나이 및 성별 등과 같은 발음 차이를 고려하여 선정되고, 각각 다른 가중치를 반영하여 설정되는 데이터가 될 수 있다.The
서버제어부(21)는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교하여 사용자의 학습 성취도를 평가한다. 더하여, 서버제어부(11)는 패턴데이터 별로 서로 다른 가중치를 부여하고, 각 패턴데이터와 음성데이터의 일치 정도 및 해당 패턴데이터의 가중치를 조합하여 학습 성취도를 평가한다. 이때, 서버제어부(21)는 비교 결과, 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 음성의 재입력을 위한 팝업메시지를 단말기(10)로 전송한다.The
이와 같은 기능을 보다 효과적으로 수행하기 위하여 서버제어부(21)는 음성처리부(21a)를 구비한다. 즉, 음성처리부(21a)는 단말기(10)로부터 수신되는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교한다.In order to perform such a function more effectively, the
도 4는 본 발명의 제1실시 예에 따른 단말기의 음성인식을 통한 어학학습 동작을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a language learning operation through voice recognition of a terminal according to the first embodiment of the present invention.
도 4를 참조하면, 본 발명에 따른 제1실시 예에서, 단말기(10)가 어학 어플리케이션 서버(20)로부터 어학 어플리케이션 서비스에 대한 데이터를 다운로드 받아 어학 어플리케이션 서비스를 실행하는 경우에 대하여 설명한다.Referring to FIG. 4, a case in which the terminal 10 downloads data for a language application service from the
단말제어부(11)는 S11 단계에서 사용자의 요청에 따라 어학 어플리케이션 서비스를 실행한다. 이때, 단말제어부(11)는 다수의 사용자로부터 음성데이터를 수집하고, 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하고, 설정된 패턴데이터를 단말저장부(14)에 기 저장하고 있을 수 있다. 여기서, 패턴데이터는 수집되는 다수의 발화자 들에 대한 음성데이터를 분석하여 획득된 데이터가 될 수 있다. 즉, 패턴데이터는 다양한 국적, 지역, 나이 및 성별 등의 환경을 고려하여 구분되며, 사용자와 유사한 환경에 따라 선택적으로 음성데이터와 비교될 수 있다.The
어학 어플리케이션 서비스가 실행되면, 단말제어부(11)는 S13 단계에서 어학문제를 제시한다. 이때, 단말제어부(11)는 어학 어플리케이션 서비스를 위한 다양한 종류의 어학문제 예를 들면, 단어 또는 문장에 대한 발음문제를 어학 어플리케이션 서버(20)로부터 다운로드하여 단말저장부(14)에 기 저장하고 있을 수 있다.When the language application service is executed, the
어학문제가 제시되면, 단말제어부(11)는 S15 단계에서 사용자로부터의 음성이 감지되는지 판단한다. 이때, 음성이 감지되는 경우, 단말제어부(11)는 S17 단계에서 감지된 음성에 해당하는 가청음을 전기신호인 음성데이터로 변환하고, 변환된 음성데이터를 저장한다.If the language problem is presented, the
단말제어부(11)는 S19 단계에서 변환된 음성데이터와 기 설정된 패턴데이터를 비교한다. 여기서, 패턴데이터는 사용자의 음성에 대한 발음 차이를 구분하기 위하여 국적, 지역, 나이 및 성별을 조합하여 음소, 단어 및 문장 단위로 설정되는 데이터이다. 이때, 각각의 패턴데이터는 음성에 따른 음성코드를 가질 수 있다. 한편, 음성이 감지되지 않으면, 단말제어부(11)는 계속적으로 화면에 어학문제를 제시할 수 있다.The
음성데이터와 패턴데이터가 비교되면, 단말제어부(11)는 S21 단계에서 매칭되는 패턴데이터가 제1 어학문제 DB(14b)에 존재하는지 판단한다. 여기서, 단말제어부(11)는 음성데이터에 대한 매칭도가 상대적으로 높은 패턴데이터를 선택하여 비교할 수 있다. 즉, 단말제어부(11)는 선택된 패턴데이터와 음성데이터를 비교하여 사용자의 학습 성취도를 평가한다. 더하여, 단말제어부(11)는 국적, 나이 및 성별에 따라 구분된 패턴데이터 별로 서로 다른 가중치를 부여하고, 각 패턴데이터와 음성데이터의 일치도 및 해당 패턴데이터의 가중치를 조합하여 학습 성취도를 평가한다. When the voice data and the pattern data are compared, the
이때, 패턴데이터가 존재하는 경우, 단말제어부(11)는 S23 단계에서 음성인식을 수행한다. 즉, 단말제어부(11)는 음성데이터와 패턴데이터의 비교를 통해 매칭되는 패턴데이터가 존재하는 경우, 이에 해당하는 음성코드를 통해 음성을 인식할 수 있다. 예를 들어, 단말제어부(11)는 인식된 음성에 대한 음성데이터와 다수의 패턴데이터 중 적어도 80~90% 이상 매칭되는 패턴데이터가 존재하면, 해당되는 패턴데이터에 대한 음성코드에 대응하는 음성을 인식할 수 있다.At this time, if the pattern data is present, the
한편, 매칭되는 패턴데이터가 존재하지 않는 경우, 단말제어부(11)는 다시 음성을 인식하기 위한 팝업메시지를 화면에 제시하고, 음성을 감지하는 단계인 S15 단계를 수행한다.On the other hand, if there is no matching pattern data, the
음성인식이 수행되면, 단말제어부(11)는 S27 단계에서 인식된 음성에 따른 어학문제의 평가 결과를 제시한다.When the speech recognition is performed, the
또한, 본 발명의 제1 실시 예에 따른 단말기(10)는 어학 어플리케이션 서버(20)로부터 패턴데이터와 어학문제에 대한 데이터베이스를 업데이트할 수 있다.In addition, the terminal 10 according to the first embodiment of the present invention may update the database for the pattern data and language problems from the
이를 통해, 다양한 종류의 음성데이터를 통계화하여 음성 인식의 기준이 되는 패턴데이터를 복수 개 마련하고, 사용자의 음성데이터를 복수의 패턴데이터와 비교하여 매칭도가 가장 높은 패턴데이터를 기준으로 사용자 음성을 인식함으로써, 국적, 나이, 성별 등 개인차에 의해 나타나는 발음 오차를 고려하여, 사용자의 음성을 보다 정확하게 인식할 수 있다.Through this, various types of voice data are statistically prepared to prepare a plurality of pattern data that are the criteria for speech recognition, and the user voice is compared with the plurality of pattern data to compare the user's voice with the highest pattern data. By recognizing, the user's voice may be recognized more accurately in consideration of pronunciation errors caused by individual differences such as nationality, age, and gender.
도 5는 본 발명의 제2실시 예에 따른 단말기의 음성인식을 통한 어학학습 동작을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a language learning operation through voice recognition of a terminal according to a second embodiment of the present invention.
도 5를 참조하면, 본 발명에 따른 제2실시 예에서, 단말기(10)가 어학 어플리케이션 서버(20)로 어학 어플리케이션 서비스를 요청하면, 어학 어플리케이션 서버(20)가 어학 어플리케이션 서비스에 대한 전반적인 동작을 실행하는 경우에 대하여 설명한다.Referring to FIG. 5, in the second embodiment of the present disclosure, when the terminal 10 requests a language application service from the
단말기(10)는 S31 단계에서 사용자의 요청에 따라 어학 어플리케이션 서비스의 실행을 어학 어플리케이션 서버(20)로 요청한다. 이후, 어학 어플리케이션 서버(20)는 S33 단계에서 어학문제를 단말기(10)로 전송한다.The terminal 10 requests the
단말기(10)는 S35 단계에서 사용자로부터의 음성을 인식한다. 이때, 단말기(10)는 S37 단계에서 감지된 음성에 해당하는 가청음을 전기신호인 음성데이터로 변환하고, 변환된 음성데이터를 저장할 수 있다. 그리고 나서, 단말기(10)는 S39 단계에서 음성데이터를 어학 어플리케이션 서버(20)로 전송한다.The terminal 10 recognizes the voice from the user in step S35. In this case, the terminal 10 may convert the audible sound corresponding to the voice sensed in operation S37 into voice data which is an electrical signal and store the converted voice data. Then, the terminal 10 transmits the voice data to the
어학 어플리케이션 서버(20)는 S41 단계에서 수신된 음성데이터를 확인한다. 그리고, 어학 어플리케이션 서버(200는 S43 단계에서 음성데이터와 패턴데이터를 비교한다. 여기서, 어학 어플리케이션 서버(20)는 다수의 사용자로부터 음성데이터를 수집하고, 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하고, 설정된 패턴데이터를 기 저장하고 있을 수 있다. 이때, 패턴데이터는 사용자의 음성에 대한 발음 차이를 구분하기 위하여 국적, 지역, 나이 및 성별을 조합하여 음소, 단어 및 문장 단위로 설정되는 데이터이다. 이때, 각각의 패턴데이터는 음성에 따른 음성코드를 가질 수 있다.The
음성데이터와 패턴데이터가 비교되면, 어학 어플리케이션 서버(20)는 S45 단계에서 매칭되는 패턴데이터가 제2 어학문제 DB(22b)에 존재하는지 판단한다. 여기서, 어학 어플리케이션 서버(20)는 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 선택된 패턴데이터를 음성데이터와 비교할 수 있다. 즉, 어학 어플리케이션 서버(20)는 선택된 패턴데이터와 음성데이터를 비교하여 사용자의 학습 성취도를 평가한다. 더하여, 어학 어플리케이션 서버(20)는 패턴데이터 별로 서로 다른 가중치를 부여하고, 각 패턴데이터와 음성데이터의 일치 정도 및 해당 패턴데이터의 가중치를 조합하여 학습 성취도를 평가한다. 이때, 패턴데이터가 존재하는 경우, 어학 어플리케이션 서버(20)는 S47 단계에서 음성인식을 수행한다. 즉, 단말제어부(11)는 음성데이터와 패턴데이터의 비교를 통해 매칭되는 패턴데이터가 존재하는 경우, 이에 해당하는 음성코드를 통해 음성을 인식할 수 있다. 예를 들어, 단말제어부(11)는 인식된 음성에 대한 음성데이터와 다수의 패턴데이터 중 적어도 80~90% 이상 매칭되는 패턴데이터가 존재하면, 해당되는 패턴데이터에 대한 음성코드에 대응하는 음성을 인식할 수 있다. 그리고, 음성인식이 수행되면, 어학 어플리케이션 서버(20)는 S49 단계에서 인식된 음성에 따른 결과를 단말기(10)로 전송한다.When the voice data and the pattern data are compared, the
이후, 단말기(10)는 S55 단계에서 인식된 음성에 따른 어학문제의 결과를 제시한다한편, 매칭되는 패턴데이터가 존재하지 않는 경우, 어학 어플리케이션 서버(20)는 S51 단계에서 음성의 재 입력을 위한 팝업메시지를 단말기(10)로 전송한다. 팝업메시지가 수신되면, 단말기(10)는 S53 단계에서 팝업메시지를 화면에 표시하고, 음성 인식을 위한 S35 단계를 수행한다.Subsequently, the terminal 10 presents the result of the language problem according to the recognized speech in step S55. Meanwhile, when there is no matching pattern data, the
이를 통해, 다양한 종류의 음성데이터를 통계화하여 음성 인식의 기준이 되는 패턴데이터를 복수 개 마련하고, 사용자의 음성데이터를 복수의 패턴데이터와 비교하여 매칭도가 가장 높은 패턴데이터를 기준으로 사용자 음성을 인식함으로써, 국적, 나이, 성별 등 개인차에 의해 나타나는 발음 오차를 고려하여, 사용자의 음성을 보다 정확하게 인식할 수 있다.Through this, various types of voice data are statistically prepared to prepare a plurality of pattern data that are the criteria for speech recognition, and the user voice is compared with the plurality of pattern data to compare the user's voice with the highest pattern data. By recognizing, the user's voice may be recognized more accurately in consideration of pronunciation errors caused by individual differences such as nationality, age, and gender.
도 6 내지 도 9는 본 발명의 실시 예에 따른 단말기의 음성인식을 통한 어학학습 동작을 설명하기 위한 화면 예이다.6 to 9 are screen examples illustrating a language learning operation through voice recognition of a terminal according to an exemplary embodiment of the present invention.
도 6을 참조하면, 본 발명의 실시 예에 따른 단말기(10)는 사용자의 어학 어플리케이션 서비스 실행 요청에 따라 어학문제를 화면에 제시한다. 이때, 어학문제는 발음을 맞추기 위한 문제가 될 수 있으며, 단말기(10)는 화면에 특정 단어에 대한 발음기호와 뜻을 제시한다. 여기서, 단말기(10)는 특정 국가의 발음이 선택되는 경우, 선택된 국가에 대한 발음을 입력할 수 있는 모드를 수행한다.Referring to FIG. 6, the terminal 10 according to an embodiment of the present invention presents a language problem on a screen according to a user's request to execute a language application service. At this time, the language problem may be a problem to match the pronunciation, the terminal 10 presents the pronunciation symbol and meaning for a specific word on the screen. Here, when the pronunciation of a specific country is selected, the terminal 10 performs a mode for inputting a pronunciation for the selected country.
도 7을 참조하면, 단말기(10)는 사용자에 의해 선택된 국가의 발음을 감지하기 위한 모드를 수행한다. 여기서, 단말기(10)는 음성 입력을 요청하는 팝업 메시지를 화면에 제공할 수 있다. 그리고 나서, 단말기(10)는 입력되는 가청음을 인식하여 음성데이터로 변환할 수 있고, 변환된 음성데이터와 기 설정된 패턴데이터를 비교하여 매칭도를 확인할 수 있다.Referring to FIG. 7, the terminal 10 performs a mode for detecting a pronunciation of a country selected by a user. Here, the terminal 10 may provide a pop-up message requesting a voice input to the screen. Then, the terminal 10 may recognize the input audible sound and convert the voice data into voice data, and check the matching degree by comparing the converted voice data with preset pattern data.
도 8을 참조하면, 단말기(10)는 확인 결과, 음성데이터가 패턴데이터와 매칭되는 경우, 음성 인식에 대한 결과를 화면에 제시한다. 즉, 단말기(10)는 인식된 발음의 정확도를 나타내는 결과를 화면에 표시할 수 있다.Referring to FIG. 8, when the verification result shows that the voice data matches the pattern data, the terminal 10 presents a result of speech recognition on the screen. That is, the terminal 10 may display a result indicating the accuracy of the recognized pronunciation on the screen.
도 9를 참조하면, 단말기(10)는 단말기(10)는 확인 결과, 음성데이터와 메칭되는 패턴데이터가 존재하지 않는 경우, 음성의 재입력을 위한 요청 메시지를 화면에 표시할 수 있다.Referring to FIG. 9, when there is no pattern data matched with voice data as a result of the check, the terminal 10 may display a request message for re-input of voice on the screen.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples for clarity and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.
본 발명은 다양한 원어민의 음성데이터를 수집하여 국적, 지역, 나이, 성별 등의 다양한 개인차를 고려하여 복수의 패턴데이터를 설정하고, 사용자 음성을 인식함으로써, 인식 결과에 대한 신뢰도를 향상시켜서, 발음 오차를 고려하여, 사용자의 음성을 보다 정확하게 인식할 수 있다.The present invention collects voice data of various native speakers, sets a plurality of pattern data in consideration of various individual differences such as nationality, region, age, gender, etc., and recognizes user voice, thereby improving the reliability of the recognition result, and pronunciation error. In consideration of this, the voice of the user can be recognized more accurately.
10: 단말기 11: 단말제어부
11a: 음성인식부 12: 입력부
13: 표시부 14: 단말저장부
14a: 제1 패턴데이터 DB 14b: 제1 어학문제 DB
15: 오디오처리부 16: 단말통신부
20: 어학 어플리케이션 서버 21: 서버제어부
21a: 음성처리부 22: 서버저장부
22a: 제2 패턴데이터 DB 22b: 제2 어학문제 DB
23: 서버통신부 30: 통신망
100: 어학학습 시스템10: terminal 11: terminal control unit
11a: voice recognition unit 12: input unit
13: display unit 14: terminal storage unit
14a: first
15: audio processing unit 16: terminal communication unit
20: language application server 21: server control unit
21a: voice processing unit 22: server storage unit
22a: second
23: server communication unit 30: communication network
100: language learning system
Claims (29)
상기 음성데이터와 기 설정된 다수의 패턴데이터를 비교하여 상기 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 상기 인식된 음성에 따라 상기 단말기로 상기 어학문제에 대한 평가 결과를 전송하는 상기 어학 어플리케이션 서버;
를 포함하는 것을 특징으로 하는 음성인식을 통한 어학학습 시스템.A terminal for comparing a user's voice data with a plurality of preset pattern data in consideration of a pronunciation difference of an individual and performing voice recognition and learning evaluation based on pattern data having a high degree of matching among the plurality of pattern data; And
Comparing the voice data with a plurality of preset pattern data, and if there is pattern data that matches the voice data, performing voice recognition, and transmitting an evaluation result of the language problem to the terminal according to the recognized voice. The language application server;
Language learning system through speech recognition, comprising a.
각각 다수개가 음소, 단어 및 문장 단위로 설정되는 다수의 패턴데이터를 저장하는 단말저장부; 및
상기 어학 어플리케이션을 실행하여 적어도 하나의 어학문제를 제시하고, 상기 어학문제에 대응하는 음성데이터를 사용자로부터 수집하고, 상기 수집된 음성데이터와 음성코드 별로 개인의 발음 차이를 고려하여 기 설정된 다수의 패턴데이터를 비교하고, 매칭도가 높은 패턴데이터를 기준으로 음성 인식 및 어학문제에 대한 평가 결과를 실행하는 단말제어부;
포함하는 것을 특징으로 하는 단말기.A display unit for providing a screen according to the execution of the language application;
A terminal storage unit for storing a plurality of pattern data each of which is set in units of phonemes, words, and sentences; And
Presenting at least one language problem by executing the language application, collecting voice data corresponding to the language problem from a user, and presetting a plurality of patterns in consideration of individual pronunciation differences for each of the collected voice data and voice codes; A terminal control unit for comparing the data and executing a result of evaluating speech recognition and language problems based on pattern data having a high degree of matching;
Terminal comprising a.
어학 어플리케이션 서버로 어학 어플리케이션 서비스를 요청하여 상기 어학문제를 수신하고, 상기 어학문제에 대응하는 음성을 수신하여 음성데이터로 변환하고, 상기 변환된 음성데이터를 상기 어학 어플리케이션 서버로 전송하고, 상기 인식된 음성에 따라 상기 어학문제에 대한 결과를 수신하여 표시하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
Request a language application service from a language application server to receive the language problem, receive a voice corresponding to the language problem, convert the voice data into voice data, and transmit the converted voice data to the language application server. And receiving and displaying a result of the language problem according to a voice.
오디오처리부를 통해 사용자의 가청음을 전기신호인 상기 음성데이터로 변환하고, 상기 변환된 음성데이터를 저장하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
And an audio processor converting the audible sound of the user into the voice data, which is an electrical signal, and storing the converted voice data.
개인의 음성에 대한 발음 차이를 국적, 지역, 나이 및 성별 중 적어도 하나 이상을 기준으로 구분되는 상기 음성코드 별로 설정되는 데이터인 것을 특징으로 하는 단말기.The method of claim 2, wherein the pattern data
The terminal characterized in that the data is set for each of the voice code is divided based on at least one or more of the nationality, region, age and gender.
어학 어플리케이션 서버로부터 상기 패턴데이터와 어학문제를 다운로드하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
And a terminal for downloading the pattern data and the language problem from a language application server.
상기 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 상기 선택된 패턴데이터를 상기 음성데이터와 비교하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
And selecting pattern data having a high degree of matching with the voice data, and comparing the selected pattern data with the voice data.
상기 비교 결과, 상기 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 팝업메시지를 표시하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
And a pop-up message is displayed if there is no pattern data matching the voice data as a result of the comparison.
상기 음성데이터와 매칭되는 패턴데이터가 존재하지 않는 경우, 어학 어플리케이션 서버로부터 팝업메시지를 수신하고, 상기 수신된 팝업메시지를 표시하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
If there is no pattern data matching the voice data, the terminal receiving a pop-up message from the language application server, and characterized in that for displaying the received pop-up message.
상기 음성데이터와 매칭되는 상기 패턴데이터에 해당하는 상기 음성코드를 확인하고, 상기 음성코드에 최적으로 매칭되는 음성을 인식하는 것을 특징으로 하는 단말기.The method of claim 2, wherein the terminal control unit
And checking the voice code corresponding to the pattern data matched with the voice data, and recognizing the voice optimally matching the voice code.
상기 단말기로부터 어학 어플리케이션 서비스가 요청되면, 상기 단말기로 어학문제를 제공하고, 상기 단말기로부터 음성데이터를 수신하고, 상기 수신된 음성데이터를 확인하고, 확인된 음성데이터와 기 설정된 다수의 패턴데이터를 비교하여 상기 음성데이터와 일치하는 패턴데이터가 존재하면, 음성 인식을 수행하고, 상기 인식된 음성에 따라 상기 단말기로 상기 발음문제에 대한 결과를 전송하는 서버제어부;
를 포함하는 것을 특징으로 하는 어학 어플리케이션 서버.Server communication unit for transmitting and receiving data for the terminal and the language application service; And
When a language application service is requested from the terminal, a language problem is provided to the terminal, the voice data is received from the terminal, the received voice data is checked, and the identified voice data is compared with a plurality of preset pattern data. A server controller which performs voice recognition and transmits a result of the pronunciation problem to the terminal according to the recognized voice if there is pattern data that matches the voice data;
Language application server comprising a.
다수의 단말기 사용자로부터 음성데이터를 수집하고, 상기 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하고, 상기 설정된 패턴데이터를 저장하는 것을 특징으로 하는 어학 어플리케이션 서버.The method of claim 11, wherein the server control unit
Collecting voice data from a plurality of terminal users, a plurality of pattern data is set by dividing the voice patterns of the collected voice data, the language application server, characterized in that for storing the set pattern data.
개인의 음성에 대한 발음 차이를 국적, 지역, 나이 및 성별 중 적어도 하나 이상을 기준으로 구분되는 음성코드 별로 설정되는 상기 패턴데이터를 저장하는 서버저장부;
를 더 포함하며,
상기 패턴데이터는 각각 다수개가 음소, 단어 및 문장 단위로 설정되는 데이터인 것을 특징으로 하는 어학 어플리케이션 서버.The method of claim 11,
A server storage unit configured to store the pattern data set for each voice code divided based on at least one of nationality, region, age, and gender;
More,
Each of the pattern data is a language application server, characterized in that the data is set in units of phonemes, words and sentences.
상기 음성데이터와 매칭도가 높은 패턴데이터를 선택하고, 상기 선택된 패턴데이터를 상기 음성데이터와 비교하는 것을 특징으로 하는 어학 어플리케이션 서버.The method of claim 11, wherein the server control unit
Selecting a pattern data having a high degree of matching with the voice data, and comparing the selected pattern data with the voice data.
상기 비교 결과, 상기 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 팝업메시지를 상기 단말기로 전송하는 것을 특징으로 하는 어학 어플리케이션 서버.The method of claim 11, wherein the server control unit
If there is no pattern data matching the voice data as a result of the comparison, the language application server, characterized in that for transmitting a pop-up message to the terminal.
단말기가 상기 어학문제에 대응하는 음성데이터를 사용자로부터 수집하는 단계;
상기 단말기가 상기 수집된 음성데이터와 음성코드 별로 개인의 발음 차이를 고려하여 기 설정된 다수의 패턴데이터와 비교하는 단계; 및
상기 비교 결과, 매칭도가 높은 패턴데이터를 기준으로 음성 인식 및 어학문제에 대한 평가 결과를 실행하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.Presenting at least one language problem by the terminal executing the language application;
Collecting, by a terminal, voice data corresponding to the language problem from a user;
Comparing, by the terminal, with the plurality of preset pattern data in consideration of the pronunciation difference of the individual for each of the collected voice data and voice code; And
Executing a result of evaluating speech recognition and language problems based on the comparison result of the pattern data having a high degree of matching;
Language learning method through the speech recognition of the terminal comprising a.
상기 단말기가 상기 사용자의 가청음을 전기신호인 상기 음성데이터로 변환하는 단계; 및
상기 단말기가 상기 변환된 음성데이터를 저장하는 단계;
를 더 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 16, wherein the collecting step
Converting, by the terminal, the audible sound of the user into the voice data which is an electrical signal; And
Storing, by the terminal, the converted voice data;
Language learning method through the speech recognition of the terminal further comprising a.
개인의 음성에 대한 발음 차이를 국적, 지역, 나이 및 성별 중 적어도 하나 이상을 기준으로 구분되는 상기 음성코드 별로 설정되는 데이터인 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 16, wherein the pattern data
The language learning method through the speech recognition of the terminal, characterized in that the difference in pronunciation for the individual voice is set by the voice code divided based on at least one of nationality, region, age and gender.
상기 단말기가 어학 어플리케이션 서버로부터 상기 패턴데이터와 어학문제를 다운로드하는 단계;
를 더 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.17. The method of claim 16, wherein prior to the presenting step:
Downloading, by the terminal, the pattern data and the language problem from a language application server;
Language learning method through the speech recognition of the terminal further comprising a.
상기 단말기가 상기 음성데이터와 매칭도가 가장 높은 패턴데이터를 선택하는 단계; 및
상기 단말기가 상기 선택된 패턴데이터를 상기 음성데이터와 비교하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 16 wherein the comparing step
Selecting, by the terminal, pattern data having the highest matching degree with the voice data; And
Comparing, by the terminal, the selected pattern data with the voice data;
Language learning method through the speech recognition of the terminal comprising a.
상기 비교 결과, 상기 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 상기 단말기가 팝업메시지를 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 16 wherein the comparing step
Displaying, by the terminal, a pop-up message if there is no pattern data matching the voice data as a result of the comparison;
Language learning method through the speech recognition of the terminal further comprising a.
상기 단말기가 상기 음성데이터와 매칭되는 상기 패턴데이터에 해당하는 음성코드를 확인하는 단계; 및
상기 단말기가 상기 음성코드에 대응하는 음성을 인식하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.17. The method of claim 16 wherein the step of performing
Confirming, by the terminal, a voice code corresponding to the pattern data that matches the voice data; And
Recognizing, by the terminal, a voice corresponding to the voice code;
Language learning method through the speech recognition of the terminal comprising a.
상기 어학 어플리케이션 서버가 상기 단말기로부터 사용자의 음성데이터를 수신하는 단계;
상기 어학 어플리케이션 서버가 상기 수신된 사용자의 음성데이터를 확인하고, 확인된 사용자의 음성데이터와 기 설정된 다수의 패턴데이터를 비교하는 단계;
상기 비교 결과, 상기 음성데이터와 일치하는 패턴데이터가 존재하면, 상기 어학 어플리케이션 서버가 음성 인식을 수행하는 단계; 및
상기 어학 어플리케이션 서버가 상기 인식된 음성에 따라 상기 단말기로 상기 어학문제에 대한 결과를 전송하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.If the language application server requests a language application service from the terminal, providing at least one language problem to the terminal;
Receiving, by the language application server, voice data of a user from the terminal;
Checking, by the language application server, the received voice data of the user and comparing the identified voice data of the user with a plurality of preset pattern data;
Performing speech recognition by the language application server when pattern data matching the voice data exists as a result of the comparison; And
Transmitting, by the language application server, a result of the language problem to the terminal according to the recognized voice;
Language learning method through the speech recognition of the terminal comprising a.
상기 어학 어플리케이션 서버가 다수의 사용자로부터 음성데이터를 수집하는 단계;
상기 어학 어플리케이션 서버가 상기 수집된 음성데이터의 음성 패턴을 구분하여 다수의 패턴데이터를 설정하는 단계; 및
상기 어학 어플리케이션 서버가 상기 설정된 패턴데이터를 저장하는 단계;
를 더 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 23, wherein prior to said providing,
Collecting, by the language application server, voice data from a plurality of users;
Setting a plurality of pattern data by dividing a voice pattern of the collected voice data by the language application server; And
Storing, by the language application server, the set pattern data;
Language learning method through the speech recognition of the terminal further comprising a.
상기 어학 어플리케이션 서버가 상기 음성데이터와 매칭도가 높은 패턴데이터를 선택하는 단계; 및
상기 어학 어플리케이션 서버가 상기 선택된 패턴데이터를 상기 음성데이터와 비교하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 23, wherein the comparing step
Selecting, by the language application server, pattern data having a high degree of matching with the voice data; And
Comparing the selected pattern data with the voice data by the language application server;
Language learning method through the speech recognition of the terminal comprising a.
상기 비교 결과, 상기 음성데이터와 매칭되는 패턴데이터가 존재하지 않으면, 상기 어학 어플리케이션 서버가 팝업메시지를 상기 단말기로 전송하는 단계;
를 더 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 23, wherein the comparing step
If there is no pattern data matching the voice data, the language application server transmitting a pop-up message to the terminal;
Language learning method through the speech recognition of the terminal further comprising a.
상기 단말기가 상기 어학 어플리케이션 서버로부터 적어도 하나의 어학문제를 수신하는 단계;
상기 단말기가 상기 어학문제에 대응하는 음성을 수신하여 음성데이터로 변환하는 단계;
상기 단말기가 상기 변환된 음성데이터를 상기 어학 어플리케이션 서버로 전송하는 단계; 및
상기 단말기가 상기 인식된 음성에 따라 상기 어학문제에 대한 결과를 수신하여 표시하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.Requesting, by the terminal, a language application service from a language application server;
Receiving, by the terminal, at least one language problem from the language application server;
Receiving, by the terminal, a voice corresponding to the language problem and converting the voice into voice data;
Transmitting, by the terminal, the converted voice data to the language application server; And
Receiving and displaying a result of the language problem according to the recognized voice by the terminal;
Language learning method through the speech recognition of the terminal comprising a.
상기 음성데이터와 매칭되는 패턴데이터가 존재하지 않는 경우, 상기 단말기가 상기 어학 어플리케이션 서버로부터 팝업메시지를 수신하는 단계; 및
상기 단말기가 상기 수신된 팝업메시지를 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.The method of claim 27, wherein after the transmitting step,
When the pattern data matching the voice data does not exist, the terminal receiving a pop-up message from the language application server; And
Displaying, by the terminal, the received popup message;
Language learning method through the speech recognition of the terminal further comprising a.
단말기가 상기 어학문제에 대응하는 음성데이터를 사용자로부터 수집하여 저장하는 단계;
상기 단말기가 상기 저장된 음성데이터와 음성코드 별로 개인의 발음 차이를 고려하여 매칭도가 가장 높은 패턴데이터를 비교하는 단계; 및
상기 비교 결과, 매칭도가 높은 패턴데이터를 기준으로 상기 패턴데이터에 해당하는 음성코드를 확인하여 음성을 인식하고, 상기 어학문제에 대한 평가 결과를 제시하는 단계;
를 포함하는 것을 특징으로 하는 단말기의 음성인식을 통한 어학학습 방법.Presenting at least one language problem by the terminal executing the language application;
Collecting and storing voice data corresponding to the language problem by a terminal from a user;
Comparing, by the terminal, the pattern data having the highest matching degree in consideration of the pronunciation difference of the individual by the stored voice data and the voice code; And
As a result of the comparison, identifying a voice code corresponding to the pattern data based on the pattern data having a high degree of matching, recognizing a voice, and presenting a result of evaluating the language problem;
Language learning method through the speech recognition of the terminal comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100096545A KR101690546B1 (en) | 2010-10-04 | 2010-10-04 | Method for language studying using speech recognition of terminal and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100096545A KR101690546B1 (en) | 2010-10-04 | 2010-10-04 | Method for language studying using speech recognition of terminal and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120035059A true KR20120035059A (en) | 2012-04-13 |
| KR101690546B1 KR101690546B1 (en) | 2017-01-10 |
Family
ID=46137112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100096545A KR101690546B1 (en) | 2010-10-04 | 2010-10-04 | Method for language studying using speech recognition of terminal and system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101690546B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200049404A (en) * | 2018-10-31 | 2020-05-08 | 강병진 | System and Method for Providing Simultaneous Interpretation Service for Disabled Person |
| KR102631382B1 (en) * | 2023-06-16 | 2024-01-31 | 주식회사 미카 | System for providing korean education service for korean native speaker |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102498172B1 (en) * | 2019-01-09 | 2023-02-09 | 이장호 | Method of interactive foreign language learning by voice talking each other using voice recognition function and TTS function |
| KR20240077680A (en) | 2022-11-25 | 2024-06-03 | (주)엔에스데블 | Blended learning system and method based on AI |
| KR20240077679A (en) | 2022-11-25 | 2024-06-03 | (주)엔에스데블 | Learning attention system and method by using voice recognition supervisor technologies in ubiquitous based learning platform |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100058935A (en) * | 2008-11-25 | 2010-06-04 | 주식회사 보이스웹인터내셔날 | Method, system and the media for content providing for language learning |
-
2010
- 2010-10-04 KR KR1020100096545A patent/KR101690546B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100058935A (en) * | 2008-11-25 | 2010-06-04 | 주식회사 보이스웹인터내셔날 | Method, system and the media for content providing for language learning |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200049404A (en) * | 2018-10-31 | 2020-05-08 | 강병진 | System and Method for Providing Simultaneous Interpretation Service for Disabled Person |
| KR102631382B1 (en) * | 2023-06-16 | 2024-01-31 | 주식회사 미카 | System for providing korean education service for korean native speaker |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101690546B1 (en) | 2017-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11494161B2 (en) | Coding system and coding method using voice recognition | |
| US9754592B2 (en) | Methods and systems for speech-enabling a human-to-machine interface | |
| US9355637B2 (en) | Method and apparatus for performing speech keyword retrieval | |
| US8688453B1 (en) | Intent mining via analysis of utterances | |
| CN103915095B (en) | The method of speech recognition, interactive device, server and system | |
| KR20120038686A (en) | Method for evaluating study using language application of terminal and system | |
| TWI400631B (en) | Method and device for automatically customizing computing devices based on input device | |
| CN106251869B (en) | Voice processing method and device | |
| CN110019745A (en) | Conversational system with self study natural language understanding | |
| US9589561B2 (en) | Display apparatus and method for recognizing voice | |
| US10424291B2 (en) | Information processing device, information processing method, and program | |
| CN114787814A (en) | Reference resolution | |
| KR20120035059A (en) | Method for language studying using speech recognition of terminal and system | |
| US20140223572A1 (en) | Message service providing method, and apparatus and system therefor | |
| CN111984180B (en) | Terminal screen reading method, device, equipment and computer readable storage medium | |
| CN109215660A (en) | Text error correction method and mobile terminal after speech recognition | |
| US20210397786A1 (en) | Information providing system, information providing method, and data structure of knowledge data | |
| KR20200000215A (en) | System and method for providing speech coaching service | |
| US9773038B2 (en) | Apparatus and method for starting up software | |
| CN109656510A (en) | The method and terminal of voice input in a kind of webpage | |
| JP2010026686A (en) | Interactive communication terminal with integrative interface, and communication system using the same | |
| CN112863495A (en) | Information processing method and device and electronic equipment | |
| CN113383339A (en) | Chat system capable of supporting multi-language translation and method for providing translation | |
| JP7114307B2 (en) | Information processing equipment | |
| CN116955610A (en) | Text data processing method and device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190926 Year of fee payment: 4 |