KR20210060040A - Server and method for automatic assessment of oral language proficiency - Google Patents
Server and method for automatic assessment of oral language proficiency Download PDFInfo
- Publication number
- KR20210060040A KR20210060040A KR1020190147591A KR20190147591A KR20210060040A KR 20210060040 A KR20210060040 A KR 20210060040A KR 1020190147591 A KR1020190147591 A KR 1020190147591A KR 20190147591 A KR20190147591 A KR 20190147591A KR 20210060040 A KR20210060040 A KR 20210060040A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- user
- chunk
- speaking
- foreign language
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 76
- 229910052709 silver Inorganic materials 0.000 claims 5
- 239000004332 silver Substances 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 241000238557 Decapoda Species 0.000 description 3
- 239000000571 coke Substances 0.000 description 3
- 235000015220 hamburgers Nutrition 0.000 description 3
- 235000014102 seafood Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 244000025272 Persea americana Species 0.000 description 1
- 235000008673 Persea americana Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 개시는 외국어 말하기 학습 서버 및 방법에 관한 것으로 구체적으로, 사용자의 음성을 입력받고, 음성입력 유사도에 기반한 선택적 학습 분기를 생성하여 외국어를 학습하고, 외국어 말하기 능력을 평가요소에 따라 자동 평가하는 서버 및 방법에 관한 것이다. The present disclosure relates to a foreign language speaking learning server and method, specifically, a server that receives a user's voice, generates a selective learning branch based on the similarity of voice input to learn a foreign language, and automatically evaluates foreign language speaking ability according to evaluation factors And a method.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the content described in this section is not prior art to the claims of this application, and inclusion in this section is not admitted to be prior art.
최근 들어 외국어 학습 특히 영어나 중국어 구사 능력이 더욱 더 중요하게 여겨지고 있다. 특히 영어의 경우 세계 공용어(lingua franca), 국제어(English as an international language)로서 기능하고 있는바, 이는 영어가 국가와 문화의 경계를 넘어서 세계적으로 의사소통을 하는 수단으로 자리를 잡았다는 것을 의미한다. 우리나라는 영어 교육에 상당한 투자를 하고 있음에도 불구하고 한국어와 영어의 구조체계가 상당히 상이하고 영어를 모국어로 하고 있지 않다는 점 때문에 영어학습의 효과가 크지 않다. In recent years, foreign language learning, especially English or Chinese proficiency, has become more and more important. In particular, English functions as the world's official language (lingua franca) and English as an international language, which means that English has established itself as a means of global communication across national and cultural boundaries. . Despite the significant investment in English education in Korea, the effect of learning English is not great because the structure system of Korean and English is quite different and English is not the first language.
특히, 영어 말하기 영역은 영어학습에 많은 시간과 비용을 투자함에도 불구하고 한국인들이 가장 취약한 학습 영역이다. 말하기, 듣기, 쓰기 등을 포함하는 외국어 학습 영역 중 말하기는 실생활과 직결되고 외국인과의 원활한 의사소통을 위해 가장 중요하게 고려되어야 하는 학습 영역이지만, 한국인들이 가장 어려워하는 학습 영역 중 하나이기도 하다. In particular, the English speaking area is the most vulnerable learning area for Koreans despite investing a lot of time and money in learning English. Among the areas of foreign language learning including speaking, listening, and writing, speaking is a learning area that is directly related to real life and should be considered the most important for smooth communication with foreigners, but it is also one of the most difficult learning areas for Koreans.
여러 교육기관에서는 말하기 학습 능력을 향상시키기 위한 다양한 방법을 제안하고 있다. 예컨대, 원어민 영어강사 배치, 영어수업 확대 등으로 말하기와 듣기 학습 능력을 개선하고자 노력하고 있으나, 이는 학습자에게 제공하는 학습 컨텐츠를 다르게 하는 방안일 뿐, 실제 학습자의 외국어 발화평가 요소를 정확히 측정하고, 말하기를 연습시킨 후 개선해야 할 부분을 지도하는 학습 방법과는 거리가 멀다. 또한, 전술한 바와 같은, 학습자에게 영어 말하기를 유도하고 연습시키고, 결과를 측정하는 일련의 학습과정은 대부분 오프라인에서의 학습프로그램이나 지도 교사에 의해 진행될 수 있으므로 영어 말하기 학습을 위한 사용자의 시공간적 제한이 매우 큰 실정이다. Various educational institutions have proposed various methods to improve speaking learning ability. For example, efforts are being made to improve speaking and listening learning ability by arranging native English instructors and expanding English classes, but this is only a way to differentiate the learning contents provided to learners, and accurately measure the elements of actual learners' foreign language utterance evaluation. It is far from a learning method in which you practice speaking and then guide you in areas that need to be improved. In addition, as described above, the series of learning processes that induce and practice English speaking to learners and measure the results can be conducted mostly by offline learning programs or tutors, so the user's temporal and spatial limitations for learning English speaking are limited. This is a very big situation.
또한, 온라인에서 제공되는 영어 말하기 학습 프로그램은 단순히 말하기 반복횟수를 측정하거나 스크립트를 사용자가 읽는 방식으로 진행되기 때문에, 학습자가 상황에 알맞은 대답을 직접 영작하여 발화한 후 발화한 영어 문장의 정확성, 발음, 인토네이션 등 유창하게 외국어를 말하기 위한 다양한 평가 요소를 정확하게 측정할 수 없다.In addition, since the English speaking learning program provided online is conducted by simply measuring the number of repetitions of speaking or reading the script, the learner writes and utters the answer appropriate to the situation, and the accuracy and pronunciation of the uttered English sentences. It is not possible to accurately measure various evaluation factors for fluently speaking foreign languages such as, intonation, etc.
사용자의 외국어 음성입력과 답안문장의 유사도에 기초한 선택적 학습 분기를 제공하고, 음성입력신호를 청크(chunk)로 구분 한 후, 청크 각각의 음성 분석을 통해, 사용자가 발화한 문장의 정확성, 발음, 인토네이션, 유창성, 크기 등을 포함하는 말하기 평가 항목을 정확하게 분석하는 외국어 말하기 학습 서버 및 방법을 제공한다.It provides a selective learning branch based on the similarity between the user's foreign language voice input and the answer sentence, divides the voice input signal into chunks, and analyzes the voice of each chunk, Provides a foreign language speaking learning server and method that accurately analyzes speech evaluation items including intonation, fluency, and size.
또한, 말하기를 유도하는 답안문장을 청크 단위로 제시하여, 사용자가 말하기 힌트 청크를 보고 직접 영작한 후 발화하도록 유도하는 외국어 말하기 학습 서버 및 방법을 제공한다.In addition, it provides a foreign language speaking learning server and method in which a user can see the speaking hint chunks, write them directly, and then utter them by presenting an answer sentence for inducing speech in chunks.
또한, 실시예에서는 사용자가 발화하는 문장의 난이도 및 유창성 평가 결과에 따라 학습자 레벨에 대응하는 다양한 학습 분기를 제공하여 사용자의 영어 말하기 능력에 따라 개별적으로 차별화된 학습 컨텐츠를 제공한다. In addition, in the embodiment, various learning branches corresponding to the learner's level are provided according to the result of evaluating the difficulty and fluency of the sentence uttered by the user, thereby providing individually differentiated learning contents according to the user's English speaking ability.
실시예에 따른 외국어 말하기 학습 서버는 학습상황데이터, 학습 상황 별 모범답변문장 데이터, 모범답변 문장의 청크 및 사용자의 답변 또는 모범답변문장에 매칭된 학습상황인 학습분기를 포함하는 학습데이터를 저장하는 데이터베이스; 사용자에 의해 선택된 학습 상황이 출력된 후 사용자의 발화 입력을 대기하는 시간 동안 학습상황 별 모범답안 문장에서 말하기힌트청크를 생성하여 디스플레이 하는 청크출력모듈; 사용자의 음성신호를 입력 받아, 입력된 음성신호를 청크로 분류하고, 분류된 청크와 상기 모범답안 문장의 청크를 비교하는 1차 평가모듈; 입력된 음성신호를 인식하여 인토네이션, 발음, 크기를 포함하는 발화평가요소를 각각 평가하는 2차 평가모듈; 및 1차 평가 모듈 및 2차 평가 모듈에서 전달된 발화 평가 결과에 따라 학습분기를 추출하는 학습분기생성모듈; 을 포함한다.The foreign language speaking learning server according to the embodiment stores learning data including learning situation data, model answer sentence data for each learning situation, chunk of the best answer sentence, and a learning branch that is a learning situation matched with the user's answer or the model answer sentence. Database; A chunk output module for generating and displaying a speaking hint chunk in the best answer sentence for each learning situation during a time period for waiting for the user's speech input after the learning situation selected by the user is output; A primary evaluation module for receiving a user's voice signal, classifying the input voice signal into chunks, and comparing the classified chunk with the chunk of the model answer sentence; A second evaluation module for recognizing the input speech signal and evaluating each speech evaluation element including intonation, pronunciation, and size; And a learning branch generation module for extracting a learning branch according to the speech evaluation result transmitted from the first evaluation module and the second evaluation module. Includes.
다른 실시예에 따른 외국어 말하기 학습 방법은 외국어 말하기 학습서버는 학습상황데이터, 학습 상황 별 모범답변문장 데이터, 모범답변 문장의 청크 및 사용자의 답변 또는 모범답변문장에 매칭된 학습상황인 학습분기를 포함하는 학습데이터를 저장하는 제1단계; 외국어 말하기 학습서버는 사용자에 의해 선택된 학습 상황이 출력된 후 사용자의 발화 입력을 대기하는 시간 동안 학습상황 별 모범답안 문장에서 말하기힌트청크를 생성하여 디스플레이 하는 제2단계; 외국어 말하기 학습서버는 사용자의 음성신호를 입력 받아, 입력된 음성신호를 청크로 분류하고, 분류된 청크와 상기 모범답안 문장의 청크를 비교하는 제3단계; 외국어 말하기 학습서버는 입력된 음성신호를 인식하여 인토네이션, 발음, 크기를 포함하는 발화평가요소를 각각 평가하는 제4단계; 및 외국어 말하기 학습서버는 1차 평가 모듈 및 2차 평가 모듈에서 전달된 발화 평가 결과에 따라 학습분기를 추출하는 제5단계; 를 포함한다.The foreign language speaking learning method according to another embodiment includes learning situation data, model answer sentence data for each learning situation, a chunk of model answer sentences, and a learning branch that is a learning situation matched to the user's answer or model answer sentence. A first step of storing the learning data to be performed; The second step of generating and displaying, at the foreign language speaking learning server, a speaking hint chunk from the best answer sentences for each learning situation during a time period for waiting for the user's utterance input after the learning situation selected by the user is outputted; The foreign language speaking learning server receives the user's voice signal, classifies the input voice signal into chunks, and compares the classified chunk with the chunk of the model answer sentence; A fourth step of the foreign language speaking learning server recognizing the input voice signal and evaluating each speech evaluation element including intonation, pronunciation, and size; And a fifth step of extracting a learning branch according to the speech evaluation result transmitted from the first evaluation module and the second evaluation module, in the foreign language speaking learning server. Includes.
실시예에 따른 외국어 말하기 학습 서버 및 방법은 사용자에게 학습상황을 제시하고 영어문장 발화를 유도한 후, 모범 답안 문장을 청크 별로 분리하여 제시 함으로써, 영어 말하기 학습이 단순히 따라 말하는 형식의 단순 반복 학습에 그치지 않고, 사용자가 직접 제시된 말하기 힌트청크를 이용해 영작한 후 발화하도록 하여 영어 말하기 학습 효과를 극대화 시킨다. The foreign language speaking learning server and method according to the embodiment presents the learning situation to the user and induces the utterance of English sentences, and then presents the exemplary answer sentences in chunks. It does not stop, and maximizes the effect of learning English speaking by allowing the user to speak after writing using the suggested speaking hint chunk.
사용자가 입력한 음성신호를 발음, 인토네이션, 유창성, 정확성을 포함하는 평가 요소에 따라 청크 별로 평가하여 사용자의 영어 말하기 능력을 보다 정확하게 평가 할 수 있도록 한다. The voice signal input by the user is evaluated for each chunk according to evaluation factors including pronunciation, intonation, fluency, and accuracy, so that the user's English speaking ability can be more accurately evaluated.
사용자가 선택한 청크 및 영작하여 발화한 문장의 정확도와 난이도에 따라 다양한 학습 분기를 제공함으로써, 영어 말하기를 매우 잘하는 사용자도 자신의 영어 실력에 대응되는 학습 분기를 제공받아 영어 말하기를 지속적으로 연습할 수 있도록 한다. 또한, 영어 말하기에 익숙하지 않은 사용자는 자신의 학습 수준에 알맞은 학습 분기를 제공받아 말하기 실력을 점진적으로 향상 시킬 수 있도록 한다. By providing a variety of learning branches according to the accuracy and difficulty of the user-selected chunks and sentences spoken by English, even a user who is very good at speaking English is provided with a learning branch corresponding to his or her English proficiency so that they can continuously practice speaking English. To be there. In addition, users who are not familiar with speaking English are provided with a learning branch appropriate to their level of learning so that they can gradually improve their speaking skills.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.
도 1은 실시예에 따른 외국어 말하기 학습 시스템을 나타낸 도면
도 2는 실시예에 따른 학습 서버(100)의 데이터 처리 블록을 나타낸 도면
도 3은 실시예에 따른 외국어 말하기 학습 시스템의 학습 서버에서 구현되는 데이터 처리과정을 나타낸 흐름도
도 4는 실시예에 따른 학습 서버 또는 말하기 학습 어플리케이션을 설치한 사용자 단말에서 수행하는 데이터 처리과정을 나타낸 흐름도
도 5는 실시예에 따른 사용자 음성신호 함의인식을 위한 데이터 처리과정을 나타낸 도면
도 6 및 도 7은 외국어 말하기 학습 어플리케이션의 실제 구현 인터페이스 실시예를 나타낸 도면1 is a diagram showing a foreign language speaking learning system according to an embodiment
2 is a diagram showing a data processing block of the
3 is a flowchart showing a data processing process implemented in a learning server of a foreign language speaking learning system according to an embodiment;
4 is a flowchart showing a data processing process performed by a learning server or a user terminal installed with a speaking learning application according to an embodiment;
5 is a diagram showing a data processing procedure for recognizing a user's voice signal implication according to an embodiment;
6 and 7 are diagrams showing an embodiment of an actual implementation interface of a foreign language speaking learning application
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and the general knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to the possessor, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present specification.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 용어의 설명은 본 명세서의 이해를 돕기 위한 것으로서 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.Prior to the description, the meaning of terms used in the present specification will be briefly described. It should be noted that the description of terms is to aid the understanding of the present specification and is not used in the sense of limiting the technical idea of the present invention unless explicitly described as limiting the present invention.
- 청크(chunk)-Chunk
외국어 문장을 구성하는 복수개의 단어를 조합한 분석 단위로서, 실시예에서는 문장을 발음하는 인토네이션에 따라 한 문장이 복수개의 청크로 나누어 질 수 있다. 또한, 문장에 포함되는 중요 단어를 기준으로 청크를 생성할 수 있다. 또한, 실시예에 따른 말하기 힌트 청크는 모범답안 문장에서 복수개의 단어를 추출한 후 추출된 단어를 랜덤으로 배열하여 사용자에게 제공함으로써, 사용자가 발화하기 전 말하기 힌트 청크를 인지하고, 이를 이용하여 문장을 만들어 발화 할 수 있도록 한다. 실시예에서 제공하는 말하기 힌트 청크는 영어 말하기 능력이 일정 레벨 이하인 학습자에게 영어 말하기 학습 의욕을 고취 시키고, 말하기 학습 효과를 빠르게 향상 시키기 위해 실시예에서 제공될 수 있다. As an analysis unit combining a plurality of words constituting a sentence in a foreign language, in an embodiment, a sentence may be divided into a plurality of chunks according to intonation for pronouncing the sentence. In addition, chunks may be generated based on important words included in sentences. In addition, the speaking hint chunk according to the embodiment extracts a plurality of words from the exemplary answer sentence, and then randomly arranges the extracted words and provides the extracted words to the user, thereby recognizing the speaking hint chunk before the user utters, and using this to recognize the speaking hint chunk. Make it so that it can ignite. Speaking hint chunks provided in the embodiment may be provided in the embodiment to inspire English speaking learning motivation to learners whose English speaking ability is below a certain level, and to quickly improve the speaking learning effect.
-학습분기-Learning quarter
사용자가 발화한 영어 문장 및 선택한 학습 상황에 따라 이어질 수 있는 또 다른 학습 상황이다. 실시예에서 학습분기는 학습상황에서 출력된 문장에 따라 달라질 수 있고, 매 단계의 학습 상황에서 사용자가 발화하는 음성을 인식하며 인식된 사용자의 말하기 난이도에 대응되는 다음 단계의 학습 분기를 생성해 나갈 수 있다. It is another learning situation that can be followed according to the English sentences spoken by the user and the selected learning situation. In the embodiment, the learning branch may vary according to the sentence output in the learning situation, and the next level learning branch corresponding to the recognized user's speaking difficulty is generated by recognizing the speech spoken by the user in each learning situation. I can.
-컨텍스트(context)-Context
컨텍스트는 텍스트의 단순한 표면적 의미를 넘어서 주변 상황, 시간, 환경 등이 고려된 의도로서, 맥락, 문맥으로 정의된다. 실시예에서 컨텍스트는 영어를 발화하는 학습자와 대화를 이어나가기 위해 분석되는 텍스트의 함의이다.Context is an intention that considers surrounding situations, time, and environment beyond the simple superficial meaning of text, and is defined as context and context. In the embodiment, the context is the implication of the text analyzed to continue the conversation with the learner who speaks English.
도 1은 실시예에 따른 외국어 말하기 학습 시스템을 나타낸 도면이다.1 is a diagram showing a foreign language speaking learning system according to an embodiment.
도 1을 참조하면, 실시예에 따른 외국어 말하기 학습 시스템은 학습 서버(100)과 사용자 단말(200)을 포함하여 구성될 수 있다. 학습서버(100)는 실시예에 따른 외국어 말하기 학습 어플리케이션을 분산방식으로 사용자 단말(200)로 배포하고, 사용자 단말(200)에 설치된 학습 어플리케이션을 업데이트 시킨다. 학습서버(100)는 외국어 말하기 학습 어플리케이션 구동을 위한 학습상황데이터, 학습 상황 별 모범답안문장 데이터, 모범답안 문장의 청크 데이터, 청크와 발화된 단어에 따른 학습 분기 데이터를 미리 구축하여 저장할 수 있다. 아울러, 인공지능 음성인식 프로그램 및 발음한 문장의 발음, 인토네이션, 크기 등을 포함하는 발화 평가를 위한 기준 데이터를 미리 구축할 수 있다. Referring to FIG. 1, a system for learning to speak a foreign language according to an embodiment may include a
사용자 단말(200)은 학습 서버로부터 외국어 말하기 학습 어플리케이션을 수신하여 설치하고, 어플리케이션을 주기적으로 업데이트하여 사용자가 자신의 단말을 통해 학습 어플리케이션을 이용할 수 있도록 한다.The
도 2는 실시예에 따른 학습 서버(100)의 데이터 처리 블록을 나타낸 도면이다.2 is a diagram showing a data processing block of the learning
도 2를 참조하면, 실시예에 따른 학습 서버(100)는 데이터베이스(110), 청크출력모듈(120), 제1평가모듈(130), 제2평가모듈(140) 및 학습분기 생성모듈(150)을 포함하여 구성될 수 있다. 2, the learning
데이터베이스(110)에는 실시예에 따른 외국어 말하기 학습 및 학습 평가를 수행에 필요한 일련의 데이터가 저장된다. 예컨대, 데이터베이스에는 학습데이터(110)가 저장되고, 학습데이터는 학습상황데이터, 학습 상황 별 모범 답변 문장 데이터, 예상 답변 문장 및 모범답변 문장과 예상 답변문장의 청크 등 학습상황 판단 및 말하기 평가에 필요한 일련의 데이터를 포함할 수 있다. 실시예에서 학습상황은 회화를 학습할 수 있도록 하는 다양한 일상생활에서의 상황 정보로서, 구체적으로”식당 고르기”, “길 묻기””취미생활 말하기”,”영화 고르기” 등 다양한 상황과 대화 소주제 정보가 될 수 있다. 실시예에서 학습 상황은 영상 또는 오디오로 미리 구축되어 저장된다. 학습 상황 별 모법 답변 문장 데이터는 학습상황에서 사용자의 발화를 유도하기 위해 사용자에게 제시한 질문 각각에 대한 모법 답안 문장 또는 예상 답변 문장이다. 실시예에서 예상 답변 문장 사용자의 외국어 실력에 따라 복수개로 구성될 수 있다. The database 110 stores a series of data necessary for performing foreign language speaking learning and learning evaluation according to the embodiment. For example, the learning data 110 is stored in the database, and the learning data is necessary for determining the learning situation and speaking evaluation, such as the learning situation data, the best answer sentence data for each learning situation, the expected answer sentence, and the chunk of the model answer sentence and the expected answer sentence May contain a set of data. In the embodiment, the learning situation is information on various situations in everyday life that enables students to learn conversation. Specifically, information on various situations and conversations such as "choose a restaurant", "ask a way", "talk about hobby life", and "choose a movie" Can be. In the embodiment, the learning situation is pre-built and stored as video or audio. The parent method answer sentence data for each learning situation is the parent method answer sentence or expected answer sentence for each question presented to the user in order to induce the user's utterance in the learning situation. In an embodiment, a plurality of expected answer sentences may be configured according to the user's foreign language proficiency.
청크출력모듈(120)은 사용자로부터 선택된 학습 상황을 출력하고, 출력이 완료된 시점에 학습 상황 별로 기 저장된 모범 답안의 문장 청크를 추출하여 말하기힌트청크로서 디스플레이 한다. 예컨대, 청크출력모듈(120)은 사용자가 “식당에서 주문하기” 라는 학습 상황을 선택하는 경우, 미리 구축된 선택된 학습 상황 영상을 출력 완료한 이후, 사용자의 영어 발화 입력을 대기한다. 이때 청크 출력 모듈은 대기 시간 동안에 사용자가 선택한 “식당에서 주문하기”에 매칭된 모범답안 문장의 청크를 추출하여 말하기 힌트 청크로서 디스플레이 할 수 있다. The chunk output module 120 outputs the learning situation selected by the user, extracts the sentence chunk of the model answer previously stored for each learning situation at the time the output is completed, and displays it as a speaking hint chunk. For example, when the user selects a learning situation called "order at a restaurant", the chunk output module 120 waits for the user's English utterance input after outputting a pre-built selected learning situation image. At this time, the chunk output module may extract a chunk of the best answer sentence matched to “order at a restaurant” selected by the user during the waiting time and display it as a speaking hint chunk.
한편, 실시예에서는 사용자의 영어 실력에 따라 추출되는 모범 답안과 말하기 힌트 청크가 상이 할 수 있다. 구체적으로, 사용자가 선택한 “식당에서 주문하기”의 학습 상황에서 “May I take your order?” 라는 문장을 출력한 경우, 출력한 문장과 매칭된 다양한 레벨의 모범답안 문장에서 추출된 말하기 힌트 청크 정보를 제공한다. 구체적으로, 난이도가 낮은 모범답안 문장은 “I'll have a shrimp burger and coke'', “shrimp burger and coke, please” 등이 될 수 있고, 이때 전술한 문장을 구성하는 복수개의 단어를 추출한 말하기 힌트 청크를 출력할 수 있다. 또 다른 예로 영어 말하기 능력이 일정 수준 이상인 사용자에게는 난이도가 높은 모범답안 문장인 I'll have shrimp burger with avocado and Diet Coke. Please remove cucumber and use this coupon. I'll show my cell phone” 과 같은 복수개의 문장에서 말하기힌트청크를 추출하여 출력한다. 실시예에서 모범답안 문장의 난이도는 문장에 포함된 단어 수, 어휘량, 정보량 등에 의해 결정되고 미리 저장될 수 있다.Meanwhile, in an embodiment, the model answer and the speaking hint chunk extracted according to the user's English proficiency may be different. Specifically, in the learning context of “Order at a restaurant” selected by the user, “May I take your order?” When the sentence "" is outputted, information on the speaking hint chunk extracted from the sentence of the best answer of various levels matched with the output sentence is provided. Specifically, the sentences for the best answer with low difficulty may be “I'll have a shrimp burger and coke”, “shrimp burger and coke, please”, etc., and at this time, speaking by extracting a plurality of words constituting the above sentence You can print hint chunks. Another example is I'll have shrimp burger with avocado and Diet Coke. Please remove cucumber and use this coupon. I'll show my cell phone” extracts and outputs the speech hint chunk from multiple sentences. In an embodiment, the difficulty of a sentence for a model answer may be determined by the number of words, vocabulary, and information included in the sentence, and may be stored in advance.
1차평가모듈(130)은 사용자의 음성신호를 입력 받아, 입력된 음성신호를 청크로 분류하고, 분류된 청크와 모범답안 문장에 매칭된 청크를 비교한다. 예컨대, 1차 평가모듈(130)은 분류된 청크와 모범답안 문장의 청크에 포함된 단어 각각을 비교하여 일치율을 산출하고, 산출된 일치율이 설정값 이상인 경우, 사용자가 입력한 음성신호에 포함된 청크에 따라 학습 분기를 생성하도록 한다.The primary evaluation module 130 receives the user's voice signal, classifies the input voice signal into chunks, and compares the classified chunk with the chunk matched with the best answer sentence. For example, the primary evaluation module 130 calculates a match rate by comparing each of the classified chunks with words included in the chunks of the best answer sentence, and when the calculated match rate is greater than or equal to a set value, Let's create a learning branch according to the chunk.
실시예에서 1차평가모듈(130)은 사용자가 입력한 음성신호의 청크에 포함된 단어수가 모범답안 문장의 청크에 포함된 단어 수를 초과하고, 사용자가 입력한 음성신호 청크에 포함된 단어 각각의 난이도 및 학습상황과의 컨텍스트(context)를 분석하여, 분석된 컨텍스트가 일정수준 이상인 경우, 사용자가 입력한 음성신호 청크에 기반한 학습분기를 생성하도록 한다. In an embodiment, the primary evaluation module 130 includes the number of words included in the chunk of the voice signal input by the user exceeding the number of words included in the chunk of the best answer sentence, and each of the words included in the chunk of the voice signal input by the user The difficulty level and the context of the learning situation are analyzed, and if the analyzed context is above a certain level, a learning branch is generated based on the voice signal chunk input by the user.
2차 평가모듈(140)은 발화평가요소를 평가한다. 실시예에서 발화평가요소는 사용자의 말하기 유창성을 평가하기 위한 팩터(factor)로서, 실시예에서는 입력된 음성신호의 인토네이션, 발음, 크기, 속도 등이 포함될 수 있다. 2차 평가모듈(140)은 데이터베이스에 기 저장된 모범 답안 문장 데이터와 비교한 발화평가요소 각각의 평가 결과를 제공하고, 발화평가요소의 평균점수가 기 설정된 최소값 이하인 경우, 다음 학습 분기를 생성하지 않고, 이전 학습 상황을 다시 한번 출력하여 특정 문장을 반복 학습 시킬 수 있다. 또한, 실시예에서 2차 평가모듈(140)은 사용자가 특정 문장을 발화한 음성데이터를 모두 분석하여 회차 별로 각각의 평가 요소들이 어떻게 변화하고 있는지 시각적으로 변환하여 사용자에게 제공할 수 있다. 이를 통해, 사용자는 자신의 영어를 말할 때 발화 평가 요소 중 어떤 부분에 취약한지 직관적으로 파악할 수 있고, 말하기 연습량에 따라 실력이 상승되고 있는지 객관적으로 파악할 수 있다. The secondary evaluation module 140 evaluates the utterance evaluation element. In the embodiment, the speech evaluation factor is a factor for evaluating the user's speech fluency. In the embodiment, the intonation, pronunciation, size, and speed of the input voice signal may be included. The secondary evaluation module 140 provides the evaluation result of each of the speech evaluation elements compared with the model answer sentence data previously stored in the database, and when the average score of the speech evaluation element is less than a preset minimum value, the next learning branch is not generated. , It is possible to repeatedly learn a specific sentence by outputting the previous learning situation again. In addition, in an embodiment, the secondary evaluation module 140 may analyze all voice data in which the user uttered a specific sentence, visually convert how each evaluation element is changing for each episode, and provide it to the user. Through this, the user can intuitively grasp which part of the speech evaluation element is vulnerable when speaking his or her English, and can objectively grasp whether his or her ability is increasing according to the amount of speaking practice.
학습분기 생성모듈(140)은 1차 평가 모듈(130) 및 2차 평가 모듈(140)에서 전달된 사용자의 음성신호 평가 결과와 사용자에게 노출된 학습상황 및 학습상황에 포함된 마지막 문장에 따라 학습 분기를 추출한다. 예컨대, 학습분기 생성모듈(140)은 “식당 고르기”라는 학습상황에서 출력된 마지막 문장이 “Would you like to go to a seafood restaurant? 인 경우, 출력된 문장에 대답으로 나올 수 있는 복수개의 상황을 학습분기로 추출할 수 있다. 실시예에서는 학습분기 1_ “Ok, I like Sea food”, 학습분기 2_ “No, I want to eat steak” 등이 추출될 수 있다. The learning branch generation module 140 learns according to the user's voice signal evaluation result transmitted from the first evaluation module 130 and the second evaluation module 140, the learning situation exposed to the user, and the last sentence included in the learning situation. Extract the branch. For example, in the learning branch generation module 140, the last sentence output in the learning situation “choose a restaurant” is “Would you like to go to a seafood restaurant? In the case of, a plurality of situations that can appear as answers to the output sentence may be extracted as a learning branch. In an embodiment, learning branch 1_ “Ok, I like Sea food”, learning branch 2_ “No, I want to eat steak”, and the like may be extracted.
또한, 실시예에서 학습분기 생성모듈(140)은 학습상황에 매칭된 문장에서 말하기 힌트 청크를 추출하여 사용자에게 디스플레이 하고, 사용자에 의해 발화된 음성을 분석하여 분석결과에 따라 복수개의 다음 학습 분기를 생성하고, 사용자에 의해 선택된 다음 학습분기로 진입한다. In addition, in the embodiment, the learning branch generation module 140 extracts the speaking hint chunk from the sentence matched to the learning situation and displays it to the user, analyzes the voice uttered by the user, and creates a plurality of next learning branches according to the analysis result. Create and enter the next learning branch selected by the user.
또한, 실시예에서 학습분기 생성모듈(140)은 사용자가 출력되는 청크를 발화하지 않고, 다른 문장을 발화하는 경우, 이를 인식하여 새로운 학습 분기를 생성한다. 앞서 설명한 예를 이어 설명하면, 사용자가 학습 상황정보에 포함된 “Would you like to go to a seafood restaurant? 라는 마지막 문장에 대한 대답으로, 사용자가 디스플레이 된 말하기 힌트 청크를 이용하여 문장을 구성하지 않고, “sorry, I don't want to eat anything because I'm not feeling well right now.” 의 문장으로 자신이 직접 영작하여 발화한 경우, 학습분기 생성모듈(140)은 사용자가 발화한 문장을 함의 인식한다. 이후, 학습분기 생성모듈(140)은 다음 학습 상황을 추출할 수 있다. 실시예에서 학습분기 생성모듈(140)은 학습 상황 데이터에 포함된 문장들을 분석하여 사용자가 발화한 문장과 일정 수준 이상의 컨텍스트를 나타내는 복수개의 학습상황을 다음 학습 분기로 추출할 수 있다. 구체적으로 실시예에서는 “아픈 곳 묻기”, “병원 찾기” 등의 학습 상황을 다음 학습 분기로 제시하거나, 사용자가 발화한 문장과 가장 컨텍스트가 높은 학습상황을 자동으로 다음 학습 분기로서 출력할 수 있다. In addition, in the embodiment, when the user does not utter the output chunk and utters another sentence, the learning branch generation module 140 recognizes this and generates a new learning branch. Continuing the above-described example, the user “Would you like to go to a seafood restaurant?” included in the learning context information. In response to the last sentence, "sorry, I don't want to eat anything because I'm not feeling well right now." In the case where the user directly utters and utters the sentence of, the learning branch generation module 140 recognizes the implications of the sentence uttered by the user. Thereafter, the learning branch generation module 140 may extract the next learning situation. In an embodiment, the learning branch generation module 140 may analyze sentences included in the learning context data to extract a sentence uttered by the user and a plurality of learning situations representing contexts of a certain level or higher as a next learning branch. Specifically, in the embodiment, learning situations such as "Ask the sick place" and "Find a hospital" may be presented as the next learning quarter, or the sentence uttered by the user and the learning situation with the highest context may be automatically output as the next learning quarter. .
또한, 실시예에서 학습분기 생성모듈(150)은 출력된 학습 상황에 따른 말하기 힌트 청크를 디스플레이 하지 않은 경우, 학습상황 출력 후 입력된 사용자의 음성신호를 인식하여, 음성신호에 포함된 단어, 청크 및 문장 정확도를 파악하고, 사용자의 음성신호를 함의인식 하여 인식결과에 따라 사용자가 입력한 음성신호에 대응하는 학습분기를 생성한다.In addition, in the embodiment, when the speaking hint chunk according to the output learning situation is not displayed, the learning branch generation module 150 recognizes the inputted user's speech signal after outputting the learning situation, so that words and chunks included in the speech signal are not displayed. And a learning branch corresponding to the voice signal input by the user is generated according to the recognition result by grasping the sentence accuracy, recognizing the implication of the user's voice signal.
또한 실시예에서 청크출력모듈(120)은 사용자에 의해 선택된 학습 상황에 매칭된 모범답안문장의 청크를 구성하는 n개의 단어들을 랜덤으로 조합하여 n! 개의 발화힌트청크를 생성할 수 있다. 실시예에서 말하기 힌트 청크란, 학습상황에서 마지막에 출력된 영어 문장에 대해 사용자가 적절히 답을 할 수 있도록 유도하기 위해, 모범답변 문장의 키워드나 모범 답변 문장을 구성하는 일부 단어들이 조합된 청크이다. 구체적으로 다음 학습분기에 포함된 문장이 “What do you call this place?” 인 경우, 청크는 문장을 구성하는 각각의 단어인 What, do, you, call, this, place에서 단어 추출 개수와 순서를 다르게 하여 생성할 수 있다. 예컨대, 말하기 힌트 청크는 [called, this place, What do],[this place, called, What do], [called, What do, this place], [What do, called, this place], [this place, What do, called], [What do, this place, called] 등으로 생성될 수 있다.In addition, in the embodiment, the chunk output module 120 randomly combines n words constituting the chunk of the model answer sentence matched to the learning situation selected by the user, and n! Can create utterance hint chunks. In the embodiment, the speaking hint chunk is a chunk in which some words constituting a keyword of a good answer sentence or some words constituting a good answer sentence are combined in order to induce a user to appropriately answer an English sentence output last in a learning situation. . Specifically, the sentence included in the next learning quarter is “What do you call this place?” In the case of, the chunk can be generated in a different order and the number of words extracted from the words What, do, you, call, this, and place, which are words constituting a sentence. For example, speaking hint chunks are [called, this place, What do], [this place, called, What do], [called, What do, this place], [What do, called, this place], [this place, It can be created as What do, called], [What do, this place, called], etc.
이하에서는 외국어 말하기 학습 방법에 대해서 차례로 설명한다. 실시예에 따른 외국어 말하기 학습 방법의 작용(기능)은 외국어 말하기 학습 서버 및 시스템상의 기능과 본질적으로 같은 것이므로 도 1 및 도 2와 중복되는 설명은 생략하도록 한다. Hereinafter, a method of learning to speak a foreign language will be sequentially described. Since the operation (function) of the foreign language speaking learning method according to the embodiment is essentially the same as that of the foreign language speaking learning server and the system, the overlapping description with FIGS. 1 and 2 will be omitted.
도 3은 실시예에 따른 외국어 말하기 학습 시스템의 학습 서버에서 구현되는 데이터 처리과정을 나타낸 흐름도이다. 3 is a flowchart illustrating a data processing process implemented in a learning server of a foreign language speaking learning system according to an embodiment.
S310 단계에서는 학습서버의 데이터베이스에 학습상황 데이터를 저장한다. 학습상황 데이터는 사용자에게 외국어 발화를 유도하기 위한 대화상황을 제시하는 영상으로, '자기소개하기', '길 찾기' 등 구체적인 회화 상황이 난이도 별로 저장될 수 있다. 실시예에서 학습상황데이터는 영상 또는 오디오 포맷의 데이터로 저장될 수 있다.In step S310, learning situation data is stored in the database of the learning server. The learning situation data is a video that presents a conversation situation to induce a user to speak a foreign language, and specific conversation situations such as'introducing yourself' and'finding a way' may be stored for each level of difficulty. In an embodiment, the learning context data may be stored as video or audio format data.
S320 단계에서는 학습서버의 데이터베이스에 학습상황 별 모범답변 문장을 난이도 별로 저장하고, 모법답변 문장에 매칭되는 학습 분기들도 난이도 별로 저장한다. S330 단계에서는 모법 답변 문장을 청크로 구분하고, S340 단계에서는 구분된 청크에 포함된 단어를 모범답안문장에 따라 달라지는 말하기힌트청크를 생성한다. 실시예에서 말하기 힌트 청크는 모범답변 문장으로부터 구분된 청크에서 두 개 이상의 단어를 추출하여 추출된 단어의 순서를 랜덤으로 정렬하여 생성할 수 있다. 구체적으로 청크에 n개의 단어가 포함되어 있다면, S340 단계에서는 2개에서 n-1개까지의 단어를 추출할 수 있다. 이때, 말하기 힌트청크 생성을 위한 단어 추출의 경우의 수는 수학식1 에 의해 산출될 수 있다.In step S320, the best answer sentences for each learning situation are stored in the database of the learning server for each difficulty level, and learning branches matching the parent method answer sentences are also stored for each difficulty level. In step S330, the parent method answer sentence is divided into chunks, and in step S340, the words included in the divided chunks are generated according to the model answer sentence. In an embodiment, the speaking hint chunk may be generated by extracting two or more words from the chunks separated from the best answer sentences and randomly arranging the order of the extracted words. Specifically, if n words are included in the chunk, 2 to n-1 words may be extracted in step S340. In this case, the number of cases of word extraction for generating the speaking hint chunk may be calculated by Equation 1.
수학식 1: 말하기 힌트청크 생성을 위한 단어 추출 경우의 수= (n 은 모범 답안 문장을 구성하는 단어 수)Equation 1: Number of word extraction cases for generating speaking hint chunks = (n is the number of words that make up the best answer sentence)
실시예에서는 n개의 단어로 구성된 모범 답안 문장에서 2개 이상 n-1개 이하의 단어를 선택하여 말하기 힌트 청크를 생성하므로, n개의 단어를 포함하는 모범답안 문장에서 생성될 수 있는 말하기 힌트 청크의 수는 조합(combination)을 이용한 수학식 1을 통해 산출될 수 있다. 실시예에 따른 수학식 1에서는 모범답안 문장에서 1개의 단어를 선택하거나 모든 단어 n개를 선택하여 말하기 힌트 청크를 구성하는 경우의 수는 제외 하였지만, 사용자의 외국어 학습 능력에 따라 말하기 힌트 청크 생성을 위한 단어 추출 경우의 수 수식은 다르게 설정될 수 있다. In the embodiment, since a speaking hint chunk is generated by selecting 2 or more and n-1 or less words from a model answer sentence consisting of n words, the speaking hint chunk that can be generated from a model answer sentence including n words The number can be calculated through Equation 1 using a combination. In Equation 1 according to the embodiment, the number of cases in which the speaking hint chunk is formed by selecting one word or all n words from the best answer sentence is excluded, but the speaking hint chunk generation is performed according to the user's foreign language learning ability. The number equation for extracting the word for may be set differently.
수학식 1에 기재된 실시예에서는 2개 이상의 단어 추출 후 단어의 배열 순서를 조합하여 최종 힌트 청크를 생성하므로, 단어 추출 각각에 대한 배열 경우의 수는 수학식 2로 로 산출되어 추출된 청크 하나당 복수개의 힌트 청크 문장이 생성될 수 있다.In the embodiment described in Equation 1, the final hint chunk is generated by combining the arrangement order of the words after two or more words are extracted, so the number of arrangement cases for each word extraction is calculated by Equation 2 and is calculated as a plurality of extracted chunks. Hint chunk sentences may be generated.
수학식 2: 단어 추출 각각에 대한 배열 경우의 수= Equation 2: Number of array cases for each word extraction =
(n 은 모범 답안 문장을 구성하는 단어 수)(n is the number of words that make up the best answer sentence)
수학식 2는 서로 다른 n 개 중 r 개를 골라 순서를 고려해 나열한 경우의 수를 산출하는 순열(Permutation)을 이용한 수식이다. 실시예에서, n개의 단어를 포함하는 모법 답안 문장에서 산출될 수 있는 말하기 힌트 청크의 수는 수학식 2에 기재된 바와 같이 2개부터 n-1개까지 단어를 선택한 후 배열하는 경우의 수를 모두 합한 수식으로 산출될 수 있다. 실시예에서는 모범답안 문장에서 1개의 단어를 선택하거나 모든 단어 n개를 선택하여 선택된 단어를 나열하는 경우의 수는 제외 하였지만, 사용자의 외국어 학습 능력에 따라 1개 또는 n개의 단어를 말하기 힌트 청크 구성 단어로 추출하는 경우, 단어 추출 각각에 대한 배열 경우의 수를 산출하는 수학식 또한 달라질 수 있다. Equation 2 is an equation using permutation that calculates the number of cases in which r out of n different numbers are selected and arranged in consideration of the order. In an embodiment, the number of speaking hint chunks that can be calculated in a parent method answer sentence including n words is the number of cases in which 2 to n-1 words are selected and then arranged as described in Equation 2 It can be calculated by the summation formula. In the embodiment, the number of cases in which one word is selected from a sentence of the best answer or all of the n words are selected to list the selected word, but a hint chunk is composed of one or n words according to the user's foreign language learning ability. When extracting as words, an equation for calculating the number of arrangement cases for each word extraction may also be different.
S350 단계에서는 모법답변 문장 및 모범답변 문장에 따라 난이도 별로 매칭된 말하기힌트청크를 등록한다.In step S350, speaking hint chunks matched for each difficulty level according to the parent method answer sentence and the model answer sentence are registered.
도 4는 실시예에 따른 학습 서버 또는 말하기 학습 어플리케이션을 설치한 사용자 단말에서 수행하는 데이터 처리과정을 나타낸 흐름도이다.4 is a flowchart illustrating a data processing process performed by a user terminal installed with a learning server or a speaking learning application according to an embodiment.
도 4를 참조하면, S400 단계에서 말하기 학습 어플리케이션을 설치한 사용자 단말은 어플리케이션이 실행되면, 사용자 선택에 따라 학습상황을 출력하고, 학습 상황에 대응되는 말하기 힌트 청크를 출력한다. S410 단계에서는 스마트 단말로 입력되는 사용자의 음성정보를 인식한다. S420 단계에서는 인식된 음성정보에서 청크를 분류하고, 분류된 청크 각각을 분석한다. 이때, 분류된 청크 각각에 포함된 단어 수와 단어 각각의 레벨 및 문장내용을 분석할 수 있다.Referring to FIG. 4, when the application is executed in step S400, a user terminal that installs a speaking learning application outputs a learning situation according to a user selection and outputs a speaking hint chunk corresponding to the learning situation. In step S410, the user's voice information input to the smart terminal is recognized. In step S420, chunks are classified from the recognized voice information, and each of the classified chunks is analyzed. In this case, the number of words included in each of the classified chunks, the level of each word, and sentence contents may be analyzed.
S430 단계에서는 사용자의 음성에서 분석된 청크와 말하기힌트청크의 유사도를 산출한다. S440 단계에서는 사용자의 음성에서 분석된 청크와 말하기힌트청크의 유사도를 비교하여, 유사도가 기 설정값 이상인지 파악한다. S440단계에서는 각 청크에 포함된 단어 일치율, 의미 일치율을 파악하여 유사도를 산출할 수 있다. 산출된 유사도가 기 설정값 미만인 경우, S450 단계로 진입하여 사용자 음성신호를 함의인식 한다. 산출된 유사도가 기설정값 이상인 경우, S460 단계로 진입하여, 유사도에 따라 진입할 다음 학습 분기를 추출한다. 실시예에서는 S460 단계에서 복수개의 말하기힌트청크가 제시된 경우, 복수개의 힌트 청크 중 사용자가 발화한 음성과 가장 유사한 힌트청크를 파악하고, 파악된 힌트청크에 매칭된 학습분기로 진입하여 다른 학습상황을 출력함으로써 학습을 이어 나갈 수 있도록 한다.In step S430, the similarity between the analyzed chunk in the user's voice and the speaking hint chunk is calculated. In step S440, the similarity of the chunk analyzed from the user's voice and the speaking hint chunk is compared to determine whether the similarity is greater than or equal to a preset value. In step S440, the degree of similarity may be calculated by determining the word matching rate and the meaning matching rate included in each chunk. If the calculated similarity is less than the preset value, step S450 is entered to recognize the user's voice signal. If the calculated similarity is greater than or equal to the preset value, the process proceeds to step S460, and the next learning branch to be entered is extracted according to the similarity. In the embodiment, when a plurality of speaking hint chunks are presented in step S460, a hint chunk that is most similar to a voice spoken by a user among the plurality of hint chunks is identified, and a different learning situation is entered by entering a learning branch matched to the identified hint chunk. You can continue learning by printing it out.
S470 단계에서는 사용자 음성신호의 발화평가요소들의 평가점수를 산출한다. 실시예에서는 발음, 빠르기, 인토네이션, 크기 등 발화평가요소 각각의 평가 점수를 산출하여 시각적 자료로 변환하여 사용자가 직관적으로 어떤 평가 요소가 취약한지 빠르게 알 수 있도록 한다.In step S470, evaluation scores of speech evaluation elements of the user's voice signal are calculated. In the embodiment, evaluation scores for each speech evaluation element such as pronunciation, speed, intonation, and size are calculated and converted into visual data so that the user can intuitively quickly know which evaluation elements are vulnerable.
S480 단계에서는 사용자의 발화 평가요소점수 평균과 기 설정된 최소 점수를 비교한다. 발화 평가요소 점수 평균이 최소점수 미만이라면, S490 단계로 진입하여 출력된 학습 상황과 매칭된 모범답안 문장을 출력하고 모범답안의 반복 발화를 유도한다. 만일 발화평가요소 점수 평균이 최소점수를 초과하는 경우, S500 단계로 진입하여 발화평가 요소 별 평가 점수를 출력하고, 사용자의 답변에 따라 추출되거나 생성된 다음 학습 분기를 출력하도록 한다. In step S480, the average score of the user's utterance evaluation factor is compared with a preset minimum score. If the average of the utterance evaluation factor scores is less than the minimum score, step S490 goes to step S490, outputs the sentence of the model answer matched with the output learning situation, and induces repeated speech of the model answer. If the average of the score for the utterance evaluation element exceeds the minimum score, the process goes to step S500, outputs the evaluation score for each utterance evaluation element, and outputs the next learning branch extracted or generated according to the user's answer.
도 5는 실시예에 따른 사용자 음성신호 함의인식을 위한 데이터 처리과정을 나타낸 도면이다.5 is a diagram illustrating a data processing procedure for recognizing an implication of a user's voice signal according to an embodiment.
도 5를 참조하면, S452 단계에서는 사용자 단말에서 음성신호를 분석하여 입력된 문장을 복수개의 단어로 쪼갠 청크를 생성한다. S454 단계에서는 사용자가 발화한 음성의 청크를 분석하여, 사용자가 발화한 음성의 청크와 출력된 학습상황과의 컨텍스트를 산출한다. S456 단계에서는 사용자가 발화한 청크 별 단어 수 및 단어 난이도를 평가하고 S458 단계에서는 평가 결과에 따라 다음 학습 분기를 추출한다. 예컨대, S458 단계에서는 평가 결과에 따라 매칭되는 복수개의 학습상황을 다음 학습 분기로 추출할 수 있다. 실시예에서는 사용자가 발화한 청크와 학습상황 별로 산출된 컨텍스트 수치에 따라 컨텍스트 수치가 가장 높은 두 개의 학습상황을 다음 학습 분기로 추출할 수 있다. Referring to FIG. 5, in step S452, a user terminal analyzes a voice signal to generate chunks by dividing an input sentence into a plurality of words. In step S454, the chunk of the voice uttered by the user is analyzed, and a context between the chunk of the voice uttered by the user and the output learning situation is calculated. In step S456, the number of words per chunk and the word difficulty uttered by the user are evaluated, and in step S458, the next learning branch is extracted according to the evaluation result. For example, in step S458, a plurality of learning situations matched according to the evaluation result may be extracted as the next learning branch. In an embodiment, two learning situations having the highest context values may be extracted as a next learning branch according to a chunk uttered by a user and a context value calculated for each learning situation.
도 6 및 도 7은 외국어 말하기 학습 어플리케이션의 실제 구현 인터페이스 실시예를 나타낸 도면이다.6 and 7 are diagrams showing an embodiment of an actual implementation interface of a foreign language speaking learning application.
도 6의 (a)에 도시된 바와 같이, 실시예에서는 사용자 단말에서 외국어 말하기 학습 어플리케이션을 실행시키면, 사용자의 영어 수준에 따라 다양한 학습상황을 제시한다. 사용자가 특정 학습상황을 선택하면 도 6의 (b)에 도시된 바와 같이, 학습상황으로 구축된 영상데이터가 재생되고, 사용자의 말하기를 유도하게 된다. 도 6의 (c)와 (d)는 실시예에 따른 학습 분기가 출력된 것을 나타낸 도면이다. 실시예에서는 사용자가 입력한 음성신호 분석 결과와 출력된 학습상황과의 컨텍스트 분석결과에 따라 도 6의 (c)와 (d)에 도시된 바와 같은 학습 분기를 생성하여 출력할 수 있다. 사용자는 출력된 학습 분기를 확인하고, 복수개의 학습 분기중 하나를 선택하여 학습분기에 알맞은 대답을 발화한다. 도 6의 (c) 와 (d)에 도시된 것과 같이, 사용자 선택 또는 프로그램 설정에 따라 힌트청크를 출력하지 않고, 사용자의 발화를 유도할 수도 있다. As shown in (a) of FIG. 6, in the embodiment, when a foreign language speaking learning application is executed in the user terminal, various learning situations are presented according to the user's English level. When the user selects a specific learning situation, as shown in Fig. 6B, the image data constructed as the learning situation is reproduced, and the user's speaking is induced. 6C and 6D are diagrams showing output of a learning branch according to an embodiment. In an embodiment, a learning branch as shown in FIGS. 6C and 6D may be generated and output according to a result of analyzing a speech signal input by a user and a result of analyzing a context with an output learning situation. The user checks the output learning branch, selects one of a plurality of learning branches, and utters an appropriate answer for the learning branch. As shown in (c) and (d) of FIG. 6, it is possible to induce a user's utterance without outputting a hint chunk according to a user selection or program setting.
도 7의 (e)와 (f)는 실시예에 따른 말하기 힌트청크를 나타낸 도면이다. 도 7의 (e)와 (f)에 도시된 바와 같이, 말하기힌트청크는 학습상황 및 사용자의 음성인식 결과에 따라 모범답안문장을 추출한 후, 추출된 모범답안 문장에서 말하기힌트청크를 생성하여 출력할 수 있다. 사용자는 말하기힌트청크를 디스플레이 하는 경우, 힌트청크 확인하고 학습상황에 알맞은 문장을 발화한다. 발화 이후 도 7의 (g)에 도시된 바와 같이, 사용자 단말은 음성 입력된 문장을 인식하고, 음성신호를 발화 평가 요소 별로 분석하여 평가한다. 실시예에서는 도 7의 (h)에 도시된 바와 같이, 인토네이션과, 속도, 크기 등 평가요소 각각을 평가하고, 사용자가 자신의 발화요소평가 정보를 정확하게 직관적으로 인지할 수 있도록 시각적 자료로 변환하여 출력한다. 7E and 7F are diagrams showing speech hint chunks according to an embodiment. As shown in (e) and (f) of FIG. 7, the speaking hint chunk extracts the model answer sentence according to the learning situation and the user's voice recognition result, and then generates and outputs the speaking hint chunk from the extracted model answer sentence. can do. When the user displays the speaking hint chunk, the user checks the hint chunk and utters a sentence appropriate to the learning situation. After the utterance, as shown in FIG. 7(g), the user terminal recognizes the voice input sentence and analyzes and evaluates the speech signal for each utterance evaluation element. In an embodiment, as shown in (h) of FIG. 7, each evaluation element such as intonation, speed, and size is evaluated, and converted into visual data so that the user can accurately and intuitively recognize his or her speech element evaluation information. Print it out.
실시예에 따른 외국어 말하기 학습 서버 및 방법은 사용자에게 학습상황을 제시하고 영어문장 발화를 유도한 후, 모범 답안 문장을 청크 별로 분리하여 제시 함으로써, 영어 말하기 학습이 단순히 따라 말하는 형식의 단순 반복 학습에 그치지 않고, 사용자가 직접 제시된 말하기 힌트 청크를 이용해 영작한 후 발화하도록 하여 영어 말하기 학습 효과를 향상 시킨다.The foreign language speaking learning server and method according to the embodiment presents the learning situation to the user and induces the utterance of English sentences, and then presents the exemplary answer sentences in chunks. It does not stop, and improves the English speaking learning effect by allowing the user to speak after writing using the suggested speaking hint chunk.
사용자가 입력한 음성신호를 발음, 인토네이션, 유창성, 정확성을 포함하는 평가 요소에 따라 청크 별로 평가하여 사용자의 영어 말하기 능력을 보다 정확하게 평가 할 수 있도록 한다. 또한, 사용자가 선택한 청크 및 영작하여 발화한 문장의 정확도와 난이도에 따라 다양한 학습 분기를 제공함으로써, 영어 말하기를 매우 잘하는 사용자도 자신의 영어 실력에 대응되는 학습 분기를 제공받아 영어 말하기를 지속적으로 연습할 수 있도록 한다. 또한, 영어 말하기에 익숙하지 않은 사용자는 자신의 학습 수준에 알맞은 학습 분기를 제공받아 말하기 실력을 점진적으로 향상 시킬 수 있도록 한다. The voice signal input by the user is evaluated for each chunk according to evaluation factors including pronunciation, intonation, fluency, and accuracy, so that the user's English speaking ability can be more accurately evaluated. In addition, by providing a variety of learning branches according to the accuracy and difficulty of the chunks selected by the user and the sentences spoken in English, even users who are very good at speaking English are provided with a learning branch corresponding to their English proficiency and continuously practice speaking English. To be able to do it. In addition, users who are not familiar with speaking English are provided with a learning branch appropriate to their level of learning so that they can gradually improve their speaking skills.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.The disclosed contents are only examples, and various changes may be made by those of ordinary skill in the art without departing from the gist of the claims claimed in the claims, so the scope of protection of the disclosed contents is limited to the above-described specific It is not limited to the examples.
Claims (14)
학습상황데이터, 학습 상황 별 모범답변문장 데이터, 모범답변 문장의 청크 및 사용자의 답변 또는 모범답변문장에 매칭된 학습상황인 학습분기를 포함하는 학습데이터를 저장하는 데이터베이스;
사용자에 의해 선택된 학습 상황이 출력된 후 사용자의 발화 입력을 대기하는 시간 동안 학습상황 별 모범답안 문장에서 말하기힌트청크를 생성하여 디스플레이 하는 청크출력모듈;
사용자의 음성신호를 입력 받아, 입력된 음성신호를 청크로 분류하고, 분류된 청크와 상기 모범답안 문장의 청크를 비교하는 1차 평가모듈;
상기 입력된 음성신호를 인식하여 인토네이션, 발음, 크기를 포함하는 발화평가요소를 각각 평가하는 2차 평가모듈; 및
상기 1차 평가 모듈 및 2차 평가 모듈에서 전달된 발화 평가 결과에 따라 학습분기를 추출하는 학습분기생성모듈; 을 포함하는 외국어 말하기 학습 서버.
In the foreign language speaking learning server,
A database for storing learning data including learning context data, model answer sentence data for each learning situation, chunk of the model answer sentence, and learning branch which is a learning situation matched with the user's answer or the model answer sentence;
A chunk output module for generating and displaying a speaking hint chunk in the best answer sentence for each learning situation during a time period for waiting for the user's speech input after the learning situation selected by the user is output;
A primary evaluation module for receiving a user's voice signal, classifying the input voice signal into chunks, and comparing the classified chunk with the chunk of the model answer sentence;
A second evaluation module for recognizing the input speech signal and evaluating each speech evaluation element including intonation, pronunciation, and size; And
A learning branch generation module for extracting a learning branch according to a speech evaluation result transmitted from the first evaluation module and the second evaluation module; A foreign language speaking learning server containing a.
사용자 음성입력에서 분류된 청크와 상기 모범답안 문장의 청크에 포함된 단어 각각을 비교하여 일치율을 산출하고, 산출된 일치율이 설정값 이상인 경우, 사용자가 입력한 음성신호에 포함된 청크에 따라 학습 분기를 생성하도록 하는 것을 특징으로 하는 외국어 말하기 학습 서버.
According to claim 1, The first evaluation module; silver
The match rate is calculated by comparing the chunks classified in the user's voice input with the words included in the chunks of the best answer sentence, and if the calculated match rate is greater than or equal to a set value, learning branches according to the chunks included in the voice signal input by the user A foreign language speaking learning server, characterized in that to generate a.
학습상황 별로 매칭된 모범답안 문장을 구성하는 복수개의 단어들 중 두 개 이상을 추출하고 랜덤으로 배열하여 사용자의 발화를 유도하기 위해 생성되는 것을 특징으로 하는 외국어 말하기 학습 서버.
The method of claim 1, wherein the speaking hint chunk is
A foreign language speaking learning server, characterized in that it is generated to induce a user's utterance by extracting two or more of a plurality of words constituting the best answer sentences matched for each learning situation and arranging them at random.
사용자가 입력한 음성신호의 청크에 포함된 단어수가 모범답안 문장의 청크에 포함된 단어 수를 초과하는 경우, 상기 사용자가 입력한 음성신호 청크에 포함된 단어 각각의 난이도 및 학습상황과의 컨텍스트(context)를 분석하고, 분석된 컨텍스트가 일정수준 이상인 경우, 사용자가 입력한 음성신호 청크에 기반한 학습분기를 추출하는 것을 특징으로 하는 외국어 말하기 학습 서버.
According to claim 1, The first evaluation module; silver
When the number of words included in the chunk of the voice signal input by the user exceeds the number of words included in the chunk of the sample answer sentence, the difficulty level of each word included in the chunk of the voice signal input by the user and the context of the learning situation ( context) and, when the analyzed context is above a certain level, extracting a learning branch based on a voice signal chunk input by a user.
데이터베이스에 기 저장된 모범 답안 데이터와 비교한 상기 발화평가요소 각각의 평가 결과를 제공하고, 상기 발화평가요소의 평균점수가 기 설정된 최소값 이하인 경우, 다음 학습 분기를 추출하지 않고, 이전 학습 상황을 다시 한번 출력하도록 하는 것을 특징으로 하는 외국어 말하기 학습 서버.
According to claim 1, The second evaluation module; silver
Provides the evaluation result of each of the utterance evaluation elements compared with the model answer data previously stored in the database, and if the average score of the utterance evaluation element is less than a preset minimum value, the previous learning situation is repeated without extracting the next learning branch. Foreign language speaking learning server, characterized in that to output.
출력된 학습 상황에 매칭된 힌트청크를 디스플레이 하지 않은 경우, 상기 학습상활 출력 후 입력된 사용자의 음성신호를 인식하여, 상기 음성신호에 포함된 단어, 청크 및 문장 정확도를 파악하고, 상기 사용자의 음성신호를 함의인식 하여 인식결과에 따라 사용자가 입력한 음성신호에 대응하는 학습분기를 생성하는 것을 특징으로 하는 외국어 말하기 학습 서버.
The method of claim 1, further comprising: the learning branch generation module; silver
When the hint chunk matched to the output learning situation is not displayed, the user's voice signal input after the learning event is output is recognized, the accuracy of words, chunks and sentences included in the voice signal is identified, and the user's voice A foreign language speaking learning server, characterized in that for generating a learning branch corresponding to the voice signal input by the user according to the recognition result by recognizing the signal implications.
사용자에 의해 선택된 학습 상황에 매칭된 모범답안문장의 청크를 구성하는 n개의 단어들 중 2개부터 n-1까지 랜덤으로 선택한 후, 선택된 단어들을 조합하여 n! 개의 발화힌트청크를 생성하는 것을 특징으로 하는 외국어 말하기 학습 서버.
According to claim 1, The chunk output module; silver
After randomly selecting from 2 to n-1 of n words constituting the chunk of the model answer sentence matched to the learning situation selected by the user, the selected words are combined and n! A foreign language speaking learning server, characterized in that generating three utterance hint chunks.
외국어 말하기 학습서버는 학습상황데이터, 학습 상황 별 모범답변문장 데이터, 모범답변 문장의 청크 및 사용자의 답변 또는 모범답변문장에 매칭된 학습상황인 학습분기를 포함하는 학습데이터를 저장하는 제1단계;
외국어 말하기 학습서버는 사용자에 의해 선택된 학습 상황이 출력된 후 사용자의 발화 입력을 대기하는 시간 동안 학습상황 별 모범답안 문장에서 말하기힌트청크를 생성하여 디스플레이 하는 제2단계;
외국어 말하기 학습서버는 사용자의 음성신호를 입력 받아, 입력된 음성신호를 청크로 분류하고, 분류된 청크와 상기 모범답안 문장의 청크를 비교하는 제3단계;
외국어 말하기 학습서버는 상기 입력된 음성신호를 인식하여 인토네이션, 발음, 크기를 포함하는 발화평가요소를 각각 평가하는 제4단계; 및
외국어 말하기 학습서버는 상기 1차 평가 모듈 및 2차 평가 모듈에서 전달된 발화 평가 결과에 따라 학습분기를 추출하는 제5단계;를 포함하는 외국어 말하기 학습 방법.
In the method of learning to speak a foreign language,
The foreign language speaking learning server includes: a first step of storing learning data including learning context data, model answer sentence data for each learning situation, chunk of the model answer sentence, and learning branch, which is a learning situation matched to the user's answer or the model answer sentence;
A second step of generating and displaying, at the foreign language speaking learning server, a speaking hint chunk from the best answer sentences for each learning situation during a time period for waiting for the user's utterance input after the learning situation selected by the user is output;
The foreign language speaking learning server receives the user's voice signal, classifies the input voice signal into chunks, and compares the classified chunk with the chunk of the model answer sentence;
A fourth step of the foreign language speaking learning server recognizing the input voice signal and evaluating each speech evaluation element including intonation, pronunciation, and size; And
A foreign language speaking learning method comprising; a fifth step of extracting, by the foreign language speaking learning server, a learning branch according to the speech evaluation result transmitted from the first evaluation module and the second evaluation module.
사용자 음성입력에서 분류된 청크와 상기 모범답안 문장의 청크에 포함된 단어 각각을 비교하여 일치율을 산출하고, 산출된 일치율이 설정값 이상인 경우, 사용자가 입력한 음성신호에 포함된 청크에 따라 학습 분기를 생성하도록 하는 것을 특징으로 하는 외국어 말하기 학습 방법.
According to claim 8, The third step; Is
The match rate is calculated by comparing the chunks classified in the user's voice input with the words included in the chunks of the best answer sentence, and if the calculated match rate is greater than or equal to a set value, learning branches according to the chunks included in the voice signal input by the user A foreign language speaking learning method, characterized in that to generate.
학습상황 별로 매칭된 모범답안 문장을 구성하는 복수개의 단어들 중 두 개 이상을 추출하고 랜덤으로 배열하여 사용자의 발화를 유도하기 위해 생성되는 것을 특징으로 하는 외국어 말하기 학습 방법.
The method of claim 8, wherein the speaking hint chunk is
A foreign language speaking learning method, characterized in that it is generated to induce a user's utterance by extracting at least two of a plurality of words constituting a sentence for a model answer matched by learning situation and arranging them at random.
사용자가 입력한 음성신호의 청크에 포함된 단어수가 모범답안 문장의 청크에 포함된 단어 수를 초과하는 경우, 상기 사용자가 입력한 음성신호 청크에 포함된 단어 각각의 난이도 및 학습상황과의 컨텍스트(context)를 분석하는 단계; 및
분석된 컨텍스트가 일정수준 이상인 경우, 사용자가 입력한 음성신호 청크에 기반한 학습분기를 추출하는 단계; 를 포함하는 것을 특징으로 하는 외국어 말하기 학습 방법.
According to claim 8, The third step; Is
When the number of words included in the chunk of the voice signal input by the user exceeds the number of words included in the chunk of the sample answer sentence, the difficulty level of each word included in the chunk of the voice signal input by the user and the context of the learning situation ( analyzing context); And
Extracting a learning branch based on the voice signal chunk input by the user when the analyzed context is greater than or equal to a predetermined level; A foreign language speaking learning method comprising a.
데이터베이스에 기 저장된 모범 답안 데이터와 비교한 상기 발화평가요소 각각의 평가 결과를 제공하는 단계; 및
상기 발화평가요소의 평균점수가 기 설정된 최소값 이하인 경우, 다음 학습 분기를 추출하지 않고, 이전 학습 상황을 다시 한번 출력하도록 하는 단계; 를 포함하는 것을 특징으로 하는 외국어 말하기 학습 방법.
According to claim 8, The fourth step; Is
Providing an evaluation result of each of the speech evaluation elements compared with the model answer data previously stored in the database; And
If the average score of the speech evaluation factor is less than or equal to a preset minimum value, outputting a previous learning situation once again without extracting a next learning branch; A foreign language speaking learning method comprising a.
출력된 학습 상황에 매칭된 힌트청크를 디스플레이 하지 않은 경우, 상기 학습상활 출력 후 입력된 사용자의 음성신호를 인식하여, 상기 음성신호에 포함된 단어, 청크 및 문장 정확도를 파악하고, 상기 사용자의 음성신호를 함의인식 하여 인식결과에 따라 사용자가 입력한 음성신호에 대응하는 학습분기를 생성하는 것을 특징으로 하는 외국어 말하기 학습 방법.
According to claim 8, The fifth step; Is
When the hint chunk matched to the output learning situation is not displayed, the user's voice signal input after the learning event is output is recognized, the accuracy of words, chunks and sentences included in the voice signal is identified, and the user's voice A foreign language speaking learning method, characterized in that for generating a learning branch corresponding to the voice signal input by the user according to the recognition result by recognizing the signal implications.
사용자에 의해 선택된 학습 상황에 매칭된 모범답안문장의 청크를 구성하는 n개의 단어들 중 2개부터 n-1까지 랜덤으로 선택하는 단계; 및
선택된 단어들을 조합하여 n! 개의 발화힌트청크를 생성하는 단계;를 포함하는 것을 특징으로 하는 외국어 말하기 학습 방법.
According to claim 8, The second step; Is
Randomly selecting from 2 to n-1 of n words constituting the chunk of the model answer sentence matched to the learning situation selected by the user; And
Selected words are combined and n! Generating four utterance hint chunks; foreign language speaking learning method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190147591A KR102292477B1 (en) | 2019-11-18 | 2019-11-18 | Server and method for automatic assessment of oral language proficiency |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190147591A KR102292477B1 (en) | 2019-11-18 | 2019-11-18 | Server and method for automatic assessment of oral language proficiency |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210060040A true KR20210060040A (en) | 2021-05-26 |
KR102292477B1 KR102292477B1 (en) | 2021-08-24 |
Family
ID=76137544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190147591A KR102292477B1 (en) | 2019-11-18 | 2019-11-18 | Server and method for automatic assessment of oral language proficiency |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102292477B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023076106A (en) * | 2021-11-22 | 2023-06-01 | Nttビジネスソリューションズ株式会社 | Foreign language learning support device, foreign language learning support method, and computer program |
KR102556797B1 (en) * | 2023-03-29 | 2023-07-18 | 주식회사 티처케이 | Method, apparatus and system for automatically evaluating foreign language speaking ability based on artificial intelligence model and providing user-customized foreign language education content curation service |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020068835A (en) * | 2001-02-23 | 2002-08-28 | (주)지오네이티브 | System and method for learnning foreign language using network |
KR20050074298A (en) * | 2004-01-08 | 2005-07-18 | 정보통신연구진흥원 | Pronunciation test system and method of foreign language |
KR101313268B1 (en) | 2011-10-12 | 2013-09-30 | 정철 | English study material, for enhancing english speaking ability, using english sentence construction theory |
KR101943520B1 (en) | 2017-06-16 | 2019-01-29 | 한국외국어대학교 연구산학협력단 | A new method for automatic evaluation of English speaking tests |
-
2019
- 2019-11-18 KR KR1020190147591A patent/KR102292477B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020068835A (en) * | 2001-02-23 | 2002-08-28 | (주)지오네이티브 | System and method for learnning foreign language using network |
KR20050074298A (en) * | 2004-01-08 | 2005-07-18 | 정보통신연구진흥원 | Pronunciation test system and method of foreign language |
KR101313268B1 (en) | 2011-10-12 | 2013-09-30 | 정철 | English study material, for enhancing english speaking ability, using english sentence construction theory |
KR101943520B1 (en) | 2017-06-16 | 2019-01-29 | 한국외국어대학교 연구산학협력단 | A new method for automatic evaluation of English speaking tests |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023076106A (en) * | 2021-11-22 | 2023-06-01 | Nttビジネスソリューションズ株式会社 | Foreign language learning support device, foreign language learning support method, and computer program |
KR102556797B1 (en) * | 2023-03-29 | 2023-07-18 | 주식회사 티처케이 | Method, apparatus and system for automatically evaluating foreign language speaking ability based on artificial intelligence model and providing user-customized foreign language education content curation service |
Also Published As
Publication number | Publication date |
---|---|
KR102292477B1 (en) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cucchiarini et al. | Oral proficiency training in Dutch L2: The contribution of ASR-based corrective feedback | |
CN110706536B (en) | Voice answering method and device | |
KR101054052B1 (en) | System for providing foreign language study using blanks in sentence | |
US20130059276A1 (en) | Systems and methods for language learning | |
JP2004246184A (en) | Language learning system and method with visualized pronunciation suggestion | |
CN111739556B (en) | Voice analysis system and method | |
Daniels et al. | The suitability of cloud-based speech recognition engines for language learning. | |
KR20180000990A (en) | Apparatus and method for learning english phonics | |
KR20190041105A (en) | Learning system and method using sentence input and voice input of the learner | |
KR102292477B1 (en) | Server and method for automatic assessment of oral language proficiency | |
JP7166580B2 (en) | language learning methods | |
KR20150126176A (en) | A word study system using infinity mnemotechniques and method of the same | |
JP6656529B2 (en) | Foreign language conversation training system | |
Kuchkarova | THE IMPORTANCE OF THE DEVELOPING OF LISTENING COPMREHENSION IN TEACHING ENGLISH | |
Brown | L2 Listening | |
JP2007187939A (en) | English conversation learning apparatus | |
Strik et al. | Developing a CALL system for practicing oral proficiency: How to design for speech technology, pedagogy and learners | |
KR20140087956A (en) | Apparatus and method for learning phonics by using native speaker's pronunciation data and word and sentence and image data | |
US20210304628A1 (en) | Systems and Methods for Automatic Video to Curriculum Generation | |
KR101854379B1 (en) | English learning method for enhancing memory of unconscious process | |
Strik et al. | Speech technology for language tutoring | |
Milton et al. | Knowledge of spoken form | |
JP2014038140A (en) | Language learning assistant device, language learning assistant method and language learning assistant program | |
JP4432079B2 (en) | Foreign language learning device | |
CN110059231B (en) | Reply content generation method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |