KR20200088073A - English speaking evaluation system and method thereof - Google Patents

English speaking evaluation system and method thereof Download PDF

Info

Publication number
KR20200088073A
KR20200088073A KR1020190004615A KR20190004615A KR20200088073A KR 20200088073 A KR20200088073 A KR 20200088073A KR 1020190004615 A KR1020190004615 A KR 1020190004615A KR 20190004615 A KR20190004615 A KR 20190004615A KR 20200088073 A KR20200088073 A KR 20200088073A
Authority
KR
South Korea
Prior art keywords
user
analysis
module
response
evaluation
Prior art date
Application number
KR1020190004615A
Other languages
Korean (ko)
Other versions
KR102196917B1 (en
Inventor
김주혁
이승명
Original Assignee
김주혁
이승명
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김주혁, 이승명 filed Critical 김주혁
Priority to KR1020190004615A priority Critical patent/KR102196917B1/en
Priority to PCT/KR2020/000694 priority patent/WO2020149621A1/en
Publication of KR20200088073A publication Critical patent/KR20200088073A/en
Application granted granted Critical
Publication of KR102196917B1 publication Critical patent/KR102196917B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

According to an embodiment of the present invention, a system for evaluating English speaking comprises: a user terminal including one or more function modules; a service server receiving and processing information received from the one or more function modules; and a network providing communication between the user terminal and the service server. The service server includes a communication unit providing communication with the user terminal, a storage unit storing the received information and information required for evaluation, and a control unit receiving a voice from the user terminal to generate a text and analyzing a text phrase to perform evaluation based on an analysis result.

Description

영어 말하기 평가 시스템 및 방법{ENGLISH SPEAKING EVALUATION SYSTEM AND METHOD THEREOF}ENGLISH SPEAKING EVALUATION SYSTEM AND METHOD THEREOF}

본 발명은 영어 말하기 평가 시스템 및 방법에 관한 것이다.The present invention relates to an English speaking evaluation system and method.

영어 말하기를 평가하는 방법은 크게 사람에 의한 평가와 기계에 의한 평가로 구분할 수 있다. 사람에 의한 평가는 평가자의 경험과 배경지식 등에 따라 평가 대상자의 의도와 문장의 질적인 부분까지 평가할 수 있지만, 평가자의 주관에 따라 때때로 객관적이지 않은 결과를 가져올 수 있다. 특히, 사람에 의한 평가는 평가자가 누구인지, 동일 평가자라 하더라도 평가하는 시간과 그 환경에 따라 평가 결과가 달라질 수 있으며, 평가 시간도 많이 소요될 수 있다.The method of evaluating English speaking can be largely divided into human evaluation and machine evaluation. Evaluation by a person can evaluate the intention of the evaluator and the qualitative part of the sentence, depending on the evaluator's experience and background knowledge, but sometimes it may have unobjective results depending on the evaluator's subject. In particular, the evaluation by a person may be different depending on who evaluates the evaluator and the evaluation time and environment, even if the evaluator is the same evaluator.

기계에 의한 평가는 시간과 환경의 제약없이, 빠른 시간에 일관적인 평가를 수행할 수 있지만, 보다 신뢰도 있는 평가를 위한 기준이 필요하다.Machine-based evaluation can be performed consistently and quickly, without time and environmental constraints, but criteria for more reliable evaluation are needed.

위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.The above description is only to assist in understanding the background of the technical ideas of the present invention, and therefore it cannot be understood as the content corresponding to the prior art known to those skilled in the art of the present invention.

본 발명의 실시예는 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있는 영어 말하기 평가 시스템 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a system and method for evaluating English speaking that allows users to evaluate their English speaking skills with high reliability in a short time without limitation of time and environment.

상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 영어 말하기 평가 시스템은, 하나 이상의 기능 모듈을 포함하는 사용자 단말과, 상기 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버와; 상기 사용자 단말과 상기 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되, 상기 서비스 서버는, 상기 사용자 단말과의 통신을 제공하는 통신부와, 상기 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 상기 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함한다.In order to achieve the above object, an English speaking evaluation system according to an embodiment of the present invention includes: a user terminal including one or more function modules, and a service server receiving and processing information received from the one or more function modules; Including a network for providing communication between the user terminal and the service server, the service server includes a communication unit for providing communication with the user terminal, and a storage unit for storing the input information and information necessary for evaluation. And a control unit that receives a voice from the user terminal to generate text, analyzes the generated text syntax, and evaluates the result based on the analyzed result.

상기 하나 이상의 기능 모듈은 디스플레이 모듈, 오디오 모듈, 입력 모듈, 센서 모듈, 카메라 모듈, 및 통신 모듈 중 적어도 하나 이상을 포함할 수 있다.The one or more functional modules may include at least one of a display module, an audio module, an input module, a sensor module, a camera module, and a communication module.

상기 사용자 단말은 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 모바일(Mobile) 단말기 중 적어도 하나 이상을 포함할 수 있다.The user terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a netbook (Net book), a server (Server) and a mobile (Mobile) terminal.

상기 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함할 수 있다.Information received from the one or more function modules may include user identification information and user response voice information.

상기 제어부는, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하는 인공지능 음성인식 모듈과, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 분석하는 자연어 분석 딥러닝 모듈과, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 평가하는 평가 모듈, 및 상기 평가 모듈에서 평가된 결과를 기초로 사용자 등급을 계산하는 등급 계산 모듈을 포함할 수 있다.The control unit includes an artificial intelligence speech recognition module for generating text by receiving speech from the user terminal, a natural language analysis deep learning module for analyzing text phrases generated in the artificial intelligence speech recognition module, and the natural language analysis deep learning module It may include an evaluation module for evaluating based on the results analyzed in the, and a rating calculation module for calculating a user rating based on the results evaluated in the evaluation module.

상기 자연어 분석 딥러닝 모듈은, 상기 사용자 단말로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행할 수 있다.The natural language analysis deep learning module may perform voice analysis for receiving voice from the user terminal and analyzing at least one of volume, response time, length, persistence, and pronunciation accuracy.

상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행할 수 있다.The natural language analysis deep learning module may perform sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module.

상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행할 수 있다.The natural language analysis deep learning module compares at least one of sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the AI speech recognition module with another user's answer previously stored. Analysis can be performed.

상기 평가 모듈은, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.The evaluation module, based on the results analyzed in the deep learning module of the natural language analysis, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning It can evaluate at least one of transmittance, answer length, tense match, sentence type diversity, vocabulary, vocabulary overlap, problem comprehension, topic solving, sudden response, role performance, and question performance.

상기 영어 말하기 평가 시스템은, 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스를 더 포함할 수 있다.The English speaking evaluation system may further include a database that stores information for user authentication and answer information of other users previously stored for each problem.

본 발명의 실시예에 따른 영어 말하기 평가 방법은, 사용자 단말로부터 사용자 답변 음성을 수신하는 단계와; 상기 사용자 답변 음성을 기초로 문제별 평가하는 단계와; 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계와; 상기 문제별 평가와 상기 종합 평가를 기초로 사용자 등급을 계산하는 단계와; 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함한다.An English speaking evaluation method according to an embodiment of the present invention comprises the steps of: receiving a user response voice from a user terminal; Evaluating each problem based on the user's answer voice; Comprehensive evaluation based on the problem attributes and the analysis results for each problem; Calculating a user rating based on the problem-specific evaluation and the comprehensive evaluation; And providing the user's evaluation result and the user rating to the user terminal.

상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계를 포함할 수 있다.The evaluation of each problem based on the user response voice may include: analyzing the user response voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And parsing the generated text through text through a natural language analysis deep learning model.

상기 사용자 답변 음성을 분석하는 단계는, 상기 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.The analyzing the user response voice may include analyzing at least one of the volume, response time, length, persistence, and pronunciation accuracy of the user response.

상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계는, 상기 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.The step of parsing the generated text through the natural language analysis deep learning model may include analyzing at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text.

상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계를 포함할 수 있다.The evaluation of each problem based on the user response voice may include: analyzing the user response voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And analyzing the characteristics of the expression by comparing the generated text with answers of other users stored in advance.

상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계는, 상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.Analyzing the characteristics of the expression by comparing the generated text with the answers of other pre-stored users, the sentence originality, expression accuracy, and euphemism expression by comparing the generated text with the answers of other users previously stored It may include the step of analyzing at least one of.

상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 기초로 상기 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가하는 단계를 포함할 수 있다.The step of evaluating each problem based on the voice of the user's answer includes the amount of response of the user, the speed of the response, the persistence of the answer, the detail of the modifier, the variety of access words, the ability to respond, the accuracy of the subject, the accuracy of expression, based on the voice of the user's answer And evaluating at least one of sentence originality, meaning conveyance, response length, tense match, sentence type diversity, vocabulary, and vocabulary redundancy.

상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는, 상기 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 상기 문제별 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함할 수 있다.Comprehensive evaluation based on the problem attribute and the analysis result for each problem may include at least one of the complexity of the problem, the difficulty of the topic, the difficulty of the speed, whether there is a breakthrough, whether to play the role, whether to ask me, and the possible tense Attributes, volume analysis by question, response time analysis, length analysis, tense analysis, sentence structure analysis, part-of-speech analysis, subject analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy It may include at least one of the analysis.

상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는, 상기 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 단계를 포함할 수 있다.Comprehensive evaluation based on the problem attribute and the analysis result for each problem may include at least one of the user's problem understanding, topic solving ability, sudden response ability, role performance, and question performance based on the problem attribute and problem analysis result. And evaluating.

상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계는, 상기 사용자 단말로 상기 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 제공하는 단계를 포함할 수 있다.The step of providing the user's evaluation result and the user rating to the user terminal may include providing an average result value of all users corresponding to the user rating to the user terminal.

이와 같은 본 발명의 실시예에 따른 영어 말하기 평가 시스템 및 방법에 의하면 인공지능 및 딥러닝을 이용하여 영어 말하기 실력을 평가함으로써, 사용자는 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.According to the English speaking evaluation system and method according to an embodiment of the present invention, by evaluating English speaking skills using artificial intelligence and deep learning, the user can quickly and highly reliable English speaking skills without limitation of time and environment. Can be evaluated. In addition, when a user utilizes a VR/AR device, by allowing the user to experience the environment of taking a test in an English speaking test site, the user can achieve an effect of obtaining better results in an actual English speaking test.

도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 문제별 평가 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 사용자에게 평가 결과와 등급을 제공하는 일 예이다.
1 is a configuration diagram schematically showing an English speaking evaluation system according to an embodiment of the present invention.
2 is a diagram schematically showing the configuration of the user terminal of FIG. 1 according to an embodiment of the present invention.
3 is a diagram schematically showing the configuration of the service server of FIG. 1 according to an embodiment of the present invention.
4 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
5 is a flowchart illustrating an evaluation method for each problem in FIG. 4 according to an embodiment of the present invention.
6 is an example of providing an evaluation result and a rating to a user according to an embodiment of the present invention.

아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다. In the following description, for the purpose of explanation, many specific details are presented to aid understanding of various embodiments. However, it is apparent that various embodiments may be practiced without these specific details or in one or more equivalent ways. In other instances, well-known structures and devices are shown in block diagram form in order to avoid unnecessarily making various embodiments difficult to understand.

도면에서, 레이어들, 필름들, 패널들, 영역들 등의 크기 또는 상대적인 크기는 명확한 설명을 위해 과장될 수 있다. 또한, 동일한 참조 번호는 동일한 구성 요소를 나타낸다.In the drawings, the size or relative size of layers, films, panels, regions, etc. may be exaggerated for clarity. Also, the same reference numerals denote the same components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 그러나, 만약 어떤 부분이 다른 부분과 "직접적으로 연결되어 있다"고 서술되어 있으면, 이는 해당 부분과 다른 부분 사이에 다른 소자가 없음을 의미할 것이다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 이해될 것이다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "indirectly connected" with another element in between. . However, if a part is described as being "directly connected" to another part, it will mean that there is no other element between the part and the other part. "At least one of X, Y, and Z", and "at least one selected from the group consisting of X, Y, and Z" are one of X, one of Y, one of Z, or two of X, Y, and Z, or Any further combination (eg, XYZ, XYY, YZ, ZZ) will be understood. Here, “and/or” includes all combinations of one or more of the configurations.

여기에서, 첫번째, 두번째 등과 같은 용어가 다양한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이러한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들은 이러한 용어들에 한정되지 않는다. 이러한 용어들은 하나의 소자, 요소, 지역, 레이어, 및/또는 섹션을 다른 소자, 요소, 지역, 레이어, 및 또는 섹션과 구별하기 위해 사용된다. 따라서, 일 실시예에서의 첫번째 소자, 요소, 지역, 레이어, 및/또는 섹션은 다른 실시예에서 두번째 소자, 요소, 지역, 레이어, 및/또는 섹션이라 칭할 수 있다.Here, terms such as first, second, etc. may be used to describe various elements, elements, regions, layers, and/or sections, but such elements, elements, regions, layers, and/or Or sections are not limited to these terms. These terms are used to distinguish one element, element, region, layer, and/or section from another element, element, region, layer, or section. Thus, the first element, element, region, layer, and/or section in one embodiment may be referred to as the second element, element, region, layer, and/or section in another embodiment.

"아래", "위" 등과 같은 공간적으로 상대적인 용어가 설명의 목적으로 사용될 수 있으며, 그렇게 함으로써 도면에서 도시된 대로 하나의 소자 또는 특징과 다른 소자(들) 또는 특징(들)과의 관계를 설명한다. 이는 도면 상에서 하나의 구성 요소의 다른 구성 요소에 대한 관계를 나타내는 데에 사용될 뿐, 절대적인 위치를 의미하는 것은 아니다. 예를 들어, 도면에 도시된 장치가 뒤집히면, 다른 소자들 또는 특징들의 "아래"에 위치하는 것으로 묘사된 소자들은 다른 소자들 또는 특징들의 "위"의 방향에 위치한다. 따라서, 일 실시예에서 "아래" 라는 용어는 위와 아래의 양방향을 포함할 수 있다. 뿐만 아니라, 장치는 그 외의 다른 방향일 수 있다 (예를 들어, 90도 회전된 혹은 다른 방향에서), 그리고, 여기에서 사용되는 그런 공간적으로 상대적인 용어들은 그에 따라 해석된다.Spatially relative terms such as "below", "above", etc. may be used for the purpose of description, thereby describing the relationship of one element or feature to another element(s) or feature(s) as shown in the figure do. This is only used to show the relationship of one component to another component in the drawing, and does not mean an absolute position. For example, when the device shown in the figure is turned over, elements depicted as being “below” other elements or features are positioned in a direction “above” the other elements or features. Thus, in one embodiment, the term "below" can include both the top and bottom. In addition, the device may be in other directions (eg, rotated 90 degrees or in other directions), and such spatially relative terms used herein are interpreted accordingly.

여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.The terminology used herein is for the purpose of describing specific embodiments and not for limitation. Throughout the specification, when a part “includes” a certain component, this means that other components may be further included rather than excluding other components unless specifically stated to the contrary. Unless otherwise defined, terms used herein have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains.

도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.1 is a configuration diagram schematically showing an English speaking evaluation system according to an embodiment of the present invention.

도 1을 참조하면, 영어 말하기 평가 시스템은 사용자 단말(10), 네트워크(20) 및 서비스 서버(30)를 포함하고, 사용자 단말(10)과 서비스 서버(30)는 네트워크(20)를 통해 연결되어 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신한다. 실시예로서, 영어 말하기 평가 시스템은 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스(40)를 포함할 수 있다.1, the English speaking evaluation system includes a user terminal 10, a network 20 and a service server 30, and the user terminal 10 and the service server 30 are connected through a network 20 It transmits and receives all data and information necessary for English speaking evaluation. As an embodiment, the English speaking evaluation system may include a database 40 that stores information for user authentication and answer information of other users pre-stored for each problem.

사용자 단말(10)은 사용자가 사용자 단말(10)에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션을 실행하여 영어 말하기 평가를 시작하는 경우, 네트워크(20)를 통해 서비스 서버(30)로 사용자 인증을 요청한다. 사용자 단말(10)은 영어 말하기 평가가 시작되면, 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 서비스 서버(30)로 전송하고, 서비스 서버(30)와 영어 말하기 평가에 필요한 모든 데이터 및 정보를 수신하여 사용자에게 보여준다. The user terminal 10 requests the user authentication to the service server 30 through the network 20 when the user starts the English speaking evaluation by running the English speaking evaluation program or application installed on the user terminal 10. When the user terminal 10 starts to speak in English, the user input including the answer according to the user's survey is transmitted to the service server 30, and all data and information required for evaluating the English speaking are provided to the service server 30. It receives and shows it to the user.

사용자 단말(10)은 네트워크(20)에 연결되어 데이터를 송수신할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보 통신기기, 멀티미디어 단말기, 유선/무선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기를 포함할 수 있다. 또한, 단말기는 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기를 포함할 수 있다.The user terminal 10 is described as a typical example of a mobile communication terminal that is connected to the network 20 and can transmit and receive data, but the terminal is not limited to a mobile communication terminal, all information communication devices, multimedia terminals, wired/wireless terminals , Fixed terminals and various terminals such as IP (Internet Protocol) terminals. In addition, the terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a net book (Net book), a server (Server) and a mobile terminal having various mobile communication specifications such as an information communication device.

네트워크(20)는 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, 무선랜(WLAN, Wireless LAN), 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), 고속하향패킷접속(HSDPA, High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 한편, 네트워크(20)는 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.Various types of communication networks may be used as the network 20, for example, WLAN, Wireless LAN, Bluetooth, Wi-Fi, Wibro, Wimax, and high-speed downlink packet access ( Wireless communication methods such as HSDPA, High Speed Downlink Packet Access, or Ethernet, xDSL (ADSL, VDSL), HFC (Hybrid Fiber Coax), FTTC (Fiber to The Curb), FTTH (Fiber To The Home), etc. A wired communication method can be used. Meanwhile, the network 20 is not limited to the above-described communication method, and may include all other well-known or future communication methods in addition to the above-described communication method.

서비스 서버(30)는 사용자 단말(10)과 네트워크(20)를 통해 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신하여 영어 말하기 평가 서비스를 제공한다. The service server 30 transmits and receives all data and information necessary for the English speaking evaluation through the user terminal 10 and the network 20 to provide an English speaking evaluation service.

본 발명의 일 실시예에서, 서비스 서버(30)는 사용자 단말(10)로부터 영어 말하기 평가 시작을 위한 사용자 인증 요청을 수신하여 사용자 로그인 과정을 수행한다. 실시예로서, 서비스 서버(30)는 영어 말하기 평가에 필요한 런칭 모듈을 제공할 수 있다. 영어 말하기 평가가 시작되면, 서비스 서버(30)는 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 사용자 단말(10)로부터 수신하여 사용자의 영어 말하기 평가에 필요한 데이터 및 정보를 송신한다.In one embodiment of the present invention, the service server 30 receives a user authentication request for starting an English speaking evaluation from the user terminal 10 and performs a user login process. As an embodiment, the service server 30 may provide a launching module required for English speaking evaluation. When the English speaking evaluation starts, the service server 30 receives a user input including an answer according to the user's survey from the user terminal 10 and transmits data and information necessary for the English speaking evaluation of the user.

실시예로서, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함할 수 있고, 서비스 서버(30)는 사용자 단말(10)의 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리할 수 있다. 실시예로서, 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함할 수 있다.As an embodiment, the user terminal 10 may include one or more function modules, and the service server 30 may receive and process information received from one or more function modules of the user terminal 10. As an embodiment, the information received from one or more functional modules may include user identification information and user response voice information.

서비스 서버(30)는 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다. 실시예로서, 파고다, 해커스, 민병철, YBM, 시원스쿨과 같은 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다. The service server 30 may include a server operated by an English speaking evaluation service provider. As an embodiment, it may include a server operated by an English speaking evaluation service provider such as Pagoda, Hackers, Byungcheol Min, YBM, Siwon School.

데이터베이스(40)는 사용자 인증을 위한 정보를 포함한 영어 말하기 평가를 위해 필요한 모든 정보를 저장한다. 실시예로서, 데이터베이스(40)는 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보가 저장될 수 있다.The database 40 stores all information necessary for English speaking evaluation, including information for user authentication. As an embodiment, the database 40 may store information for user authentication and answer information of other users previously stored for each problem.

도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.2 is a diagram schematically showing the configuration of the user terminal of FIG. 1 according to an embodiment of the present invention.

도 2를 참조하면, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함한다. 실시예로서, 사용자 단말(10)은 디스플레이 모듈(110), 오디오 모듈(120), 입력 모듈(130), 센서 모듈(140), 카메라 모듈(150), 및 통신 모듈(160)을 포함할 수 있다.Referring to FIG. 2, the user terminal 10 includes one or more functional modules. As an embodiment, the user terminal 10 may include a display module 110, an audio module 120, an input module 130, a sensor module 140, a camera module 150, and a communication module 160. have.

디스플레이 모듈(110)은 사용자에게 눈에 보이는 표시를 제공하기 위한 어느 적절한 스크린 또는 영사 시스템을 포함할 수 있다. 실시예로서, 디스플레이 모듈(110)은 VR 기기에 포함되는 HMD(Head Mounted Display)를 포함할 수 있다. The display module 110 can include any suitable screen or projection system to provide a visible indication to the user. As an embodiment, the display module 110 may include a head mounted display (HMD) included in a VR device.

오디오 모듈(120)은 사용자에게 오디오 제공을 위한 임의의 적절한 오디오 컴포넌트(audio component)를 포함할 수 있다. 실시예로서, 오디오 모듈(120)은 스피커 및/또는 마이크를 포함할 수 있다. The audio module 120 may include any suitable audio component for providing audio to the user. As an embodiment, the audio module 120 may include a speaker and/or a microphone.

입력 모듈(130)은 사용자의 입력 또는 명령을 주는 사용자 인터페이스일 수 있다. 실시예로서, 입력 모듈(130)은 버튼, 키패드, 다이얼, 클릭휠, 터치 패드 또는 터치 스크린 등으로 구현될 수 있다.The input module 130 may be a user interface that gives a user input or command. As an embodiment, the input module 130 may be implemented as a button, keypad, dial, click wheel, touch pad or touch screen.

센서 모듈(140)은 사용자의 위치, 환경 등의 정보를 센싱하는 센서를 포함할 수 있다. 실시예로서, 센서 모듈(140)은 지자기장의 변화를 감지하는 마그네틱 센서를 포함할 수 있다.The sensor module 140 may include a sensor that senses information such as a user's location and environment. As an embodiment, the sensor module 140 may include a magnetic sensor that detects a change in the geomagnetic field.

카메라 모듈(150)은 정지 이미지 및 동영상을 포착하거나 촬영할 수 있는 장치를 포함할 수 있다. 실시예로서, 카메라 모듈(150)은 이미지 센서, 렌즈, ISP(image signal processor) 및 플래시 중 적어도 하나를 포함할 수 있다.The camera module 150 may include a device capable of capturing or capturing still images and videos. As an embodiment, the camera module 150 may include at least one of an image sensor, a lens, an image signal processor (ISP), and a flash.

통신 모듈(160)은 서비스 서버(30)와 네크워크(20)를 통해 통신하기 위한 모듈을 말하는 것으로, 사용자 단말(10)에 내장될 수 있다. 실시예로서, 통신 모듈(160)은 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.The communication module 160 refers to a module for communicating with the service server 30 through the network 20 and may be embedded in the user terminal 10. As an embodiment, the communication module 160 may include at least one of a mobile communication module, a wireless Internet module, and a short-range communication module.

도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.3 is a diagram schematically showing the configuration of the service server of FIG. 1 according to an embodiment of the present invention.

도 3을 참조하면, 서비스 서버(30)는 통신부(310), 저장부(320), 및 제어부(330)를 포함한다. Referring to FIG. 3, the service server 30 includes a communication unit 310, a storage unit 320, and a control unit 330.

통신부(310)는 사용자 단말(10)과 네트워크(20)를 통하여 데이터를 주고 받는다.The communication unit 310 exchanges data with the user terminal 10 through the network 20.

저장부(320)는 서비스 서버(30)의 동작을 위한 데이터 및 프로그램을 저장한다. 실시예로서, 저장부(320)는 사용자 단말(10)로부터 입력 받은 정보들 및 영어 말하기 평가를 위해 필요한 정보들을 저장하여 데이터베이스(40)와 같은 역할을 할 수 있다. 즉, 저장부(320)는 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보가 저장될 수 있다.The storage unit 320 stores data and programs for the operation of the service server 30. As an embodiment, the storage unit 320 may serve as a database 40 by storing information input from the user terminal 10 and information necessary for English speaking evaluation. That is, the storage unit 320 may store information for user authentication and answer information of other users previously stored for each problem.

제어부(330)는 사용자 단말(10)로부터 음성을 수신하여 텍스트를 생성하고, 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 제어부(330)는 인공지능 음성인식 모듈(331), 자연어 분석 딥러닝 모듈(332), 평가 모듈(333), 및 등급 계산 모듈(334)를 포함할 수 있다.The control unit 330 receives the voice from the user terminal 10 to generate text, and analyzes the generated text syntax to evaluate the user's English speaking ability based on the analyzed result. As an embodiment, the control unit 330 may include an artificial intelligence speech recognition module 331, a natural language analysis deep learning module 332, an evaluation module 333, and a grade calculation module 334.

인공지능 음성인식 모듈(331)은 사용자 단말(10)로부터 음성을 수신하여 인공지능 음성인식 기술(STT: Speech-To-Text)을 적용하여 텍스트를 생성한다.The artificial intelligence speech recognition module 331 receives a voice from the user terminal 10 and generates text by applying artificial intelligence speech recognition technology (STT: Speech-To-Text).

자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 자연어 분석 딥러닝 모델을 통해 분석한다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 사용자 단말(10)로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행할 수 있다.The natural language analysis deep learning module 332 analyzes the text phrase generated in the artificial intelligence speech recognition module 331 through a natural language analysis deep learning model. As an embodiment, the natural language analysis deep learning module 332 may receive a voice from the user terminal 10 and perform voice analysis to analyze at least one of volume, response time, length, persistence, and pronunciation accuracy. As an embodiment, the natural language analysis deep learning module 332 performs sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module 331 can do. As an embodiment, the natural language analysis deep learning module 332 is in the sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the artificial intelligence speech recognition module 331 with the answers of other users previously stored. Comparative analysis may be performed to analyze at least one or more.

평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.The evaluation module 333 evaluates the user's English speaking ability based on the results analyzed by the natural language analysis deep learning module 332. As an embodiment, the evaluation module 333 based on the results analyzed in the natural language analysis deep learning module 332, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, At least one of expression accuracy, sentence originality, meaning transferability, response length, tense matching, sentence type diversity, vocabulary, vocabulary redundancy, problem understanding, topic solving ability, sudden response, role performance, and question performance can be evaluated.

등급 계산 모듈(334)은 평가 모듈(333)에서 평가된 결과를 기초로 사용자 등급을 계산한다. The rating calculation module 334 calculates the user rating based on the results evaluated by the rating module 333.

도 4는 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.4 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.

본 발명에 따른 영어 말하기 평가 방법을 위하여 사용자 단말 내에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션이 사용자에 의해 실행된다. 사용자 단말에서 영어 말하기 평가 프로그램 또는 어플리케이션이 실행되면, 서비스 서버는 사용자 단말로 영어 말하기 평가를 위한 문제를 제공할 수 있다. 실시예로서, 문제는 설문조사에서 선택한 항목의 주제, 돌발 주제, 및 롤플레이 유형의 문제 중 적어도 하나를 포함할 수 있다. For the English speaking evaluation method according to the present invention, the English speaking evaluation program or application installed in the user terminal is executed by the user. When the English speaking evaluation program or application is executed in the user terminal, the service server may provide a problem for the English speaking evaluation to the user terminal. As an embodiment, the problem may include at least one of the subject matter of the item selected in the survey, the unexpected subject matter, and the role play type problem.

본 발명에 따른 영어 말하기 평가 방법을 위하여, 영어 말하기 평가를 위한 문제의 제공은 문제 은행 방식을 포함할 수 있다. 실시예로서, 문제 은행 방식은, 데이터베이스에 문제를 유형을 구분하여 사전 등록하는 문제 은행 등록, 문제의 앞 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Prefix 등록, 및 문제의 뒷 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Postfix 등록을 포함하는 문제 은행 구성 단계와, 설문/돌발/롤플레이 유형 중 문제 유형을 선택하는 문제 유형 선정, 영화, 음악과 같은 주제를 선정하는 문제 주제 선정, 문제 Prefix, 문제 본문 및 문제 Postfix를 조합하여 문제 유형, 문제 주제에 맞추어 문장을 자동 구성하는 문제 문장 구성, 및 사용자 단말에 이미지, 영상 및 사운드 중 적어도 하나를 출력하는 문제 출력을 포함하는 문제 출제 단계를 포함할 수 있다.For the method of evaluating English speaking according to the present invention, provision of a problem for evaluating English speaking may include a question banking method. As an embodiment, the question banking method includes question bank registration for pre-registration of types of problems in the database, problem prefix registration for pre-registration of phrases that can be added to the front of the problem, and back of problems. Problems to pre-register phrases that can be added to the situation separately Problems including postfix registration Bank construction stages, and question/selection/progress/role-play type selection of the problem type, topics such as movies, music Selecting a problem Topic selection, problem prefix, problem body, and problem postfix are combined to create a problem type, a problem that automatically composes a sentence according to the problem topic, sentence construction, and outputs at least one of images, images, and sounds to the user terminal. It may include a question submission step that includes an output.

도 4를 참조하면, 서비스 서버는 사용자 단말로부터 사용자 답변 음성을 수신하고(S10), 사용자 답변 음성을 기초로 사용자 답변을 문제별 평가한다(S20). 실시예로서, 사용자 답변을 문제별 평가하기 위해, 서비스 서버는 사용자 답변 음성을 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가할 수 있다.Referring to FIG. 4, the service server receives a user response voice from the user terminal (S10), and evaluates the user response by problem based on the user response voice (S20). As an embodiment, in order to evaluate the user response by problem, the service server provides the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, expression accuracy, based on the user response voice It is possible to evaluate at least one of sentence originality, meaning conveyance, answer length, tense match, sentence type diversity, vocabulary, and vocabulary overlap.

서비스 서버는 문제 속성과 문제별 분석 결과를 기초로 사용자 답변을 종합 평가하고(S30), 문제별 평가와 종합 평가를 기초로 사용자 등급을 계산한 후(S40), 사용자에게 평가 결과와 등급을 제공한다(S50). 실시예로서, 사용자 답변을 종합 평가하기 위해, 서비스 서버는 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 문제별 사용자 답변의 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함하는 문제별 분석 결과를 기초로 사용자 답변을 종합 평가할 수 있다. 실시예로서, 사용자 답변을 종합 평가하기 위해, 서비스 서버는 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다. The service server comprehensively evaluates the user's answers based on the problem attributes and the analysis results for each problem (S30), calculates the user rating based on the evaluation for each problem and the comprehensive evaluation (S40), and provides the evaluation results and rating to the user (S50). As an embodiment, in order to comprehensively evaluate a user response, the service server may include a problem attribute including at least one of a complexity of a problem, a difficulty of a topic, a difficulty of a speed, a suddenness, whether to play a role, whether to ask me, and a possible tense, Analysis of the amount of user response by problem, analysis of response time, length analysis, tense analysis, sentence structure analysis, part-of-speech analysis, topic analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy analysis Based on the analysis results for each problem including at least one of the results, the user's answer may be comprehensively evaluated. As an embodiment, in order to comprehensively evaluate user answers, the service server may evaluate at least one of a user's problem understanding, topic solving ability, unexpected response ability, role performance ability, and question performance ability based on problem attributes and analysis results for each problem. .

본 발명의 일 실시예에 따르면, 사용자 등급을 계산하기 위해, 서비스 서버는 문제별 평가의 평가 요소인 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 각각에 가중치를 적용하여 점수를 계산할 수 있다. 실시예로서, 사용자의 평가 결과와 사용자 등급을 제공하기 위해, 서비스 서버는 사용자 단말로 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 사용자의 평가 결과값과 함께 제공할 수 있다. 실시예로서, According to one embodiment of the present invention, in order to calculate the user rating, the service server is an evaluation factor for evaluation by problem, such as response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, expression accuracy, Scores can be calculated by applying weights to each of sentence originality, meaning conveyance, answer length, tense match, sentence type diversity, vocabulary, and vocabulary overlap. As an embodiment, in order to provide the user's evaluation result and user rating, the service server may provide the user terminal with an average result value of all users corresponding to the user rating together with the user evaluation result value. As an example,

도 5는 본 발명의 일 실시예에 따른 도 4의 문제별 평가 방법을 나타낸 순서도이다.5 is a flowchart illustrating an evaluation method for each problem in FIG. 4 according to an embodiment of the present invention.

도 5를 참조하면, 서비스 서버는 사용자 답변을 문제별 평가하기 위해, 사용자 답변 음성을 분석하고(S210), 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S220), 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석한다(S230). 실시예로서, 서비스 서버는 사용자 답변 음성 분석을 위해, 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석할 수 있다. 실시예로서, 서비스 서버는 딥러닝 모델을 통해 텍스트 구문을 분석하기 위해, 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석할 수 있다.Referring to FIG. 5, the service server analyzes the user's answer voice to evaluate the user's answer by problem (S210), generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S220), and generates Parsed text through natural language analysis deep learning model (S230). As an embodiment, the service server may analyze at least one of a user response volume, a response time, a length, a duration, and a pronunciation accuracy for voice analysis. As an embodiment, the service server may analyze at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text in order to analyze text syntax through a deep learning model.

도 5를 참조하면, 서비스 서버는 사용자 답변을 문제별 평가하기 위해, 사용자 답변 음성을 분석하고(S210), 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S220), 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석한다(S240). 실시예로서, 비교를 통해 사용자 표현의 특성을 분석하기 위해, 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석할 수 있다.Referring to FIG. 5, the service server analyzes the user's answer voice to evaluate the user's answer by problem (S210), generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S220), and generates The characteristic of the expression is analyzed by comparing the old text with the answers of other users stored in advance (S240). As an embodiment, in order to analyze the characteristics of the user expression through comparison, at least one of sentence originality, expression accuracy, and euphemism expression may be analyzed through comparison of the generated text with the answers of other pre-stored users.

도 6은 본 발명의 일 실시예에 따른 사용자에게 평가 결과와 등급을 제공하는 일 예이다.6 is an example of providing an evaluation result and a rating to a user according to an embodiment of the present invention.

도 6을 참조하면, 사용자는 본인의 평가 결과와 함께 사용자가 속하는 등급인 IH 등급의 평균 점수를 함께 확인할 수 있다. 또한, 사용자는 크게 4개의 축으로 구성된 평가 기준마다의 상세한 평가 결과를 확인할 수 있어, 사용자 본인의 영어 말하기 실력 향상을 위해 보완해야 할 부분을 명확하게 알 수 있다.Referring to FIG. 6, the user can check the average score of the IH grade, which is the grade to which the user belongs, along with his evaluation result. In addition, the user can check the detailed evaluation result for each evaluation criterion composed of four axes, so that the user can clearly know the part to be supplemented to improve his/her English speaking ability.

전술한 바와 같은 본 발명의 실시예들에 따르면, 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템 및 방법은 인공지능 및 딥러닝을 이용하여 영어 말하기 실력을 평가함으로써, 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있게 한다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.According to the embodiments of the present invention as described above, the English speaking evaluation system and method according to an embodiment of the present invention evaluates the English speaking skills using artificial intelligence and deep learning, so that the user is limited in time and environment Without it, it allows you to evaluate your English speaking skills with high confidence in a short time. In addition, when a user utilizes a VR/AR device, by allowing the user to experience the environment of taking a test in an English speaking test site, the user can achieve an effect of obtaining better results in an actual English speaking test.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific matters such as specific components, etc., and by limited embodiments and drawings, which are provided to help the overall understanding of the present invention, but the present invention is not limited to the above embodiments , Anyone having ordinary knowledge in the field to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and should not be determined, and all claims that are equivalent or equivalent to the scope of the claims as well as the claims described below will be included in the scope of the spirit of the invention. .

10: 사용자 단말 20: 네트워크
30: 서비스 서버 40: 데이터베이스
10: user terminal 20: network
30: service server 40: database

Claims (20)

하나 이상의 기능 모듈을 포함하는 사용자 단말;
상기 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버; 및
상기 사용자 단말과 상기 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되,
상기 서비스 서버는,
상기 사용자 단말과의 통신을 제공하는 통신부와, 상기 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 상기 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함하는 영어 말하기 평가 시스템.
A user terminal including one or more function modules;
A service server that receives and processes information received from the one or more function modules; And
Includes a network that provides communication between the user terminal and the service server,
The service server,
The communication unit for providing communication with the user terminal, the storage unit for storing the input information and necessary information for evaluation, and receiving the voice from the user terminal to generate text and analyze the generated text syntax English speaking evaluation system including a control unit to evaluate based on the analyzed results.
제 1항에 있어서,
상기 하나 이상의 기능 모듈은 디스플레이 모듈, 오디오 모듈, 입력 모듈, 센서 모듈, 카메라 모듈, 및 통신 모듈 중 적어도 하나 이상을 포함하는 영어 말하기 평가 시스템.
According to claim 1,
The one or more functional modules are English speaking evaluation system including at least one of a display module, an audio module, an input module, a sensor module, a camera module, and a communication module.
제 1항에 있어서,
상기 사용자 단말은 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 모바일(Mobile) 단말기 중 적어도 하나 이상을 포함하는 영어 말하기 평가 시스템.
According to claim 1,
The user terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a net book (Net book), a server (Server) and a mobile (Mobile) terminal including at least one or more of the English speaking evaluation system.
제 1항에 있어서,
상기 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함하는 영어 말하기 평가 시스템.
According to claim 1,
The information received from the one or more function modules is an English speaking evaluation system including user identification information and user response voice information.
제 1항에 있어서,
상기 제어부는,
상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하는 인공지능 음성인식 모듈과, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 분석하는 자연어 분석 딥러닝 모듈과, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 평가하는 평가 모듈, 및 상기 평가 모듈에서 평가된 결과를 기초로 사용자 등급을 계산하는 등급 계산 모듈을 포함하는 영어 말하기 평가 시스템.
According to claim 1,
The control unit,
The artificial intelligence speech recognition module that generates text by receiving speech from the user terminal, the natural language analysis deep learning module that analyzes text phrases generated by the artificial intelligence speech recognition module, and the results analyzed by the natural language analysis deep learning module English evaluation system comprising an evaluation module for evaluating, and a rating calculation module for calculating a user rating based on the results evaluated in the evaluation module.
제 5항에 있어서,
상기 자연어 분석 딥러닝 모듈은, 상기 사용자 단말로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행하는 영어 말하기 평가 시스템.
The method of claim 5,
The natural language analysis deep learning module is an English speaking evaluation system that receives a voice from the user terminal and performs voice analysis to analyze at least one of volume, response time, length, persistence, and pronunciation accuracy.
제 5항에 있어서,
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행하는 영어 말하기 평가 시스템.
The method of claim 5,
The natural language analysis deep learning module is an English speaking evaluation system that performs sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module.
제 5항에 있어서,
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행하는 영어 말하기 평가 시스템.
The method of claim 5,
The natural language analysis deep learning module compares at least one of sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the AI speech recognition module with another user's answer previously stored. English speaking assessment system to perform analysis.
제 5항에 있어서,
상기 평가 모듈은, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 영어 말하기 평가 시스템.
The method of claim 5,
The evaluation module, based on the results analyzed in the deep learning module of the natural language analysis, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning An English speaking assessment system that evaluates at least one of communicativeness, answer length, tense matching, sentence type diversity, vocabulary, vocabulary redundancy, problem comprehension, topic solving, sudden response, role performance, and question performance.
제 1항에 있어서, 상기 영어 말하기 평가 시스템은,
사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스를 더 포함하는 영어 말하기 평가 시스템.
The method of claim 1, wherein the English speaking evaluation system,
English speaking evaluation system further comprising a database for storing information for user authentication and answer information of other users pre-stored for each problem.
사용자 단말로부터 사용자 답변 음성을 수신하는 단계;
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계;
문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계;
상기 문제별 평가와 상기 종합 평가를 기초로 사용자 등급을 계산하는 단계; 및
사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함하는 영어 말하기 평가 방법.
Receiving a user answer voice from the user terminal;
Evaluating each problem based on the user's answer voice;
Comprehensive evaluation based on problem attributes and analysis results by problems;
Calculating a user rating based on the problem-specific evaluation and the comprehensive evaluation; And
And providing an evaluation result of the user and the user rating to a user terminal.
제 11항에 있어서,
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
상기 사용자 답변 음성을 분석하는 단계;
상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계; 및
상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 11,
Evaluating each problem based on the voice of the user response,
Analyzing the user answer voice;
Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And
And parsing the generated text through text through a natural language analysis deep learning model.
제 12항에 있어서,
상기 사용자 답변 음성을 분석하는 단계는,
상기 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 12,
The step of analyzing the user response voice,
And analyzing at least one of the volume, response time, length, persistence, and pronunciation accuracy of the user answer.
제 12항에 있어서,
상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계는,
상기 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 12,
The step of parsing the generated text through the natural language analysis deep learning model,
And analyzing at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text.
제 11항에 있어서,
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
상기 사용자 답변 음성을 분석하는 단계;
상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계; 및
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 11,
Evaluating each problem based on the voice of the user response,
Analyzing the user answer voice;
Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And
And analyzing the characteristics of expression by comparing the generated text with answers of other users stored in advance.
제 15항에 있어서,
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계는,
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 15,
The step of analyzing the characteristics of the expression by comparing the generated text with the answers of other users stored in advance,
And analyzing at least one of sentence originality, expression accuracy, and euphemism by comparing the generated text with answers of other users stored in advance.
제 11항에 있어서,
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
상기 사용자 답변 음성을 기초로 상기 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 11,
Evaluating each problem based on the voice of the user response,
Based on the user's response voice, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning transmission, response length, tense match, sentence A method of evaluating English speaking comprising evaluating at least one of formal diversity, vocabulary, and vocabulary overlap.
제 11항에 있어서,
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는,
상기 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 상기 문제별 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함하는 문제별 분석 결과를 기초로 종합 평가하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 11,
Comprehensive evaluation based on the problem attributes and the analysis results for each problem,
Problem attributes including at least one of the complexity of the problem, Topic difficulty, Speed difficulty, whether there is a breakout, whether to play, whether to ask Me, and possible tenses, and analysis of the amount of each problem, response time analysis, length analysis, and tense Comprehensive evaluation based on analysis results by problem, including at least one of analysis, sentence structure analysis, part-of-speech analysis, subject analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy analysis English speaking assessment method comprising the step of.
제 11항에 있어서,
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는,
상기 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 11,
Comprehensive evaluation based on the problem attributes and the analysis results for each problem,
Evaluating at least one of the user's problem understanding, Topic solving ability, sudden response ability, role performance, and question performance based on the problem attribute and the analysis result for each problem.
제 11항에 있어서,
상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계는,
상기 사용자 단말로 상기 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 제공하는 단계를 포함하는 영어 말하기 평가 방법.
The method of claim 11,
Providing the user's evaluation result and the user rating to the user terminal,
And providing an average result value of all users corresponding to the user grade to the user terminal.
KR1020190004615A 2019-01-14 2019-01-14 English speaking evaluation system and method thereof KR102196917B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190004615A KR102196917B1 (en) 2019-01-14 2019-01-14 English speaking evaluation system and method thereof
PCT/KR2020/000694 WO2020149621A1 (en) 2019-01-14 2020-01-14 English speaking evaluation system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190004615A KR102196917B1 (en) 2019-01-14 2019-01-14 English speaking evaluation system and method thereof

Publications (2)

Publication Number Publication Date
KR20200088073A true KR20200088073A (en) 2020-07-22
KR102196917B1 KR102196917B1 (en) 2020-12-30

Family

ID=71892974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190004615A KR102196917B1 (en) 2019-01-14 2019-01-14 English speaking evaluation system and method thereof

Country Status (1)

Country Link
KR (1) KR102196917B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294735B1 (en) * 2021-03-26 2021-08-27 (주)에이피아이넥스트 Method, device and system for providing speaking analysis content using feedback based on artificial intelligence
KR20220086923A (en) 2020-12-17 2022-06-24 최효준 English pronunciation automatic evaluation system and method
KR102561276B1 (en) * 2022-03-15 2023-07-28 주식회사 찬란 Method and system for pronunciation correction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090094576A (en) * 2008-03-03 2009-09-08 옥종석 An apparatus and method for evaluating spoken ability by speech recognition through computer-lead interaction and thereof
KR20120042298A (en) * 2010-10-25 2012-05-03 에스케이텔레콤 주식회사 Language estimation system and estimating method thereof
KR101318377B1 (en) * 2012-09-17 2013-10-16 비전워크코리아(주) System for evaluating foreign language speaking through on-line
KR20130136768A (en) * 2012-06-05 2013-12-13 김태윤 System and method for supplying information for language practice, and language correction processing method
KR101609473B1 (en) * 2014-10-14 2016-04-05 충북대학교 산학협력단 System and method for automatic fluency evaluation of english speaking tests
KR101637975B1 (en) 2011-10-13 2016-07-11 에스케이텔레콤 주식회사 Speaking test system, device and method thereof
KR101826714B1 (en) 2015-03-16 2018-02-07 최병선 Foreign language learning system and foreign language learning method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090094576A (en) * 2008-03-03 2009-09-08 옥종석 An apparatus and method for evaluating spoken ability by speech recognition through computer-lead interaction and thereof
KR20120042298A (en) * 2010-10-25 2012-05-03 에스케이텔레콤 주식회사 Language estimation system and estimating method thereof
KR101637975B1 (en) 2011-10-13 2016-07-11 에스케이텔레콤 주식회사 Speaking test system, device and method thereof
KR20130136768A (en) * 2012-06-05 2013-12-13 김태윤 System and method for supplying information for language practice, and language correction processing method
KR101318377B1 (en) * 2012-09-17 2013-10-16 비전워크코리아(주) System for evaluating foreign language speaking through on-line
KR101609473B1 (en) * 2014-10-14 2016-04-05 충북대학교 산학협력단 System and method for automatic fluency evaluation of english speaking tests
KR101826714B1 (en) 2015-03-16 2018-02-07 최병선 Foreign language learning system and foreign language learning method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220086923A (en) 2020-12-17 2022-06-24 최효준 English pronunciation automatic evaluation system and method
KR102294735B1 (en) * 2021-03-26 2021-08-27 (주)에이피아이넥스트 Method, device and system for providing speaking analysis content using feedback based on artificial intelligence
KR102561276B1 (en) * 2022-03-15 2023-07-28 주식회사 찬란 Method and system for pronunciation correction

Also Published As

Publication number Publication date
KR102196917B1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
US11688022B2 (en) Semantic representations using structural ontology for assistant systems
US10762892B2 (en) Rapid deployment of dialogue system
US20190130912A1 (en) Generic virtual personal assistant platform
US9582496B2 (en) Facilitating a meeting using graphical text analysis
KR20220083789A (en) Proactive content creation for assistant systems
US11562744B1 (en) Stylizing text-to-speech (TTS) voice response for assistant systems
US10860289B2 (en) Flexible voice-based information retrieval system for virtual assistant
US20220188361A1 (en) Voice-based Auto-Completions and Auto-Responses for Assistant Systems
US11580970B2 (en) System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
WO2015062284A1 (en) Natural expression processing method, processing and response method, device, and system
KR102196917B1 (en) English speaking evaluation system and method thereof
KR102104294B1 (en) Sign language video chatbot application stored on computer-readable storage media
JP6625772B2 (en) Search method and electronic device using the same
US20220309949A1 (en) Device and method for providing interactive audience simulation
CN114223029A (en) Server supporting device to perform voice recognition and operation method of server
KR102410110B1 (en) How to provide Korean language learning service
WO2020149621A1 (en) English speaking evaluation system and method
CN112837683B (en) Voice service method and device
US20240055003A1 (en) Automated assistant interaction prediction using fusion of visual and audio input
KR102337754B1 (en) English speaking evaluation method with evaluation function
CN117271745A (en) Information processing method and device, computing equipment and storage medium
KR20130052800A (en) Apparatus for providing speech recognition service, and speech recognition method for improving pronunciation error detection thereof
US11809480B1 (en) Generating dynamic knowledge graph of media contents for assistant systems
KR102361102B1 (en) English speaking evaluation method based on speech waveform
KR102220926B1 (en) English script generation system and method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant