KR20200088073A - English speaking evaluation system and method thereof - Google Patents
English speaking evaluation system and method thereof Download PDFInfo
- Publication number
- KR20200088073A KR20200088073A KR1020190004615A KR20190004615A KR20200088073A KR 20200088073 A KR20200088073 A KR 20200088073A KR 1020190004615 A KR1020190004615 A KR 1020190004615A KR 20190004615 A KR20190004615 A KR 20190004615A KR 20200088073 A KR20200088073 A KR 20200088073A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- analysis
- module
- response
- evaluation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Abstract
Description
본 발명은 영어 말하기 평가 시스템 및 방법에 관한 것이다.The present invention relates to an English speaking evaluation system and method.
영어 말하기를 평가하는 방법은 크게 사람에 의한 평가와 기계에 의한 평가로 구분할 수 있다. 사람에 의한 평가는 평가자의 경험과 배경지식 등에 따라 평가 대상자의 의도와 문장의 질적인 부분까지 평가할 수 있지만, 평가자의 주관에 따라 때때로 객관적이지 않은 결과를 가져올 수 있다. 특히, 사람에 의한 평가는 평가자가 누구인지, 동일 평가자라 하더라도 평가하는 시간과 그 환경에 따라 평가 결과가 달라질 수 있으며, 평가 시간도 많이 소요될 수 있다.The method of evaluating English speaking can be largely divided into human evaluation and machine evaluation. Evaluation by a person can evaluate the intention of the evaluator and the qualitative part of the sentence, depending on the evaluator's experience and background knowledge, but sometimes it may have unobjective results depending on the evaluator's subject. In particular, the evaluation by a person may be different depending on who evaluates the evaluator and the evaluation time and environment, even if the evaluator is the same evaluator.
기계에 의한 평가는 시간과 환경의 제약없이, 빠른 시간에 일관적인 평가를 수행할 수 있지만, 보다 신뢰도 있는 평가를 위한 기준이 필요하다.Machine-based evaluation can be performed consistently and quickly, without time and environmental constraints, but criteria for more reliable evaluation are needed.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.The above description is only to assist in understanding the background of the technical ideas of the present invention, and therefore it cannot be understood as the content corresponding to the prior art known to those skilled in the art of the present invention.
본 발명의 실시예는 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있는 영어 말하기 평가 시스템 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a system and method for evaluating English speaking that allows users to evaluate their English speaking skills with high reliability in a short time without limitation of time and environment.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 영어 말하기 평가 시스템은, 하나 이상의 기능 모듈을 포함하는 사용자 단말과, 상기 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버와; 상기 사용자 단말과 상기 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되, 상기 서비스 서버는, 상기 사용자 단말과의 통신을 제공하는 통신부와, 상기 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 상기 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함한다.In order to achieve the above object, an English speaking evaluation system according to an embodiment of the present invention includes: a user terminal including one or more function modules, and a service server receiving and processing information received from the one or more function modules; Including a network for providing communication between the user terminal and the service server, the service server includes a communication unit for providing communication with the user terminal, and a storage unit for storing the input information and information necessary for evaluation. And a control unit that receives a voice from the user terminal to generate text, analyzes the generated text syntax, and evaluates the result based on the analyzed result.
상기 하나 이상의 기능 모듈은 디스플레이 모듈, 오디오 모듈, 입력 모듈, 센서 모듈, 카메라 모듈, 및 통신 모듈 중 적어도 하나 이상을 포함할 수 있다.The one or more functional modules may include at least one of a display module, an audio module, an input module, a sensor module, a camera module, and a communication module.
상기 사용자 단말은 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 모바일(Mobile) 단말기 중 적어도 하나 이상을 포함할 수 있다.The user terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a netbook (Net book), a server (Server) and a mobile (Mobile) terminal.
상기 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함할 수 있다.Information received from the one or more function modules may include user identification information and user response voice information.
상기 제어부는, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하는 인공지능 음성인식 모듈과, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 분석하는 자연어 분석 딥러닝 모듈과, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 평가하는 평가 모듈, 및 상기 평가 모듈에서 평가된 결과를 기초로 사용자 등급을 계산하는 등급 계산 모듈을 포함할 수 있다.The control unit includes an artificial intelligence speech recognition module for generating text by receiving speech from the user terminal, a natural language analysis deep learning module for analyzing text phrases generated in the artificial intelligence speech recognition module, and the natural language analysis deep learning module It may include an evaluation module for evaluating based on the results analyzed in the, and a rating calculation module for calculating a user rating based on the results evaluated in the evaluation module.
상기 자연어 분석 딥러닝 모듈은, 상기 사용자 단말로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행할 수 있다.The natural language analysis deep learning module may perform voice analysis for receiving voice from the user terminal and analyzing at least one of volume, response time, length, persistence, and pronunciation accuracy.
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행할 수 있다.The natural language analysis deep learning module may perform sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module.
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행할 수 있다.The natural language analysis deep learning module compares at least one of sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the AI speech recognition module with another user's answer previously stored. Analysis can be performed.
상기 평가 모듈은, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.The evaluation module, based on the results analyzed in the deep learning module of the natural language analysis, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning It can evaluate at least one of transmittance, answer length, tense match, sentence type diversity, vocabulary, vocabulary overlap, problem comprehension, topic solving, sudden response, role performance, and question performance.
상기 영어 말하기 평가 시스템은, 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스를 더 포함할 수 있다.The English speaking evaluation system may further include a database that stores information for user authentication and answer information of other users previously stored for each problem.
본 발명의 실시예에 따른 영어 말하기 평가 방법은, 사용자 단말로부터 사용자 답변 음성을 수신하는 단계와; 상기 사용자 답변 음성을 기초로 문제별 평가하는 단계와; 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계와; 상기 문제별 평가와 상기 종합 평가를 기초로 사용자 등급을 계산하는 단계와; 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함한다.An English speaking evaluation method according to an embodiment of the present invention comprises the steps of: receiving a user response voice from a user terminal; Evaluating each problem based on the user's answer voice; Comprehensive evaluation based on the problem attributes and the analysis results for each problem; Calculating a user rating based on the problem-specific evaluation and the comprehensive evaluation; And providing the user's evaluation result and the user rating to the user terminal.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계를 포함할 수 있다.The evaluation of each problem based on the user response voice may include: analyzing the user response voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And parsing the generated text through text through a natural language analysis deep learning model.
상기 사용자 답변 음성을 분석하는 단계는, 상기 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.The analyzing the user response voice may include analyzing at least one of the volume, response time, length, persistence, and pronunciation accuracy of the user response.
상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계는, 상기 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.The step of parsing the generated text through the natural language analysis deep learning model may include analyzing at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 분석하는 단계와; 상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계와; 상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계를 포함할 수 있다.The evaluation of each problem based on the user response voice may include: analyzing the user response voice; Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And analyzing the characteristics of the expression by comparing the generated text with answers of other users stored in advance.
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계는, 상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 단계를 포함할 수 있다.Analyzing the characteristics of the expression by comparing the generated text with the answers of other pre-stored users, the sentence originality, expression accuracy, and euphemism expression by comparing the generated text with the answers of other users previously stored It may include the step of analyzing at least one of.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는, 상기 사용자 답변 음성을 기초로 상기 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가하는 단계를 포함할 수 있다.The step of evaluating each problem based on the voice of the user's answer includes the amount of response of the user, the speed of the response, the persistence of the answer, the detail of the modifier, the variety of access words, the ability to respond, the accuracy of the subject, the accuracy of expression, based on the voice of the user's answer And evaluating at least one of sentence originality, meaning conveyance, response length, tense match, sentence type diversity, vocabulary, and vocabulary redundancy.
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는, 상기 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 상기 문제별 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함할 수 있다.Comprehensive evaluation based on the problem attribute and the analysis result for each problem may include at least one of the complexity of the problem, the difficulty of the topic, the difficulty of the speed, whether there is a breakthrough, whether to play the role, whether to ask me, and the possible tense Attributes, volume analysis by question, response time analysis, length analysis, tense analysis, sentence structure analysis, part-of-speech analysis, subject analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy It may include at least one of the analysis.
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는, 상기 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 단계를 포함할 수 있다.Comprehensive evaluation based on the problem attribute and the analysis result for each problem may include at least one of the user's problem understanding, topic solving ability, sudden response ability, role performance, and question performance based on the problem attribute and problem analysis result. And evaluating.
상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계는, 상기 사용자 단말로 상기 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 제공하는 단계를 포함할 수 있다.The step of providing the user's evaluation result and the user rating to the user terminal may include providing an average result value of all users corresponding to the user rating to the user terminal.
이와 같은 본 발명의 실시예에 따른 영어 말하기 평가 시스템 및 방법에 의하면 인공지능 및 딥러닝을 이용하여 영어 말하기 실력을 평가함으로써, 사용자는 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.According to the English speaking evaluation system and method according to an embodiment of the present invention, by evaluating English speaking skills using artificial intelligence and deep learning, the user can quickly and highly reliable English speaking skills without limitation of time and environment. Can be evaluated. In addition, when a user utilizes a VR/AR device, by allowing the user to experience the environment of taking a test in an English speaking test site, the user can achieve an effect of obtaining better results in an actual English speaking test.
도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 문제별 평가 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 사용자에게 평가 결과와 등급을 제공하는 일 예이다.1 is a configuration diagram schematically showing an English speaking evaluation system according to an embodiment of the present invention.
2 is a diagram schematically showing the configuration of the user terminal of FIG. 1 according to an embodiment of the present invention.
3 is a diagram schematically showing the configuration of the service server of FIG. 1 according to an embodiment of the present invention.
4 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
5 is a flowchart illustrating an evaluation method for each problem in FIG. 4 according to an embodiment of the present invention.
6 is an example of providing an evaluation result and a rating to a user according to an embodiment of the present invention.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다. In the following description, for the purpose of explanation, many specific details are presented to aid understanding of various embodiments. However, it is apparent that various embodiments may be practiced without these specific details or in one or more equivalent ways. In other instances, well-known structures and devices are shown in block diagram form in order to avoid unnecessarily making various embodiments difficult to understand.
도면에서, 레이어들, 필름들, 패널들, 영역들 등의 크기 또는 상대적인 크기는 명확한 설명을 위해 과장될 수 있다. 또한, 동일한 참조 번호는 동일한 구성 요소를 나타낸다.In the drawings, the size or relative size of layers, films, panels, regions, etc. may be exaggerated for clarity. Also, the same reference numerals denote the same components.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 그러나, 만약 어떤 부분이 다른 부분과 "직접적으로 연결되어 있다"고 서술되어 있으면, 이는 해당 부분과 다른 부분 사이에 다른 소자가 없음을 의미할 것이다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 이해될 것이다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "indirectly connected" with another element in between. . However, if a part is described as being "directly connected" to another part, it will mean that there is no other element between the part and the other part. "At least one of X, Y, and Z", and "at least one selected from the group consisting of X, Y, and Z" are one of X, one of Y, one of Z, or two of X, Y, and Z, or Any further combination (eg, XYZ, XYY, YZ, ZZ) will be understood. Here, “and/or” includes all combinations of one or more of the configurations.
여기에서, 첫번째, 두번째 등과 같은 용어가 다양한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이러한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들은 이러한 용어들에 한정되지 않는다. 이러한 용어들은 하나의 소자, 요소, 지역, 레이어, 및/또는 섹션을 다른 소자, 요소, 지역, 레이어, 및 또는 섹션과 구별하기 위해 사용된다. 따라서, 일 실시예에서의 첫번째 소자, 요소, 지역, 레이어, 및/또는 섹션은 다른 실시예에서 두번째 소자, 요소, 지역, 레이어, 및/또는 섹션이라 칭할 수 있다.Here, terms such as first, second, etc. may be used to describe various elements, elements, regions, layers, and/or sections, but such elements, elements, regions, layers, and/or Or sections are not limited to these terms. These terms are used to distinguish one element, element, region, layer, and/or section from another element, element, region, layer, or section. Thus, the first element, element, region, layer, and/or section in one embodiment may be referred to as the second element, element, region, layer, and/or section in another embodiment.
"아래", "위" 등과 같은 공간적으로 상대적인 용어가 설명의 목적으로 사용될 수 있으며, 그렇게 함으로써 도면에서 도시된 대로 하나의 소자 또는 특징과 다른 소자(들) 또는 특징(들)과의 관계를 설명한다. 이는 도면 상에서 하나의 구성 요소의 다른 구성 요소에 대한 관계를 나타내는 데에 사용될 뿐, 절대적인 위치를 의미하는 것은 아니다. 예를 들어, 도면에 도시된 장치가 뒤집히면, 다른 소자들 또는 특징들의 "아래"에 위치하는 것으로 묘사된 소자들은 다른 소자들 또는 특징들의 "위"의 방향에 위치한다. 따라서, 일 실시예에서 "아래" 라는 용어는 위와 아래의 양방향을 포함할 수 있다. 뿐만 아니라, 장치는 그 외의 다른 방향일 수 있다 (예를 들어, 90도 회전된 혹은 다른 방향에서), 그리고, 여기에서 사용되는 그런 공간적으로 상대적인 용어들은 그에 따라 해석된다.Spatially relative terms such as "below", "above", etc. may be used for the purpose of description, thereby describing the relationship of one element or feature to another element(s) or feature(s) as shown in the figure do. This is only used to show the relationship of one component to another component in the drawing, and does not mean an absolute position. For example, when the device shown in the figure is turned over, elements depicted as being “below” other elements or features are positioned in a direction “above” the other elements or features. Thus, in one embodiment, the term "below" can include both the top and bottom. In addition, the device may be in other directions (eg, rotated 90 degrees or in other directions), and such spatially relative terms used herein are interpreted accordingly.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.The terminology used herein is for the purpose of describing specific embodiments and not for limitation. Throughout the specification, when a part “includes” a certain component, this means that other components may be further included rather than excluding other components unless specifically stated to the contrary. Unless otherwise defined, terms used herein have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains.
도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.1 is a configuration diagram schematically showing an English speaking evaluation system according to an embodiment of the present invention.
도 1을 참조하면, 영어 말하기 평가 시스템은 사용자 단말(10), 네트워크(20) 및 서비스 서버(30)를 포함하고, 사용자 단말(10)과 서비스 서버(30)는 네트워크(20)를 통해 연결되어 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신한다. 실시예로서, 영어 말하기 평가 시스템은 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스(40)를 포함할 수 있다.1, the English speaking evaluation system includes a
사용자 단말(10)은 사용자가 사용자 단말(10)에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션을 실행하여 영어 말하기 평가를 시작하는 경우, 네트워크(20)를 통해 서비스 서버(30)로 사용자 인증을 요청한다. 사용자 단말(10)은 영어 말하기 평가가 시작되면, 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 서비스 서버(30)로 전송하고, 서비스 서버(30)와 영어 말하기 평가에 필요한 모든 데이터 및 정보를 수신하여 사용자에게 보여준다. The
사용자 단말(10)은 네트워크(20)에 연결되어 데이터를 송수신할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보 통신기기, 멀티미디어 단말기, 유선/무선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기를 포함할 수 있다. 또한, 단말기는 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기를 포함할 수 있다.The
네트워크(20)는 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, 무선랜(WLAN, Wireless LAN), 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), 고속하향패킷접속(HSDPA, High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 한편, 네트워크(20)는 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.Various types of communication networks may be used as the
서비스 서버(30)는 사용자 단말(10)과 네트워크(20)를 통해 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신하여 영어 말하기 평가 서비스를 제공한다. The
본 발명의 일 실시예에서, 서비스 서버(30)는 사용자 단말(10)로부터 영어 말하기 평가 시작을 위한 사용자 인증 요청을 수신하여 사용자 로그인 과정을 수행한다. 실시예로서, 서비스 서버(30)는 영어 말하기 평가에 필요한 런칭 모듈을 제공할 수 있다. 영어 말하기 평가가 시작되면, 서비스 서버(30)는 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 사용자 단말(10)로부터 수신하여 사용자의 영어 말하기 평가에 필요한 데이터 및 정보를 송신한다.In one embodiment of the present invention, the
실시예로서, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함할 수 있고, 서비스 서버(30)는 사용자 단말(10)의 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리할 수 있다. 실시예로서, 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함할 수 있다.As an embodiment, the
서비스 서버(30)는 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다. 실시예로서, 파고다, 해커스, 민병철, YBM, 시원스쿨과 같은 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다. The
데이터베이스(40)는 사용자 인증을 위한 정보를 포함한 영어 말하기 평가를 위해 필요한 모든 정보를 저장한다. 실시예로서, 데이터베이스(40)는 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보가 저장될 수 있다.The
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.2 is a diagram schematically showing the configuration of the user terminal of FIG. 1 according to an embodiment of the present invention.
도 2를 참조하면, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함한다. 실시예로서, 사용자 단말(10)은 디스플레이 모듈(110), 오디오 모듈(120), 입력 모듈(130), 센서 모듈(140), 카메라 모듈(150), 및 통신 모듈(160)을 포함할 수 있다.Referring to FIG. 2, the
디스플레이 모듈(110)은 사용자에게 눈에 보이는 표시를 제공하기 위한 어느 적절한 스크린 또는 영사 시스템을 포함할 수 있다. 실시예로서, 디스플레이 모듈(110)은 VR 기기에 포함되는 HMD(Head Mounted Display)를 포함할 수 있다. The
오디오 모듈(120)은 사용자에게 오디오 제공을 위한 임의의 적절한 오디오 컴포넌트(audio component)를 포함할 수 있다. 실시예로서, 오디오 모듈(120)은 스피커 및/또는 마이크를 포함할 수 있다. The
입력 모듈(130)은 사용자의 입력 또는 명령을 주는 사용자 인터페이스일 수 있다. 실시예로서, 입력 모듈(130)은 버튼, 키패드, 다이얼, 클릭휠, 터치 패드 또는 터치 스크린 등으로 구현될 수 있다.The
센서 모듈(140)은 사용자의 위치, 환경 등의 정보를 센싱하는 센서를 포함할 수 있다. 실시예로서, 센서 모듈(140)은 지자기장의 변화를 감지하는 마그네틱 센서를 포함할 수 있다.The
카메라 모듈(150)은 정지 이미지 및 동영상을 포착하거나 촬영할 수 있는 장치를 포함할 수 있다. 실시예로서, 카메라 모듈(150)은 이미지 센서, 렌즈, ISP(image signal processor) 및 플래시 중 적어도 하나를 포함할 수 있다.The
통신 모듈(160)은 서비스 서버(30)와 네크워크(20)를 통해 통신하기 위한 모듈을 말하는 것으로, 사용자 단말(10)에 내장될 수 있다. 실시예로서, 통신 모듈(160)은 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.The
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.3 is a diagram schematically showing the configuration of the service server of FIG. 1 according to an embodiment of the present invention.
도 3을 참조하면, 서비스 서버(30)는 통신부(310), 저장부(320), 및 제어부(330)를 포함한다. Referring to FIG. 3, the
통신부(310)는 사용자 단말(10)과 네트워크(20)를 통하여 데이터를 주고 받는다.The
저장부(320)는 서비스 서버(30)의 동작을 위한 데이터 및 프로그램을 저장한다. 실시예로서, 저장부(320)는 사용자 단말(10)로부터 입력 받은 정보들 및 영어 말하기 평가를 위해 필요한 정보들을 저장하여 데이터베이스(40)와 같은 역할을 할 수 있다. 즉, 저장부(320)는 사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보가 저장될 수 있다.The
제어부(330)는 사용자 단말(10)로부터 음성을 수신하여 텍스트를 생성하고, 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 제어부(330)는 인공지능 음성인식 모듈(331), 자연어 분석 딥러닝 모듈(332), 평가 모듈(333), 및 등급 계산 모듈(334)를 포함할 수 있다.The
인공지능 음성인식 모듈(331)은 사용자 단말(10)로부터 음성을 수신하여 인공지능 음성인식 기술(STT: Speech-To-Text)을 적용하여 텍스트를 생성한다.The artificial intelligence
자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 자연어 분석 딥러닝 모델을 통해 분석한다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 사용자 단말(10)로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행할 수 있다.The natural language analysis
평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다.The
등급 계산 모듈(334)은 평가 모듈(333)에서 평가된 결과를 기초로 사용자 등급을 계산한다. The
도 4는 본 발명의 일 실시예에 따른 영어 말하기 평가 방법을 나타낸 순서도이다.4 is a flowchart illustrating an English speaking evaluation method according to an embodiment of the present invention.
본 발명에 따른 영어 말하기 평가 방법을 위하여 사용자 단말 내에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션이 사용자에 의해 실행된다. 사용자 단말에서 영어 말하기 평가 프로그램 또는 어플리케이션이 실행되면, 서비스 서버는 사용자 단말로 영어 말하기 평가를 위한 문제를 제공할 수 있다. 실시예로서, 문제는 설문조사에서 선택한 항목의 주제, 돌발 주제, 및 롤플레이 유형의 문제 중 적어도 하나를 포함할 수 있다. For the English speaking evaluation method according to the present invention, the English speaking evaluation program or application installed in the user terminal is executed by the user. When the English speaking evaluation program or application is executed in the user terminal, the service server may provide a problem for the English speaking evaluation to the user terminal. As an embodiment, the problem may include at least one of the subject matter of the item selected in the survey, the unexpected subject matter, and the role play type problem.
본 발명에 따른 영어 말하기 평가 방법을 위하여, 영어 말하기 평가를 위한 문제의 제공은 문제 은행 방식을 포함할 수 있다. 실시예로서, 문제 은행 방식은, 데이터베이스에 문제를 유형을 구분하여 사전 등록하는 문제 은행 등록, 문제의 앞 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Prefix 등록, 및 문제의 뒷 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Postfix 등록을 포함하는 문제 은행 구성 단계와, 설문/돌발/롤플레이 유형 중 문제 유형을 선택하는 문제 유형 선정, 영화, 음악과 같은 주제를 선정하는 문제 주제 선정, 문제 Prefix, 문제 본문 및 문제 Postfix를 조합하여 문제 유형, 문제 주제에 맞추어 문장을 자동 구성하는 문제 문장 구성, 및 사용자 단말에 이미지, 영상 및 사운드 중 적어도 하나를 출력하는 문제 출력을 포함하는 문제 출제 단계를 포함할 수 있다.For the method of evaluating English speaking according to the present invention, provision of a problem for evaluating English speaking may include a question banking method. As an embodiment, the question banking method includes question bank registration for pre-registration of types of problems in the database, problem prefix registration for pre-registration of phrases that can be added to the front of the problem, and back of problems. Problems to pre-register phrases that can be added to the situation separately Problems including postfix registration Bank construction stages, and question/selection/progress/role-play type selection of the problem type, topics such as movies, music Selecting a problem Topic selection, problem prefix, problem body, and problem postfix are combined to create a problem type, a problem that automatically composes a sentence according to the problem topic, sentence construction, and outputs at least one of images, images, and sounds to the user terminal. It may include a question submission step that includes an output.
도 4를 참조하면, 서비스 서버는 사용자 단말로부터 사용자 답변 음성을 수신하고(S10), 사용자 답변 음성을 기초로 사용자 답변을 문제별 평가한다(S20). 실시예로서, 사용자 답변을 문제별 평가하기 위해, 서비스 서버는 사용자 답변 음성을 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가할 수 있다.Referring to FIG. 4, the service server receives a user response voice from the user terminal (S10), and evaluates the user response by problem based on the user response voice (S20). As an embodiment, in order to evaluate the user response by problem, the service server provides the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, expression accuracy, based on the user response voice It is possible to evaluate at least one of sentence originality, meaning conveyance, answer length, tense match, sentence type diversity, vocabulary, and vocabulary overlap.
서비스 서버는 문제 속성과 문제별 분석 결과를 기초로 사용자 답변을 종합 평가하고(S30), 문제별 평가와 종합 평가를 기초로 사용자 등급을 계산한 후(S40), 사용자에게 평가 결과와 등급을 제공한다(S50). 실시예로서, 사용자 답변을 종합 평가하기 위해, 서비스 서버는 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 문제별 사용자 답변의 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함하는 문제별 분석 결과를 기초로 사용자 답변을 종합 평가할 수 있다. 실시예로서, 사용자 답변을 종합 평가하기 위해, 서비스 서버는 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가할 수 있다. The service server comprehensively evaluates the user's answers based on the problem attributes and the analysis results for each problem (S30), calculates the user rating based on the evaluation for each problem and the comprehensive evaluation (S40), and provides the evaluation results and rating to the user (S50). As an embodiment, in order to comprehensively evaluate a user response, the service server may include a problem attribute including at least one of a complexity of a problem, a difficulty of a topic, a difficulty of a speed, a suddenness, whether to play a role, whether to ask me, and a possible tense, Analysis of the amount of user response by problem, analysis of response time, length analysis, tense analysis, sentence structure analysis, part-of-speech analysis, topic analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy analysis Based on the analysis results for each problem including at least one of the results, the user's answer may be comprehensively evaluated. As an embodiment, in order to comprehensively evaluate user answers, the service server may evaluate at least one of a user's problem understanding, topic solving ability, unexpected response ability, role performance ability, and question performance ability based on problem attributes and analysis results for each problem. .
본 발명의 일 실시예에 따르면, 사용자 등급을 계산하기 위해, 서비스 서버는 문제별 평가의 평가 요소인 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 각각에 가중치를 적용하여 점수를 계산할 수 있다. 실시예로서, 사용자의 평가 결과와 사용자 등급을 제공하기 위해, 서비스 서버는 사용자 단말로 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 사용자의 평가 결과값과 함께 제공할 수 있다. 실시예로서, According to one embodiment of the present invention, in order to calculate the user rating, the service server is an evaluation factor for evaluation by problem, such as response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, subject accuracy, expression accuracy, Scores can be calculated by applying weights to each of sentence originality, meaning conveyance, answer length, tense match, sentence type diversity, vocabulary, and vocabulary overlap. As an embodiment, in order to provide the user's evaluation result and user rating, the service server may provide the user terminal with an average result value of all users corresponding to the user rating together with the user evaluation result value. As an example,
도 5는 본 발명의 일 실시예에 따른 도 4의 문제별 평가 방법을 나타낸 순서도이다.5 is a flowchart illustrating an evaluation method for each problem in FIG. 4 according to an embodiment of the present invention.
도 5를 참조하면, 서비스 서버는 사용자 답변을 문제별 평가하기 위해, 사용자 답변 음성을 분석하고(S210), 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S220), 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석한다(S230). 실시예로서, 서비스 서버는 사용자 답변 음성 분석을 위해, 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석할 수 있다. 실시예로서, 서비스 서버는 딥러닝 모델을 통해 텍스트 구문을 분석하기 위해, 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석할 수 있다.Referring to FIG. 5, the service server analyzes the user's answer voice to evaluate the user's answer by problem (S210), generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S220), and generates Parsed text through natural language analysis deep learning model (S230). As an embodiment, the service server may analyze at least one of a user response volume, a response time, a length, a duration, and a pronunciation accuracy for voice analysis. As an embodiment, the service server may analyze at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text in order to analyze text syntax through a deep learning model.
도 5를 참조하면, 서비스 서버는 사용자 답변을 문제별 평가하기 위해, 사용자 답변 음성을 분석하고(S210), 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성한 후(S220), 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석한다(S240). 실시예로서, 비교를 통해 사용자 표현의 특성을 분석하기 위해, 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석할 수 있다.Referring to FIG. 5, the service server analyzes the user's answer voice to evaluate the user's answer by problem (S210), generates text by applying artificial intelligence speech recognition technology to the user's answer voice (S220), and generates The characteristic of the expression is analyzed by comparing the old text with the answers of other users stored in advance (S240). As an embodiment, in order to analyze the characteristics of the user expression through comparison, at least one of sentence originality, expression accuracy, and euphemism expression may be analyzed through comparison of the generated text with the answers of other pre-stored users.
도 6은 본 발명의 일 실시예에 따른 사용자에게 평가 결과와 등급을 제공하는 일 예이다.6 is an example of providing an evaluation result and a rating to a user according to an embodiment of the present invention.
도 6을 참조하면, 사용자는 본인의 평가 결과와 함께 사용자가 속하는 등급인 IH 등급의 평균 점수를 함께 확인할 수 있다. 또한, 사용자는 크게 4개의 축으로 구성된 평가 기준마다의 상세한 평가 결과를 확인할 수 있어, 사용자 본인의 영어 말하기 실력 향상을 위해 보완해야 할 부분을 명확하게 알 수 있다.Referring to FIG. 6, the user can check the average score of the IH grade, which is the grade to which the user belongs, along with his evaluation result. In addition, the user can check the detailed evaluation result for each evaluation criterion composed of four axes, so that the user can clearly know the part to be supplemented to improve his/her English speaking ability.
전술한 바와 같은 본 발명의 실시예들에 따르면, 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템 및 방법은 인공지능 및 딥러닝을 이용하여 영어 말하기 실력을 평가함으로써, 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있게 한다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.According to the embodiments of the present invention as described above, the English speaking evaluation system and method according to an embodiment of the present invention evaluates the English speaking skills using artificial intelligence and deep learning, so that the user is limited in time and environment Without it, it allows you to evaluate your English speaking skills with high confidence in a short time. In addition, when a user utilizes a VR/AR device, by allowing the user to experience the environment of taking a test in an English speaking test site, the user can achieve an effect of obtaining better results in an actual English speaking test.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific matters such as specific components, etc., and by limited embodiments and drawings, which are provided to help the overall understanding of the present invention, but the present invention is not limited to the above embodiments , Anyone having ordinary knowledge in the field to which the present invention pertains can make various modifications and variations from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and should not be determined, and all claims that are equivalent or equivalent to the scope of the claims as well as the claims described below will be included in the scope of the spirit of the invention. .
10: 사용자 단말
20: 네트워크
30: 서비스 서버
40: 데이터베이스10: user terminal 20: network
30: service server 40: database
Claims (20)
상기 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리하는 서비스 서버; 및
상기 사용자 단말과 상기 서비스 서버 간의 통신을 제공하는 네트워크를 포함하되,
상기 서비스 서버는,
상기 사용자 단말과의 통신을 제공하는 통신부와, 상기 입력 받은 정보들 및 평가를 위해 필요한 정보들을 저장하는 저장부와, 상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하고 상기 생성된 텍스트 구문을 분석하여 분석한 결과를 기초로 평가하는 제어부를 포함하는 영어 말하기 평가 시스템.A user terminal including one or more function modules;
A service server that receives and processes information received from the one or more function modules; And
Includes a network that provides communication between the user terminal and the service server,
The service server,
The communication unit for providing communication with the user terminal, the storage unit for storing the input information and necessary information for evaluation, and receiving the voice from the user terminal to generate text and analyze the generated text syntax English speaking evaluation system including a control unit to evaluate based on the analyzed results.
상기 하나 이상의 기능 모듈은 디스플레이 모듈, 오디오 모듈, 입력 모듈, 센서 모듈, 카메라 모듈, 및 통신 모듈 중 적어도 하나 이상을 포함하는 영어 말하기 평가 시스템.According to claim 1,
The one or more functional modules are English speaking evaluation system including at least one of a display module, an audio module, an input module, a sensor module, a camera module, and a communication module.
상기 사용자 단말은 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 모바일(Mobile) 단말기 중 적어도 하나 이상을 포함하는 영어 말하기 평가 시스템.According to claim 1,
The user terminal is a VR (Virtual Reality) device, AR (Augmented Reality) device, mobile phone, PMP (Portable Multimedia Player), MID (Mobile Internet Device), smart phone (Smart Phone), desktop (Desktop), tablet computer (Tablet) PC), a notebook (Note book), a net book (Net book), a server (Server) and a mobile (Mobile) terminal including at least one or more of the English speaking evaluation system.
상기 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 답변 음성 정보를 포함하는 영어 말하기 평가 시스템.According to claim 1,
The information received from the one or more function modules is an English speaking evaluation system including user identification information and user response voice information.
상기 제어부는,
상기 사용자 단말로부터 음성을 수신하여 텍스트를 생성하는 인공지능 음성인식 모듈과, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 분석하는 자연어 분석 딥러닝 모듈과, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 평가하는 평가 모듈, 및 상기 평가 모듈에서 평가된 결과를 기초로 사용자 등급을 계산하는 등급 계산 모듈을 포함하는 영어 말하기 평가 시스템.According to claim 1,
The control unit,
The artificial intelligence speech recognition module that generates text by receiving speech from the user terminal, the natural language analysis deep learning module that analyzes text phrases generated by the artificial intelligence speech recognition module, and the results analyzed by the natural language analysis deep learning module English evaluation system comprising an evaluation module for evaluating, and a rating calculation module for calculating a user rating based on the results evaluated in the evaluation module.
상기 자연어 분석 딥러닝 모듈은, 상기 사용자 단말로부터 음성을 수신하여 성량, 답변 시간, 길이, 지속성, 발음 정확도 중 적어도 하나 이상을 분석하는 음성 분석을 수행하는 영어 말하기 평가 시스템.The method of claim 5,
The natural language analysis deep learning module is an English speaking evaluation system that receives a voice from the user terminal and performs voice analysis to analyze at least one of volume, response time, length, persistence, and pronunciation accuracy.
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 품사, 문장 구조, 주제, 시제, 어휘 중 적어도 하나 이상을 분석하는 문장 분석을 수행하는 영어 말하기 평가 시스템.The method of claim 5,
The natural language analysis deep learning module is an English speaking evaluation system that performs sentence analysis that analyzes at least one of parts of speech, sentence structure, subject, tense, and vocabulary targeting text phrases generated by the artificial intelligence speech recognition module.
상기 자연어 분석 딥러닝 모듈은, 상기 인공지능 음성인식 모듈에서 생성된 텍스트 구문을 대상으로 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 비교 분석을 수행하는 영어 말하기 평가 시스템.The method of claim 5,
The natural language analysis deep learning module compares at least one of sentence originality, expression accuracy, and euphemism expression by comparing the text phrase generated by the AI speech recognition module with another user's answer previously stored. English speaking assessment system to perform analysis.
상기 평가 모듈은, 상기 자연어 분석 딥러닝 모듈에서 분석된 결과를 기초로 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 어휘 중복도, 문제 이해력, 주제 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 영어 말하기 평가 시스템.The method of claim 5,
The evaluation module, based on the results analyzed in the deep learning module of the natural language analysis, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning An English speaking assessment system that evaluates at least one of communicativeness, answer length, tense matching, sentence type diversity, vocabulary, vocabulary redundancy, problem comprehension, topic solving, sudden response, role performance, and question performance.
사용자 인증을 위한 정보와 문제별 미리 저장된 다른 사용자의 답변 정보를 저장하는 데이터베이스를 더 포함하는 영어 말하기 평가 시스템.The method of claim 1, wherein the English speaking evaluation system,
English speaking evaluation system further comprising a database for storing information for user authentication and answer information of other users pre-stored for each problem.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계;
문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계;
상기 문제별 평가와 상기 종합 평가를 기초로 사용자 등급을 계산하는 단계; 및
사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 포함하는 영어 말하기 평가 방법.Receiving a user answer voice from the user terminal;
Evaluating each problem based on the user's answer voice;
Comprehensive evaluation based on problem attributes and analysis results by problems;
Calculating a user rating based on the problem-specific evaluation and the comprehensive evaluation; And
And providing an evaluation result of the user and the user rating to a user terminal.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
상기 사용자 답변 음성을 분석하는 단계;
상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계; 및
상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 11,
Evaluating each problem based on the voice of the user response,
Analyzing the user answer voice;
Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And
And parsing the generated text through text through a natural language analysis deep learning model.
상기 사용자 답변 음성을 분석하는 단계는,
상기 사용자 답변의 성량, 답변 시간, 길이, 지속성, 및 발음 정확도 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 12,
The step of analyzing the user response voice,
And analyzing at least one of the volume, response time, length, persistence, and pronunciation accuracy of the user answer.
상기 생성된 텍스트를 자연어 분석 딥러닝 모델을 통해 텍스트 구문 분석하는 단계는,
상기 생성된 텍스트의 품사, 문장 구조, 주제, 시제, 및 어휘 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 12,
The step of parsing the generated text through the natural language analysis deep learning model,
And analyzing at least one of parts of speech, sentence structure, subject, tense, and vocabulary of the generated text.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
상기 사용자 답변 음성을 분석하는 단계;
상기 사용자 답변 음성에 인공지능 음성인식 기술을 적용하여 텍스트를 생성하는 단계; 및
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 11,
Evaluating each problem based on the voice of the user response,
Analyzing the user answer voice;
Generating text by applying artificial intelligence speech recognition technology to the user-answered voice; And
And analyzing the characteristics of expression by comparing the generated text with answers of other users stored in advance.
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 표현의 특성을 분석하는 단계는,
상기 생성된 텍스트를 미리 저장된 다른 사용자의 답변과의 비교를 통해 문장 독창성, 표현 정확성, 및 완곡 표현 중 적어도 하나 이상을 분석하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 15,
The step of analyzing the characteristics of the expression by comparing the generated text with the answers of other users stored in advance,
And analyzing at least one of sentence originality, expression accuracy, and euphemism by comparing the generated text with answers of other users stored in advance.
상기 사용자 답변 음성을 기초로 문제별 평가하는 단계는,
상기 사용자 답변 음성을 기초로 상기 문제별로 사용자의 답변 성량, 답변 속도, 답변 지속성, 수식어 상세성, 접속어 다양성, 대응력, 주제 정확성, 표현 정확성, 문장 독창성, 의미 전달성, 답변 길이, 시제 일치, 문장 형식 다양성, 어휘력, 및 어휘 중복도 중 적어도 하나 이상을 평가하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 11,
Evaluating each problem based on the voice of the user response,
Based on the user's response voice, the user's response volume, response speed, response persistence, modifier detail, access word diversity, correspondence, topic accuracy, expression accuracy, sentence originality, meaning transmission, response length, tense match, sentence A method of evaluating English speaking comprising evaluating at least one of formal diversity, vocabulary, and vocabulary overlap.
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는,
상기 문제의 복잡도, Topic 난이도, Speed 난이도, 돌발 여부, 롤플레이 여부, Ask Me 여부, 및 가능 시제 중 적어도 하나 이상을 포함하는 문제 속성과, 상기 문제별 성량 분석, 답변 시간 분석, 길이 분석, 시제 분석, 문장 구조 분석, 품사 분석, 주제 분석, 지속성 분석, 표현 정확성 분석, 완곡 표현 분석, 어휘 분석, 문장 독창성 분석, 및 발음 정확도 분석 중 적어도 하나 이상을 포함하는 문제별 분석 결과를 기초로 종합 평가하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 11,
Comprehensive evaluation based on the problem attributes and the analysis results for each problem,
Problem attributes including at least one of the complexity of the problem, Topic difficulty, Speed difficulty, whether there is a breakout, whether to play, whether to ask Me, and possible tenses, and analysis of the amount of each problem, response time analysis, length analysis, and tense Comprehensive evaluation based on analysis results by problem, including at least one of analysis, sentence structure analysis, part-of-speech analysis, subject analysis, persistence analysis, expression accuracy analysis, euphemism expression analysis, vocabulary analysis, sentence originality analysis, and pronunciation accuracy analysis English speaking assessment method comprising the step of.
상기 문제 속성과 문제별 분석 결과를 기초로 종합 평가하는 단계는,
상기 문제 속성과 문제별 분석 결과를 기초로 사용자의 문제 이해력, Topic 해결력, 돌발 대응력, 역할 수행력, 및 질문 수행력 중 적어도 하나 이상을 평가하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 11,
Comprehensive evaluation based on the problem attributes and the analysis results for each problem,
Evaluating at least one of the user's problem understanding, Topic solving ability, sudden response ability, role performance, and question performance based on the problem attribute and the analysis result for each problem.
상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계는,
상기 사용자 단말로 상기 사용자 등급에 해당하는 전체 사용자들의 평균 결과값을 제공하는 단계를 포함하는 영어 말하기 평가 방법.The method of claim 11,
Providing the user's evaluation result and the user rating to the user terminal,
And providing an average result value of all users corresponding to the user grade to the user terminal.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190004615A KR102196917B1 (en) | 2019-01-14 | 2019-01-14 | English speaking evaluation system and method thereof |
PCT/KR2020/000694 WO2020149621A1 (en) | 2019-01-14 | 2020-01-14 | English speaking evaluation system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190004615A KR102196917B1 (en) | 2019-01-14 | 2019-01-14 | English speaking evaluation system and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200088073A true KR20200088073A (en) | 2020-07-22 |
KR102196917B1 KR102196917B1 (en) | 2020-12-30 |
Family
ID=71892974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190004615A KR102196917B1 (en) | 2019-01-14 | 2019-01-14 | English speaking evaluation system and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102196917B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102294735B1 (en) * | 2021-03-26 | 2021-08-27 | (주)에이피아이넥스트 | Method, device and system for providing speaking analysis content using feedback based on artificial intelligence |
KR20220086923A (en) | 2020-12-17 | 2022-06-24 | 최효준 | English pronunciation automatic evaluation system and method |
KR102561276B1 (en) * | 2022-03-15 | 2023-07-28 | 주식회사 찬란 | Method and system for pronunciation correction |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090094576A (en) * | 2008-03-03 | 2009-09-08 | 옥종석 | An apparatus and method for evaluating spoken ability by speech recognition through computer-lead interaction and thereof |
KR20120042298A (en) * | 2010-10-25 | 2012-05-03 | 에스케이텔레콤 주식회사 | Language estimation system and estimating method thereof |
KR101318377B1 (en) * | 2012-09-17 | 2013-10-16 | 비전워크코리아(주) | System for evaluating foreign language speaking through on-line |
KR20130136768A (en) * | 2012-06-05 | 2013-12-13 | 김태윤 | System and method for supplying information for language practice, and language correction processing method |
KR101609473B1 (en) * | 2014-10-14 | 2016-04-05 | 충북대학교 산학협력단 | System and method for automatic fluency evaluation of english speaking tests |
KR101637975B1 (en) | 2011-10-13 | 2016-07-11 | 에스케이텔레콤 주식회사 | Speaking test system, device and method thereof |
KR101826714B1 (en) | 2015-03-16 | 2018-02-07 | 최병선 | Foreign language learning system and foreign language learning method |
-
2019
- 2019-01-14 KR KR1020190004615A patent/KR102196917B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090094576A (en) * | 2008-03-03 | 2009-09-08 | 옥종석 | An apparatus and method for evaluating spoken ability by speech recognition through computer-lead interaction and thereof |
KR20120042298A (en) * | 2010-10-25 | 2012-05-03 | 에스케이텔레콤 주식회사 | Language estimation system and estimating method thereof |
KR101637975B1 (en) | 2011-10-13 | 2016-07-11 | 에스케이텔레콤 주식회사 | Speaking test system, device and method thereof |
KR20130136768A (en) * | 2012-06-05 | 2013-12-13 | 김태윤 | System and method for supplying information for language practice, and language correction processing method |
KR101318377B1 (en) * | 2012-09-17 | 2013-10-16 | 비전워크코리아(주) | System for evaluating foreign language speaking through on-line |
KR101609473B1 (en) * | 2014-10-14 | 2016-04-05 | 충북대학교 산학협력단 | System and method for automatic fluency evaluation of english speaking tests |
KR101826714B1 (en) | 2015-03-16 | 2018-02-07 | 최병선 | Foreign language learning system and foreign language learning method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220086923A (en) | 2020-12-17 | 2022-06-24 | 최효준 | English pronunciation automatic evaluation system and method |
KR102294735B1 (en) * | 2021-03-26 | 2021-08-27 | (주)에이피아이넥스트 | Method, device and system for providing speaking analysis content using feedback based on artificial intelligence |
KR102561276B1 (en) * | 2022-03-15 | 2023-07-28 | 주식회사 찬란 | Method and system for pronunciation correction |
Also Published As
Publication number | Publication date |
---|---|
KR102196917B1 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11688022B2 (en) | Semantic representations using structural ontology for assistant systems | |
US10762892B2 (en) | Rapid deployment of dialogue system | |
US20190130912A1 (en) | Generic virtual personal assistant platform | |
US9582496B2 (en) | Facilitating a meeting using graphical text analysis | |
KR20220083789A (en) | Proactive content creation for assistant systems | |
US11562744B1 (en) | Stylizing text-to-speech (TTS) voice response for assistant systems | |
US10860289B2 (en) | Flexible voice-based information retrieval system for virtual assistant | |
US20220188361A1 (en) | Voice-based Auto-Completions and Auto-Responses for Assistant Systems | |
US11580970B2 (en) | System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection | |
WO2015062284A1 (en) | Natural expression processing method, processing and response method, device, and system | |
KR102196917B1 (en) | English speaking evaluation system and method thereof | |
KR102104294B1 (en) | Sign language video chatbot application stored on computer-readable storage media | |
JP6625772B2 (en) | Search method and electronic device using the same | |
US20220309949A1 (en) | Device and method for providing interactive audience simulation | |
CN114223029A (en) | Server supporting device to perform voice recognition and operation method of server | |
KR102410110B1 (en) | How to provide Korean language learning service | |
WO2020149621A1 (en) | English speaking evaluation system and method | |
CN112837683B (en) | Voice service method and device | |
US20240055003A1 (en) | Automated assistant interaction prediction using fusion of visual and audio input | |
KR102337754B1 (en) | English speaking evaluation method with evaluation function | |
CN117271745A (en) | Information processing method and device, computing equipment and storage medium | |
KR20130052800A (en) | Apparatus for providing speech recognition service, and speech recognition method for improving pronunciation error detection thereof | |
US11809480B1 (en) | Generating dynamic knowledge graph of media contents for assistant systems | |
KR102361102B1 (en) | English speaking evaluation method based on speech waveform | |
KR102220926B1 (en) | English script generation system and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |