KR20190068841A - System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface - Google Patents

System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface Download PDF

Info

Publication number
KR20190068841A
KR20190068841A KR1020170169030A KR20170169030A KR20190068841A KR 20190068841 A KR20190068841 A KR 20190068841A KR 1020170169030 A KR1020170169030 A KR 1020170169030A KR 20170169030 A KR20170169030 A KR 20170169030A KR 20190068841 A KR20190068841 A KR 20190068841A
Authority
KR
South Korea
Prior art keywords
english
pronunciation
learner
data
voice
Prior art date
Application number
KR1020170169030A
Other languages
Korean (ko)
Inventor
윤영훈
Original Assignee
윤영훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤영훈 filed Critical 윤영훈
Priority to KR1020170169030A priority Critical patent/KR20190068841A/en
Publication of KR20190068841A publication Critical patent/KR20190068841A/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals

Abstract

Disclosed is an English pronunciation training and evaluating system using an artificial intelligence voice recognition API. The English pronunciation training and evaluating system includes: a voice recognizing part recognizing a collected voice and generating voice data when a voice is collected from a learner through an artificial intelligence voice recognition API; and a pronunciation evaluating part comparing the generated voice data to pre-stored English pronunciation data through the artificial intelligence voice recognition API, and calculating an English pronunciation evaluation score of the learner in accordance with the result of the comparison. Therefore, the learner can effectively learn pronunciation of a foreign language and, in particular, the pronunciation of the learner can be evaluated through comparison with the pronunciation of a native speaker so the learner can learn English alone like a one-to-one private lesson with a native teacher. Moreover, since the pronunciation of the learner can be evaluated through comparison with the pronunciation of a native speaker by level, word or sentence of English content, the learner can easily check and reduce weaknesses, thereby increasing an English learning effect.

Description

인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템{System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface}[0001] The present invention relates to an English pronunciation training and evaluation system using an artificial intelligence speech recognition API,

본 발명은 영어 발음 훈련 및 평가 시스템에 관한 것으로, 더욱 상세하게는 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템에 관한 것이다. The present invention relates to an English pronunciation training and evaluation system, and more particularly, to an English pronunciation training and evaluation system using an AI speech recognition API.

최근 들어, 산업의 전문화와 국제화 추세에 따라 외국어에 대한 중요성이 날로 커지고 있다. 이러한 중요성에 따라 많은 사람이 외국어 학습에 많은 시간을 투자하고 있으며, 이에 발맞추어 다양한 온-오프라인 어학 강좌들이 개설되고 있다.In recent years, the importance of foreign languages has been increasing due to industry specialization and internationalization trends. Due to this importance, many people spend a lot of time learning foreign language, and various on-line language courses are being set up in line with this.

그러나 일반적으로 발음 교정을 위한 외국어 교육 훈련은 외국인 강사와의 1:1 지도 방식에 의해 이루어지고 있고, 이 경우 외국어 학습에 상당한 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.However, in general, foreign language education and training for pronunciation correction is performed by 1: 1 guidance method with foreign instructor. In this case, there is a problem that foreign language learning takes a considerable expense, and because education is performed at a predetermined time, There is a problem that the participation in the learning is extremely limited to those who are engaged in busy daily life such as the present invention.

따라서, 유휴 시간에 혼자서도 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가하는 교육 프로그램 등이 필요하게 되었다.Therefore, it is necessary to study the pronunciation and pronunciation of a foreign language effectively in an idle time alone, and to make an education program to compare with the pronunciation of a native speaker.

이러한 요구에 부응하기 위하여 현재 음성 인식을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되는 실정이나, 기존의 어학용 학습기들은 자연어 처리가 원활하지 못하고, 주어진 시나리오에서 벗어난 질의에 효과적으로 대응할 수 없다는 단점이 존재한다. In order to meet such a demand, a language learning machine equipped with various language programs using speech recognition has been developed and supplied. However, existing language learning machines are not able to handle natural language processing smoothly and can not effectively cope with queries that are out of a given scenario Lt; / RTI >

한편, 인공지능은 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학의 한 분야이다. 이러한 인공지능을 구현하기 위한 한 분야로서, 컴퓨터에 데이터들을 제공하여, 학습하게 하는 기계학습(Machine Learning)이 개발되어 왔으며, 최근에는 기계학습의 하나의 기술로 딥 러닝(Deep learning)이 개발되어, 주목을 받고 있다.Artificial intelligence, on the other hand, is a field of computer engineering that studies how computers can do thinking, learning, and self-development that human intelligence can do. As a field for realizing such artificial intelligence, machine learning has been developed in which data is provided to a computer, and recently, deep learning has been developed as a technique of machine learning , Has been attracting attention.

이러한 딥 러닝(Deep learning)은 여러 비선형 변환 기법을 이용해서 학습 데이터에 대한 높은 수준의 추상화를 통해 데이터의 주요 특징들을 추출한 다음, 데이터 군집 및 분류를 수행하는 기계학습의 일종으로 복잡하고 방대한 인간의 언어(자연어)를 이해하고 각 단어들의 상관관계를 분석해서 답을 도출해 내는 능력이 탁월하며, 다양한 시나리오에 적절하게 대응할 수 있다는 장점이 있어, 외국어 학습에 많은 도움을 줄 수 있다.Deep learning is a type of machine learning that extracts key features of data through a high level of abstraction of learning data using various nonlinear transformation techniques and then performs data clustering and classification. The ability to understand the language (natural language) and analyze the correlation of each word is excellent, and it has the advantage of being able to respond appropriately to various scenarios, which can greatly help foreign language learning.

따라서, 인공지능 기술을 활용하여 혼자서도 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가받을 수 있는 방안의 모색이 요구된다. Therefore, it is required to find a way to learn pronunciation and pronunciation of a foreign language effectively by using artificial intelligence technology, and to be able to be compared with the pronunciation of a native speaker.

한국등록특허 제10-1609473호(발명의 명칭: 영어 말하기 시험의 유창성 평가 시스템 및 방법)Korean Patent No. 10-1609473 (Title: Fluency evaluation system and method of English speaking test) 한국등록특허 제10-1637975호(발명의 명칭: 말하기 자동평가 시스템, 그 방법 및 장치)Korean Patent No. 10-1637975 entitled " Automatic Speech Evaluation System, Method & Apparatus "

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 본 발명의 목적은 인공지능 음성인식 API를 활용하여 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가받을 수 있는 영어 발음 훈련 및 평가 시스템을 제공함에 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a method and apparatus for effectively learning pronunciation and pronunciation of a foreign language using artificial intelligent speech recognition API, Evaluation system.

상기와 같은 문제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템은 인공지능 음성인식 API를 활용하여 학습자의 음성이 수집되면, 상기 수집된 음성을 인식하여 음성 데이터를 생성하는 음성 인식부; 및 상기 인공지능 음성인식 API를 활용하여 상기 생성된 음성 데이터와 기저장된 영어 발음 데이터를 비교하고, 비교된 결과에 따라 상기 학습자의 영어 발음 평가 점수를 산출하는 발음 평가부;를 포함한다. In order to solve the above problems, the English pronunciation training and evaluation system using the AI speech recognition API according to an embodiment of the present invention, when the learner's voice is collected using the AI speech recognition API, A speech recognition unit for recognizing speech data and generating speech data; And a pronunciation evaluation unit that compares the generated speech data with previously stored English pronunciation data using the AI speech recognition API and calculates an English pronunciation evaluation score of the learner according to the comparison result.

또한, 여기서 상기 발음 평가부는, 상기 생성된 음성 데이터를 기반으로 텍스트 데이터를 생성하고, 상기 음성 데이터와 상기 텍스트 데이터를 문장 또는 단어별로 분할하여, 상기 분할된 음성 데이터별로 상기 음성 데이터와 기저장된 영어 발음 데이터를 비교하고, 비교된 결과에 따라 상기 학습자의 영어 발음 평가 점수를 산출하여, 상기 산출된 음성 데이터별 영어 발음 평가 점수가 상기 분할된 텍스트 데이터와 함께 출력되도록 할 수 있다. Here, the pronunciation evaluation unit may generate text data based on the generated speech data, divide the speech data and the text data by sentences or words, and classify the speech data and the stored English And the English pronunciation evaluation score of the learner is calculated according to the comparison result, and the calculated English pronunciation evaluation score of the speech data is output together with the divided text data.

그리고 본 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템은 교육하고자 하는 영어 콘텐츠가 출력되도록 하는 출력부; 및 상기 출력된 영어 콘텐츠를 학습자가 소리 내어 읽음으로써, 발생되는 음성을 수집하는 음성 수집부;를 더 포함할 수 있다.The English pronunciation training and evaluation system utilizing the artificial intelligent speech recognition API according to the present embodiment includes an output unit for outputting English content to be edited; And a voice collecting unit for collecting the generated voice by the learner reading out the outputted English content.

또한, 본 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템은 상기 교육하고자 하는 영어 콘텐츠를 생성하고, 학습자의 정보에 따라 서로 다른 난이도의 영어 콘텐츠를 선별하는 영어 콘텐츠 생성부;를 더 포함할 수 있다.The English pronunciation training and evaluation system utilizing the artificial intelligent speech recognition API according to the present embodiment generates an English content to be edited and selects English content of different difficulty according to the information of the learner, ; ≪ / RTI >

그리고 상기 영어 콘텐츠 생성부는, 교육자에 대한 인증절차가 수행되어, 상기 인증절차의 유효성이 검증되면, 상기 영어 콘텐츠의 생성 권한, 등록 권한 및 편집 권한이 제공되도록 할 수 있다. When the validity of the authentication procedure is verified by performing the authentication procedure for the educator, the English content generation unit may provide the generation authority, the registration authority, and the editing authority of the English content.

이에 의해, 효과적으로 외국어에 대한 발음이나 발음 등을 학습할 수 있으며, 특히, 원어민의 발음과 비교 평가받을 수 있어, 혼자서도 원어민 외국어 강사와의 1:1 지도 방식으로 영어 학습을 할 수 있다. 더불어, 학습자의 수준별, 영어 콘텐츠의 단어 또는 문장별로 원어민의 발음과 비교 평가를 받을 수 있어, 학습자가 자신의 취약한 점들을 쉽게 확인하고 개선할 수 있어, 영어 학습 효과를 증대시킬 수 있다. As a result, it is possible to effectively learn the pronunciation and pronunciation of a foreign language. In particular, it can be compared with the pronunciation of a native speaker, and it is possible to learn English in a one-to-one mapping manner with a native speaker of a foreign language alone. In addition, the pronunciation of the native speaker can be compared with the pronunciation of the native speaker by the level of the learner, the word or sentence of the English content, and the learner can easily identify and improve his / her weak points, thereby enhancing the English learning effect.

도 1은 본 발명의 일 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템이 개략적으로 도시된 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템을 통해 산출되는 영어 발음 평가 점수가 출력되는 모습이 도시된 도면이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템을 이용한 방법을 설명하기 위해 도시된 도면이다. FIG. 1 is a diagram schematically illustrating an English pronunciation training and evaluation system using an artificial intelligent speech recognition API according to an embodiment of the present invention.
FIG. 2 is a view showing a result of outputting English pronunciation evaluation scores calculated through an English pronunciation training and evaluation system using an AI speech recognition API according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a method using an English pronunciation training and evaluation system using an AI speech recognition API according to an embodiment of the present invention.

이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위한 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments described below are provided as examples for allowing a person skilled in the art to sufficiently convey the ideas of the present invention. The present invention is not limited to the embodiments described below and may be embodied in other forms.

도 1은 본 발명의 일 실시예에 따른 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템(이하에서는 '영어 발음 훈련 및 평가 시스템'으로 총칭함)이 개략적으로 도시된 도면이며, 도 2는 본 발명의 일 실시예에 따른 영어 발음 훈련 및 평가 시스템을 통해 산출되는 영어 발음 평가 점수가 출력되는 모습이 도시된 도면이다. 1 is a diagram schematically showing an English pronunciation training and evaluation system (hereinafter referred to as an 'English pronunciation training and evaluation system') utilizing an AI speech recognition API according to an embodiment of the present invention, Is a diagram showing an output of English pronunciation evaluation scores calculated through an English pronunciation training and evaluation system according to an embodiment of the present invention.

이하에서는 도 1 내지 도 2를 참조하여 본 실시예에 따른 영어 발음 훈련 및 평가 시스템에 대하여 설명하기로 한다. Hereinafter, an English pronunciation training and evaluation system according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG.

본 실시예에 따른 영어 발음 훈련 및 평가 시스템은, 인공지능 음성인식 API를 활용하여 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가받을 수 있도록 하기 위해 마련된다.The English pronunciation training and evaluation system according to the present embodiment is prepared in order to effectively learn the pronunciation and pronunciation of a foreign language by utilizing the AI speech recognition API and to be able to compare with the pronunciation of the native speaker.

이를 위해, 본 영어 발음 훈련 및 평가 시스템은, 영어 콘텐츠 생성부(100), 음성 수집부(200), 음성 인식부(300), 발음 평가부(400), 저장부(500) 및 출력부(600)로 구성될 수 있다.The English pronunciation training and evaluation system includes an English content generation unit 100, a voice collection unit 200, a voice recognition unit 300, a pronunciation evaluation unit 400, a storage unit 500, and an output unit 600).

영어 콘텐츠 생성부(100)는 교육하고자 하는 영어 콘텐츠를 생성하고, 학습자의 정보에 따라 서로 다른 난이도의 영어 콘텐츠를 선별하기 위해 마련된다. The English content generation unit 100 generates English content to be edited and selects English content having different difficulty levels according to the information of the learner.

구체적으로, 영어 콘텐츠 생성부(100)는 교육자가 교육자 단말을 영어 콘텐츠 생성부(100)가 마련된 서버에 접속하여, 교육자에 대한 인증절차를 수행하여, 인증절차의 유효성이 검증된 경우에 한하여, 영어 콘텐츠의 생성 권한, 등록 권한 및 편집 권한이 제공되도록 하고, 교육자는 이러한 권한들을 바탕으로, 영어 원문으로 작성된 시나리오가 포함된 영어 콘텐츠를 생성 및 등록하거나, 등록된 영어 콘텐츠를 편집할 수 있다.Specifically, the English-language content generation unit 100 connects the educator terminal to the server provided with the English-language content generation unit 100 to perform the authentication procedure for the educator, and only when the validity of the authentication procedure is verified, Registration authority, and editing authority, and the educator can generate and register the English content including the scenarios written in the original English language or edit the registered English content on the basis of these rights.

또한, 영어 콘텐츠 생성부(100)는, 생성되거나 편집된 영어 콘텐츠가 등록되는 과정에서 등록하고자 하는 영어 콘텐츠의 학습 난이도에 대한 정보가 포함되도록 하고, 학습자가 영어 콘텐츠를 요청하는 경우, 학습 난이도에 따라 제공하고자 하는 영어 콘텐츠를 선별하여 제공할 수 있다. In addition, the English content generation unit 100 may include information on the learning difficulty of the English content to be registered in the process of registering the created or edited English content, It is possible to selectively provide the English content to be provided.

음성 수집부(200)는 영어 콘텐츠 생성부(100)에 의해 선별된 영어 콘텐츠가 출력부(600)에 출력되는 경우, 학습자가 출력된 영어 콘텐츠를 소리 내어 읽음으로써, 발생되는 학습자의 음성을 수집하기 위해 마련된다. 여기서, 음성 수집부(200)는 마이크와 같은 입력도구로 구현될 수 있다.When the English content selected by the English content generation unit 100 is outputted to the output unit 600, the voice collection unit 200 reads out the generated English content by learner, . Here, the voice collection unit 200 may be implemented as an input tool such as a microphone.

음성 인식부(300)는, 인공지능 음성인식 API를 활용하여 수집된 음성을 인식하여 음성 데이터를 생성하기 위해 마련된다. 본 음성 인식부(300)는 IBM 사의 왓슨(Watson) 이라는 인공지능 슈퍼컴퓨터가 제공하는 인공지능 음성인식 API를 활용하여 수집된 음성을 인식하여 음성 데이터를 생성할 수 있다. The speech recognition unit 300 is provided for recognizing the collected speech using the AI speech recognition API to generate speech data. The speech recognition unit 300 can generate speech data by recognizing the collected speech using an artificial intelligent speech recognition API provided by an artificial intelligence supercomputer called Watson of IBM Corporation.

발음 평가부(400)는 인공지능 음성인식 API를 활용하여 생성된 음성 데이터와 기저장된 영어 발음 데이터를 비교하고, 비교된 결과에 따라 학습자의 영어 발음 평가 점수를 산출할 수 있다.The pronunciation evaluation unit 400 compares the speech data generated using the AI speech recognition API with the previously stored English pronunciation data, and calculates the English pronunciation evaluation score of the learner according to the comparison result.

구체적으로 발음 평가부(400)는, 생성된 음성 데이터를 기반으로 텍스트 데이터를 생성하고, 음성 데이터와 텍스트 데이터를 문장 또는 단어별로 분할하여, 분할된 음성 데이터별로 음성 데이터와 기저장된 원어민의 영어 발음 데이터를 비교하고, 비교된 결과에 따라 학습자의 영어 발음 평가 점수를 산출하여, 산출된 음성 데이터별 영어 발음 평가 점수가 분할된 텍스트 데이터와 함께 출력되도록 할 수 있다.Specifically, the pronunciation evaluation unit 400 generates text data based on the generated speech data, divides the speech data and the text data by sentences or words, and outputs the speech data and the English pronunciation of the pre-stored native speech And the English pronunciation evaluation score of the learner is calculated according to the comparison result so that the English pronunciation evaluation score of the calculated speech data is output together with the divided text data.

여기서, 영어 발음 평가 점수는 기저장된 원어민의 영어 발음 데이터와 비교하여 동일, 유사 정도를 백분율로 산출한 점수를 의미하며, 발음 평가부(400)는 내부에 마련된 STT(speech to text) API(application programming interface)를 통해 음성 데이터를 기반으로 텍스트 데이터를 생성할 수 있다. Here, the English pronunciation evaluation score means a score obtained by calculating the same and similar degree as a percentage by comparing with the English pronunciation data of pre-stored native speakers. The pronunciation evaluation unit 400 uses an STT (speech to text) API programming interface to generate text data based on voice data.

저장부(500)는 원어민의 영어 발음 데이터와 영어 콘텐츠를 저장하기 위해 마련된단. 구체적으로 저장부(500)는, 원어민의 영어 발음 데이터와 영어 콘텐츠가 저장되며, 추가적으로 학습자 및 교육자에 대한 아이디, 패스워드 및 각종 학습자의 학습 기록 및 교육자 개개인이 생성하거나 편집한 영어 콘텐츠에 대한 정보까지 저장될 수 있다. 특히, 저장부(500)는 특정 학습자의 영어 발음 평가 점수가 저장되어, 학습자 또는 학습자의 보호자로 하여금 쉽고 편리하게 기존 특정 학습자의 영어 발음 점수를 일별, 주별, 월별로 파악하도록 할 수 있다.The storage unit 500 is provided to store the English pronunciation data and the English contents of the native speaker. Specifically, the storage unit 500 stores the English pronunciation data and the English contents of the native speaker. Further, the storage unit 500 stores information such as an ID, a password for the learner and the educator, learning records of various learners, and information on English contents created or edited by individual educators Lt; / RTI > In particular, the storage unit 500 stores an English pronunciation evaluation score of a specific learner, so that the learner or the guardian of the learner can easily and conveniently grasp the English pronunciation score of a specific learner by day, week, and month.

출력부(600)는 영어 콘텐츠가 출력되거나 또는 산출된 음성 데이터별 영어 발음 평가 점수가 분할된 텍스트 데이터와 함께 출력되도록 하기 위해 마련된다. The output unit 600 is provided for outputting English content or for outputting the English pronunciation evaluation scores for the calculated speech data together with the divided text data.

구체적으로 출력부(600)는, 디스플레이 장치로 구현되어, 영어 콘텐츠가 출력되기 위한 영어 콘텐츠 출력 영역(610)과 영어 발음 평가 점수가 출력되기 위한 영어 발음 평가 점수 출력 영역(620)이 포함될 수 있다.Specifically, the output unit 600 may include an English content output area 610 for outputting English content and an English pronunciation evaluation score output area 620 for outputting an English pronunciation evaluation score, .

특히, 영어 발음 평가 점수 출력 영역(620)은 전체 평가 점수 출력 영역(621)과 단어 또는 문장별 평가 대상이 출력되는 타임 라인이 표시되기 위한 타임 라인 출력 영역(622), 그리고 단어 또는 문장별 평가 점수를 출력하기 위한 개별 평가 점수 출력 영역(623)으로 구성되어, 학습자의 전체 평가 점수와 단어 또는 문장별로 개별적인 평가 점수를 함께 확인할 수 있도록 해준다. In particular, the English pronunciation evaluation score output area 620 includes a total evaluation score output area 621, a timeline output area 622 for displaying a time line for outputting an evaluation target for each word or sentence, and a word or sentence evaluation And an individual evaluation score output area 623 for outputting a score, so that the learner's overall evaluation score and the individual evaluation score for each word or sentence can be confirmed together.

이에 의해, 학습자의 수준별, 영어 콘텐츠의 단어 또는 문장별로 원어민의 발음과 비교 평가를 받을 수 있어, 학습자가 자신의 취약한 점들을 쉽게 확인하고 개선할 수 있어, 영어 학습 효과를 증대시킬 수 있다. As a result, it is possible to receive comparison and evaluation of pronunciation of a native speaker by the level of the learner, words or phrases of the English contents, and the learner can easily identify and improve his / her weak points, thereby improving the English learning effect.

도 3은 본 발명의 일 실시예에 따른 영어 발음 훈련 및 평가 시스템을 이용한 방법을 설명하기 위해 도시된 도면이다. 3 is a view illustrating a method using an English pronunciation training and evaluation system according to an embodiment of the present invention.

우선, 학습자가 요청하는 학습 난이도에 따라 영어 콘텐츠 생성부(100)에 의해 선별된 영어 콘텐츠가 출력부(600)에 의해 출력되면(S310), 학습자는 출력된 영어 콘텐츠를 소리 내어 읽음으로써, 음성 수집부(200)에 의해, 음성이 수집되도록 할 수 있다(S320).First, when the English content selected by the English content generation unit 100 is output by the output unit 600 according to the learning difficulty requested by the learner (S310), the learner reads out the outputted English content by voice, The collection unit 200 may collect the voice (S320).

음성이 수집되면, 음성 인식부(300)는 인공지능 음성인식 API를 활용하여 수집된 음성을 인식하여 음성 데이터를 생성할 수 있으며(S330), 발음 평가부(400)는 인공지능 음성인식 API를 활용하여 생성된 음성 데이터를 기반으로 텍스트 데이터를 생성할 수 있다(S340).When the speech is collected, the speech recognition unit 300 can recognize the collected speech using the AI speech recognition API to generate the speech data (S330), and the pronunciation evaluation unit 400 receives the AI speech recognition API The text data may be generated based on the voice data generated by utilizing (S340).

또한, 발음 평가부(400)는, 음성 데이터와 텍스트 데이터를 문장 또는 단어별로 분할하여(S350), 분할된 음성 데이터별로 음성 데이터와 기저장된 원어민의 영어 발음 데이터를 비교하고, 비교된 결과에 따라 학습자의 영어 발음 평가 점수를 산출할 수 있다(S360). In addition, the pronunciation evaluation unit 400 divides the speech data and the text data by sentences or words (S350), compares the speech data and the English pronunciation data of the pre-stored native speakers by the divided speech data, The English pronunciation evaluation score of the learner can be calculated (S360).

이때, 산출된 음성 데이터별 영어 발음 평가 점수는 출력부(600)에 의해, 분할된 텍스트 데이터와 함께 출력되도록 할 수 있다.At this time, the English pronunciation evaluation score for each calculated speech data can be output by the output unit 600 together with the divided text data.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.

100 : 영어 콘텐츠 생성부
200 : 음성 수집부
300 : 음성 인식부
400 : 발음 평가부
500 : 저장부
600 : 출력부
610 : 영어 콘텐츠 출력 영역
620 : 영어 발음 평가 점수 출력 영역
621 : 전체 평가 점수 출력 영역
622 : 타임 라인 출력 영역
623 : 개별 평가 점수 출력 영역100: English content creation unit
200: voice collecting unit
300: voice recognition unit
400: pronunciation evaluation unit
500:
600: Output section
610: English content output area
620: English pronunciation score output area
621: Overall Score Output Area
622: Timeline output area
623: Individual evaluation score output area

Claims (5)

인공지능 음성인식 API를 활용하여 학습자의 음성이 수집되면, 상기 수집된 음성을 인식하여 음성 데이터를 생성하는 음성 인식부; 및
상기 인공지능 음성인식 API를 활용하여 상기 생성된 음성 데이터와 기저장된 영어 발음 데이터를 비교하고, 비교된 결과에 따라 상기 학습자의 영어 발음 평가 점수를 산출하는 발음 평가부;를 포함하는 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템.A speech recognition unit for recognizing the collected speech and generating speech data by using the artificial intelligence speech recognition API; And
And a pronunciation evaluation unit that compares the generated speech data with previously stored English pronunciation data using the AI speech recognition API and calculates an English pronunciation evaluation score of the learner based on the comparison result, English pronunciation training and evaluation system using API. 제1항에 있어서,
상기 발음 평가부는,
상기 생성된 음성 데이터를 기반으로 텍스트 데이터를 생성하고, 상기 음성 데이터와 상기 텍스트 데이터를 문장 또는 단어별로 분할하여, 상기 분할된 음성 데이터별로 상기 음성 데이터와 기저장된 영어 발음 데이터를 비교하고,
비교된 결과에 따라 상기 학습자의 영어 발음 평가 점수를 산출하여, 상기 산출된 음성 데이터별 영어 발음 평가 점수가 상기 분할된 텍스트 데이터와 함께 출력되도록 하는 것을 특징으로 하는 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템.The method according to claim 1,
The pronunciation evaluation unit
Generating text data based on the generated voice data, dividing the voice data and the text data by sentences or words, comparing the voice data with previously stored English pronunciation data for each of the divided voice data,
And the English pronunciation evaluation score of the learner is calculated according to the comparison result so that the calculated English pronunciation evaluation score of the speech data is output together with the divided text data. Pronunciation training and evaluation system. 제2항에 있어서,
교육하고자 하는 영어 콘텐츠가 출력되도록 하는 출력부; 및
상기 출력된 영어 콘텐츠를 학습자가 소리 내어 읽음으로써, 발생되는 음성을 수집하는 음성 수집부;를 더 포함하는 것을 특징으로 하는 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템.3. The method of claim 2,
An output unit for outputting English content to be edited; And
And a voice collecting unit for collecting the generated voice by the learner reading the outputted English contents by voice. [3] The system according to claim 1, 제3항에 있어서,
상기 교육하고자 하는 영어 콘텐츠를 생성하고, 학습자의 정보에 따라 서로 다른 난이도의 영어 콘텐츠를 선별하는 영어 콘텐츠 생성부;를 더 포함하는 것을 특징으로 하는 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템.The method of claim 3,
And an English content generation unit for generating the English content to be edited and selecting English content of different difficulty levels according to the information of the learner. system. 제4항에 있어서,
상기 영어 콘텐츠 생성부는,
교육자에 대한 인증절차가 수행되어, 상기 인증절차의 유효성이 검증되면, 상기 영어 콘텐츠의 생성 권한, 등록 권한 및 편집 권한이 제공되도록 하는 것을 특징으로 하는 인공지능 음성인식 API를 활용한 영어 발음 훈련 및 평가 시스템.5. The method of claim 4,
Wherein the English-
And an authoring right for the educator is performed, and if the validity of the authentication procedure is verified, the right to create, the right to register and the right to edit the English content are provided. Evaluation system.
KR1020170169030A 2017-12-11 2017-12-11 System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface KR20190068841A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170169030A KR20190068841A (en) 2017-12-11 2017-12-11 System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170169030A KR20190068841A (en) 2017-12-11 2017-12-11 System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface

Publications (1)

Publication Number Publication Date
KR20190068841A true KR20190068841A (en) 2019-06-19

Family

ID=67104183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169030A KR20190068841A (en) 2017-12-11 2017-12-11 System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface

Country Status (1)

Country Link
KR (1) KR20190068841A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421587A (en) * 2021-06-02 2021-09-21 网易有道信息技术（北京）有限公司 Voice evaluation method and device, computing equipment and storage medium
KR102585031B1 (en) * 2022-11-25 2023-10-06 주식회사 에듀템 Real-time foreign language pronunciation evaluation system and method
KR102621451B1 (en) 2023-02-01 2024-01-04 박상은 Method, apparatus and system for providing user-customized voice training service

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101609473B1 (en) 2014-10-14 2016-04-05 충북대학교 산학협력단 System and method for automatic fluency evaluation of english speaking tests
KR101637975B1 (en) 2011-10-13 2016-07-11 에스케이텔레콤 주식회사 Speaking test system, device and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637975B1 (en) 2011-10-13 2016-07-11 에스케이텔레콤 주식회사 Speaking test system, device and method thereof
KR101609473B1 (en) 2014-10-14 2016-04-05 충북대학교 산학협력단 System and method for automatic fluency evaluation of english speaking tests

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421587A (en) * 2021-06-02 2021-09-21 网易有道信息技术（北京）有限公司 Voice evaluation method and device, computing equipment and storage medium
CN113421587B (en) * 2021-06-02 2023-10-13 网易有道信息技术（北京）有限公司 Voice evaluation method, device, computing equipment and storage medium
KR102585031B1 (en) * 2022-11-25 2023-10-06 주식회사 에듀템 Real-time foreign language pronunciation evaluation system and method
KR102621451B1 (en) 2023-02-01 2024-01-04 박상은 Method, apparatus and system for providing user-customized voice training service

Similar Documents

Publication Publication Date Title
Lesaux Reading and reading instruction for children from low-income and non-English-speaking households
US9443513B2 (en) System and method for automated detection of plagiarized spoken responses
BR122017002789B1 (en) systems and methods for language learning
US20090087822A1 (en) Computer-based language training work plan creation with specialized english materials
KR20190080314A (en) Method and apparatus for providing segmented internet based lecture contents
KR20190068841A (en) System for training and evaluation of english pronunciation using artificial intelligence speech recognition application programming interface
Thomas et al. Automatic prediction of presentation style and student engagement from videos
Yang et al. Machine learning approaches to improving pronunciation error detection on an imbalanced corpus
Zhang Multi-sensory research of singing visualization in pre-school music education
Skalban et al. Automatic question generation in multimedia-based learning
Zhu Application of AI identification technology in foreign language education
Ng et al. An adaptive mobile learning application for beginners to learn fundamental japanese language
Widyana et al. The application of text-to-speech technology in language learning
KR20190113218A (en) Foreign language learning method and system using user's native language pattern analysis
Junining et al. Automatic speech recognition in computer-assisted language learning for individual learning in speaking
KR102395702B1 (en) Method for providing english education service using step-by-step expanding sentence structure unit
Mehta et al. Automatic translate real-time voice to sign language conversion for deaf and dumb people
Al-Barhamtoshy et al. Mobile technology for illiterate education
Tschichold et al. Intelligent CALL and written language
Lee et al. POSTECH approaches for dialog-based english conversation tutoring
Che et al. Sentence-Level Automatic Lecture Highlighting Based on Acoustic Analysis
Filighera et al. Towards A Vocalization Feedback Pipeline for Language Learners
CN114005079B (en) Multimedia stream processing method and device
Suriyasat et al. A Comparison of Machine Learning and Neural Network Algorithms for an Automated Thai Essay Scoring
Suwastini et al. YOUTUBE AS INSTRUCTIONAL MEDIA IN PROMOTING EFL INDONESIAN STUDENTS’PRONUNCIATION

Legal Events

Date Code Title Description
E601 Decision to refuse application