KR20140025619A - Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology - Google Patents

Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology Download PDF

Info

Publication number
KR20140025619A
KR20140025619A KR1020120086705A KR20120086705A KR20140025619A KR 20140025619 A KR20140025619 A KR 20140025619A KR 1020120086705 A KR1020120086705 A KR 1020120086705A KR 20120086705 A KR20120086705 A KR 20120086705A KR 20140025619 A KR20140025619 A KR 20140025619A
Authority
KR
South Korea
Prior art keywords
user terminal
test
sentence
transmitted
interpretation
Prior art date
Application number
KR1020120086705A
Other languages
Korean (ko)
Other versions
KR101438088B1 (en
Inventor
전은경
김종기
문미정
원철희
윤성희
김경숙
이진영
권요성
윤산정
Original Assignee
(주)아이티씨교육
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이티씨교육 filed Critical (주)아이티씨교육
Priority to KR1020120086705A priority Critical patent/KR101438088B1/en
Publication of KR20140025619A publication Critical patent/KR20140025619A/en
Application granted granted Critical
Publication of KR101438088B1 publication Critical patent/KR101438088B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines

Abstract

The present invention relates to a method for providing a foreign language study service. According to the method for providing the foreign language study service through second feedback of an interpretation test and a writing test using voice recognition and character conversion technology suggested in the present invention, a service providing server for providing the foreign language study service supplies the second feedback of the interpretation test and the writing test by including a study content interpretation step (interpretation test) and a study content character correction step (writing test). Thereby, interpretation performance and writing performance are improved by intuitively checking errors in a fast interpretation process and correcting the errors by a writing process. [Reference numerals] (AA) Start; (BB) Study content interpretation step(interpretation test); (CC) Study content letter correction step(writing test); (DD) Study completion step; (EE) End; (S100) Step for transmitting one or more characters composed of a mother tongue using voice to a user terminal, interpreting the characters transmitted from the user terminal as a target learning language, recording, and receiving the phonated user voice by using a voice recognition engine; (S200) Step for scoring the user voice transmitted in the S100 and transmitting to the user terminal; (S300) Step for transmitting letter conversion characters in which the user voice transmitted in the S100 is converted into the letters to the user terminal; (S400) Step for receiving a revised character in which the letter conversion characters transmitted from the user terminal to the S300 are revised; (S500) Step for scoring the revised character transmitted in the S400 and transmitting to the user terminal; (S600) Step for transmitting example characters in which the characters transmitted in the S100 are interpreted as the target learning languages to the user terminal

Description

음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법{METHOD FOR PROVIDING LEARNING FOREIGN LANGUAGE SERVICE BASED ON INTERPRETATION TEST AND WRITING TEST USING SPEECH RECOGNITION AND SPEECH TO TEXT TECHNOLOGY}TECHNICAL FIELD [0001] The present invention relates to a method for providing a foreign language learning service through a second feedback of an interpretation test and a writing test using speech recognition and character conversion techniques,

본 발명은 외국어 학습 서비스 제공 방법에 관한 것으로서, 보다 구체적으로는 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에 관한 것이다.The present invention relates to a method for providing a foreign language learning service, and more particularly, to a method for providing a foreign language learning service through an interpreting test using speech recognition and text conversion techniques and a secondary feedback using a writing test.

미국 애플사의 전 CEO인 스티브 잡스는 프레젠테이션의 귀재라 불리며, 단순하지만 힘 있는 메시지로 세계인을 매료시켜왔다. 국내에서는 평창 동계올림픽 유치 과정에서 결정적 역할을 한 유치위원들의 프레젠테이션이 큰 화제가 된 바 있다. 프레젠테이션은 청중에게 자신의 메시지를 논리적으로 전달하여 동조와 설득을 이끌어 내는 과정으로, 글로벌 인재에게 있어 영어 능력 못지않게 반드시 갖춰야한 핵심 능력이라 할 수 있다. 훌륭한 프레젠터가 되기 위해서는 효과적으로 자신의 주장을 펼쳐나갈 수 있는 논리력과 다양한 시사 이슈 및 관점, 그리고 상식 등에 있어서의 해박한 정보력이 요구된다. 이러한 능력들은 외국어 능력과 같이 꾸준한 관심과 연습을 통해 준비해나가야 하는 역량이기도 하다. 국제적으로 다양한 현장에서 활약하는 글로벌 인재에게 있어 자신이 맡은 프로젝트에 대한 소개 또는 자신의 주장을 피력하게 되는 프레젠테이션의 기회는 빈번하게 발생하게 될 수 있으며, 훌륭하게 프레젠테이션을 할 수 있는 능력을 미리 키워나간다면, 자신의 능력을 더욱 돋보이게 하는 기회가 될 것이다. 하지만 치열한 입시 경쟁 속에서 시험 준비의 도구가 되어버린 국내의 교육 환경은 이러한 요구를 전혀 반영하지 못하고 있다. 최근 외국어 프레젠테이션의 중요성이 인식되기 시작하면서 학원 등에서 고가의 비용을 요구하는 외국어 프레젠테이션 강의가 개설되고는 있으나, 외국어 능력을 기본으로 하는 근본적인 학습방법의 개발은 아직 활성화되고 있지 못한 실정이다.
Steve Jobs, former CEO of Apple Inc. in the United States, is known as the prime minister of presentations and has fascinated the world with a simple yet powerful message. In Korea, the presentation of the PyeongChang Winter Olympic Games has been a big topic for discussion. Presentations are a process of communicating and communicating their message to the audience, which is a core competence for global talents as well as English ability. In order to be a good presenting person, it is required to have a logical power to effectively spread his or her arguments, a rich information ability in various current affairs and viewpoints, and common sense. These abilities are the ability to prepare through constant attention and practice as well as foreign language skills. For global talent who are active in various international fields, opportunities for presenting their own projects or presenting their opinions can occur frequently, and if you advance your ability to present a presentation well, It will be an opportunity to enhance your ability. However, the domestic educational environment, which has become a tool for exam preparation in the fierce competition for entrance examinations, does not reflect these needs at all. Recently, as the importance of foreign language presentations has been recognized, foreign language presentation lectures have been opened in schools and other institutions that require high costs. However, the development of fundamental learning methods based on foreign language ability has not yet been activated.

한편, 인터넷을 비롯한 정보통신기술의 발달로, 온라인 기반의 다양한 학습 방법 및 프로그램들이 다양하게 등장하고 있으며, 특히 외국어 학습에 있어서, 온라인 기반 학습은 비교적 저렴한 비용으로 학습자의 수준에 맞추어 교육받을 수 있어 매우 각광받고 있다. 그러나 현재의 온라인 기반 학습에서 외국어 프레젠테이션 학습콘텐츠의 개발은 미흡할 뿐만 아니라, 외국어 프레젠테이션의 기본인 외국어 작문학습이나, 통역학습 방법에 있어서도 단순히 음성 또는 문자로 전송하고 전송받아 총괄적인 정확도를 도출하는 정도에 그치고 있다.
On the other hand, a variety of learning methods and programs based on the Internet are emerging due to the development of the information and communication technology including the Internet, and in particular, in the foreign language learning, the online-based learning can be taught to the level of the learner at a relatively low cost It is very popular. However, development of foreign language presentation learning contents is not enough in current online based learning. Also, it is difficult to develop a foreign language writing learning method, which is the basis of foreign language presentation, .

이에 본 발명자들은, 외국어 프레젠테이션에 대한 기초 학습으로써, 온라인에 기반하고, 음성인식 및 문자전환 기술을 이용하여 효율적인 학습효과를 나타내는 ‘외국어 학습 서비스 제공 방법’을 개발하고자 하였다. 또한 본 발명자들은, 외국어 표현에 대한 습득은 물론, 외국어 작문이나 통역 역량을 키우는 근본적인 학습방법의 개발로, 프레젠테이션뿐만 아니라 다양한 외국어 학습 방법으로도 이용이 가능하도록 개발하였다.Accordingly, the present inventors have developed a method of providing a foreign language learning service, which is an on-line based learning based on a foreign language presentation and exhibits an efficient learning effect by using speech recognition and character conversion technology. The inventors of the present invention have developed not only a foreign language expression but also a fundamental learning method for developing foreign language writing and interpreting ability, so that they can be used not only for presentations but also for various foreign language learning methods.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 외국어 학습 서비스를 제공하는 서비스 제공 서버가, 학습콘텐츠 통역 단계(통역 테스트)와 학습콘텐츠 문자 수정 단계(쓰기 테스트)를 포함하여 통역 테스트와 쓰기 테스트의 2차 피드백을 제공함으로써, 빠른 통역과정에서 일어난 오류들을 직관적으로 확인하고 쓰기를 통하여 수정하면서 통역 능력과 쓰기 능력을 동시에 향상시킬 수 있는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법을 제공하는 것을 그 목적으로 한다.
A service providing server providing a foreign language learning service includes a learning content interpretation step (interpretation test) and a learning content character correction step (writing test) To provide second feedback of interpretation test and writing test, including intuitive confirmation of errors occurred during the fast interpretation process, and to improve the interpreting ability and writing ability simultaneously while correcting through writing. And a method for providing a foreign language learning service through secondary feedback of a writing test.

또한, 본 발명은, 서비스 제공 서버가, 학습 문장을 프레젠테이션에 사용되는 문장들로 구성하고, 프레젠테이션에 사용되는 이미지를 제공함으로써, 서론, 본론, 결론으로 구성되는 다양한 유형의 프레젠테이션 콘텐츠와 그에 따른 그래프나 이미지 등의 프레젠테이션 화면의 구성형식과 방법, 표현 패턴 등에 자연스럽게 익숙해지도록 하고, 자신의 프레젠테이션과 모범프레젠테이션을 비교 학습할 수 있도록 구성함으로써, 청중에게 자신의 논리를 전달하고 설득하는 데 있어 효과적인 프레젠테이션 발성법을 익히며, 자신의 프레젠테이션에 대해 스스로 객관적인 평가를 하면서 개선해나가도록 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법을 제공하는 것을 다른 목적으로 한다.
In addition, the present invention provides a service providing server, in which a learning sentence is composed of sentences used in a presentation, and an image used in the presentation is provided, whereby various types of presentation contents composed of an introduction, And images, etc., by constructing the presentation format and method and expression pattern of the presentation screen so that they can be familiarized with the presentation of their own presentation and the best presentation, To provide a method of providing a foreign language learning service through the second feedback of the interpretation test and the writing test using the speech recognition and character conversion technology, which allows the user to evaluate the present invention by self- do.

뿐만 아니라, 본 발명은, 특정 이슈에 대한 프레젠테이션에 사용되는 이미지, 단어, 구절 및 문장을 포함하는 프레젠테이션 학습콘텐츠를 제공함으로써, 사용자로 하여금 시사, 상식과 관련된 다양한 관점과 정보, 의학이나 물리 등과 같은 전문 영역들에 사용되는 전문 용어 및 지식을 습득할 수 있게 하고, 하나의 이슈에 대한 다양한 관점을 이해하면서 넓고 깊이 있는 사고가 가능하도록 하여 자신의 논리와 철학을 정립해나갈 수 있도록 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides a presentation learning content including an image, a word, a phrase and a sentence used in a presentation on a specific issue, thereby providing a user with various views and information related to current affairs, common sense, This course is designed to enable students to acquire the jargon and knowledge used in specialized areas, to understand various viewpoints on one issue, Another object of the present invention is to provide a method for providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using a character switching technique.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법은, 외국어 학습 서비스를 제공하는 서비스 제공 서버가,According to another aspect of the present invention, there is provided a method for providing a foreign language learning service through an interpreter test using a speech recognition and character switching technique and a secondary feedback using a writing test,

(1) 모국어로 구성된 하나 또는 복수의 문장을 음성으로 사용자 단말기에 전송하고, 상기 사용자 단말기로부터 상기 전송된 문장을 학습대상언어로 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 녹음 및 전송받는 단계;(1) One or a plurality of sentences constituted in the mother tongue are transmitted to the user terminal by voice, and the transmitted sentence is interpreted into the learning target language from the user terminal to record and transmit the user voice uttered using the speech recognition engine step;

(2) 상기 단계 (1)에서 전송받은 사용자 음성에 대하여 점수를 책정하여 상기 사용자 단말기에 전송하는 단계;(2) scoring a score for the user voice transmitted in the step (1) and transmitting the score to the user terminal;

(3) 상기 단계 (1)에서 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 상기 사용자 단말기에 전송하는 단계;(3) transmitting to the user terminal a character change sentence in which the user voice transmitted in step (1) is converted into a character;

(4) 상기 사용자 단말기로부터 상기 단계 (3)에서 전송된 문자전환문장을 수정한 수정문장을 전송받는 단계;(4) receiving a modified sentence in which the character change sentence sent in step (3) is modified from the user terminal;

(5) 상기 단계 (4)에서 전송받은 수정문장에 대하여 점수를 책정하여 상기 사용자 단말기에 전송하는 단계; 및(5) calculating a score for the modified sentence received in the step (4) and transmitting the score to the user terminal; And

(6) 상기 단계 (1)에서 전송된 문장을 학습대상언어로 통역한 모범문장을 상기 사용자 단말기에 전송하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(6) transmitting the sentence translated in the step (1) to the user terminal in an exemplary sentence interpreting the sentence in the learning target language.

바람직하게는, 상기 단계 (1)은,Preferably, the step (1)

상기 문장을 하나씩 미리 정해진 시간 간격을 두고 연속적으로 상기 사용자 단말기에 전송하되, 각각의 문장을 전송한 후 미리 정해진 시간 동안에, 상기 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 상기 사용자 단말기로부터 전송받는 것을 특징으로 할 수 있다.
The sentence is transmitted to the user terminal one by one at a predetermined time interval, and during a predetermined time after each sentence is transmitted, the sentence is interpreted into a learning target language corresponding to each transmitted sentence, May be received from the user terminal.

바람직하게는, 상기 단계 (1)은, Preferably, the step (1)

상기 문장을 하나씩 시간 간격을 두지 않고 연속적으로 상기 사용자 단말기에 전송하되, 상기 음성을 전송함과 동시에, 상기 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 상기 사용자 단말기로부터 전송받는 것을 특징으로 할 수 있다.
The sentence is transmitted one by one to the user terminal without a time interval, the speech is transmitted, and at the same time, the user's voice spoken by translating into the learning target language corresponding to each sent sentence is transmitted from the user terminal And receiving the data.

바람직하게는, 상기 단계 (2)에서 점수는,Preferably, the score in step (2)

표현점수와 발음점수로 분리하여 책정되는 것일 수 있다.
It may be set apart by expressive score and pronunciation score.

바람직하게는, 상기 단계 (2) 및 단계 (5)에서, 점수는,Preferably, in steps (2) and (5) above,

상기 문장을 정답구절과 매칭 하여 책정하는 구절별 점수를 먼저 도출하고, 상기 정답구절과 매칭 되지 않는 구절에 대하여는 정답단어와 매칭 하여 책정하는 단어별 점수를 도출하여, 상기 구절별 점수와 상기 단어별 점수를 합산한 점수일 수 있다.
A score for each phrase to be matched with the correct answer phrase is first derived, and for each phrase that does not match the correct answer phrase, a score for each word to be matched with the correct answer word is derived, It may be the total of the scores.

바람직하게는, 상기 단계 (4)에서는,Preferably, in the step (4)

(4-1) 상기 사용자 단말기로부터 모국어 음성 다시 듣기를 선택 입력받은 경우, 상기 사용자 단말기에 상기 단계 (1)에서 전송한 모국어로 구성된 음성을 재전송하는 단계를 더 포함할 수 있다.
(4-1) when the re-listening of the first language voice is selectively input from the user terminal, retransmitting the voice composed of the first language language transmitted in the step (1) to the user terminal.

바람직하게는, 상기 단계 (5) 이후에,Preferably, after step (5),

(5-1) 상기 수정문장에 오류가 있을 경우, 상기 오류를 수정한 재수정문장을 상기 사용자 단말기로부터 전송받는 단계를 더 포함할 수 있다.
(5-1) If there is an error in the corrected sentence, receiving the corrected sentence corrected the error from the user terminal.

바람직하게는,Preferably,

상기 단계 (1)의 문장은, 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장이고,The sentence in the step (1) is a plurality of sentences used in a presentation and composed of mother tongue,

상기 단계 (1)에서는, 상기 모국어로 구성된 복수의 문장을 전송 시, 상기 프레젠테이션에 사용되는 이미지를 함께 전송하는 것일 수 있다.
In the step (1), when transmitting a plurality of sentences composed of the mother language, the image used in the presentation may be transmitted together.

더욱 바람직하게는More preferably,

(0) 상기 프레젠테이션에 사용되는 이미지, 상기 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장, 및 상기 복수의 문장을 구성하는 주요단어 및 구절을 포함하는 프레젠테이션 학습콘텐츠를 전송하는 준비단계를 더 포함할 수 있다.
(0) preparing a presentation learning content including an image used in the presentation, a plurality of sentences used in the presentation and configured in a native language, and a main word and phrases constituting the plurality of sentences .

더욱 바람직하게는More preferably,

(7) 상기 모범문장으로 구성된 모범프레젠테이션 음성을, 해당 이미지와 함께 상기 사용자 단말기에 전송하는 단계를 더 포함할 수 있다.
(7) transmitting the exemplary presentation voice composed of the exemplary sentence to the user terminal together with the corresponding image.

더더욱 바람직하게는, 상기 단계 (7)에서는,Even more preferably, in the step (7)

(7-1) 상기 사용자 단말기로부터 상기 사용자 음성 듣기를 선택 입력받은 경우, 상기 단계 (1)에서 녹음 및 전송받은 사용자 음성을, 해당 이미지와 함께 상기 사용자 단말기에 전송하는 단계를 더 포함할 수 있다.(7-1) transmitting the user voice recorded and transmitted in the step (1) to the user terminal together with the corresponding image when the user's voice is selectively received from the user terminal .

본 발명에서 제안하고 있는 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에 따르면, 외국어 학습 서비스를 제공하는 서비스 제공 서버가, 학습콘텐츠 통역 단계(통역 테스트)와 학습콘텐츠 문자 수정 단계(쓰기 테스트)를 포함하여 통역 테스트와 쓰기 테스트의 2차 피드백을 제공함으로써, 빠른 통역과정에서 일어난 오류들을 직관적으로 확인하고 쓰기를 통하여 수정하면서 통역 능력과 쓰기 능력을 동시에 향상시킬 수 있다.
According to the method for providing the foreign language learning service through the second feedback of the interpretation test and the writing test using the speech recognition and character conversion technology proposed by the present invention, the service providing server for providing the foreign language learning service can be provided at the learning content interpretation step Test) and learning content character correction (writing test), it provides intuitive confirmation of mistakes in the rapid interpretation process, corrects the errors through writing, Can be improved at the same time.

또한, 본 발명에 따르면, 서비스 제공 서버가, 학습 문장을 프레젠테이션에 사용되는 문장들로 구성하고, 프레젠테이션에 사용되는 이미지를 제공함으로써, 서론, 본론, 결론으로 구성되는 다양한 유형의 프레젠테이션 콘텐츠와 그에 따른 그래프나 이미지 등의 프레젠테이션 화면의 구성형식과 방법, 표현 패턴 등에 자연스럽게 익숙해지도록 하고, 자신의 프레젠테이션과 모범프레젠테이션을 비교 학습할 수 있도록 구성함으로써, 청중에게 자신의 논리를 전달하고 설득하는데 있어 효과적인 프레젠테이션 발성법을 익히며, 자신의 프레젠테이션에 대해 스스로 객관적인 평가를 하면서 개선해나가도록 한다.
Further, according to the present invention, the service providing server can construct various types of presentation contents composed of an introduction, a main body, and a conclusion by constituting a learning sentence with sentences used in a presentation and providing an image used in the presentation, This course is designed to allow students to familiarize themselves with the format, method and expression pattern of presentation screens such as graphs and images, and to compare their own presentations with the best presentations. And make an objective assessment of your own presentation and make improvements.

뿐만 아니라, 본 발명에 따르면, 특정 이슈에 대한 프레젠테이션에 사용되는 이미지, 단어, 구절 및 문장을 포함하는 프레젠테이션 학습콘텐츠를 제공함으로써, 사용자로 하여금 시사, 상식과 관련된 다양한 관점과 정보, 의학이나 물리 등과 같은 전문 영역들에 사용되는 전문 용어 및 지식을 습득할 수 있게 하고, 하나의 이슈에 대한 다양한 관점을 이해하면서 넓고 깊이 있는 사고가 가능하도록 하여 자신의 논리와 철학을 정립해나갈 수 있도록 한다.In addition, according to the present invention, it is possible to provide a presentation learning content including an image, a word, a phrase, and a sentence used in a presentation on a specific issue, thereby providing a user with various views and information related to current affairs, common sense, To enable students to acquire the jargon and knowledge used in the same specialized areas, and to be able to establish their own logic and philosophy by understanding various points of view of a single issue and enabling a wide and deep thinking.

도 1은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법을 구현하기 위한 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법의 흐름을 도시한 도면.
도 3 및 도 4는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법의 흐름을 보다 구체적으로 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠가 개시되는 학습페이지의 화면을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠 통역 단계가 수행되는 학습페이지의 화면을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠 통역 단계 수행에 대한 점수가 전송된 학습페이지의 화면을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠 문자 수정 단계 수행에 대한 점수가 전송된 학습페이지의 화면을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 문자전환문장이 수정(또는 재수정)되는 학습페이지의 화면을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 모범문장이 전송되는 학습페이지의 화면을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 모범프레젠테이션 음성과 사용자 음성의 비교 학습이 수행되는 학습페이지의 화면을 도시한 도면.Brief Description of the Drawings Fig. 1 is a diagram illustrating a system configuration for implementing a method for providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using speech recognition and character switching techniques according to an embodiment of the present invention.
2 is a flowchart illustrating a method for providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention.
FIG. 3 and FIG. 4 illustrate a flow of a method for providing a foreign language learning service through the second feedback of an interpretation test and a writing test using speech recognition and character conversion techniques according to an embodiment of the present invention.
FIG. 5 and FIG. 6 show a screen of a learning page in which a presentation learning content is started in a method of providing a foreign language learning service through an interpreter test using a speech recognition and character switching technique and a secondary feedback of a writing test according to an embodiment of the present invention FIG.
FIG. 7 is a flowchart illustrating a method of providing a foreign language learning service through second feedback of an interpretation test and a writing test using speech recognition and text conversion techniques according to an embodiment of the present invention. A drawing.
8 is a flowchart illustrating a method for providing a foreign language learning service through a second feedback of an interpretation test using a speech recognition and text conversion technique and a learning test using a second learning feedback test according to an embodiment of the present invention. Fig.
9 is a flowchart illustrating a method of providing a foreign language learning service through a second feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention. Fig. 3 is a diagram showing a screen of a page; Fig.
FIG. 10 is a view showing a screen of a learning page in which a character switching sentence is corrected (or re-verified) in a method of providing a foreign language learning service through second feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention Fig.
11 is a view showing a screen of a learning page in which a sentence is sent in a method of providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention.
FIG. 12 is a diagram showing a learning page in which a comparison learning between a good presentation speech and a user speech is performed in a method of providing a foreign language learning service through second feedback of an interpretation test and a writing test using speech recognition and character conversion techniques according to an embodiment of the present invention Fig.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법을 구현하기 위한 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법을 구현하기 위한 시스템은, 서비스 제공 서버(100) 및 사용자 단말기(200)를 포함하여 구성될 수 있다.
1 is a diagram illustrating a system configuration for implementing a method for providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using a speech recognition and character switching technique according to an embodiment of the present invention. 1, a system for implementing a method for providing a foreign language learning service through an interpreter test using a speech recognition and character switching technique and a secondary feedback of a writing test according to an embodiment of the present invention includes a service providing server (100) and a user terminal (200).

서비스 제공 서버(100)는, 본 발명에 따라 제공되는 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스의 학습콘텐츠를 저장 또는 생성할 수 있으며, 모국어로 구성된 문장을 사용자 단말기(200)에 전송하고, 사용자 단말기(200)로부터 사용자 음성을 전송받으며, 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 사용자 단말기(200)에 전송하고, 사용자 단말기(200)로부터 수정문자를 전송받으며, 사용자 음성 및 수정문장에 대하여 점수를 책정하는 등 본 발명에 따라 제공되는 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스의 일련의 과정을 수행할 수 있다. 본 발명에서 학습콘텐츠란, 학습수준에 따른 특정 과정에서 학습대상자에게 학습시키고자 하는, 학습대상언어 및 모국어로 구성된 하나 또는 복수의 문장을 포함하는 것일 수 있다. 실시예에 따라서는, 프레젠테이션에 사용되는 문장 및 이미지 등으로 구성되는 프레젠테이션 학습콘텐츠를 포함할 수 있다. 학습대상언어는 영어일 수 있으나, 이에 한정하는 것은 아니고, 일본어, 중국어 등 다양한 외국어일 수 있다. 이하에서는 학습대상언어가 영어인 경우를 일실시예로 하여 설명하기로 한다.
The service providing server 100 can store or generate the learning contents of the foreign language learning service through the second feedback of the interpretation test and the writing test using the speech recognition and text conversion technology provided in accordance with the present invention, A sentence is transmitted to the user terminal 200, a user's voice is received from the user terminal 200, a character change sentence in which the transmitted user's voice is converted into a character is transmitted to the user terminal 200, A series of foreign language learning services through the second feedback of the interpretation test and the writing test using the speech recognition and text conversion technique provided according to the present invention, such as receiving a corrected character from the user, Process can be performed. In the present invention, the learning contents may include one or a plurality of sentences composed of a language to be studied and a mother tongue to be studied by the learning subject in a specific process according to the learning level. Depending on the embodiment, it may include presentation learning content composed of sentences and images used in the presentation and the like. The learning target language may be English, but it is not limited to this, and may be a variety of foreign languages such as Japanese and Chinese. Hereinafter, a case in which the learning target language is English will be described as an embodiment.

사용자 단말기(200)는, 서비스 제공 서버(100)가 제공하는 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스를 이용하여 외국어 학습을 하고자 하는 사용자의 단말기이다. 사용자는, 사용자 단말기(200)에 서비스 제공 서버(100)가 제공하는 프로그램을 다운받아 설치한 후에, 사용자 단말기(200)를 통하여 사용자 음성을 녹음 및 전송하고, 서비스 제공 서버(100)로부터 학습콘텐츠 또는 점수 등을 전송받는 등의 과정을 통해 본 발명에서 제공하고자 하는 외국어 학습 서비스를 제공받을 수 있다. 서비스 제공 서버(100)와 사용자 단말기(200)는, 인터넷, 인트라넷, 유무선 통신망, 이동통신망 등을 포함하는 네트워크를 통하여 정보를 전송하고 전송받을 수 있다. 본 발명에서 사용자 단말기(200)는, 개인 PC(personal computer)일 수 있으나, 서비스 제공 서버(100)와 네트워킹이 가능하고 녹음 및 영상 실행이 가능한 전자 기기라면 구체적인 단말기의 형태에 관계없이 사용될 수 있다. 단, 음성인식엔진을 이용하여 통역 테스트가 수행되어야 하므로, 도 1에 도시된 헤드 셋과 같이, 마이크 및 스피커(헤드폰 포함)가 구비되어야 하고, 쓰기 테스트가 수행되어야 하므로, 키보드 등과 같은 입력모듈도 구비되어야 한다.
The user terminal 200 is a terminal of a user who wishes to learn a foreign language by using a foreign language learning service through an interpreter test using voice recognition and character switching technology and a secondary feedback of a writing test provided by the service providing server 100 . The user downloads and installs a program provided by the service providing server 100 to the user terminal 200 and then records and transmits the user's voice through the user terminal 200 and acquires the learning contents Or receiving a score or the like, the foreign language learning service to be provided by the present invention can be provided. The service providing server 100 and the user terminal 200 can transmit and receive information through a network including the Internet, an intranet, a wired / wireless communication network, and a mobile communication network. In the present invention, the user terminal 200 may be a personal computer (PC), but it can be used regardless of the form of a specific terminal if it is an electronic device capable of networking with the service providing server 100 and capable of recording and image execution . However, since the interpretation test must be performed using a speech recognition engine, a microphone and a speaker (including a headphone) must be provided as in the headset shown in FIG. 1 and a write test must be performed. .

도 2는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법은, 외국어 학습 서비스를 제공하는 서비스 제공 서버(100)가, 모국어로 구성된 하나 또는 복수의 문장을 음성으로 사용자 단말기(200)에 전송하고, 사용자 단말기(200)로부터 전송된 문장을 학습대상언어로 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 녹음 및 전송받는 단계(S100) 및 단계 S100에서 전송받은 사용자 음성에 대하여 점수를 책정하여 사용자 단말기(200)에 전송하는 단계(S200)를 포함하는 학습콘텐츠 통역단계, 단계 S100에서 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 사용자 단말기(200)에 전송하는 단계(S300), 사용자 단말기(200)로부터 단계 S300에서 전송된 문자전환문장을 수정한 수정문장을 전송받는 단계(S400) 및 단계 S400에서 전송받은 수정문장에 대하여 점수를 책정하여 사용자 단말기(200)에 전송하는 단계(S500)를 포함하는 학습콘텐츠 문자 수정 단계, 및 단계 S100에서 전송된 문장을 학습대상언어로 통역한 모범문장을 사용자 단말기(200)에 전송하는 단계(S600)를 포함하는 학습 완성 단계를 포함하여 구현될 수 있다.
2 is a flowchart illustrating a method for providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using a speech recognition and character switching technique according to an embodiment of the present invention. As shown in FIG. 2, a method for providing a foreign language learning service through an interpreter test using a speech recognition and text conversion technique and a secondary feedback using a writing test according to an embodiment of the present invention includes providing a service for providing a foreign language learning service The server 100 transmits one or a plurality of sentences composed of mother tongue to the user terminal 200 by voice and translates the sentence sent from the user terminal 200 into the learning target language, And a step S200 of transmitting a score to the user terminal 200 by scoring a score of the user voice transmitted in the step S100 and a step S200 of transmitting the score to the user terminal 200. In the learning content interpretation step, A step S300 of transmitting a character change sentence in which the user's voice is converted into a character to the user terminal 200, (S500) of receiving a correction sentence in which the sent character change sentence is corrected (S400), and transmitting a score to the corrected sentence sent in the step S400 and transmitting the corrected sentence to the user terminal (200) And a learning completion step including a step S600 of transmitting a sentence translated into the learning target language to the user terminal 200 in step S100.

본 발명에 따르면, 사용자가 학습콘텐츠를 순차 또는 동시통역하고 그에 대한 1차 피드백을 제공받아 다양한 표현들을 내면화하면서 습득하도록 한다. 또한, 사용자가 통역한 내용을 문자로 전송하여, 빠른 통역과정에서 일어난 오류들을 직관적으로 확인하고 이를 수정하도록 하며, 그에 대한 2차 피드백을 제공하고, 수정되지 않은 문장은 모범문장을 제공하여 학습시킴으로써, 통역(interpretation)과 쓰기(writing)의 능력을 동시에 향상시킬 수 있다.
According to the present invention, a user sequentially or simultaneously interprets learning contents and receives first feedback on the learning contents to acquire various expressions through internalization. In addition, the contents of the interpretation by the user can be transmitted as a letter, intuitively checking errors occurring in the fast interpretation process, correcting the errors, providing the second feedback on the errors, and providing unedited sentences with learning sentences , Interpretation and writing skills at the same time.

단계 S100은, 사용자로 하여금 서비스 제공 서버(100)가 제공하는 모국어 음성을 순차 또는 동시 통역하도록 하고 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 서비스 제공 서버(100)로 전송하도록 하는 단계이다. 음성의 상호 전송 방법은, 문장을 하나씩 미리 정해진 시간 간격을 두고 연속적으로 사용자 단말기(200)에 전송하되, 각각의 문장을 전송한 후 미리 정해진 시간 동안에, 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 사용자 단말기(200)로부터 전송받는 순차 통역 방법이 이용(S110)될 수도 있고, 문장을 하나씩 시간 간격을 두지 않고 연속적으로 사용자 단말기(200)에 전송하되, 음성을 전송함과 동시에, 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 사용자 단말기(200)로부터 전송받는 동시 통역 방법이 이용(S120)될 수도 있다. 순차통역이란 청취한 문장의 의미를 빠르게 분석하고 순간적으로 강한 암기를 하면서 미리 정해진 시간 내에 지체함 없이 외국어로 변환하여 발화하는 것이고, 동시통역이란 청취한 내용을 순간적으로 분석, 암기, 변환하여 발화하면서 바로 연속되는 다음 내용을 청취하는 것으로서 순차통역과정보다 몇 배 이상의 빠른 처리와 집중력을 발휘하지 않으면 수행이 불가능한 극한의 정보처리 과정이 일어난다. 사용자의 수준이나, 학습 진도, 학습 환경 등에 따라 순차 또는 동시 통역 방법이 선택적으로 사용될 수 있다. 단계 S200은, 단계 S100에서 전송받은 사용자 음성에 대하여 점수를 책정하여 피드백을 제공하는 단계로서, 점수는 표현점수와 발음점수로 분리하여 책정될 수 있다.
Step S100 is a step of causing the user to transmit the user's voice uttered by translating and interpreting the mother tongue voice provided by the service providing server 100 sequentially or simultaneously and transmitting the voice to the service providing server 100 using the voice recognition engine . The method for mutual transmission of voice is a method for transmitting a sentence one by one to a user terminal 200 successively at a predetermined time interval and for each predetermined time after transmitting each sentence, A sequential interpretation method may be used (S110) in which the user terminal 200 interprets and transmits the user voice generated from the user terminal 200. Alternatively, the sentence may be continuously transmitted to the user terminal 200 without a time interval, Simultaneously, a simultaneous interpretation method may be used (S120) in which the user's voice is interpreted into the learning target language corresponding to each transmitted sentence and transmitted from the user terminal 200. A sequential interpretation is a quick analysis of the meaning of a listened sentence, and a momentary strong memorization, and conversion into a foreign language without delay within a predetermined period of time. The simultaneous interpretation is instantaneous analysis, memorization, Listening to the following consecutive contents, an extreme information processing process occurs which can not be performed unless the processing and concentration are performed several times faster than the sequential interpretation process. Sequential or simultaneous interpretation methods can be selectively used depending on the user's level, learning progress, learning environment, and the like. Step S200 is a step of setting a score for the user's voice transmitted in step S100 and providing feedback, and the score may be divided into expression score and pronunciation score.

또한, 점수 책정 방법은, 문장을 정답구절과 매칭 하여 책정하는 구절별 점수를 먼저 도출하고, 정답구절과 매칭 되지 않는 구절에 대하여는 정답단어와 매칭 하여 책정하는 단어별 점수를 도출하여, 구절별 점수와 단어별 점수를 합산하는 방법을 채택할 수 있다. 이와 같이 2차적 점수 책정 방법은 단어와 어순이 모두 정확해야만 점수를 부여하는 것이 아니고, 매칭 정도에 따라 점수를 달리 부여하는 방식으로 인하여 플랙서블한 점수 책정이 가능하다. 플랙서블한 점수 책정은, 보다 정밀하고 유연하며, 합리적인 점수를 도출할 수 있다. 본 발명의 단어별 점수에서 ‘단어’란, 언어학적 의미상 하나의 단어만을 의미하는 것이 아니고, 통상적으로 같이 쓰이는 짧은 구도 포함하는 의미로 해석하기로 한다(예: I was, 본 발명의 구절별 점수의 ‘구절’보다는 짧은 구를 의미함.).
The scores are calculated by first deriving scores for phrases that match sentences with correct answer phrases, deriving scores for words that are matched with correct answers for phrases that do not match correct answer phrases, And word-by-word scores can be adopted. In this way, the secondary score calculation method is not limited to the case that both the word and the word order are correct, and a flexible score can be established because the score is given differently according to the degree of matching. Flexible scoring can be more precise, flexible, and affordable. In the word-by-word score of the present invention, 'word' does not mean only one word in the linguistic sense, but is interpreted as meaning including a short phrase commonly used together (for example, I was, Rather than a 'phrase' of score.

점수 책정 방법의 일실시예에 따르면, “나는 나의 유순함 때문에 종종 놀림의 대상이었다.”라는 원문이 있는 경우, 의미단위의 구절로 “나는 종종 놀림의 대상이었다 / 나의 유순함 / 때문에”와 같이 표현을 분류할 수 있다. 1차로 음성 또는 문자로 전송된 문장을 정답구절과 매칭 하여 구절별 점수를 도출할 수 있다. 정답구절 및 각 구절별로 부여되는 점수는 하기와 같을 수 있다. “I was often the object of ridicule (5점) / I was often ridiculed (4점) / I used to be ridiculed (3점) / I was ridiculed sometimes(3점)”, “because of / on account of / for the reason of (2점)” “my tenderness of heart / my gentle nature (3점)”. 각각의 구절은 복수의 표현이 사용될 수 있으므로, 사용 가능한 복수의 표현 모두에 대하여 점수를 부여하되, 더욱 적합한 표현에 점수를 더 부여하는 방식을 채택할 수 있다. 즉, 첫 구절과 같이 표현 별로 부여되는 점수가 달리 책정될 수도 있다. 또한, 구절별로 문장 구성에 있어서의 중요도나 난이도에 따라 부여 점수가 상이할 수 있다. 설명한 방법에 따라 구절별 점수를 도출한 후에, 정답구절과 매칭 되지 않는 나머지 구절(예: 나는 종종 놀림의 대상이었다)에 대하여는 단어를 매칭 하여 점수를 책정하는 단어별 점수를 도출할 수 있다. 정답단어 및 각 단어별로 부여되는 점수는 하기와 같을 수 있다. “I was(1점) / I used to (2점)”, “often (1점) / sometimes (1점)”, “the object of ridicule (3점) / ridiculed (2점)”. 이와 같이 일부 단어만이라도 맞춘 경우에 소정의 점수를 부여하도록 구현함으로써, 플랙서블한 점수 책정이 가능하다.
According to one embodiment of the scoring method, if there is a text in the phrase "I was often the object of teasing because of my sincerity," the phrase "I was often the subject of teasing / Can be classified. Sentences sent by voice or text can be matched with the correct answer phrase to derive score for each phrase. The correct answer phrases and the scores given for each verse may be as follows. "I was often the object of ridicule (5 points) / I was often ridiculed (4 points) / I used to be ridiculed (3 points) / I was ridiculed sometimes (3 points) for the reason of (2) "" my tenderness of heart / my gentle nature ". Since each phrase may have a plurality of expressions, a method may be adopted in which a score is given to all of a plurality of usable expressions, and a score is further given to a more suitable expression. In other words, the scores assigned to expressions like the first verse may be set differently. In addition, according to the degree of importance and difficulty in the construction of a sentence, the assigned score may be different. After deriving the score for each phrase according to the method described, for each remaining verse that does not match the correct answer phrase (for example, I was often the subject of a joke), I could derive a word-by-word score that matched the word. The correct answer words and the scores given for each word may be as follows. "I was (1) / I used to (2)", "often (1)" and "the object of ridicule / ridiculed (2)". In this way, when a certain word is matched, a predetermined score is given so that a flexible score can be set.

단계 S300 내지 S500은, 학습콘텐츠 문자 수정 단계(쓰기 테스트)로서, 음성을 문자로 전환하는 문자전환기술을 이용하여, 전송받은 사용자의 음성을 문자로 전환하고 이를 사용자 단말기(200)에 전송하여 사용자로 하여금 자신이 통역하여 발성한 내용이 문자로 나타나있는 문자전환문장을 확인하도록 한다(S300). 사용자는 문자전환문장을 확인하면서 잘못 통역된 부분을 수정하여 서비스 제공 서버(100)에 수정문장을 전송하게 된다(S400). 이때에 사용자 단말기(200)로부터 모국어 음성 다시 듣기를 선택 입력받을 수 있고, 사용자 단말기(200)에 단계 S100에서 전송한 모국어로 구성된 음성을 재전송할 수 있다. 사용자가 문자를 수정할 때에 원문의 내용을 확인할 필요가 있으므로, 사용자의 선택에 따라 모국어 음성을 다시 들을 수 있도록 하는 것이다. 한편, 수정문장에 대하여도 점수를 책정하여 피드백을 제공할 수 있는데(S500), 점수 책정방법은 앞서 단계 S200과 관련하여 설명한 방법이 이용될 수 있다. 또한, 수정문장에 오류가 있을 경우, 오류를 수정한 재수정문장을 사용자 단말기(200)로부터 전송받는 단계(S510)를 더 포함할 수 있는데, 사용자로 하여금 일정 횟수에 걸쳐 오류를 재수정하도록 함으로써, 스스로 오류를 수정해나가는 능동적 학습을 하게 하고, 자연스런 반복 학습을 유도할 수 있다. 한편, 단계 S600은, 사용자 단말기(200)에 모범문장을 전송함으로써, 사용자가 정답을 확인하여 학습을 완성할 수 있도록 한다.
In steps S300 to S500, as a learning content character correction step (writing test), the user's voice is switched to a character by using a character switching technique for switching the voice to a character, (S300) to confirm the character change sentence in which the contents that he / she has interpreted and uttered are displayed as characters. The user corrects the incorrectly translated portion while confirming the character change sentence, and transmits the corrected sentence to the service providing server 100 (S400). At this time, it is possible to selectively receive the re-listening of the native language speech from the user terminal 200 and retransmit the voice composed of the native language transmitted to the user terminal 200 in step S100. It is necessary to confirm the contents of the original text when the user corrects the character, so that the user can select the user's language so that the user can listen to the native language again. On the other hand, a score may be set for the corrected sentence so as to provide feedback (S500). The method described in connection with step S200 may be used for the score determination method. In addition, if there is an error in the correction sentence, step S510 of receiving the re-accepting sentence corrected the error from the user terminal 200 may be performed. By allowing the user to re- It is possible to make active learning to correct errors and to induce natural repetitive learning. In step S600, a user sends an exemplary sentence to the user terminal 200 so that the user can confirm the correct answer and complete the learning.

도 3 및 도 4는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법의 흐름을 보다 구체적으로 도시한 도면이다. 도 3 및 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따르면, 단계 S100의 문장을 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장으로 구성할 수 있다. 즉, 본 발명에 따라 제공되는 외국어 학습 서비스의 학습콘텐츠는 프레젠테이션 능력을 함양시키는 것을 목적으로 할 수 있다. 또한, 준비단계(S10)를 더 포함할 수 있고, 모범프레젠테이션 음성 전송 및 사용자 음성과 비교할 수 있도록 사용자 음성을 전송받는 단계(S700 및 S710) 등을 더 포함할 수 있다.
FIG. 3 and FIG. 4 illustrate a flow of a method for providing a foreign language learning service through the second feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention. As shown in FIGS. 3 and 4, according to an embodiment of the present invention, the sentence of step S100 may be composed of a plurality of sentences used in the presentation and configured in the mother language. That is, the learning contents of the foreign language learning service provided according to the present invention may be aimed at enhancing the presentation ability. In addition, the method may further include a preparation step (S10), and may further include receiving a user's voice (S700 and S710) so as to be able to compare the user's voice with the exemplary presentation voice transmission.

구체적으로, 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법은, 프레젠테이션에 사용되는 이미지, 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장, 및 복수의 문장을 구성하는 주요단어 및 구절을 포함하는 프레젠테이션 학습콘텐츠를 사용자 단말기(200)에 전송하는 단계(S10), 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장을 음성으로 이미지와 함께 사용자 단말기(200)에 전송하고, 사용자 단말기(200)로부터 전송된 문장을 학습대상언어로 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 녹음 및 전송받는 단계(S100’), 단계 S100’에서 전송받은 사용자 음성에 대하여 점수를 책정하여 사용자 단말기(200)에 전송하는 단계(S200), 단계 S100’에서 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 사용자 단말기(200)에 전송하는 단계(S300), 사용자 단말기(200)로부터 단계 S300에서 전송된 문자전환문장을 수정한 수정문장을 전송받는 단계(S400), 단계 S400에서 전송받은 수정문장에 대하여 점수를 책정하여 사용자 단말기(200)에 전송하는 단계(S500), 수정문장에 오류가 있을 경우, 오류를 수정한 재수정문장을 사용자 단말기(200)로부터 전송받는 단계(S510), 단계 S100’에서 전송된 문장을 학습대상언어로 통역한 모범문장을 사용자 단말기(200)에 전송하는 단계(S600), 및 모범문장으로 구성된 모범프레젠테이션 음성을, 해당 이미지와 함께 사용자 단말기(200)에 전송하는 단계(S700)를 포함하여 구현될 수 있다. 이하에서는 프레젠테이션에 사용되는 학습콘텐츠로 구성되는 본 발명의 일실시예에 대하여 학습페이지의 화면과 함께 상세하게 설명하기로 한다.
Specifically, a method for providing a foreign language learning service through secondary feedback of an interpretation test and a writing test using a speech recognition and character conversion technique according to an embodiment of the present invention is a method for providing a foreign language learning service using an image used for a presentation, (S10) of transmitting a presentation learning content including a main word and a phrase constituting a plurality of sentences to a user terminal (200), and transmitting a plurality of sentences, which are used in a presentation and are configured in a native language, (S100 ') of transmitting the speech to the terminal 200, interpreting the sentence sent from the user terminal 200 to the learning target language and recording the user speech uttered using the speech recognition engine, A step S200 of setting a score for the received user voice and transmitting the score to the user terminal 200, 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 (S500). In the case where there is an error in the correction sentence (S500), the sentence having the corrected error is sent to the user terminal (S600) of transmitting a sentence translated from the sentence sent in step S100 'to the user terminal 200 (step S600), and receiving an exemplary presentation speech composed of a sample sentence, And transmitting the image to the user terminal 200 together with the image (S700). Hereinafter, an embodiment of the present invention comprising learning contents used in a presentation will be described in detail along with a screen of a learning page.

도 5 및 도 6은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠가 개시되는 학습페이지의 화면을 도시한 도면이다. 본 발명의 일실시예에 따르면, 준비단계 (S10)를 더 포함할 수 있는데, 준비단계(S10)는, 도 5에 도시된 바와 같이, 프레젠테이션에 사용되는 이미지와 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장을 사용자 단말기(200)에 전송하여 사용자로 하여금 미리 프레젠테이션 학습콘텐츠를 공부하도록 할 수 있다. 모국어로 구성된 복수의 문장은 도 5에 도시된 바와 같이 문자로 전송될 수 있으나 이에 한정하는 것은 아니고 음성과 함께 전송되거나 음성만으로 전송될 수도 있다. 또한, 도 6에 도시된 바와 같이, 복수의 문장을 구성하는 주요단어 및 구절(표현)을 사용자 단말기(200)에 전송하여 사용자가 미리 암기하도록 할 수 있다. 이와 같이 학습대상인 다양한 프레젠테이션 학습콘텐츠를 미리 사용자 단말기(200)에 전송함으로써, 이후의 통역 단계(통역 테스트)의 진행을 수월하게 할 수 있다. 실시예에 따라서는, 앞서 설명한 콘텐츠 이외에도 프레젠테이션 구성 형식, 방법 , 자주 쓰이는 표현 패턴, 발성법이나 시사, 상식, 전문영역의 전문용어 및 지식 등의 정보도 프레젠테이션 학습콘텐츠에 포함될 수 있다.
FIG. 5 and FIG. 6 show a screen of a learning page in which a presentation learning content is started in a method of providing a foreign language learning service through an interpreter test using a speech recognition and character switching technique and a secondary feedback of a writing test according to an embodiment of the present invention Fig. According to an embodiment of the present invention, the preparation step S10 may further include a preparation step S10, as shown in Fig. 5, in which a plurality of images, which are used in a presentation and used in a presentation, A sentence can be transmitted to the user terminal 200 so that the user can study the presentation learning contents in advance. A plurality of sentences constituted in the mother tongue may be transmitted as characters as shown in FIG. 5, but the present invention is not limited thereto, and the sentences may be transmitted with voice or only voice. In addition, as shown in FIG. 6, the main words and phrases (expressions) constituting a plurality of sentences can be transmitted to the user terminal 200 so that the user can memorize them in advance. By transmitting various presentation learning contents to be learned in advance to the user terminal 200 in this way, the progress of the subsequent interpretation step (interpretation test) can be facilitated. According to the embodiment, in addition to the contents described above, information such as a presentation configuration format, a method, a frequently used expression pattern, a vocalization method, a current affairs, a common sense, a technical term and knowledge of a specialty area may be included in the presentation learning content.

도 7은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠 통역 단계가 수행되는 학습페이지의 화면을 도시한 도면이다. 단계 S100’은, 앞서 단계 S100과 관련하여 설명한 바와 같이, 서비스 제공 서버(100)와 사용자 단말기(200)는 순차(S110) 또는 동시 통역(S120)의 방식으로 음성을 전송할 수 있는데, 프레젠테이션 학습콘텐츠에 관한 외국어 학습을 수행하는 경우에는, 도 7에 도시된 바와 같이, 프레젠테이션에 사용되는 이미지를 함께 전송할 수 있다. 사용자는 프레젠테이션 이미지를 보면서 프레젠테이션 내용을 통역할 수 있다.
FIG. 7 is a flowchart illustrating a method of providing a foreign language learning service through second feedback of an interpretation test and a writing test using speech recognition and text conversion techniques according to an embodiment of the present invention. Fig. In step S100 ', the service providing server 100 and the user terminal 200 can transmit voice in the manner of the sequential (S110) or simultaneous interpretation (S120) as described above in connection with the step S100. , The image used in the presentation can be transmitted together, as shown in Fig. The user can interpret the contents of the presentation while viewing the presentation image.

도 8은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠 통역 단계 수행에 대한 점수가 전송된 학습페이지의 화면을 도시한 도면이다. 도 8에 도시된 바와 같이, 통역한 사용자 음성에 대하여 피드백을 제공하는 단계 S200에서는, 표현점수(expression score)와 발음점수(pronunciation score)를 분리하여 책정 및 전송할 수 있다. 사용자 음성에 대한 점수 책정 후에는, 앞서 도 2와 관련하여 설명한 바와 같이 단계 S300(문자전환문장 전송), 단계 S400(수정문장 전송), 및 단계 S500(점수 책정 및 전송)이 수행될 수 있다. 도 9는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 프레젠테이션 학습콘텐츠 문자 수정 단계(쓰기 테스트) 수행에 대한 점수가 전송된 학습페이지의 화면을 도시한 도면이다. 도 9에 도시된 바와 같이, 단계 S500에서는 쓰기 점수(Writing Score)가 책정되어 전송될 수 있다.
8 is a flowchart illustrating a method for providing a foreign language learning service through a second feedback of an interpretation test using a speech recognition and text conversion technique and a learning test using a second learning feedback test according to an embodiment of the present invention. Fig. As shown in FIG. 8, in step S200 of providing feedback on the interpreter user's voice, the expression score and the pronunciation score may be separately prepared and transmitted. After the score for the user voice has been calculated, step S300 (text change sentence transmission), step S400 (correction sentence transmission), and step S500 (score formation and transmission) may be performed as described above with reference to Fig. FIG. 9 is a graph showing the scores of performance of a character string correction step (writing test) in the presentation learning contents in the method of providing a foreign language learning service through the second feedback of the interpretation test and the writing test using the speech recognition and character conversion technique according to the embodiment of the present invention Is a diagram showing a screen of a sent learning page. As shown in FIG. 9, in step S500, a writing score can be determined and transmitted.

도 10은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 문자전환문장이 수정(또는 재수정)되는 학습페이지의 화면을 도시한 도면이다. 도 10에 도시된 바와 같이, 서비스 제공 서버(100)는 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 사용자 단말기(200)에 전송할 수 있고 사용자 단말기(200)로부터 문자전환문장을 수정한 수정문장을 전송받을 수 있으며, 이에 대한 쓰기 점수를 책정하게 되는데, 그 후에 수정문장에 오류가 남아 있을 경우, 오류를 재수정하도록 할 수 있다. 오류가 있는 문장에 대해서는 도 10에 도시된 바와 같이 다른 문장과 구별되는 색으로 표시하여 표시된 오류를 사용자가 스스로 재수정하도록 구현할 수도 있다.
FIG. 10 is a view showing a screen of a learning page in which a character switching sentence is corrected (or re-verified) in a method of providing a foreign language learning service through second feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention Fig. As shown in FIG. 10, the service providing server 100 can transmit a character change sentence in which the transmitted user voice is converted to a character, to the user terminal 200, and corrects the character change sentence from the user terminal 200 The sentence can be received, and the score for writing is set. If there is an error in the corrected sentence after that, the error can be re-read. As shown in FIG. 10, a sentence with an error may be displayed in a color distinguishable from other sentences so that the user can re-enter the displayed error by himself or herself.

준비단계(S10), 프레젠테이션 학습콘텐츠 통역단계(S100’내지 S200), 및 프레젠테이션 학습콘텐츠 문자 수정 단계(S300 내지 S500)가 수행된 이후에는, 학습 완성 단계(S600 내지 S710)가 수행될 수 있다. 실시예에 따라서는, 단계 S500에서 책정된 점수가 미리 정해진 점수 이상인 경우로서, 본 학습과정에 대하여 일정 수준 이상의 학습능력을 가지게 된 이후에만 학습 완성 단계로 넘어갈 수 있고 미리 정해진 점수 미만인 경우에는 해당 학습콘텐츠에 대하여 이전의 통역 및 문자 수정 단계를 재수행하도록 구현할 수 있다. 즉, 즉각적인 테스트를 통과하여야만 다음 과정을 진행할 수 있도록 함으로써, 사용자로 하여금 긴장감을 불러일으켜 몰입된 집중 상태를 유지하도록 하고, 사용자가 부족한 부분에 대해서 자연스럽게 반복 학습하도록 구현함으로써, 학습의 효율성을 높일 수 있다. 또한, 반복의 횟수를 일방적으로 설정해주는 것이 아니고, 학습자별 능력 및 집중도의 차이에 따라 적절한 양의 주도적 반복학습을 유도하며, 학습자 음성에 대한 변별력 높은 다단계의 피드백을 제공하므로 거듭된 자기 강화를 통한 반복적인 진행이 지루하지 않게 이루어질 수 있다
After the preparation step S10, the presentation learning content interpretation step S100 'to S200, and the presentation learning content character modification step S300 to S500 are performed, the learning completion step S600 to S710 may be performed. According to some embodiments, the score determined in step S500 is equal to or greater than a predetermined score. If the score is less than a predetermined score, So that the previous interpretation and character correction step for the content can be performed again. In other words, by allowing the user to proceed to the next step only after passing the immediate test, the user is made to feel the tension and maintain the immersed concentration state, have. In addition, it does not set the number of iterations unilaterally, but it induces an appropriate amount of the iterative learning according to the difference of the learner's ability and concentration, and provides multi-level feedback of discriminative ability to the learner's voice, In progress can be made tedious

도 11은 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 모범문장이 전송되는 학습페이지의 화면을 도시한 도면이다. 도 11에 도시된 바와 같이, 학습 완성 단계 중 단계 S600에서는, 단계 S100에서 전송된 문장을 학습대상언어로 통역한 모범문장을 사용자 단말기(200)에 전송할 수 있다. 최종적으로도 수정되지 않은 오류가 있는 경우에는 해당 문장을 별색으로 표시하여 사용자로 하여금 주의 깊게 복습하도록 할 수 있다.
11 is a diagram showing a screen of a learning page in which a sentence is transmitted in a method of providing a foreign language learning service through a second feedback of an interpretation test and a writing test using speech recognition and character switching technology according to an embodiment of the present invention . As shown in Fig. 11, in step S600 of the learning completion step, the exemplary sentence interpreting the sentence sent in step S100 into the learning target language can be transmitted to the user terminal 200. Fig. If there is an error that is not corrected at the end, the sentence may be marked with a spot color so that the user can review it carefully.

도 12는 본 발명의 일실시예에 따른 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법에서 모범프레젠테이션 음성과 사용자 음성의 비교 학습이 수행되는 학습페이지의 화면을 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따르면, 모범프레젠테이션 음성(예: 원어민 프레젠테이션)을 해당 이미지와 함께 사용자 단말기(200)에 전송할 수 있으며, 사용자 단말기(200)로부터 사용자 음성 듣기(예: 나의 프레젠테이션)를 선택 입력받은 경우에는, 단계 S100에서 녹음 및 전송받은 사용자 음성을 해당 이미지와 함께 사용자 단말기(200)에 전송할 수도 있다. 이와 같은 구성을 채택함으로써, 사용자는 자신의 프레젠테이션과 원어민 프레젠테이션을 들으면서 비교해볼 수 있고, 자신의 프레젠테이션에 대해 스스로 객관적인 평가를 하면서 개선해나가도록 할 수 있다.
FIG. 12 is a diagram showing a learning page in which a comparison learning between a good presentation speech and a user speech is performed in a method of providing a foreign language learning service through second feedback of an interpretation test and a writing test using speech recognition and character conversion techniques according to an embodiment of the present invention Fig. 12, according to an exemplary embodiment of the present invention, it is possible to transmit an exemplary presentation voice (e.g., a native speaker presentation) together with the image to the user terminal 200, (E.g., my presentation), the user terminal 200 may transmit the user voice recorded and transmitted in step S100 together with the corresponding image. By adopting such a configuration, a user can compare his / her presentations and native speaker presentations while listening to them, and can make improvements while evaluating his / her own objectively.

한편, 단계 S100 이전에 사용자로부터 회원 정보를 입력받고 회원 가입을 받은 단계를 더 포함함으로써, 사용자의 수준별 학습이 가능하도록 구현할 수 있고, 진도 관리, 점수 관리 등이 용이할 수 있다.
Meanwhile, by further including a step of receiving member information from the user before the step S100 and receiving membership, the user can perform learning by level, and progress management, score management, and the like can be facilitated.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

100: 서비스 제공 서버 200: 사용자 단말기
S10: 프레젠테이션에 사용되는 이미지, 상기 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장, 및 상기 복수의 문장을 구성하는 주요단어 및 구절을 포함하는 프레젠테이션 학습콘텐츠를 상기 사용자 단말기에 전송하는 단계
S100: 모국어로 구성된 하나 또는 복수의 문장을 음성으로 사용자 단말기에 전송하고, 상기 사용자 단말기로부터 상기 전송된 문장을 학습대상언어로 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 녹음 및 전송받는 단계
S100’: 상기 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장을 음성으로 상기 이미지와 함께 상기 사용자 단말기에 전송하고, 상기 사용자 단말기로부터 상기 전송된 문장을 학습대상언어로 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 녹음 및 전송받는 단계
S110: 상기 문장을 하나씩 미리 정해진 시간 간격을 두고 연속적으로 상기 사용자 단말기에 전송하되, 각각의 문장을 전송한 후 미리 정해진 시간 동안에, 상기 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 상기 사용자 단말기로부터 전송받는 순차통역
S120: 상기 문장을 하나씩 시간 간격을 두지 않고 연속적으로 상기 사용자 단말기에 전송하되, 상기 음성을 전송함과 동시에, 상기 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 상기 사용자 단말기로부터 전송받는 동시통역
S200: 상기 단계 S100(또는 S100’)에서 전송받은 사용자 음성에 대하여 점수를 책정하여 상기 사용자 단말기에 전송하는 단계
S300: 상기 단계 S100(또는 S100’)에서 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 상기 사용자 단말기에 전송하는 단계
S400: 상기 사용자 단말기로부터 상기 단계 S300에서 전송된 문자전환문장을 수정한 수정문장을 전송받는 단계
S410: 상기 사용자 단말기로부터 모국어 음성 다시 듣기를 선택 입력받은 경우, 상기 사용자 단말기에 상기 단계 S100’에서 전송한 모국어로 구성된 음성을 재전송하는 단계
S500: 상기 단계 S400에서 전송받은 수정문장에 대하여 점수를 책정하여 상기 사용자 단말기에 전송하는 단계
S510: 상기 수정문장에 오류가 있을 경우, 상기 오류를 수정한 재수정문장을 상기 사용자 단말기로부터 전송받는 단계
S600: 상기 단계 S100(또는 S100’)에서 전송된 문장을 학습대상언어로 통역한 모범문장을 상기 사용자 단말기에 전송하는 단계
S700: 상기 모범문장으로 구성된 모범프레젠테이션 음성을, 해당 이미지와 함께 상기 사용자 단말기에 전송하는 단계
S710: 상기 사용자 단말기로부터 상기 사용자 음성 듣기를 선택 입력받은 경우, 상기 단계 S100’에서 녹음 및 전송받은 사용자 음성을, 해당 이미지와 함께 상기 사용자 단말기에 전송하는 단계100: service providing server 200: user terminal
S10: transmitting to the user terminal an image used in a presentation, a plurality of sentences used in the presentation and configured in a native language, and a presentation learning content including main words and phrases constituting the plurality of sentences
S100: transmitting one or a plurality of sentences constituted in the mother tongue to the user terminal by voice, interpreting the transmitted sentence from the user terminal in the learning target language, and recording the user voice uttered using the speech recognition engine
S100 ': transmits a plurality of sentences, which are used in the presentation and composed of mother tongue, to the user terminal together with the image by voice, translating the transmitted sentence into a learning target language from the user terminal, And receiving and recording
S110: The sentence is transmitted one by one to the user terminal continuously at a predetermined time interval, and during a predetermined time after each sentence is transmitted, the sentence is translated into a learning target language corresponding to each transmitted sentence, A sequential interpreter for receiving a user voice from the user terminal
S120: The sentence is transmitted one by one to the user terminal without time intervals, and the voice is transmitted, and at the same time, the user voice uttered by interpreting with the learning target language corresponding to each transmitted sentence, Simultaneous interpretation transmitted from the terminal
S200: Scoring a score of the user voice transmitted in the step S100 (or S100 ') and transmitting it to the user terminal
S300: transmitting a character change sentence in which the user voice transmitted in step S100 (or S100 ') is converted into a character to the user terminal
S400: receiving a modified sentence in which the character change sentence sent in step S300 is modified from the user terminal
S410: a step of retransmitting the voice composed of the mother tongue sent in the step S100 'to the user terminal when the user's terminal re-hearing is selected and inputted
S500: Scoring a corrected sentence sent in step S400 and transmitting it to the user terminal
S510: if there is an error in the corrected sentence, receiving a re-sentence sentence corrected the error from the user terminal
S600: Transmitting the sentence sent in the step S100 (or S100 ') to the user terminal,
S700: transmitting an exemplary presentation voice composed of the exemplary sentence to the user terminal together with the corresponding image
S710: when the user's voice is selectively received from the user terminal, transmitting the user voice recorded and transmitted in step S100 'to the user terminal together with the corresponding image

Claims (11)

외국어 학습 서비스를 제공하는 서비스 제공 서버가,
(1) 모국어로 구성된 하나 또는 복수의 문장을 음성으로 사용자 단말기에 전송하고, 상기 사용자 단말기로부터 상기 전송된 문장을 학습대상언어로 통역하여 발성한 사용자 음성을 음성인식엔진을 이용하여 녹음 및 전송받는 단계;
(2) 상기 단계 (1)에서 전송받은 사용자 음성에 대하여 점수를 책정하여 상기 사용자 단말기에 전송하는 단계;
(3) 상기 단계 (1)에서 전송받은 사용자 음성을 문자로 전환한 문자전환문장을 상기 사용자 단말기에 전송하는 단계;
(4) 상기 사용자 단말기로부터 상기 단계 (3)에서 전송된 문자전환문장을 수정한 수정문장을 전송받는 단계;
(5) 상기 단계 (4)에서 전송받은 수정문장에 대하여 점수를 책정하여 상기 사용자 단말기에 전송하는 단계; 및
(6) 상기 단계 (1)에서 전송된 문장을 학습대상언어로 통역한 모범문장을 상기 사용자 단말기에 전송하는 단계를 포함하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
A service providing server for providing a foreign language learning service,
(1) One or a plurality of sentences constituted in the mother tongue are transmitted to the user terminal by voice, and the transmitted sentence is interpreted into the learning target language from the user terminal to record and transmit the user voice uttered using the speech recognition engine step;
(2) scoring a score for the user voice transmitted in the step (1) and transmitting the score to the user terminal;
(3) transmitting to the user terminal a character change sentence in which the user voice transmitted in step (1) is converted into a character;
(4) receiving a modified sentence in which the character change sentence sent in step (3) is modified from the user terminal;
(5) calculating a score for the modified sentence received in the step (4) and transmitting the score to the user terminal; And
(6) an interpretation test and a writing test using voice recognition and character switching technology, characterized in that it comprises the step of transmitting the sentence transmitted in the step (1) to the user terminal, the best sentence translated into the learning target language; To Provide Foreign Language Learning Services through Secondary Feedback.
제1항에 있어서, 상기 단계 (1)은,
상기 문장을 하나씩 미리 정해진 시간 간격을 두고 연속적으로 상기 사용자 단말기에 전송하되, 각각의 문장을 전송한 후 미리 정해진 시간 동안에, 상기 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 상기 사용자 단말기로부터 전송받는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
2. The method of claim 1, wherein the step (1)
The sentence is transmitted to the user terminal one by one at a predetermined time interval, and during a predetermined time after each sentence is transmitted, the sentence is interpreted into a learning target language corresponding to each transmitted sentence, Wherein the second language feedback is provided to the translator test and the writing test using the speech recognition and character switching technology.
제1항에 있어서, 상기 단계 (1)은,
상기 문장을 하나씩 시간 간격을 두지 않고 연속적으로 상기 사용자 단말기에 전송하되, 상기 음성을 전송함과 동시에, 상기 전송된 각각의 문장에 대응하는 학습대상언어로 통역하여 발성한 사용자 음성을 상기 사용자 단말기로부터 전송받는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
2. The method of claim 1, wherein the step (1)
The sentence is transmitted one by one to the user terminal without a time interval, the speech is transmitted, and at the same time, the user's voice spoken by translating into the learning target language corresponding to each sent sentence is transmitted from the user terminal Wherein the second language feedback is provided through an interpretation test using a speech recognition and character conversion technique and a second feedback using a writing test.
제1항에 있어서, 상기 단계 (2)에서 점수는,
표현점수와 발음점수로 분리하여 책정되는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
2. The method of claim 1, wherein the score in step (2)
And the pronunciation score and the pronunciation score. The method of providing a foreign language learning service through the second feedback of the interpretation test and the writing test using the speech recognition and character conversion technique.
제1항에 있어서, 상기 단계 (2) 및 단계 (5)에서, 점수는,
상기 문장을 정답구절과 매칭 하여 책정하는 구절별 점수를 먼저 도출하고, 상기 정답구절과 매칭 되지 않는 구절에 대하여는 정답단어와 매칭 하여 책정하는 단어별 점수를 도출하여, 상기 구절별 점수와 상기 단어별 점수를 합산한 점수인 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
2. The method of claim 1, wherein in steps (2) and (5)
A score for each phrase to be matched with the correct answer phrase is first derived, and for each phrase that does not match the correct answer phrase, a score for each word to be matched with the correct answer word is derived, And a score obtained by adding a score to the foreign language learning service using the second feedback of the interpretation test and the writing test using the speech recognition and character conversion technique.
제1항에 있어서, 상기 단계 (4)에서는,
(4-1) 상기 사용자 단말기로부터 모국어 음성 다시 듣기를 선택 입력받은 경우, 상기 사용자 단말기에 상기 단계 (1)에서 전송한 모국어로 구성된 음성을 재전송하는 단계를 더 포함하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
The method according to claim 1, wherein in the step (4)
(4-1) further comprising the step of retransmitting, to the user terminal, a voice composed of the mother tongue transmitted in the step (1), when the re-listening of the mother language voice is selectively input from the user terminal And a method for providing a foreign language learning service through a second feedback of an interpretation test and a writing test using a character conversion technique.
제1항에 있어서, 상기 단계 (5) 이후에,
(5-1) 상기 수정문장에 오류가 있을 경우, 상기 오류를 수정한 재수정문장을 상기 사용자 단말기로부터 전송받는 단계를 더 포함하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
2. The method of claim 1, wherein after step (5)
(5-1) The method of claim 1, further comprising the step of receiving, from the user terminal, a re-accepting sentence in which the error is corrected if there is an error in the modified sentence. A method for providing a foreign language learning service through secondary feedback of a test.
제1항에 있어서,
상기 단계 (1)의 문장은, 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장이고,
상기 단계 (1)에서는, 상기 모국어로 구성된 복수의 문장을 전송 시, 상기 프레젠테이션에 사용되는 이미지를 함께 전송하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
The method of claim 1,
The sentence in the step (1) is a plurality of sentences used in a presentation and composed of mother tongue,
The method as set forth in claim 1, wherein in the step (1), when transmitting a plurality of sentences composed of the mother language, the image used in the presentation is transmitted together. To provide a foreign language learning service.
제8항에 있어서,
(0) 상기 프레젠테이션에 사용되는 이미지, 상기 프레젠테이션에 사용되고 모국어로 구성된 복수의 문장, 및 상기 복수의 문장을 구성하는 주요단어 및 구절을 포함하는 프레젠테이션 학습콘텐츠를 전송하는 준비단계를 더 포함하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
9. The method of claim 8,
(0) a step of transmitting a presentation learning content including an image used in the presentation, a plurality of sentences used in the presentation and configured in a native language, and key words and phrases constituting the plurality of sentences A method for providing a foreign language learning service through a second feedback of an interpretation test and a writing test using speech recognition and character conversion techniques.
제8항에 있어서,
(7) 상기 모범문장으로 구성된 모범프레젠테이션 음성을, 해당 이미지와 함께 상기 사용자 단말기에 전송하는 단계를 더 포함하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.
9. The method of claim 8,
(7) transmitting the exemplary presentation voice composed of the exemplary sentence to the user terminal together with the corresponding image, wherein the second presentation feedback of the interpretation test and the writing test using the speech recognition and text conversion technique To provide a foreign language learning service.
제10항에 있어서, 상기 단계 (7)에서는,
(7-1) 상기 사용자 단말기로부터 상기 사용자 음성 듣기를 선택 입력받은 경우, 상기 단계 (1)에서 녹음 및 전송받은 사용자 음성을, 해당 이미지와 함께 상기 사용자 단말기에 전송하는 단계를 더 포함하는 것을 특징으로 하는, 음성인식 및 문자전환 기술을 이용한 통역 테스트와 쓰기 테스트의 2차 피드백을 통한 외국어 학습 서비스 제공 방법.11. The method according to claim 10, wherein in the step (7)
(7-1) when the user's voice is selectively received from the user terminal, transmitting the user voice recorded and transmitted in the step (1) to the user terminal together with the corresponding image A method for providing a foreign language learning service through a second feedback of an interpretation test and a writing test using speech recognition and character conversion techniques.
KR1020120086705A 2012-08-08 2012-08-08 Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology KR101438088B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120086705A KR101438088B1 (en) 2012-08-08 2012-08-08 Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120086705A KR101438088B1 (en) 2012-08-08 2012-08-08 Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology

Publications (2)

Publication Number Publication Date
KR20140025619A true KR20140025619A (en) 2014-03-05
KR101438088B1 KR101438088B1 (en) 2014-09-17

Family

ID=50640570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120086705A KR101438088B1 (en) 2012-08-08 2012-08-08 Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology

Country Status (1)

Country Link
KR (1) KR101438088B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635144B1 (en) * 2015-10-05 2016-06-30 주식회사 이르테크 Language learning system using corpus and text-to-image technique
KR101957045B1 (en) 2017-09-27 2019-03-11 이화여자대학교 산학협력단 Assist method for simultaneous interpretation self study and computer readable medium for performing the method
KR20190050659A (en) * 2017-11-03 2019-05-13 주식회사 비즈모델라인 Method for Evaluating Response of Heterogeneous Language Speaking
WO2020071603A1 (en) * 2018-10-05 2020-04-09 원세컨드랩스 주식회사 Method for evaluating foreign language speaking response, and wireless terminal for performing same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043419B1 (en) 2017-11-27 2019-11-12 송현종 Speech recognition based training system and method for child language learning
KR102529241B1 (en) 2020-10-22 2023-05-08 이화여자대학교 산학협력단 Evaluation method for consecutive interpretation training, recording medium and device for performing the method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100450019B1 (en) * 2001-11-17 2004-09-30 전준호 Method of service for english training of interactive voice response using internet
KR101023777B1 (en) * 2008-11-25 2011-03-21 주식회사 보이스웹인터내셔날 Method, System and the Media for Content Providing for Language Learning
JP2010282058A (en) 2009-06-05 2010-12-16 Tokyobay Communication Co Ltd Method and device for supporting foreign language learning
KR20110120552A (en) * 2010-04-29 2011-11-04 포항공과대학교 산학협력단 Foreign language learning game system and method based on natural language dialogue technology

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635144B1 (en) * 2015-10-05 2016-06-30 주식회사 이르테크 Language learning system using corpus and text-to-image technique
WO2017061753A1 (en) * 2015-10-05 2017-04-13 주식회사 이르테크 Language learning system using text visualization and learner corpus
KR101957045B1 (en) 2017-09-27 2019-03-11 이화여자대학교 산학협력단 Assist method for simultaneous interpretation self study and computer readable medium for performing the method
KR20190050659A (en) * 2017-11-03 2019-05-13 주식회사 비즈모델라인 Method for Evaluating Response of Heterogeneous Language Speaking
WO2020071603A1 (en) * 2018-10-05 2020-04-09 원세컨드랩스 주식회사 Method for evaluating foreign language speaking response, and wireless terminal for performing same

Also Published As

Publication number Publication date
KR101438088B1 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
Rogerson-Revell Computer-assisted pronunciation training (CAPT): Current issues and future directions
Chen et al. Task engagement, learner motivation and avatar identities of struggling English language learners in the 3D virtual world
Hassan Taj et al. Effect of technology enhanced language learning on vocabulary acquisition of EFL learners
Field Into the mind of the academic listener
Kong Establishing a Comprehensive English Teaching Pattern Combining the Communicative Teaching Method and the Grammar-Translation Method.
KR101438088B1 (en) Method for providing learning foreign language service based on interpretation test and writing test using speech recognition and speech to text technology
Culbertson et al. Have your cake and eat it too: Foreign language learning with a crowdsourced video captioning system
JP6592657B2 (en) Word acquisition training system
KR101438087B1 (en) Method for providing language training service based on consecutive and simultaneous interpretation test using speech recognition engine
Zhang et al. Chinese university students' and teachers' perceptions of and attitudes towards ELF.
Ehsani et al. An interactive dialog system for learning Japanese
JP7067751B2 (en) Teaching material authoring system
Ockey et al. Evaluating technology-mediated second language oral communication assessment delivery models
Brata et al. Hanasu: Interactive Japanese language m-learning application to support listening and speaking exercise
TW201727595A (en) A system, a method and a computer programming product for learning foreign language speaking
Vlugter et al. Dialogue-based CALL: A case study on teaching pronouns
Syafrizal et al. Duo Lingo Application for Teaching Speaking Skills Class: Students' Perception of Speech Ability
Tahan et al. A gaming environment to train teachers diagnose children learning disabilities
Kanwal et al. An Investigation Of Factors Of Listening Comprehension Difficulties Encountered By L2 Learners In Tertiary Level Classrooms Of A Private University
Siegel et al. Learning listening
KR20140004531A (en) Method for providing language training service based on concentrative type speaking test using speech recognition engine
Nguyen A New trend in pronunciation teaching
KR101111746B1 (en) Method and device for providing English studying language
KR20090003085A (en) Lesson-type method and system for learning foreign language through internet
Watanabe et al. Investigating the Effect of Chinese Pronunciation Teaching Materials Using Speech Recognition and Synthesis Functions.

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 6