KR101666129B1 - Method for providing multi language learning service - Google Patents

Method for providing multi language learning service Download PDF

Info

Publication number
KR101666129B1
KR101666129B1 KR1020150029839A KR20150029839A KR101666129B1 KR 101666129 B1 KR101666129 B1 KR 101666129B1 KR 1020150029839 A KR1020150029839 A KR 1020150029839A KR 20150029839 A KR20150029839 A KR 20150029839A KR 101666129 B1 KR101666129 B1 KR 101666129B1
Authority
KR
South Korea
Prior art keywords
dialogue
translation
language
input
user terminal
Prior art date
Application number
KR1020150029839A
Other languages
Korean (ko)
Other versions
KR20160107000A (en
Inventor
이의복
Original Assignee
주식회사 심포디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 심포디 filed Critical 주식회사 심포디
Priority to KR1020150029839A priority Critical patent/KR101666129B1/en
Publication of KR20160107000A publication Critical patent/KR20160107000A/en
Application granted granted Critical
Publication of KR101666129B1 publication Critical patent/KR101666129B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다국어 학습 서비스를 제공하는 방법이 개시되며, 상기 다국어 학습 서비스 제공 방법은 복수의 대화문을 포함하는 제1언어의 학습 대본을 디스플레이하는 단계, 학습 서비스의 시작 입력을 수신하는 단계, 상기 복수의 대화문 중 제1 대화문에 대응하는 제2언어의 제1번역 대화문을 디스플레이하는 단계, 상기 제1번역 대화문을 디스플레이함과 동시에 상기 제1번역 대화문의 TTS(Text to Speech) 음성을 재생하는 단계, 상기 제1번역 대화문과 연계된 상기 제2언어의 음성 입력을 수신하는 단계 및 상기 음성 입력에 대응하는 상기 제2언어의 제1연습문, 상기 제1연습문의 제1언어의 번역문 및 상기 음성 입력의 녹음 파일 재생 아이콘을 디스플레이하는 단계를 포함할 수 있다.A method for providing a multilingual learning service, the method comprising: displaying a learning script of a first language including a plurality of dialogs; receiving a start input of a learning service; Displaying a first translated dialogue in a second language corresponding to the first dialogue, displaying the first translated dialogue and reproducing a TTS (Text to Speech) voice of the first translated dialogue, Receiving a speech input of the second language associated with a translation dialogue; and receiving a first practice statement of the second language corresponding to the speech input, a translation of the first language of the first practice query, And displaying the playback icon.

Description

다국어 학습 서비스 제공 방법{METHOD FOR PROVIDING MULTI LANGUAGE LEARNING SERVICE}METHOD FOR PROVIDING MULTI LANGUAGE LEARNING SERVICE [0002]

본원은 다국어 학습 서비스 제공 방법에 관한 것이다.The present invention relates to a method for providing a multilingual learning service.

국제화 시대를 맞이하여 외국어 학습의 필요성은 증대되고 있다. 전자기기의 발달에 따라 외국어 학습에 여러 가지 다양한 전자기기가 이용되고 있다. 특히, 최근에는 인터넷이나 무선 통신망에 접속할 수 있는 컴퓨터나 이동통신 단말기를 이용해 외국어 학습 컨텐츠를 제공하는 시스템 또는 프로그램이 많이 개발되고 있다.In the age of globalization, the need for foreign language learning is increasing. Various electronic devices have been used for foreign language learning according to the development of electronic devices. In particular, in recent years, many systems or programs for providing foreign language learning contents using a computer or a mobile communication terminal capable of accessing the Internet or a wireless communication network have been developed.

종래의 외국어 학습 서비스 제공 장치 등은 오프라인에서 이루어지는 학습 내용을 단순히 컴퓨터나 이동통신 단말 장치에서 반복적으로 수행할 수 있도록 하는 구성을 가지는 것이 대부분이다. 또한, 외국어를 실생활에서 거의 사용하지 않는 환경, 예컨대, 한국, 일본 등과 같은 환경에 있어서, 외국어 학습은 대부분 교재, 테이프, 교육 방송프로그램 등을 통한 암기 방식 위주로 진행되고 있다. 이러한, 종래의 외국어 학습 서비스의 경우, 오프라인 학습 내용을 단순히 반복하거나 단방향적인 컨텐츠만을 제공하기 때문에, 높은 학습 효율을 제공하지 못하였다. 종래의 외국어 학습 서비스 제공 장치는 한국 공개특허공보 제10-2009-0115425호에 개시되어 있다.Most of the conventional foreign language learning service providing apparatuses and the like have a configuration that allows the computer or the mobile communication terminal apparatus to repeatedly perform the learning contents that are performed in the offline state. Also, in an environment where foreign languages are hardly used in real life, for example, in environments such as Korea and Japan, most of foreign language learning is proceeding mainly through memorization methods through textbooks, tapes, and educational broadcast programs. In the case of the conventional foreign language learning service, since the offline learning contents are simply repeated or only unidirectional contents are provided, high learning efficiency can not be provided. A conventional apparatus for providing a foreign language learning service is disclosed in Korean Patent Laid-Open Publication No. 10-2009-0115425.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 채팅 형식으로 구성된 외국어 학습 콘텐츠를 사용자에게 제공함으로써, 사용자에게 외국어 학습의 흥미와 높은 외국어 학습 효율을 제공할 수 있는 다국어 학습 서비스 제공 방법을 제공하는 것을 목적으로 한다.The present invention provides a method for providing a multilingual learning service to a user by providing a foreign language learning content configured in a chat format to a user to provide a user with an interest in learning a foreign language and a high learning efficiency of a foreign language .

본원은 채팅 형식으로 구성된 외국어 학습 콘텐츠를 사용자에게 제공하고, 사용자로부터 외국어 학습 콘텐츠와 연계된 사용자의 음성입력을 수신하고, 외국어 학습 콘텐츠의 TTS음성과 사용자의 음성입력을 채팅 형식으로 제공/재생함으로써, 사용자에게 외국어 학습의 흥미와 높은 외국어 학습 효율을 제공할 수 있는 다국어 학습 서비스 제공 방법을 제공하는 것을 목적으로 한다.The present invention provides a foreign language learning content configured in a chat format to a user, receives a user's voice input associated with a foreign language learning content from a user, and provides / plays back a TTS voice of a foreign language learning content and a voice input of the user in a chat format And to provide a method of providing a multilingual learning service that can provide users with an interest in learning a foreign language and a high learning efficiency of a foreign language.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 다국어 학습 서비스 제공 방법은, 복수의 대화문을 포함하는 제1언어의 학습 대본을 디스플레이하는 단계; 학습 서비스의 시작 입력을 수신하는 단계; 상기 복수의 대화문 중 제1 대화문에 대응하는 제2언어의 제1번역 대화문을 디스플레이하는 단계; 상기 제1번역 대화문을 디스플레이함과 동시에 상기 제1번역 대화문의 TTS(Text to Speech) 음성을 재생하는 단계; 상기 제1번역 대화문과 연계된 상기 제2언어의 음성 입력을 수신하는 단계; 및 상기 음성 입력에 대응하는 상기 제2언어의 제1연습문, 상기 제1연습문의 제1언어의 번역문 및 상기 음성 입력의 녹음 파일 재생 아이콘을 디스플레이하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method for providing a multi-lingual learning service, the method comprising: displaying a learning script of a first language including a plurality of conversations; Receiving a start input of a learning service; Displaying a first translated dialogue in a second language corresponding to a first one of the plurality of conversations; Displaying the first translated dialogue and reproducing a TTS (Text to Speech) speech of the first translated dialogue; Receiving speech input of the second language associated with the first translation dialogue; And displaying a first exercise statement of the second language corresponding to the voice input, a translation of the first language of the first practice statement, and a recording file playing icon of the voice input.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법은, 제1언어의 제1대화문을 디스플레이하는 단계; 상기 제1대화문을 제2언어로 번역한 제1번역 대화문의 TTS(Text to Speech) 음성을 재생하는 단계; 상기 제1번역 대화문에 대응하는 상기 제2언어의 제1텍스트 입력을 수신하는 단계; 상기 제1텍스트 입력과 상기 제1텍스트 입력의 상기 제1언어의 번역문을 디스플레이하는 단계; 및 상기 제1텍스트 입력과 상기 제1번역 대화문이 일치하는 경우, 상기 제1언어의 제2대화문을 디스플레이하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for providing a multi-lingual learning service, the method comprising: displaying a first dialogue in a first language; Reproducing a TTS (Text to Speech) voice of a first translation conversation in which the first dialogue is translated into a second language; Receiving a first textual input of the second language corresponding to the first translated dialogue; Displaying a translation of the first language of the first text input and the first text input; And displaying the second dialogue of the first language if the first textual input and the first translated dialogue match.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법은, 제1언어의 제1대화문을 디스플레이하는 단계; 상기 제1 대화문의 TTS(Text to Speech) 음성을 재생하는 단계; 상기 제1언어의 제2대화문과 연계된 음성 입력을 수신하는 단계; 상기 음성 입력에 대응하는 제1연습문 및 상기 제1연습문의 제2언어의 번역문을 디스플레이하는 단계; 상기 제2대화문을 디스플레이하는 단계; 상기 제2대화문의 TTS 음성을 재생하는 단계; 상기 제1언어의 제3대화문을 디스플레이하는 단계; 상기 제3대화문의 TTS 음성을 재생하는 단계; 상기 제1언어의 제4대화문과 연계된 음성 입력을 수신하는 단계; 및 상기 제4대화문과 연계된 음성 입력에 대응하는 제2연습문 및 상기 제2연습문의 제2언어의 번역문을 디스플레이하는 단계를 포함할 수 있고, 상기 제1대화문, 상기 제2대화문, 상기 제3대화문 및 상기 제4대화문은 순차적으로 학습 대본을 구성한다.According to another aspect of the present invention, there is provided a method for providing a multi-lingual learning service, the method comprising: displaying a first dialogue in a first language; Reproducing a TTS (Text to Speech) voice of the first conversation; Receiving a speech input associated with a second dialogue of the first language; Displaying a first practice statement corresponding to the voice input and a translation of a second language of the first practice statement; Displaying the second dialogue; Reproducing a TTS voice of the second conversation; Displaying a third dialogue in the first language; Reproducing a TTS voice of the third conversation; Receiving a speech input associated with a fourth dialogue in the first language; And displaying a second practice statement corresponding to the voice input associated with the fourth dialogue and a translation of the second language of the second practice statement, wherein the first dialogue, the second dialogue, The third dialogue and the fourth dialogue sequentially constitute a learning scenario.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법은, 복수의 문장을 포함하는 제1언어의 학습문을 디스플레이하는 단계; 학습 서비스의 시작 입력을 수신하는 단계; 상기 복수의 문장 중 제1 문장과 연계된 제1이미지 및 상기 제1문장에 대응하는 제2언어의 제1번역문을 디스플레이하는 단계; 상기 제1번역문을 디스플레이함과 동시에 상기 제1번역문의 TTS(Text to Speech) 음성을 재생하는 단계; 상기 제1번역문과 연계된 상기 제2언어의 음성 입력을 수신하는 단계; 및 상기 음성 입력에 대응하는 상기 제2언어의 제1연습문, 상기 제1연습문의 제1언어의 번역문 및 상기 음성 입력의 녹음 파일 재생 아이콘을 디스플레이하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for providing a multi-lingual learning service, the method comprising: displaying a learning language of a first language including a plurality of sentences; Receiving a start input of a learning service; Displaying a first image associated with a first sentence of the plurality of sentences and a first translation of a second language corresponding to the first sentence; Displaying the first translation and reproducing a TTS (Text to Speech) voice of the first translation; Receiving voice input of the second language associated with the first translation; And displaying a first exercise statement of the second language corresponding to the voice input, a translation of the first language of the first practice statement, and a recording file playing icon of the voice input.

전술한 본원의 과제 해결 수단에 의하면, 채팅 형식으로 구성된 외국어 학습 콘텐츠를 제공함으로써, 사용자에게 외국어 학습의 흥미와 높은 외국어 학습 효율을 제공할 수 있다.According to the above-mentioned problem solving means of the present invention, it is possible to provide the user with an interest in learning a foreign language and a high learning efficiency of a foreign language by providing a foreign language learning content configured in a chat format.

또한, 전술한 본원의 과제 해결 수단에 의하면, 채팅 형식으로 구성된 외국어 학습 콘텐츠와 연계된 사용자의 음성입력을 수신하고, 외국어 학습 콘텐츠의 TTS음성과 사용자의 음성입력을 채팅 형식으로 제공/재생함으로써, 사용자에게 외국어 학습의 흥미와 높은 외국어 학습 효율을 제공할 수 있다. In addition, according to the above-mentioned task solution of the present invention, by receiving a voice input of a user associated with a foreign language learning content configured in a chat format, and providing / reproducing a TTS voice of a foreign language learning content and a voice input of the user in a chat format, The user can be provided with an interest in learning a foreign language and a high learning efficiency of the foreign language.

도 1은 본원의 일 실시예에 따른 다국어 학습 서비스 제공 시스템을 나타내는 도면이다.
도 2a 내지 도 2i는 본원의 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다.
도 3a 내지 도 3d는 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다.
도 4a 내지 도 4f는 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다.
도 5a 내지 도 5f는 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다.
도 7은 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다.
도 8은 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다.
도 9는 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다.
1 is a diagram illustrating a system for providing a multi-lingual learning service according to an embodiment of the present invention.
FIGS. 2A through 2I are views illustrating a method of providing a multilingual learning service according to an embodiment of the present invention.
FIGS. 3A through 3D are diagrams illustrating exemplary methods of providing a multilingual learning service according to another embodiment of the present invention.
4A to 4F are views illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention.
5A to 5F are views illustrating an exemplary method of providing a multilingual learning service according to another embodiment of the present invention.
FIG. 6 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention.
8 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention.
9 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. It should be understood, however, that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, the same reference numbers are used throughout the specification to refer to the same or like parts.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is referred to as being "connected" to another part, it is not limited to a case where it is "directly connected" but also includes the case where it is "electrically connected" do.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is " on " another member, it includes not only when the member is in contact with the other member, but also when there is another member between the two members.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout this specification, when an element is referred to as "including " an element, it is understood that the element may include other elements as well, without departing from the other elements unless specifically stated otherwise.

본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.The terms "about "," substantially ", etc. used to the extent that they are used throughout the specification are intended to be taken to mean the approximation of the manufacturing and material tolerances inherent in the stated sense, Accurate or absolute numbers are used to help prevent unauthorized exploitation by unauthorized intruders of the referenced disclosure. The word " step (or step) "or" step "used to the extent that it is used throughout the specification does not mean" step for.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. 이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.In this specification, some of the operations or functions described as being performed by a terminal, a device, or a device may be performed instead in a server connected to the terminal, device, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed in a terminal, device or device connected to the server. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본원의 일 실시예에 따른 다국어 학습 서비스 제공 시스템을 나타내는 도면이다. 도 1에 도시된 바와 같이, 본원의 일 실시예에 따른 다국어 학습 서비스 제공 시스템(100)은 다국어 학습 서비스 제공 서버(110) 및 사용자 단말(120)을 포함할 수 있다.1 is a diagram illustrating a system for providing a multi-lingual learning service according to an embodiment of the present invention. As shown in FIG. 1, the multilingual learning service providing system 100 according to an embodiment of the present invention may include a multilingual learning service providing server 110 and a user terminal 120.

다국어 학습 서비스 제공 서버(110) 및 사용자 단말(120)은 네트워크(130)를 통해 상호 연결될 수 있다. 네트워크(130)는 단말 및 서버와 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.The multilingual learning service providing server 110 and the user terminal 120 may be interconnected via the network 130. [ The network 130 is a connection structure capable of exchanging information between nodes such as a terminal and a server. An example of such a network is a 3rd Generation Partnership Project (3GPP) network, an LTE (Long Term Evolution) network, Network, a World Interoperability for Microwave Access (WIMAX) network, the Internet, a LAN, a Wireless Local Area Network (WAN), a Wide Area Network (WAN), a Personal Area Network (PAN), a Bluetooth ) Network, a satellite broadcast network, an analog broadcast network, a DMB (Digital Multimedia Broadcasting) network, and the like.

다국어 학습 서비스 제공 서버(110)는 네트워크(130)를 통해 사용자 단말(120)에 다국어 학습 콘텐츠 및 다국어 학습 서비스를 제공할 수 있는 서버 또는 장치를 포함한다. 또한, 다국어 학습 서비스 제공 서버(110)는 다국어 번역 엔진을 포함하거나 네트워크(130)를 통해 다국어 번역 엔진과 연결될 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 음성 인식 엔진을 포함하거나 네트워크(130)를 통해 음성 인식 엔진과 연결될 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 TTS 엔진을 포함하거나 네트워크(130)를 통해 TTS 엔진과 연결될 수 있다.The multilingual learning service providing server 110 includes a server or an apparatus capable of providing multilingual learning contents and multilingual learning services to the user terminal 120 through the network 130. [ Also, the multilingual learning service providing server 110 may include a multilingual translation engine or may be connected to the multilingual translation engine through the network 130. In addition, the multilingual learning service providing server 110 may include a speech recognition engine or may be connected to the speech recognition engine via the network 130. [ In addition, the multilingual learning service providing server 110 may include a TTS engine or may be connected to the TTS engine via the network 130. [

본 발명의 다양한 실시예들에 따르면, 사용자 단말(120)은 다양한 형태의 디바이스일 수 있다. 예를 들어, 사용자 단말(120)은 네트워크(130)를 통해 원격지의 서버 또는 장치에 접속할 수 있는 TV 장치, 컴퓨터 또는 휴대용 단말일 수 있다. 여기서, TV 장치의 일 예에는 스마트 TV, IPTV 셋톱박스 등이 포함되고, 컴퓨터의 일 예에는 노트북, 데스크톱(desktop), 랩톱(laptop) 등이 포함되고, 휴대용 단말의 일 예에는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치가 포함될 수 있다.According to various embodiments of the present invention, the user terminal 120 may be various types of devices. For example, the user terminal 120 may be a TV device, a computer, or a portable terminal capable of connecting to a server or device at a remote location via the network 130. Here, an example of the TV apparatus includes a smart TV, an IPTV set-top box, and the like. Examples of the computer include a notebook, a desktop, a laptop, and the like. (PDS), a Personal Digital Assistant (PDA), an International Mobile Telecommunication (IMT), and a Personal Digital Assistant (PDS) Such as all kinds of handhelds such as CDMA-2000, Code Division Multiple Access (CDMA) -2000, W-Code Division Multiple Access (W-CDMA), Wibro (Wireless Broadband Internet) terminals, smartphones, ) Based wireless communication device may be included.

사용자 단말(120)에는 사용자에게 다국어 학습 서비스를 제공하기 위한 어플리케이션(application)이 설치 및 구동될 수 있다. 또한, 사용자 단말(120)에는 음성 인식 어플리케이션 또는 음성 인식 엔진이 설치될 수 있다. 또한, 사용자 단말(120)에는 다국어 번역 엔진 및 다국어 번역 데이터베이스가 포함될 수 있다. 또한, 사용자 단말(120)에는 TTS 엔진이 포함될 수 있다.An application for providing a multilingual learning service to a user may be installed and driven in the user terminal 120. [ In addition, the user terminal 120 may be provided with a voice recognition application or a voice recognition engine. In addition, the user terminal 120 may include a multilingual translation engine and a multilingual translation database. In addition, the user terminal 120 may include a TTS engine.

본 발명의 일 실시예에 따르면, 다국어 학습 서비스 제공 서버(110)는 복수의 대화문을 포함하는 학습 대본 또는 학습문을 네트워크(130)를 통해 사용자 단말(120)에 전송한다. 상기 학습 대본 또는 학습문은 예를 들어, 영어, 국어, 일본어, 중국어, 독일어 등 다양한 언어의 대화문 또는 문장을 포함할 수 있다. According to an embodiment of the present invention, the multilingual learning service providing server 110 transmits a learning script or a learning statement including a plurality of conversations to the user terminal 120 through the network 130. [ The learning scenario or the learning sentence may include a dialogue or a sentence in various languages such as English, Korean, Japanese, Chinese, and German.

또한, 사용자 단말(120)은 사용자가 입력한 음성 입력 또는 텍스트 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 다국어 학습 서비스 제공 서버(110)는 사용자 단말(120)로부터 수신한 음성 입력 또는 텍스트 입력의 다국어 번역문을 준비하고, 준비된 번역문을 사용자 단말(120)로 전송할 수 있다.Also, the user terminal 120 may transmit the voice input or the text input inputted by the user to the multi-lingual learning service providing server 110 through the network 130. The multilingual learning service providing server 110 may prepare multilingual translation of voice input or text input received from the user terminal 120 and transmit the prepared translation to the user terminal 120. [

이하에서는 도 2a 내지 도 5f를 참조하여, 본 발명의 다양한 실시예에 따른 다국어 학습 서비스의 제공 방법에 대하여 상세히 설명한다.Hereinafter, a method of providing a multilingual learning service according to various embodiments of the present invention will be described in detail with reference to FIGS. 2A to 5F.

도 2a 내지 도 2i는 본원의 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다. 도 2a에 도시된 바와 같이, 사용자 단말(120)은 디스플레이 패널(예를 들어, 터치스크린)에 복수의 대화문을 포함하는 제1언어의 학습 대본(201)을 디스플레이할 수 있다. 예를 들어, 학습 대본(201)은 A, B 두 사람이 주고 받는 대화문 형식으로 구성될 수 있다. 또한, 학습 대본(201)은 말풍선(202) 내에 디스플레이될 수 있다. 예를 들어, 상기 제1언어는 한국어인 것으로 가정한다.FIGS. 2A through 2I are views illustrating a method of providing a multilingual learning service according to an embodiment of the present invention. As shown in FIG. 2A, the user terminal 120 may display a first language learning scenario 201 that includes a plurality of dialogues on a display panel (e.g., a touch screen). For example, the learning scenario (201) can be configured in the form of a dialogue between two persons A and B. In addition, the learning scenario 201 may be displayed within the speech balloon 202. For example, it is assumed that the first language is Korean.

사용자 단말(120)은 다국어 학습 서비스의 시작 입력을 수신할 수 있다. 예를 들어, 사용자 단말(120)은 터치스크린에 디스플레이되는 'START' 아이콘에 대한 사용자의 터치입력을 수신할 수 있다. 도 2b에 도시된 바와 같이, 사용자 단말(120)은 복수의 대화문 중 제1대화문에 대응하는 제2언어의 제1번역 대화문(205)을 디스플레이할 수 있다. 예를 들어, 상기 제 2 언어는 영어인 것으로 가정한다. 또한, 예를 들어, 상기 제1대화문은 "안녕, 내 이름은 앨리스 브라운이고, 여러분의 영어 선생님이에요."이다. 사용자 단말(120)은 제1번역 대화문(205)을 제1말풍선(204) 내에 디스플레이할 수 있다. 또한, 사용자 단말(120)은 제1말풍선(204)을 제1화자 이미지(206)와 함께 디스플레이할 수 있다. The user terminal 120 may receive the start input of the multilingual learning service. For example, the user terminal 120 may receive a user's touch input to the 'START' icon displayed on the touch screen. As shown in FIG. 2B, the user terminal 120 may display a first translated dialogue 205 of a second language corresponding to a first one of a plurality of conversations. For example, it is assumed that the second language is English. Also, for example, the first dialogue is "Hello, my name is Alice Brown and it is your English teacher." The user terminal 120 may display the first translated dialogue 205 within the first speech balloon 204. [ In addition, the user terminal 120 may display the first speech balloon 204 along with the first speaker image 206.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1번역 대화문(205)을 디스플레이함과 동시에 제1번역 대화문(205)의 TTS 음성을 재생할 수 있다. 예를 들어, 사용자 단말(120)은 제1번역 대화문(205)의 TTS 음성 데이터를 다국어 학습 서비스 제공 서버(110)로부터 수신하거나, 사용자 단말(120)에 구비되어 있는 TTS 제공 엔진에 의하여 TTS 음성을 재생할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 TTS 음성 재생 아이콘(208)에 대한 입력을 수신하고, 제1번역 대화문(205)에 대한 TTS 음성을 재생할 수 있다.Also, according to an embodiment of the present invention, the user terminal 120 can display the first translated dialogue 205 and reproduce the TTS audio of the first translated dialogue 205 simultaneously. For example, the user terminal 120 may receive the TTS voice data of the first translation dialogue 205 from the multilingual learning service providing server 110, or transmit the TTS voice data by the TTS providing engine provided in the user terminal 120 Can be reproduced. Also, according to another embodiment of the present invention, the user terminal 120 may receive an input to the TTS voice play icon 208 and play a TTS voice for the first translation conversation 205. [

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1화자 이미지(206)와 연계된 제1음성으로 제1번역 대화문(205)의 TTS 음성을 재생할 수 있다. 예를 들어, 제1화자 이미지(206)가 남자 캐릭터인 경우, 남성의 음성으로 TTS음성을 재생하거나, 제1화자 이미지(206)가 영화 또는 만화의 캐릭터 이미지인 경우, 해당 영화 또는 만화 캐릭터의 음성으로 TTS음성을 재생할 수 있다. Also, according to one embodiment of the present invention, the user terminal 120 may play the TTS voice of the first translation dialogue 205 with the first voice associated with the first speaker image 206. [ For example, when the first speaker image 206 is a male character, a TTS voice is played with a male voice, or when the first speaker image 206 is a character image of a movie or a cartoon, The TTS audio can be reproduced by voice.

본 발명의 일 실시예에 따르면, 제1번역 대화문(205)에 대한 TTS 음성 재생이 종료되면, 도 2c에 도시된 바와 같이, 음성 입력 녹음 인터페이스(212)가 자동으로 디스플레이될 수 있다. 사용자 단말(120)에는 음성 입력을 위한 어플리케이션이 설치될 수 있으며, 상기 어플리케이션의 구동에 의해 음성 입력 녹음 인터페이스(212)가 디스플레이될 수 있다. 또한, 사용자 단말(120)은 음성 입력 녹음 인터페이스(212)를 통해 제1번역 대화문(205)과 연계된 제2언어의 음성 입력을 수신할 수 있다. 예를 들어, 제1번역 대화문(205)과 연계된 음성 입력이라는 것은 제1번역 대화문(205)을 따라하는 사용자의 음성 입력을 의미할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 음성 입력 아이콘(210)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 도 2c에 도시된 바와 같이, 음성 입력 녹음 인터페이스(212)를 디스플레이하고, 제1번역 대화문(205)과 연계된 제2언어의 음성 입력을 수신할 수 있다.According to an embodiment of the present invention, when the TTS audio reproduction for the first translation dialogue 205 is finished, the audio input recording interface 212 can be automatically displayed, as shown in FIG. 2C. An application for voice input may be installed in the user terminal 120, and the voice input recording interface 212 may be displayed by driving the application. The user terminal 120 may also receive voice input of a second language associated with the first translation dialogue 205 via the voice input recording interface 212. [ For example, the speech input associated with the first translation dialogue 205 may refer to the user's speech input following the first translation dialogue 205. [ In addition, according to another embodiment of the present invention, when the user terminal 120 receives a user input (e.g., a touch input) to the voice input icon 210, Display interface 212 and receive audio input of a second language associated with the first translation dialogue 205. [

본 발명의 일 실시예에 따르면, 사용자 단말(120)은 수신한 제1번역 대화문(205)과 연계된 음성 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 다국어 학습 서비스 제공 서버(110)는 음성 인식 알고리즘을 통해 제1번역 대화문(205)과 연계된 음성 입력으로부터 제2언어의 제1연습문을 인식할 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 제1연습문의 제1언어의 번역문을 준비할 수 있다. 예를 들어, 다국어 학습 서비스 제공 서버(110)는 네트워크(130)를 통해 연결된 번역 엔진으로부터 제1연습문의 번역문을 수신하거나, 내부에 구비되어 있는 번역 엔진을 이용하여 제1연습문을 번역할 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 상기 제2언어의 제1연습문 및 제1연습문의 제1언어의 번역문을 사용자 단말(120)로 전송할 수 있다. 또한, 사용자 단말(120)은 다국어 학습 서비스 제공 서버(110)로부터 수신한 제2언어의 제1연습문(214) 및 제1언어의 번역문(216)을 제2말풍선(218) 내에 디스플레이할 수 있다. 한편, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 내부에 구비되어 있는 음성 인식 엔진 및 번역 엔진을 이용하여 수신한 제1번역 대화문(205)과 연계된 음성 입력으로부터 제2언어의 제1연습문 및 제1연습문의 제1언어의 번역문을 준비할 수 있다.According to an embodiment of the present invention, the user terminal 120 may transmit the voice input associated with the received first translated dialogue 205 to the multi-lingual learning service providing server 110 via the network 130. [ The multilingual learning service providing server 110 can recognize the first exercise sentence of the second language from the speech input associated with the first translated dialogue 205 through the speech recognition algorithm. In addition, the multilingual learning service providing server 110 may prepare a translation of the first language of the first exercise inquiry. For example, the multilingual learning service providing server 110 may receive the translation of the first practice query from the translation engine connected via the network 130, or translate the first practice word using a translation engine provided therein have. In addition, the multilingual learning service providing server 110 may transmit the first exercise of the second language and the translation of the first language of the first practice to the user terminal 120. The user terminal 120 may also display the first practice statement 214 of the second language and the translated text 216 of the first language received from the multilingual learning service providing server 110 in the second speech balloon 218 have. Meanwhile, according to another embodiment of the present invention, the user terminal 120 extracts, from a speech input associated with the first translated dialogue 205 received using the speech recognition engine and the translation engine provided therein, And a translation of the first language of the first exercise inquiry can be prepared.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 음성 인식 엔진을 이용하여 제 1번역 대화문(205)과 연계된 음성 입력이 녹음된 녹음파일을 저장하거나, 다국어 학습 서비스 제공 서버(110)로부터 제1번역 대화문(205)과 연계된 음성 입력이 녹음된 녹음 파일을 수신하여 저장하고, 도 2f에 도시된 바와 같이, 제 2 말풍선(218)내에 녹음 파일 재생 아이콘을 디스플레이 할 수 있다. 사용자 단말(120)이 녹음 파일 재생 아이콘(219)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 사용자 단말(120)은 제1번역 대화문(205)과 연계된 음성 입력이 녹음된 녹음 파일을 재생할 수 있다. 또한, 사용자 단말(120)이 TTS 음성 재생 아이콘(208)에 대한 입력을 수신하면, 사용자 단말(120)은 제 1번역 대화문(205)의 TTS 음성을 재생할 수 있다. 따라서, 사용자는 자신이 입력한 음성 입력을 다시 들을 수 있고, 제 1번역 대화문에 대한 TTS 음성도 들을 수 있어, 양자의 비교 판단이 가능하기 때문에, 높은 외국어 학습 효과를 얻을 수 있다. In addition, according to an embodiment of the present invention, the user terminal 120 may store a recorded file in which the voice input associated with the first translation dialogue 205 is recorded using a voice recognition engine, 110 to receive and store the recorded audio file associated with the audio file associated with the first translation dialogue 205 and display the recorded file playback icon within the second speech bubble 218 as shown in Figure 2f . When the user terminal 120 receives a user input (e.g., a touch input) to the recording file playback icon 219, the user terminal 120 determines that the audio input associated with the first translation dialogue 205 has been recorded You can play the recording file. In addition, when the user terminal 120 receives an input to the TTS voice reproduction icon 208, the user terminal 120 can reproduce the TTS voice of the first translation conversation 205. [ Therefore, the user can listen to the input speech again by himself / herself, listen to the TTS speech for the first translated dialogue, and compare and judge the two, so that a high foreign language learning effect can be obtained.

한편, 사용자 단말(120)은 사용자의 음성 입력으로부터 인식한 제1연습문(214)과 제1번역 대화문(205)이 일치하는지 여부를 판단할 수 있다. 또한, 판단의 결과, 제1연습문(214)과 제1번역 대화문(205)이 일치하지 않는 경우, 사용자 단말(120)은 일치하지 않는 부분과 일치하는 부분을 구분하여 표시할 수 있다. 예를 들어, 도 2d에 도시된 바와 같이, 사용자 단말(120)은 제1연습문(214)과 제1번역 대화문(205)이 일치하지 않는 부분의 글자색을 구분하여 표시할 수 있다 (예를 들어, 붉은색으로 표시).Meanwhile, the user terminal 120 may determine whether the first exercise statement 214 recognized from the user's voice input matches the first translated dialogue 205. As a result of the determination, if the first exercise statement 214 and the first translated dialogue 205 do not match, the user terminal 120 can distinguish and display the portion that matches the unmatched portion. For example, as shown in FIG. 2D, the user terminal 120 can distinguish and display the color of a portion where the first practice statement 214 and the first translation dialogue 205 do not match (see, for example, For example, red).

또한, 제1연습문(214)과 제1번역 대화문(205)이 일치하지 않는 경우, 도 2e에 도시된 바와 같이, 사용자 단말(120)은 음성 입력 녹음 인터페이스(212)를 자동으로 디스플레이하고, 제1번역 대화문(205)과 연계된 2언어의 음성 입력을 재수신할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 음성 입력 아이콘(210)에 대한 사용자 입력(예를 들어, 터치 입력)을 재수신하면, 도 2e에 도시된 바와 같이, 음성 입력 녹음 인터페이스(212)를 디스플레이하고, 제1번역 대화문(205)과 연계된 제2언어의 음성 입력을 재수신할 수 있다.2E, the user terminal 120 automatically displays the voice input recording interface 212, and if the first exercise statement 214 and the first translation dialogue 205 do not match, It is possible to re-receive the voice input of the two languages associated with the first translated dialogue 205. In addition, according to another embodiment of the present invention, when the user terminal 120 re-receives a user input (e.g., a touch input) to the voice input icon 210, Display the input recording interface 212 and re-receive the audio input of the second language associated with the first translation dialogue 205. [

또한, 사용자 단말(120)은 재수신한 음성 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 또한, 사용자 단말(120)은 다국어 학습 서비스 제공 서버(110)로부터 제1연습문(221) 및 제1언어의 제1연습문의 번역문(222)을 수신하고, 도 2f에 도시된 바와 같이, 제2말풍선(223) 내에 디스플레이할 수 있다. 예를 들어, 제2말풍선(223)은 제1말풍선(204)의 수직하단에 디스플레이될 수 있다. 또한, 제2말풍선(223)의 바탕색은 제1말풍선(204)의 바탕색과 동일하다.Also, the user terminal 120 may transmit the re-received voice input to the multi-lingual learning service providing server 110 via the network 130. 2F, the user terminal 120 receives the first exercise statement 221 and the first practice query translation 222 of the first language from the multilingual learning service provision server 110, 2 speech balloon 223, as shown in FIG. For example, the second speech balloon 223 may be displayed at the lower right end of the first speech balloon 204. The background color of the second speech balloon 223 is the same as the background color of the first speech balloon 204.

또한, 사용자 단말(120)은 재수신한 제 1번역 대화문(205)과 연계된 음성 입력이 녹음된 녹음파일을 저장하거나, 다국어 학습 서비스 제공 서버(110)로부터 재수신한 음성 입력이 녹음된 녹음 파일을 수신하여 저장하고, 도 2f에 도시된 바와 같이, 제 2 말풍선(223)내에 녹음 파일 재생 아이콘을 디스플레이할 수 있다. 사용자 단말(120)이 녹음 파일 재생 아이콘에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 사용자 단말(120)은 재수신한 음성 입력이 녹음된 녹음 파일을 재생할 수 있다. Also, the user terminal 120 may store a recorded voice file recorded with the voice input associated with the first translated conversation 205 that has been re-received or a voice file recorded with the voice input re-received from the multilingual learning service providing server 110 And displays the recorded file reproduction icon in the second speech balloon 223, as shown in FIG. 2F. When the user terminal 120 receives a user input (e.g., a touch input) on the recording file playback icon, the user terminal 120 can play back the recorded recording file on which the replayed audio input is recorded.

재수신한 음성 입력으로부터 인식된 제1연습문(221)과 제1번역 대화문(205)이 일치하는 경우, 사용자 단말(120)은 복수의 대화문 중 제2대화문에 대응하는 제2언어의 제2번역 대화문(225)를 디스플레이할 수 있다. 예를 들어, 상기 제2대화문은 "하이, 미스 브라운, 만나서 반갑습니다."이다. 사용자 단말(120)은 제2번역 대화문(225)을 제3말풍선(224) 내에 디스플레이할 수 있다. 예를 들어, 제3말풍선(224)은 제2말풍선(223)의 좌하단 (도 2g에 도시) 또는 우하단에 디스플레이될 수 있다. 또한, 제3말풍선(224)의 바탕색은 제1말풍선(204) 및 제2말풍선(223)의 바탕색과 다르다.If the first exercise statement 221 recognized from the re-entered speech input matches the first translated dialogue 205, the user terminal 120 may generate a second translation of the second language corresponding to the second dialogue, The dialogue 225 can be displayed. For example, the second dialogue is "Hi, Miss Brown, Nice to meet you." The user terminal 120 may display the second translated dialogue 225 within the third speech balloon 224. [ For example, the third speech balloon 224 may be displayed at the lower left end (shown in FIG. 2G) or the lower right end of the second speech balloon 223. The background color of the third speech balloon 224 is different from the background color of the first speech balloon 204 and the second speech balloon 223.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제2번역 대화문(225)이 포함된 제3말풍선(224)을 제2화자 이미지(226)와 함께 디스플레이할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제2번역 대화문(225)을 디스플레이함과 동시에 제2번역 대화문(225)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 TTS 음성 재생 아이콘(227)에 대한 입력을 수신하고, 제2번역 대화문(225)에 대한 TTS 음성을 재생할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제2화자 이미지(226)와 연계된 제2음성으로 제2번역 대화문(225)의 TTS 음성을 재생할 수 있다. 예를 들어, 제2화자 이미지(226)가 여자 캐릭터인 경우, 여성의 음성으로 TTS음성을 재생하거나, 제2화자 이미지(226)가 영화 또는 만화의 캐릭터 이미지인 경우, 해당 영화 또는 만화 캐릭터의 음성으로 TTS음성을 재생할 수 있다.In addition, according to one embodiment of the present invention, the user terminal 120 may display a third speech balloon 224 including a second translated dialogue 225 with a second speaker image 226. [ Also, according to an embodiment of the present invention, the user terminal 120 can display the second translated dialogue 225 and reproduce the TTS audio of the second translated dialogue 225 simultaneously. Also, according to another embodiment of the present invention, the user terminal 120 may receive an input to the TTS voice play icon 227 and play the TTS voice for the second translation conversation 225. [ Also, according to one embodiment of the present invention, the user terminal 120 may play the TTS voice of the second translated dialogue 225 with the second voice associated with the second speaker image 226. [ For example, when the second speaker image 226 is a female character, a TTS voice is reproduced by a woman's voice. If the second speaker image 226 is a character image of a movie or a cartoon, The TTS audio can be reproduced by voice.

이와 같이, 본 발명에 따르면, 복수의 대화문을 포함하는 학습 대본을 이용하여 복수의 캐릭터가 채팅 또는 대화를 주고받는 형식으로 각 대화문과 연계된 번역 대화문(205, 225)을 사용자에게 제공하고, 대화문이 달라질 때마다 번역 대화문이 포함된 말풍선의 위치 또는 바탕색을 다르게 함으로써, 사용자에게 마치 복수의 캐릭터가 채팅 또는 대화를 하고 있는 듯한 효과를 줄 수 있다. 따라서, 모바일 채팅을 이용하는 사용자들에게 보다 친숙하게 외국어 학습 서비스를 제공할 수 있다.Thus, according to the present invention, it is possible to provide a user with a translation dialogue (205, 225) associated with each dialogue in a form in which a plurality of characters exchange chat or conversation using a learning script including a plurality of dialogues, , The position or background color of the speech balloon including the translation dialogue is made different, so that the user can feel as though the plurality of characters are chatting or conversing. Accordingly, it is possible to provide foreign language learning services more familiar to users who use mobile chat.

또한, 사용자 단말(120)은 음성 입력 녹음 인터페이스(212)를 자동으로 디스플레이하고, 제2번역 대화문(225)과 연계된 제2언어의 음성 입력을 수신할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 음성 입력 아이콘(210)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 도 2h에 도시된 바와 같이, 음성 입력 녹음 인터페이스(212)를 디스플레이하고, 제2번역 대화문(225)과 연계된 제2언어의 음성 입력을 수신할 수 있다.The user terminal 120 may also automatically display the voice input recording interface 212 and receive voice input of a second language associated with the second translation dialogue 225. [ In addition, according to another embodiment of the present invention, when the user terminal 120 receives a user input (e.g., a touch input) to the voice input icon 210, Display interface 212 and receive audio input of a second language associated with second translation dialogue 225. [

또한, 앞서 설명한 바와 같이, 사용자 단말(120)은 수신한 음성 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 또한, 사용자 단말(120)은 다국어 학습 서비스 제공 서버(110)로부터 제2번역 대화문(225)과 연계된 음성 입력에 대응하는 제2언어의 제2연습문(229) 및 제2연습문(229)의 제1언어의 번역문(230)을 수신하고, 도 2i에 도시된 바와 같이, 말풍선(228) 내에 디스플레이할 수 있다. 예를 들어, 제2연습문(229)과 번역문(230)을 포함하는 말풍선(228)은 제2말풍선(224)의 수직하단에 디스플레이될 수 있다.Also, as described above, the user terminal 120 can transmit the received voice input to the multilingual learning service providing server 110 through the network 130. [ The user terminal 120 also receives a second exercise statement 229 and a second exercise statement 229 of the second language corresponding to the voice input associated with the second translation dialogue 225 from the multilingual learning service providing server 110 ) And display it in speech balloon 228, as shown in Figure 2i. For example, a speech balloon 228 including a second practice statement 229 and a translation 230 may be displayed at the lower right of the second speech balloon 224.

또한, 사용자 단말(120)은 수신한 제 2번역 대화문(225)과 연계된 음성 입력이 녹음된 녹음파일을 저장하거나, 다국어 학습 서비스 제공 서버(110)로부터 제2번역 대화문(225)과 연계된 음성 입력이 녹음된 녹음 파일을 수신하여 저장하고, 도 2i에 도시된 바와 같이, 말풍선(228)내에 녹음 파일 재생 아이콘을 디스플레이 할 수 있다. 사용자 단말(120)이 녹음 파일 재생 아이콘(231)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 사용자 단말(120)은 음성 입력이 녹음된 녹음 파일을 재생할 수 있다. Also, the user terminal 120 may store the recorded recording file in which the voice input associated with the received second translation dialogue 225 is recorded, The user can receive and store the recording file in which the voice input is recorded, and display the recording file playback icon in the balloon 228 as shown in FIG. 2I. When the user terminal 120 receives a user input (e.g., a touch input) to the recording file reproduction icon 231, the user terminal 120 can reproduce the recorded file on which the voice input is recorded.

이상 설명한 바와 같이, 학습 대본(201)에 포함되어 있는 모든 대화문에 대한 번역문 디스플레이, TTS 음성 재생, 음성 입력 수신, 연습문 및 번역문의 디스플레이가 완료되면, 사용자 단말(120)은 모든 대화문과 연계된 TTS 음성 및 음성 입력의 녹음 파일을 순서대로 재생할 수 있다. 예를 들어, 학습 대본(201)이 제1대화문과 제2대화문으로 구성되어 있는 경우를 가정한다. 앞서 설명한 바와 같이, 제2대화문의 제2번역 대화문(225)에 대한 제2연습문(229) 및 그 번역문(230)에 대한 디스플레이가 완료되면, 사용자 단말(120)은 제1번역 대화문(205)의 TTS 음성, 제1번역 대화문(205)과 연계되고 사용자가 입력한 제1음성 입력의 녹음 파일, 제2번역 대화문(225)의 TTS 음성, 제2번역 대화문(225)과 연계되고 사용자가 입력한 제2음성 입력의 녹음 파일을 순서대로 재생할 수 있다. 예를 들어, 사용자 단말(120)은 모든 대화문과 연계된 TTS 음성 및 녹음 파일을 자동으로 재생하거나, 사용자 입력을 받아 재생할 수 있다.As described above, when the display of the translation display, the TTS voice reproduction, the voice input reception, the practice text, and the translation are all displayed in all the dialogues included in the learning scenario 201, the user terminal 120 transmits, TTS Recording files of voice and voice input can be played back in order. For example, assume that the learning scenario 201 comprises a first dialogue and a second dialogue. As described above, upon completion of the display of the second exercise 229 and the translation 230 for the second translation dialog 225 of the second conversation, the user terminal 120 can then display the first translation dialogue 205 ), The TTS voice of the first translation dialogue box 225, the recording file of the first speech input, which is associated with the first translation dialogue 205, the TTS voice of the second translation dialogue 225 and the second translation dialogue 225, It is possible to sequentially reproduce the recording file of the input second audio input. For example, the user terminal 120 may automatically reproduce the TTS voice and recorded files associated with all the dialogues, or may receive and reproduce user input.

도 3a 내지 도 3d는 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다. 도 3a에 도시된 바와 같이, 사용자 단말(120)은 디스플레이 패널(예를 들어, 터치스크린)에 제1언어의 제1대화문(301)을 디스플레이할 수 있다. 예를 들어, 상기 제1언어는 한국어인 것으로 가정한다. 제1대화문(301)은 제1말풍선(302) 내에 디스플레이될 수 있다. 또한, 사용자 단말(120)은 제1대화문(301)을 포함하는 제1말풍선(302)을 제1화자 이미지(304)와 연계하여 디스플레이할 수 있다. FIGS. 3A through 3D are diagrams illustrating exemplary methods of providing a multilingual learning service according to another embodiment of the present invention. As shown in FIG. 3A, the user terminal 120 may display a first dialogue 301 of a first language on a display panel (e.g., a touch screen). For example, it is assumed that the first language is Korean. The first dialogue 301 may be displayed within the first speech balloon 302. The user terminal 120 may also display the first speech balloon 302 including the first dialogue 301 in conjunction with the first speaker image 304. [

또한, 사용자 단말(120)은 TTS 음성 재생 아이콘(303)에 대한 사용자 입력을 수신하면, 제1대화문(301)을 제2언어로 번역한 제1번역 대화문의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1화자 이미지(304)와 연계된 음성으로 제1번역 대화문의 TTS 음성을 재생할 수 있다. 예를 들어, 상기 제1번역 대화문은 사용자 단말(120) 내에 미리 저장되어 있거나 다국어 학습 서비스 제공 서버(110)로부터 전송받을 수 있다. 또한, 도시하지는 않았지만, 사용자 단말(120)은 제1번역 대화문을 디스플레이할 수도 있다. 예를 들어, 상기 제2언어는 영어인 것으로 가정한다. When the user terminal 120 receives a user input for the TTS voice reproduction icon 303, the user terminal 120 can reproduce the TTS voice of the first translation conversation in which the first dialogue 301 is translated into the second language. Also, according to one embodiment of the present invention, the user terminal 120 may play the TTS voice of the first translation conversation with the voice associated with the first speaker image 304. [ For example, the first translated dialogue may be stored in advance in the user terminal 120 or may be received from the multilingual learning service providing server 110. Also, although not shown, the user terminal 120 may display the first translated dialogue. For example, it is assumed that the second language is English.

다음으로, 사용자 단말(120)은 제1번역 대화문에 대응하는 제2언어의 제1텍스트 입력(306)을 수신할 수 있다. 예를 들어, 사용자 단말(120)은 키패드 인터페이스(305)를 통해 작성되는 제1텍스트 입력(306)을 수신할 수 있다. 또한, 사용자 단말(120)은 수신한 제1텍스트 입력(306)을 다국어 학습 서비스 제공 서버(110)로 전송하고, 다국어 학습 서비스 제공 서버(110)로부터 제1텍스트 입력(306)의 제1언어의 번역문(307)과 제1텍스트 입력(306)의 TTS 음성 데이터를 수신할 수 있다.Next, the user terminal 120 may receive the first text input 306 of the second language corresponding to the first translated dialogue. For example, the user terminal 120 may receive a first textual input 306 that is created via the keypad interface 305. The user terminal 120 transmits the received first text input 306 to the multilingual learning service providing server 110 and receives the first language input of the first text input 306 from the multilingual learning service providing server 110 And the TTS audio data of the first text input 306 can be received.

또한, 도 3b에 도시된 바와 같이, 사용자 단말(120)은 제1텍스트 입력(306) 및 제1텍스트 입력(306)의 제1언어의 번역문(307)을 디스플레이할 수 있다. 예를 들어, 제1텍스트 입력(306) 및 번역문(307)은 제2말풍선(308) 내에 디스플레이될 수 있다. 또한, 제2말풍선(308)은 제1말풍선(302)의 수직하단에 디스플레이될 수 있고, 제2말풍선(308)의 바탕색은 제1말풍선(302)의 바탕색과 동일하다. 또한, 사용자 단말(120)은 TTS 음성 재생 아이콘(309)에 대한 사용자 입력을 수신하면, 제1텍스트 입력(306)의 TTS 음성을 재생할 수 있다. 제1텍스트 입력(306)의 TTS 음성 데이터는 다국어 학습 서비스 제공 서버(110)로부터 전송받거나, 사용자 단말(120)이 제1텍스트 입력(306)에 기초하여 생성할 수 있다.3B, the user terminal 120 may display the first text input 306 and the translation 307 of the first language of the first text input 306. For example, the first text entry 306 and the translation 307 may be displayed within the second speech balloon 308. [ The second speech balloon 308 may be displayed at the lower right end of the first speech balloon 302 and the background color of the second speech balloon 308 may be the same as the background color of the first speech balloon 302. Also, when the user terminal 120 receives a user input for the TTS audio play icon 309, it can play back the TTS audio of the first text input 306. [ The TTS voice data of the first text input 306 may be received from the multilingual learning service providing server 110 or may be generated by the user terminal 120 based on the first text input 306.

한편, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1텍스트 입력(306)과 제1번역 대화문이 일치하는지 여부를 판단할 수 있다. 또한, 판단의 결과, 제1텍스트 입력(306)과 제1번역 대화문이 일치하는 경우, 도 3c에 도시된 바와 같이, 사용자 단말(120)은 제1언어의 제2대화문(310)을 디스플레이할 수 있다. 제2대화문(310)은 제3말풍선(311) 내에 디스플레이될 수 있다. 또한, 사용자 단말(120)은 제3말풍선(311)을 제2화자 이미지(313)와 연계하여 디스플레이할 수 있다. 또한, 제3말풍선(311)은 제2말풍선(308)의 좌하단 또는 우하단(도 3c에 도시)에 디스플레이되고, 제3말풍선(311)의 바탕색은 제1말풍선(302)의 바탕색 및 제2말풍선(308)의 바탕색과 다르다.Meanwhile, according to an embodiment of the present invention, the user terminal 120 can determine whether the first text input 306 and the first translation dialogue match. As a result of the determination, if the first text input 306 matches the first translated dialogue, the user terminal 120 displays the second dialogue 310 of the first language, as shown in FIG. 3C . The second dialogue 310 may be displayed within the third speech balloon 311. In addition, the user terminal 120 can display the third speech balloon 311 in association with the second speaker image 313. [ 3C), the background color of the third talk ball 311 is displayed on the lower left end or the lower right end of the second speech ball 308 2 It differs from the background color of speech ball 308.

또한, 사용자 단말(120)은 TTS 음성 재생 아이콘(312)에 대한 사용자 입력을 수신하면, 제2대화문(310)을 제2언어로 번역한 제2번역 대화문의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제2화자 이미지(313)와 연계된 음성으로 제2번역 대화문의 TTS 음성을 재생할 수 있다. 예를 들어, 상기 제2번역 대화문은 사용자 단말(120) 내에 미리 저장되어 있거나 다국어 학습 서비스 제공 서버(110)로부터 전송받을 수 있다.In addition, when the user terminal 120 receives a user input for the TTS voice reproduction icon 312, the user terminal 120 can reproduce the TTS voice of the second translation conversation in which the second conversation text 310 is translated into the second language. Further, according to an embodiment of the present invention, the user terminal 120 can reproduce the TTS voice of the second translation conversation with the voice associated with the second speaker image 313. For example, the second translated dialogue may be stored in advance in the user terminal 120 or may be received from the multilingual learning service providing server 110.

다음으로, 사용자 단말(120)은 제2번역 대화문에 대응하는 제2언어의 제2텍스트 입력(314)을 수신할 수 있다. 예를 들어, 사용자 단말(120)은 키패드 인터페이스(305)를 통해 작성되는 제2텍스트 입력(314)을 수신할 수 있다. 또한, 사용자 단말(120)은 수신한 제2텍스트 입력(314)을 다국어 학습 서비스 제공 서버(110)로 전송하고, 다국어 학습 서비스 제공 서버(110)로부터 제2텍스트 입력(314)의 제1언어의 번역문(315)과 제2텍스트 입력(314)의 TTS 음성 데이터를 수신할 수 있다.Next, the user terminal 120 may receive a second textual input 314 of a second language corresponding to the second translated dialogue. For example, the user terminal 120 may receive a second textual input 314, which is created via the keypad interface 305. The user terminal 120 may transmit the received second text input 314 to the multilingual learning service providing server 110 and may receive the first text input 314 from the multilingual learning service providing server 110, The TTS audio data of the second text input 314 and the translation 315 of the second text input 314 can be received.

또한, 도 3d에 도시된 바와 같이, 사용자 단말(120)은 제2텍스트 입력(314) 및 제2텍스트 입력(314)의 제1언어의 번역문(315)을 디스플레이할 수 있다. 예를 들어, 제2텍스트 입력(314) 및 번역문(315)은 제4말풍선(316) 내에 디스플레이될 수 있다. Also, as shown in FIG. 3D, the user terminal 120 may display the translation of the first language 315 of the first language of the second text input 314 and the second text input 314. For example, the second text entry 314 and the translation 315 may be displayed within the fourth speech balloon 316.

이와 같이, 본 발명에 따르면, 복수의 대화문을 포함하는 학습 대본을 이용하여 복수의 캐릭터가 채팅 또는 대화를 주고받는 형식으로 각 대화문의 외국어 번역 대화문의 TTS 음성을 사용자에게 제공한다. 또한, 사용자는 TTS 음성을 듣고, 키패드 인터페이스를 이용하여 텍스트를 입력하고, 외국어 듣기를 학습할 수 있다. 또한, 각 대화문과 캐릭터를 연계하고, 대화문 달라질 때마다 대화문이 포함된 말풍선의 위치 또는 바탕색을 다르게 함으로써, 사용자에게 마치 복수의 캐릭터가 채팅 또는 대화를 하고 있는 듯한 효과를 줄 수 있다. 따라서, 모바일 채팅을 이용하는 사용자들에게 보다 친숙하게 외국어 학습 서비스를 제공할 수 있다.As described above, according to the present invention, a TTS voice of a conversation of a foreign language translation dialog of each conversation is provided to a user in a form in which a plurality of characters exchange chat or conversation using a learning script including a plurality of conversation texts. In addition, the user can listen to the TTS voice, input text using the keypad interface, and learn foreign language listening. In addition, by associating each conversation with a character and changing the position or background color of the speech balloon containing the conversation each time the conversation is different, the user can feel as though a plurality of characters are chatting or conversing. Accordingly, it is possible to provide foreign language learning services more familiar to users who use mobile chat.

도 4a 내지 도 4f는 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다. 도 4a에 도시된 바와 같이, 사용자 단말(120)은 디스플레이 패널(예를 들어, 터치스크린)에 제1언어의 제1대화문(401)을 디스플레이할 수 있다. 예를 들어, 상기 제1언어는 영어인 것으로 가정한다. 제1대화문(401)은 제1말풍선(402) 내에 디스플레이될 수 있다. 또한, 사용자 단말(120)은 제1말풍선(402)을 제1화자 이미지(404)와 연계하여 디스플레이할 수 있다. 4A to 4F are views illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention. As shown in FIG. 4A, the user terminal 120 may display a first dialogue 401 of a first language on a display panel (e.g., a touch screen). For example, it is assumed that the first language is English. The first dialogue 401 can be displayed within the first speech balloon 402. In addition, the user terminal 120 may display the first speech balloon 402 in conjunction with the first speaker image 404.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 TTS 음성 재생 아이콘(403)에 대한 사용자 입력을 수신하면, 제1대화문(401)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 제1대화문(401)을 디스플레이함과 동시에 제1대화문(401)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1화자 이미지(404)와 연계된 음성으로 제1 대화문(401)의 TTS 음성을 재생할 수 있다.Also, according to an embodiment of the present invention, when the user terminal 120 receives a user input for the TTS voice reproduction icon 403, it can reproduce the TTS voice of the first conversation statement 401. In addition, according to another embodiment of the present invention, the user terminal 120 can reproduce the TTS voice of the first dialogue screen 401 while displaying the first dialogue 401. Also, according to an embodiment of the present invention, the user terminal 120 can reproduce the TTS voice of the first dialogue 401 with the voice associated with the first speaker image 404.

본 발명의 일 실시예에 따르면, 제1대화문(401)에 대한 TTS 음성 재생이 종료되면, 도 4b에 도시된 바와 같이, 음성 입력 녹음 인터페이스(406)가 자동으로 디스플레이될 수 있다. 또한, 사용자 단말(120)은 음성 입력 녹음 인터페이스(406)를 통해 제2대화문과 연계된 제1언어의 음성 입력을 수신할 수 있다. 예를 들어, 제2대화문은 제1대화문(401)과 함께 학습 대본에 포함되며, 제1대화문(401)에 대한 응답의 대화문을 의미한다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 음성 입력 아이콘(405)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 음성 입력 녹음 인터페이스(406)를 디스플레이하고, 제2대화문과 연계된 제1언어의 음성 입력을 수신할 수 있다. According to one embodiment of the present invention, when the TTS voice reproduction for the first dialogue 401 ends, the voice input recording interface 406 can be automatically displayed, as shown in FIG. 4B. In addition, the user terminal 120 may receive voice input of the first language associated with the second dialogue through the voice input recording interface 406. [ For example, the second dialogue is included in the learning script together with the first dialogue 401, which means a dialogue in response to the first dialogue 401. Also, according to another embodiment of the present invention, when the user terminal 120 receives a user input (e.g., a touch input) to the voice input icon 405, the voice input recording interface 406 is displayed , And can receive voice input of the first language associated with the second dialogue.

본 발명의 일 실시예에 따르면, 사용자 단말(120)은 수신한 제2대화문과 연계된 음성 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 다국어 학습 서비스 제공 서버(110)는 음성 인식 알고리즘을 통해 제2대화문과 연계된 음성 입력으로부터 제1언어의 제1연습문을 인식할 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 제1연습문의 제2언어의 번역문을 준비하여 사용자 단말(120)로 전송할 수 있다. 또한, 사용자 단말(120)은 다국어 학습 서비스 제공 서버(110)로부터 수신한 제1언어의 제1연습문(407) 및 제1연습문(407)의 제2언어의 번역문(408)을 제2말풍선(409) 내에 디스플레이할 수 있다. 또한, 사용자 단말(120)은 제2말풍선(409)을 제2화자 이미지(412)와 연계하여 디스플레이할 수 있다. 또한, 제2말풍선(409)은 제1말풍선(402)의 좌하단 또는 우하단(도 4c에 도시)에 디스플레이될 수 있고, 제2말풍선(409)의 바탕색은 제1말풍선(402)의 바탕색과 다르다.According to an embodiment of the present invention, the user terminal 120 may transmit the voice input associated with the received second dialogue to the multi-lingual learning service providing server 110 via the network 130. The multilingual learning service providing server 110 can recognize the first exercise statement of the first language from the speech input associated with the second dialogue through the speech recognition algorithm. Also, the multilingual learning service providing server 110 may prepare a translation of the second language of the first exercise inquiry and transmit it to the user terminal 120. The user terminal 120 also receives the first practice statement 407 of the first language and the translation 408 of the second language of the first practice statement 407 received from the multilingual learning service provision server 110, And can be displayed in the speech balloon 409. In addition, the user terminal 120 may display the second speech balloon 409 in conjunction with the second speaker image 412. [ 4C), and the background color of the second speech balloon 409 may be displayed in the background color of the first speech balloon 402. In this case, the second speech balloon 409 may be displayed at the lower left or lower right end of the first speech balloon 402 .

또한, 사용자 단말(120)은 수신한 제 2 대화문과 연계된 음성 입력이 녹음된 녹음파일을 저장하거나, 다국어 학습 서비스 제공 서버(110)로부터 제2대화문과 연계된 음성 입력이 녹음된 녹음 파일을 수신하여 저장하고, 도 4c에 도시된 바와 같이, 제 2 말풍선(409)내에 녹음 파일 재생 아이콘을 디스플레이 할 수 있다. 사용자 단말(120)이 녹음 파일 재생 아이콘(410)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 사용자 단말(120)은 제2대화문과 연계된 음성 입력이 녹음된 녹음 파일을 재생할 수 있다. 또한, 사용자 단말(120)이 TTS 음성 재생 아이콘(411)에 대한 입력을 수신하면, 사용자 단말(120)은 제1연습문(407)의 TTS 음성을 재생할 수 있다. 따라서, 사용자는 자신이 입력한 음성 입력을 다시 들을 수 있고, 자신이 입력한 음성 입력에 대한 TTS 음성도 들을 수 있어, 양자의 비교 판단이 가능하기 때문에, 높은 외국어 학습 효과를 얻을 수 있다.In addition, the user terminal 120 may store a recorded voice file recorded with the voice input associated with the received second dialogue, or may transmit a recorded voice file recorded with the voice input associated with the second conversation text, And displays the recording file reproduction icon in the second speech balloon 409, as shown in FIG. 4C. When the user terminal 120 receives a user input (e.g., a touch input) to the recording file reproduction icon 410, the user terminal 120 reproduces the recorded file in which the voice input associated with the second conversation is recorded . Also, when the user terminal 120 receives the input to the TTS audio reproduction icon 411, the user terminal 120 can reproduce the TTS audio of the first practice statement 407. [ Therefore, the user can listen to the input speech again by himself / herself, listen to the TTS speech for the speech input he / she has input, and can compare and judge the speech input. Thus, a high foreign language learning effect can be obtained.

또한, 사용자 단말(120)은 제2대화문(413)을 포함하는 말풍선(414)을 디스플레이할 수 있다. 상기 제2대화문(413)은 다국어 학습 서비스 콘텐츠에 미리 포함되어 있다. 사용자 단말(120)은 사용자가 입력한 제2대화문과 연계된 음성 입력 (즉, 제1연습문(407))과 다국어 학습 서비스 콘텐츠에 포함되어 있는 제2대화문(413)의 일치 여부에 관계 없이, 제2말풍선(409)의 디스플레이가 완료되면, 제2대화문(413)을 포함하는 말풍선(414)을 디스플레이할 수 있다. 또한, 사용자 단말(120)이 TTS 음성 재생 아이콘에 대한 입력을 수신하면, 사용자 단말(120)은 제2대화문(413)의 TTS 음성을 재생할 수 있다. 즉, 사용자는 자신이 음성으로 입력한 제2대화문과 다국어 학습 서비스 콘텐츠에 미리 포함되어 있는 정답의 제2대화문을 비교 및 확인할 수 있다.In addition, the user terminal 120 may display a speech balloon 414 including a second dialogue 413. The second dialogue 413 is included in the multilingual learning service contents in advance. The user terminal 120 can determine whether or not the speech input (i.e., the first practice statement 407) associated with the second dialogue entered by the user matches the second dialogue 413 included in the multilingual learning service content , And when the display of the second speech balloon 409 is completed, the speech balloon 414 including the second dialogue word 413 can be displayed. Also, when the user terminal 120 receives the input for the TTS voice reproduction icon, the user terminal 120 can reproduce the TTS voice of the second conversation voice 413. That is, the user can compare and confirm the second dialogue sentence input by the user himself / herself with the second dialogue sentence of the correct answer previously included in the multilingual learning service content.

다음으로, 도 4e에 도시된 바와 같이, 사용자 단말(120)은 제1언어의 제3대화문(415)을 디스플레이할 수 있다. 예를 들어, 제3대화문은 제2대화문(413)과 함께 학습 대본에 포함되며, 제2대화문(413)에 대한 응답의 대화문을 의미한다. 제3대화문(415)은 제3말풍선(416) 내에 디스플레이될 수 있다. 또한, 제3말풍선(416)은 제1말풍선(402)의 수직하단에 디스플레이될 수 있고, 제2말풍선(409)의 좌하단(도 4e에 도시) 또는 우하단에 디스플레이될 수 있고, 제3말풍선(416)의 바탕색은 제1말풍선(402)의 바탕색과 동일하고, 제2말풍선(409)의 바탕색과 다르다.Next, as shown in FIG. 4E, the user terminal 120 may display the third dialogue 415 of the first language. For example, the third dialogue is included in the learning script together with the second dialogue 413, which means a dialogue in response to the second dialogue 413. The third dialogue 415 may be displayed in the third speech balloon 416. [ The third speech balloon 416 may be displayed at the lower right end of the first speech balloon 402 and may be displayed at the lower left end (shown in FIG. 4E) or the lower right end of the second speech balloon 409, The background color of the speech ball 416 is the same as the background color of the first speech balloon 402 and is different from the background color of the second speech balloon 409.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 TTS 음성 재생 아이콘(417)에 대한 사용자 입력을 수신하면, 제3대화문(415)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 제3대화문(415)을 디스플레이함과 동시에 제3대화문(415)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1화자 이미지(404)와 연계된 음성으로 제3 대화문(415)의 TTS 음성을 재생할 수 있다.Also, according to an embodiment of the present invention, when the user terminal 120 receives the user input for the TTS voice reproduction icon 417, it can reproduce the TTS voice of the third conversation character 415. [ In addition, according to another embodiment of the present invention, the user terminal 120 can reproduce the TTS voice of the third dialogue 415 while displaying the third dialogue 415. Also, according to one embodiment of the present invention, the user terminal 120 may play the TTS voice of the third dialogue 415 with the voice associated with the first speaker image 404.

본 발명의 일 실시예에 따르면, 제3대화문(415)에 대한 TTS 음성 재생이 종료되면, 음성 입력 녹음 인터페이스가 디스플레이되고, 제4대화문과 연계된 제1언어의 음성 입력을 수신할 수 있다. 예를 들어, 제4대화문은 제3대화문(415)과 함께 학습 대본에 포함되며, 제3대화문(415)에 대한 응답의 대화문을 의미한다. According to an embodiment of the present invention, when the TTS voice reproduction for the third dialogue 415 is finished, the voice input recording interface is displayed and can receive the voice input of the first language associated with the fourth dialogue. For example, the fourth dialogue is included in the learning script along with the third dialogue 415, and is the dialogue of the response to the third dialogue 415.

본 발명의 일 실시예에 따르면, 사용자 단말(120)은 수신한 제4대화문과 연계된 음성 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 다국어 학습 서비스 제공 서버(110)는 음성 인식 알고리즘을 통해 제4대화문과 연계된 음성 입력으로부터 제1언어의 제2연습문을 인식할 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 제2연습문의 제2언어의 번역문을 준비하여 사용자 단말(120)로 전송할 수 있다. 또한, 사용자 단말(120)은 다국어 학습 서비스 제공 서버(110)로부터 수신한 제1언어의 제2연습문(418) 및 제2연습문(418)의 제2언어의 번역문(419)을 제4말풍선(420) 내에 디스플레이할 수 있다. 또한, 사용자 단말(120)은 제4말풍선(420)을 제2화자 이미지(412)와 연계하여 디스플레이할 수 있다. 또한, 제4말풍선(420)은 제3말풍선(402)의 좌하단 또는 우하단(도 4f에 도시)에 디스플레이될 수 있고, 제4말풍선(420)의 바탕색은 제1말풍선(402)의 바탕색 및 제3말풍선(416)의 바탕색과 다르다.According to an embodiment of the present invention, the user terminal 120 may transmit the voice input associated with the received fourth dialogue to the multi-lingual learning service providing server 110 via the network 130. The multilingual learning service providing server 110 can recognize the second exercise statement of the first language from the speech input associated with the fourth dialogue through the speech recognition algorithm. In addition, the multilingual learning service providing server 110 may prepare a translation of the second language of the second exercise inquiry and transmit it to the user terminal 120. The user terminal 120 also receives the second practice statement 418 of the first language and the translation 419 of the second language of the second practice statement 418 received from the multilingual learning service provision server 110, Can be displayed in the speech balloon 420. In addition, the user terminal 120 may display the fourth speech balloon 420 in conjunction with the second speaker image 412. The fourth speech balloon 420 may be displayed at the lower left or right lower end of the third speech balloon 402 (shown in FIG. 4F), and the background color of the fourth speech balloon 420 may be displayed in the background color of the first speech balloon 402 And the background color of the third speech ball 416.

또한, 사용자 단말(120)은 수신한 제 4 대화문과 연계된 음성 입력이 녹음된 녹음 파일을 저장하거나, 다국어 학습 서비스 제공 서버(110)로부터 제4대화문과 연계된 음성 입력이 녹음된 녹음 파일을 수신하여 저장 하고, 도 4f에 도시된 바와 같이, 제 4 말풍선(420)내에 녹음 파일 재생 아이콘을 디스플레이할 수 있다. 사용자 단말(120)이 녹음 파일 재생 아이콘(421)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 사용자 단말(120)은 제4대화문과 연계된 음성 입력이 녹음된 녹음 파일을 재생할 수 있다. 또한, 사용자 단말(120)이 TTS 음성 재생 아이콘(422)에 대한 입력을 수신하면, 사용자 단말(120)은 제2연습문(418)의 TTS 음성을 재생할 수 있다. 따라서, 사용자는 자신이 입력한 음성 입력을 다시 들을 수 있고, 자신이 입력한 음성 입력에 대한 TTS 음성도 들을 수 있어, 양자의 비교 판단이 가능하기 때문에, 높은 외국어 학습 효과를 얻을 수 있다.In addition, the user terminal 120 may store a recorded voice file recorded with the voice input associated with the received fourth dialogue, or may store a voice file recorded with the voice input associated with the fourth voice file from the multi- And displays the recorded file reproduction icon in the fourth speech balloon 420, as shown in FIG. 4F. When the user terminal 120 receives a user input (for example, a touch input) to the recording file reproduction icon 421, the user terminal 120 reproduces the recorded file in which the voice input associated with the fourth conversation is recorded . In addition, when the user terminal 120 receives an input to the TTS voice reproduction icon 422, the user terminal 120 can reproduce the TTS voice of the second practice statement 418. [ Therefore, the user can listen to the input speech again by himself / herself, listen to the TTS speech for the speech input he / she has input, and can compare and judge the speech input. Thus, a high foreign language learning effect can be obtained.

또한, 도시하지는 않았지만, 사용자 단말(120)은 다국어 학습 서비스 콘텐츠에 미리 포함되어 있는 제4대화문을 디스플레이할 수 있다. 사용자 단말(120)은 사용자가 입력한 제4대화문과 연계된 음성 입력 (즉, 제2연습문(418))과 다국어 학습 서비스 콘텐츠에 포함되어 있는 제4대화문의 일치 여부에 관계 없이, 제4말풍선(420)의 디스플레이가 완료되면, 제4대화문을 포함하는 말풍선을 디스플레이할 수 있다. 즉, 사용자는 자신이 음성으로 입력한 대화문과 다국어 학습 서비스 콘텐츠에 미리 포함되어 있는 정답 대화문을 비교 및 확인할 수 있다.Also, although not shown, the user terminal 120 may display a fourth dialogue previously included in the multilingual learning service contents. The user terminal 120 can determine whether or not the speech input (i.e., the second exercise statement 418) associated with the fourth dialogue entered by the user matches the fourth dialogue included in the multilingual learning service content, When the display of the speech balloon 420 is completed, the speech balloon including the fourth dialogue can be displayed. That is, the user can compare and check the dialogue text entered by himself / herself with the correct dialogue dictionary previously included in the multilingual learning service contents.

또한, 도시하지는 않았지만, 사용자 단말(120)은 제1대화문, 제2대화문, 제3대화문 및 제4대화문 중 적어도 어느 하나와 연계된 부가 학습 정보를 디스플레이할 수 있다. 예를 들어, 상기 부가 학습 정보는 각 대화문과 연계된 단어, 숙어, 문법, 발음 정보, 다음 대화문에 대한 힌트 정보 등을 포함할 수 있다. 또한, 사용자 단말(120)은 각각의 부가 학습 정보를 팝업(Pop-up)창 또는 말풍선의 형태로 디스플레이할 수 있다.Also, although not shown, the user terminal 120 can display additional learning information associated with at least one of the first dialogue, the second dialogue, the third dialogue, and the fourth dialogue. For example, the supplementary learning information may include words associated with each dialogue, idioms, grammar, pronunciation information, hint information on the next dialogue, and the like. In addition, the user terminal 120 may display the additional learning information in the form of a pop-up window or speech balloon.

이와 같이, 본 발명의 일 실시예에 따르면, 복수의 대화문을 포함하는 학습 대본을 이용하여 복수의 캐릭터가 채팅 또는 대화를 주고받는 형식으로 각 대화문의 외국어 번역 대화문의 TTS 음성을 사용자에게 제공한다. 또한, 사용자는 각 대화문의 TTS 음성을 듣고, 들었던 대화문에 대한 응답으로서 적절한 대화문을 음성으로 입력하고, 정답 대화문을 TTS 음성으로 확인할 수 있다. As described above, according to an embodiment of the present invention, a TTS voice of a conversation of a foreign language translation dialog of each conversation is provided to a user in a form in which a plurality of characters exchange chat or conversation using a learning script including a plurality of conversation texts. Also, the user can listen to the TTS voice of each conversation, input a proper conversation as a response to the heard conversation, and confirm the correct conversation with the TTS voice.

도 5a 내지 도 5f는 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 도면이다. 도 5a에 도시된 바와 같이, 사용자 단말(120)은 디스플레이 패널(예를 들어, 터치스크린)에 복수의 문장을 포함하는 제1언어의 학습문(501)을 디스플레이할 수 있다. 또한, 학습문(501)은 말풍선(502) 내에 디스플레이될 수 있다. 예를 들어, 상기 제1언어는 한국어인 것으로 가정한다.5A to 5F are views illustrating an exemplary method of providing a multilingual learning service according to another embodiment of the present invention. As shown in FIG. 5A, the user terminal 120 may display a learning statement 501 of a first language including a plurality of sentences on a display panel (e.g., a touch screen). In addition, the learning statement 501 can be displayed in the speech balloon 502. [ For example, it is assumed that the first language is Korean.

사용자 단말(120)은 다국어 학습 서비스의 시작 입력을 수신할 수 있다. 예를 들어, 사용자 단말(120)은 터치스크린에 디스플레이되는 'START' 아이콘에 대한 사용자의 터치입력을 수신할 수 있다. 도 5b에 도시된 바와 같이, 사용자 단말(120)은 복수의 문장 중 제1문장과 연계된 제1이미지(504) 및 제1문장에 대응하는 제2언어의 제1번역문(505)을 디스플레이할 수 있다. 예를 들어, 상기 제2언어는 영어인 것으로 가정한다. 또한, 예를 들어, 상기 제1문장은 "우리 영어 선생님 이름은 앨리스 브라운이다."이다. 사용자 단말(120)은 제1번역문(505)을 제1말풍선(506) 내에 디스플레이할 수 있다. 또한, 사용자 단말(120)은 제1말풍선(506)을 제1화자 이미지(503)와 함께 디스플레이할 수 있다. The user terminal 120 may receive the start input of the multilingual learning service. For example, the user terminal 120 may receive a user's touch input to the 'START' icon displayed on the touch screen. 5B, the user terminal 120 displays a first image 504 associated with the first of the plurality of sentences and a first translation 505 of the second language corresponding to the first sentence . For example, it is assumed that the second language is English. Also, for example, the first sentence is "Our English teacher's name is Alice Brown." The user terminal 120 may display the first translation 505 within the first speech balloon 506. [ In addition, the user terminal 120 may display the first speech balloon 506 along with the first speaker image 503.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제1번역문(505)을 디스플레이함과 동시에 제1번역문(505)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 TTS 음성 재생 아이콘(507)에 대한 입력을 수신하고, 제1번역문(505)에 대한 TTS 음성을 재생할 수 있다.Also, according to one embodiment of the present invention, the user terminal 120 can reproduce the TTS voice of the first translation 505 while displaying the first translation 505. [ In addition, according to another embodiment of the present invention, the user terminal 120 may receive an input to the TTS audio play icon 507 and play the TTS audio for the first translation 505. [

본 발명의 일 실시예에 따르면, 제1번역문(505)에 대한 TTS 음성 재생이 종료되면, 도 5c에 도시된 바와 같이, 음성 입력 녹음 인터페이스(509)가 자동으로 디스플레이될 수 있다. 또한, 사용자 단말(120)은 음성 입력 녹음 인터페이스(509)를 통해 제1번역문(505)과 연계된 제2언어의 음성 입력을 수신할 수 있다. 예를 들어, 제1번역문(505)과 연계된 음성 입력이라는 것은 제1번역문(505)을 따라하는 사용자의 음성 입력을 의미할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 음성 입력 아이콘(508)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 도 5c에 도시된 바와 같이, 음성 입력 녹음 인터페이스(509)를 디스플레이하고, 제1번역문(505)과 연계된 제2언어의 음성 입력을 수신할 수 있다. According to one embodiment of the present invention, when the TTS audio reproduction for the first translation 505 is completed, the audio input recording interface 509 can be automatically displayed, as shown in FIG. 5C. The user terminal 120 may also receive voice input of a second language associated with the first translation 505 via the voice input recording interface 509. [ For example, the speech input associated with the first translation 505 may refer to a user's speech input following the first translation 505. In addition, according to another embodiment of the present invention, when the user terminal 120 receives a user input (e.g., a touch input) to the voice input icon 508, Display interface 509 and receive audio input of a second language associated with the first translation 505. [

본 발명의 일 실시예에 따르면, 사용자 단말(120)은 수신한 제1 번역문(505)과 연계된 음성 입력을 네트워크(130)를 통해 다국어 학습 서비스 제공 서버(110)로 전송할 수 있다. 또한, 다국어 학습 서비스 제공 서버(110)는 상기 음성 입력에 대응하는 제2언어의 제1연습문 및 상기 제1연습문의 제1언어의 번역문을 사용자 단말(120)로 전송할 수 있다. 또한, 사용자 단말(120)은 다국어 학습 서비스 제공 서버(110)로부터 수신한 제2언어의 제1연습문(510) 및 제1연습문(510)의 제1언어의 번역문(511)을 제2말풍선(512) 내에 디스플레이할 수 있다. 예를 들어, 제2말풍선(512)은 제1말풍선(506)의 좌하단 또는 우하단(도 5d에 도시)에 디스플레이될 수 있다. 또한, 제2말풍선(512)의 바탕색은 제1말풍선(506)의 바탕색과 다르다. 또한, 사용자 단말(120)은 제1연습문(510) 및 번역문(511)이 포함된 제2말풍선(512)을 제2화자 이미지(514)와 함께 디스플레이할 수 있다.According to an embodiment of the present invention, the user terminal 120 may transmit the voice input associated with the received first translation 505 to the multilingual learning service providing server 110 via the network 130. [ Also, the multilingual learning service providing server 110 may transmit the first exercise statement of the second language corresponding to the voice input and the translation of the first language of the first exercise instruction to the user terminal 120. The user terminal 120 also receives the first exercise statement 510 of the second language and the translation 511 of the first language of the first practice statement 510 received from the multilingual learning service provision server 110, And can be displayed in the speech balloon 512. For example, the second speech balloon 512 may be displayed at the lower left or right lower end of the first speech balloon 506 (shown in FIG. 5D). The background color of the second speech balloon 512 is different from the background color of the first speech balloon 506. The user terminal 120 may also display a second speech balloon 512 including the first practice statement 510 and the translation 511 along with the second speaker image 514. [

또한, 사용자 단말(120)은 수신한 제1 번역문(505)과 연계된 음성 입력이 녹음된 녹음 파일을 저장하거나, 다국어 학습 서비스 제공 서버(110)로부터 제1번역문(505)과 연계된 음성 입력이 녹음된 녹음 파일을 수신하여 저장하고, 도 5d에 도시된 바와 같이, 제 2 말풍선(512)내에 녹음 파일 재생 아이콘(513)을 디스플레이 할 수 있다. 사용자 단말(120)이 녹음 파일 재생 아이콘(513)에 대한 사용자 입력(예를 들어, 터치 입력)을 수신하면, 사용자 단말(120)은 제1번역문(505)과 연계된 음성 입력이 녹음된 녹음 파일을 재생할 수 있다. The user terminal 120 may also be configured to store a recorded voice file recorded in association with the received first translation 505 or to receive a voice input associated with the first translation 505 from the multi- The user can receive and record the recorded recording file, and display the recorded file playing icon 513 in the second speech balloon 512 as shown in FIG. 5D. When the user terminal 120 receives a user input (e.g., a touch input) to the recording file playback icon 513, the user terminal 120 transmits the voice input associated with the first translation 505 to the recording The file can be played back.

한편, 사용자 단말(120)은 사용자의 음성 입력으로부터 인식한 제1연습문(510)과 제1번역문(505)이 일치하는지 여부를 판단할 수 있다. 또한, 판단의 결과, 제1연습문(510)과 제1번역문(505)이 일치하는 경우, 사용자 단말(120)은 복수의 문장 중 제2문장과 연계된 제2이미지(515) 및 상기 제2문장에 대응하는 제2언어의 제2번역문(516)을 디스플레이할 수 있다. 예를 들어, 상기 제2문장은 "그녀는 미국 샌프란시스코에서 왔다."이다. 사용자 단말(120)은 제2번역문(516)을 제3말풍선(517) 내에 디스플레이할 수 있다. 예를 들어, 제3말풍선(517)은 제2말풍선(512)의 좌하단 (도 5e에 도시) 또는 우하단에 디스플레이될 수 있다. 또한, 제3말풍선(517)의 바탕색은 제1말풍선(506)의 바탕색과 동일하고, 제2말풍선(512)의 바탕색과 다르다.Meanwhile, the user terminal 120 may determine whether the first exercise statement 510 recognized from the user's voice input matches the first translation 505. As a result of the determination, if the first exercise statement 510 matches the first translation 505, the user terminal 120 displays the second image 515 associated with the second sentence of the plurality of sentences, And a second translation 516 of the second language corresponding to the second sentence. For example, the second sentence is "She came from San Francisco, USA". The user terminal 120 may display the second translation 516 within the third speech balloon 517. [ For example, the third speech balloon 517 may be displayed at the lower left end (shown in FIG. 5E) or the lower right end of the second speech balloon 512. The background color of the third speech balloon 517 is the same as the background color of the first speech balloon 506 and is different from the background color of the second speech balloon 512.

또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제2번역문(516)이 포함된 제3말풍선(224)을 제1화자 이미지(503)와 함께 디스플레이할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 단말(120)은 제2번역문(516)을 디스플레이함과 동시에 제2번역문(516)의 TTS 음성을 재생할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자 단말(120)은 TTS 음성 재생 아이콘(518)에 대한 입력을 수신하고, 제2번역문(516)에 대한 TTS 음성을 재생할 수 있다.Also, according to one embodiment of the present invention, the user terminal 120 may display a third speech balloon 224 with a second translation 516 along with a first speaker image 503. Also, according to one embodiment of the present invention, the user terminal 120 may play the TTS voice of the second translation 516 while displaying the second translation 516. Also, in accordance with another embodiment of the present invention, the user terminal 120 may receive an input to the TTS voice play icon 518 and play a TTS voice for the second translation 516. [

이와 같이, 본 발명에 따르면, 복수의 문장을 포함하는 학습문을 이용하여 사용자 단말과 사용자가 채팅 또는 대화를 주고받는 형식으로 각 문장의 번역문을 사용자에게 제공하고, 사용자는 각 문장의 번역문과 연계된 음성을 입력함으로써, 보다 흥미롭게 외국어를 학습할 수 있다.As described above, according to the present invention, a translation of each sentence is provided to a user in a format in which a user terminal and a user communicate with each other in a chat or a conversation using a learning sentence including a plurality of sentences, It is possible to learn a foreign language more interestingly.

또한, 도 5f에 도시된 바와 같이, 사용자 단말(120)은 음성 입력 녹음 인터페이스(509)를 자동으로 디스플레이하고, 제2번역문(516)과 연계된 제2언어의 음성 입력을 수신할 수 있다. 또한, 도시하지 않았지만, 사용자 단말(120)은 제2번역문(516)과 연계된 음성 입력에 대응하는 제2언어의 연습문 및 상기 연습문의 제1언어의 번역문을 디스플레이할 수 있다.5F, the user terminal 120 may automatically display the voice input recording interface 509 and receive voice input of the second language associated with the second translation 516. [ Also, although not shown, the user terminal 120 may display a second language practice text corresponding to the voice input associated with the second translation 516 and a translation of the first language of the practice text.

이상 설명한 바와 같이, 학습문(501)에 포함되어 있는 모든 문장에 대한 번역문 디스플레이, 이미지 디스플레이, TTS 음성 재생, 음성 입력 수신, 연습문 및 번역문의 디스플레이가 완료되면, 사용자 단말(120)은 모든 문장과 연계된 TTS 음성 재생, 이미지 디스플레이 및 음성 입력의 녹음 파일을 순서대로 재생할 수 있다. As described above, when the translation display, the image display, the TTS voice reproduction, the voice input reception, the exercise and the translation are displayed on all the sentences included in the learning sentence 501, the user terminal 120 transmits all sentences The recorded files of the TTS audio playback, image display, and audio input in association with the audio file can be played back in order.

도 6은 본원의 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다. 도 6에 도시된 다국어 학습 서비스 제공 방법은 앞서 도면을 통해 설명된 다국어 학습 서비스 제공 시스템에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5f를 통해 다국어 학습 서비스 제공 시스템에 대하여 설명된 내용은 도 6에도 적용된다.FIG. 6 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to an exemplary embodiment of the present invention. The multilingual learning service providing method shown in FIG. 6 can be performed by the multilingual learning service providing system described above with reference to FIG. Therefore, even if omitted below, the description of the multilingual learning service providing system through Figs. 1 to 5F also applies to Fig.

단계 S602에서, 사용자 단말(120)은 복수의 대화문을 포함하는 제1언어의 학습 대본을 디스플레이할 수 있다. 예를 들어, 상기 제1언어는 한국어일 수 있다. 단계 S604에서, 사용자 단말(120)은 학습 서비스의 시작 입력을 수신할 수 있다. 예를 들어, 사용자 단말(120)은 터치 입력을 수신한다. 단계 S606에서, 사용자 단말(120)은 학습 대본에 포함된 복수의 대화문 중 제1 대화문과 연계된 제2언어의 제1번역 대화문을 디스플레이할 수 있다. 예를 들어, 상기 제2언어는 영어일 수 있다. 단계 S608에서, 사용자 단말(120)은 상기 제1번역 대화문의 TTS(Text to Speech) 음성을 재생할 수 있다. 본 발명의 일 실시예에 따르면, 상기 단계 S606 및 상기 단계 S608은 하나로 통합될 수 있으며, 사용자 단말(120)은 제1번역 대화문을 디스플레이함과 동시에 상기 제1번역 대화문의 TTS 음성을 재생할 수 있다.In step S602, the user terminal 120 may display a learning script of a first language that includes a plurality of conversations. For example, the first language may be Korean. In step S604, the user terminal 120 may receive a start input of the learning service. For example, the user terminal 120 receives a touch input. In step S606, the user terminal 120 may display a first translation dialogue in a second language associated with the first dialogue among a plurality of conversations included in the learning script. For example, the second language may be English. In step S608, the user terminal 120 can reproduce the TTS (Text to Speech) voice of the first translation conversation. According to an embodiment of the present invention, the steps S606 and S608 may be integrated into one, and the user terminal 120 may display the first translated dialogue and simultaneously reproduce the TTS audio of the first translated dialogue .

단계 S610에서, 사용자 단말(120)은 상기 제1번역 대화문과 연계된 제2언어의 제1음성 입력을 수신할 수 있다. 단계 S612에서, 사용자 단말(120)은 상기 단계 S610에서 수신한 제1음성 입력에 대응하는 제2언어의 제1연습문 및 상기 제1연습문의 제1언어의 번역문을 디스플레이할 수 있다. 상기 제1연습문은 상기 단계 S610에서 수신한 음성 입력으로부터 인식된 텍스트이다.In step S610, the user terminal 120 may receive a first speech input of a second language associated with the first translation dialogue. In step S612, the user terminal 120 may display the first language text of the second language corresponding to the first speech input received in step S610 and the translation of the first language text of the first language text. The first exercise is text recognized from the speech input received in step S610.

단계 S614에서, 사용자 단말(120)은 상기 단계 S610에서 수신한 음성 입력의 녹음 파일의 재생 입력을 수신하고, 재생 입력에 기초하여 음성 입력의 녹음 파일을 재생할 수 있다. 단계 S616에서, 다국어 학습 서비스 제공 서버(110) 또는 사용자 단말(120)은 상기 단계 S610에서 수신한 음성 입력과 제1번역 대화문이 일치하는지 여부를 판단할 수 있다. 판단의 결과, 상기 단계 S610에서 수신한 음성 입력과 제1번역 대화문이 일치하지 않는 경우, 사용자 단말(120)은 상기 제1번역 대화문과 연계된 제2언어의 음성 입력을 재수신할 수 있다. 한편, 상기 단계 S610에서 수신한 음성 입력과 제1번역 대화문이 일치하는 경우, 단계 S618에서, 사용자 단말(120)은 상기 복수의 대화문 중 제2대화문에 대응하는 제2언어의 제2번역 대화문을 디스플레이할 수 있다. 또한, 단계 S620에서, 사용자 단말(120)은 상기 제2번역 대화문의 TTS 음성을 재생할 수 있다. 본 발명의 일 실시예에 따르면, 상기 단계 S618 및 상기 단계 S620은 하나로 통합될 수 있으며, 사용자 단말(120)은 제2번역 대화문을 디스플레이함과 동시에 상기 제2번역 대화문의 TTS 음성을 재생할 수 있다.In step S614, the user terminal 120 receives the reproduction input of the recording file of the audio input received in the step S610, and reproduces the recording file of the audio input based on the reproduction input. In step S616, the multilingual learning service providing server 110 or the user terminal 120 can determine whether or not the voice input received in step S610 matches the first translation conversation. As a result of the determination, if the voice input received in step S610 and the first translation conversation do not match, the user terminal 120 can re-receive the voice input of the second language associated with the first translation conversation. On the other hand, if the speech input received in step S610 is identical to the first translated dialogue, then in step S618, the user terminal 120 transmits a second translated dialogue of the second language corresponding to the second dialogue Can be displayed. Further, in step S620, the user terminal 120 can reproduce the TTS voice of the second translation conversation. According to an embodiment of the present invention, the steps S618 and S620 may be integrated into one, and the user terminal 120 may display the second translation conversation and simultaneously reproduce the TTS voice of the second translation conversation .

또한, 단계 S622에서, 사용자 단말(120)은 상기 제2번역 대화문과 연계된 제2언어의 제2음성 입력을 수신할 수 있다. 단계 S624에서, 사용자 단말(120)은 상기 단계 S622에서 수신한 제2번역 대화문과 연계된 제2음성 입력에 대응하는 제2언어의 제2연습문 및 상기 제2연습문의 제1언어의 번역문을 디스플레이할 수 있다. 상기 제2연습문은 상기 단계 S622에서 수신한 음성 입력으로부터 인식된 텍스트이다. 단계 S606 내지 단계 S624에서 설명한 방법에 기초하여, 사용자 단말(120)은 학습 대본에 포함된 모든 대화문에 대한 학습 서비스를 제공할 수 있다.Also, in step S622, the user terminal 120 may receive a second voice input of a second language associated with the second translation conversation. In step S624, the user terminal 120 transmits the second exercise text of the second language corresponding to the second speech input associated with the second translation dialogue received in step S622 and the translation of the first language of the second practice text Can be displayed. The second exercise is text recognized from the speech input received in step S622. Based on the method described in steps S606 to S624, the user terminal 120 can provide a learning service for all dialogues included in the learning scenario.

모든 대화문에 대한 학습이 종료된 경우, 단계 S626에서, 사용자 단말(120)은 각 대화문의 번역 대화문에 대한 TTS 음성 및 녹음 파일을 순차적으로 재생할 수 있다. 예를 들어, 학습 대화문이 상기 제1대화문과 제2대화문으로 구성되어 있는 경우, 사용자 단말(120)은 상기 제1번역 대화문의 TTS 음성, 다음으로 상기 제1번역 대화문과 연계된 음성 입력의 녹음 파일, 다음으로 상기 제2번역 대화문의 TTS 음성 및 다음으로 상기 제2번역 대화문과 연계된 음성 입력의 녹음 파일을 순서대로 재생할 수 있다. 따라서, 사용자는 학습 대본을 종합적으로 다시 한번 학습하고, 자신이 입력한 음성 입력에 대하여 복습 및 검토를 수행할 수 있다.When the learning for all dialogues has ended, in step S626, the user terminal 120 can sequentially reproduce the TTS voice and the recorded file for the translated dialogue of each conversation. For example, if the learning conversation is composed of the first conversation and the second conversation, the user terminal 120 may generate a TTS voice of the first translation conversation, and then record a voice input associated with the first translation conversation File, the TTS audio of the second translation dialogue, and the audio input of the audio input associated with the second translation dialogue, in that order. Thus, the user can learn the scenario again and perform review and review of the input speech inputted by him.

도 7은 본원의 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다. 도 7에 도시된 다국어 학습 서비스 제공 방법은 앞서 도면을 통해 설명된 다국어 학습 서비스 제공 시스템에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5f를 통해 다국어 학습 서비스 제공 시스템에 대하여 설명된 내용은 도 7에도 적용된다.7 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention. The multilingual learning service providing method shown in FIG. 7 can be performed by the multilingual learning service providing system described above with reference to the drawings. Therefore, the content described for the multilingual learning service providing system through Figs. 1 to 5F is also applied to Fig. 7, even if omitted from the following description.

단계 S702에서, 사용자 단말(120)은 제1언어의 제1대화문을 디스플레이할 수 있다. 예를 들어, 상기 제1언어는 한국어일 수 있다. 단계 S704에서, 사용자 단말(120)은 상기 제1대화문을 제2언어로 번역한 제1번역 대화문의 TTS(Text to Speech) 음성을 재생할 수 있다. 예를 들어, 상기 제2언어는 영어일 수 있다.In step S702, the user terminal 120 may display the first conversation in the first language. For example, the first language may be Korean. In step S704, the user terminal 120 can reproduce the TTS (Text to Speech) voice of the first translation conversation in which the first dialogue is translated into the second language. For example, the second language may be English.

단계 S706에서, 사용자 단말(120)은 상기 제1번역 대화문과 연계된 제2언어의 제1텍스트 입력을 수신할 수 있다. 예를 들어, 상기 제1텍스트 입력은 사용자가 제1번역 대화문의 TTS 음성을 듣고 입력하는 텍스트이다. 단계 S708에서, 사용자 단말(120)은 상기 제1텍스트 입력과 상기 제1텍스트 입력의 제1언어의 번역문을 디스플레이할 수 있다.In step S706, the user terminal 120 may receive a first textual input of a second language associated with the first translated dialogue. For example, the first text input is a text that a user listens to and inputs a TTS voice of a first translation conversation. In step S708, the user terminal 120 may display the translation of the first language of the first text input and the first text input.

단계 S710에서, 다국어 학습 서비스 제공 서버(110) 또는 사용자 단말(120)은 상기 단계 S706에서 수신한 제1텍스트 입력과 제1번역 대화문이 일치하는지 여부를 판단할 수 있다. 판단의 결과, 상기 단계 S706에서 수신한 제1텍스트 입력과 제1번역 대화문이 일치하지 않는 경우, 사용자 단말(120)은 상기 제1번역 대화문과 연계된 텍스트 입력을 재수신할 수 있다. 한편, 상기 단계 S706에서 수신한 제1텍스트 입력과 제1번역 대화문이 일치하는 경우, 단계 S712에서, 사용자 단말(120)은 제1언어의 제2대화문을 디스플레이할 수 있다. 단계 S702 내지 단계 S712에서 설명한 방법으로 사용자 단말(120)은 학습 대본에 포함된 모든 대화문에 대한 학습 서비스를 제공할 수 있다.In step S710, the multilingual learning service providing server 110 or the user terminal 120 may determine whether or not the first text input received in step S706 matches the first translation conversation text. As a result of the determination, if the first text input received in step S706 does not match the first translated dialogue, the user terminal 120 may re-receive the text input associated with the first translated dialogue. On the other hand, if the first text input received in step S706 matches the first translated dialogue, the user terminal 120 may display the second dialogue in the first language in step S712. The user terminal 120 can provide learning services for all dialogues included in the learning script in the manner described in steps S702 through S712.

도 8은 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다. 도 8에 도시된 다국어 학습 서비스 제공 방법은 앞서 도면을 통해 설명된 다국어 학습 서비스 제공 시스템에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5f를 통해 다국어 학습 서비스 제공 시스템에 대하여 설명된 내용은 도 8에도 적용된다.8 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention. The multilingual learning service providing method shown in FIG. 8 can be performed by the multilingual learning service providing system described above with reference to FIG. Therefore, even if the content is omitted in the following description, the contents described for the multilingual learning service providing system through Figs. 1 to 5F also apply to Fig.

단계 S802에서, 사용자 단말(120)은 제1언어의 제1대화문을 디스플레이할 수 있다. 예를 들어, 상기 제1언어는 영어일 수 있다. 단계 S804에서, 사용자 단말(120)은 상기 제1 대화문의 TTS 음성을 재생할 수 있다. 단계 S806에서, 사용자 단말(120)은 상기 제1언어의 제2대화문과 연계된 음성 입력을 수신할 수 있다. 상기 제2대화문은 제1대화문과 학습 대본을 구성하며, 제1대화문에 대한 회신으로서 적합한 대화문이고, 학습 콘텐츠에 미리 포함되어 있다. 단계 S808에서, 사용자 단말(120)은 상기 단계 S806에서 수신한 음성 입력에 대응하는 제1연습문 및 상기 제1연습문의 제2언어의 번역문을 디스플레이할 수 있다. 예를 들어, 상기 제2언어는 한국어일 수 있다. In step S802, the user terminal 120 may display the first conversation in the first language. For example, the first language may be English. In step S804, the user terminal 120 can reproduce the TTS voice of the first conversation. At step S806, the user terminal 120 may receive speech input associated with the second dialogue of the first language. The second dialogue key constitutes a first dialogue and a learning script, and is a dialogue suitable as a reply to the first dialogue, and is included in the learning content in advance. In step S808, the user terminal 120 may display the first exercise statement corresponding to the voice input received in step S806 and the translation of the second language of the first exercise instruction. For example, the second language may be Korean.

또한, 단계 S810에서, 사용자 단말(120)은 상기 제2대화문을 디스플레이할 수 있다. 단계 S812에서, 사용자 단말(120)은 상기 제2대화문의 TTS 음성을 재생할 수 있다.Further, in step S810, the user terminal 120 may display the second dialogue. In step S812, the user terminal 120 can reproduce the TTS voice of the second conversation.

다음으로, 단계 S814에서, 사용자 단말(120)은 제1언어의 제3대화문을 디스플레이할 수 있다. 또한, 단계 S816에서, 사용자 단말(120)은 상기 제3대화문의 TTS 음성을 재생할 수 있다. 상기 제3대화문은 제1대화문, 제2대화문과 학습 대본을 구성하며, 제2대화문에 대한 회신으로서 적합한 대화문이고, 학습 콘텐츠에 미리 포함되어 있다.Next, in step S814, the user terminal 120 may display the third dialogue of the first language. Further, in step S816, the user terminal 120 can reproduce the TTS voice of the third conversation. The third dialogue constitutes a first dialogue, a second dialogue and a learning script, and is a dialogue suitable as a reply to the second dialogue, and is included in the learning content in advance.

단계 S818에서, 사용자 단말(120)은 제1언어의 제4대화문과 연계된 음성 입력을 수신할 수 있다. 또한, 단계 S820에서, 사용자 단말(120)은 상기 단계 S818에서 수신한 제4대화문과 연계된 음성 입력에 대응하는 제2연습문 및 상기 제2연습문의 제2언어의 번역문을 디스플레이할 수 있다. 상기 제4대화문은 제1대화문, 제2대화문, 제3대화문과 학습 대본을 구성하며, 제3대화문에 대한 회신으로서 적합한 대화문이고, 학습 콘텐츠에 미리 포함되어 있다.In step S818, the user terminal 120 may receive the speech input associated with the fourth dialogue of the first language. Also, in step S820, the user terminal 120 may display a second practice statement corresponding to the voice input associated with the fourth conversation received in step S818, and a translation of the second language of the second practice statement. The fourth interactive dialogue constitutes a first dialogue, a second dialogue, a third dialogue and a learning script, and is a dialogue suitable as a reply to the third dialogue, and is included in the learning content in advance.

단계 S822에서, 사용자 단말(120)은 상기 제4대화문을 디스플레이할 수 있다. 단계 S824에서, 사용자 단말(120)은 상기 제4대화문의 TTS 음성을 재생할 수 있다. 단계 S802 내지 단계 S824에서 설명한 방법으로 사용자 단말(120)은 학습 대본에 포함된 모든 대화문에 대한 학습 서비스를 제공할 수 있다.In step S822, the user terminal 120 may display the fourth dialogue. In step S824, the user terminal 120 can reproduce the TTS voice of the fourth conversation. The user terminal 120 can provide learning services for all dialogues included in the learning script in the manner described in steps S802 to S824.

또한, 도 8에 도시하지 않았지만, 본 발명의 일 실시예에 따른 다국어 학습 서비스를 제공하는 방법은, 상기 단계 S802 내지 단계 S824의 사이에 사용자 단말(120)이 상기 제1대화문, 상기 제2대화문, 상기 제3대화문 및 상기 제4대화문 중 적어도 어느 하나와 연계된 부가 학습 정보를 디스플레이하는 단계를 더 포함할 수 있다.8, a method for providing a multilingual learning service according to an exemplary embodiment of the present invention may further include a step of, during the steps S802 to S824, And displaying additional learning information associated with at least one of the third dialogue, the fourth dialogue, and the fourth dialogue.

도 9는 본원의 또 다른 일 실시예에 따른 다국어 학습 서비스 제공 방법을 예시적으로 도시한 흐름도이다. 도 9에 도시된 다국어 학습 서비스 제공 방법은 앞서 도면을 통해 설명된 다국어 학습 서비스 제공 시스템에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5f를 통해 다국어 학습 서비스 제공 시스템에 대하여 설명된 내용은 도 9에도 적용된다.9 is a flowchart illustrating an exemplary method for providing a multilingual learning service according to another embodiment of the present invention. The multilingual learning service providing method shown in FIG. 9 can be performed by the multilingual learning service providing system described above with reference to FIG. Therefore, even if the contents are omitted in the following description, the contents described for the multilingual learning service providing system through Figs. 1 to 5F also apply to Fig.

단계 S902에서, 사용자 단말(120)은 복수의 문장을 포함하는 제1언어의 학습문을 디스플레이할 수 있다. 예를 들어, 상기 제1언어는 한국어일 수 있다. 단계 S904에서, 사용자 단말(120)은 학습 서비스의 시작 입력을 수신할 수 있다. 예를 들어, 사용자 단말(120)은 터치 입력을 수신한다. 단계 S906에서, 사용자 단말(120)은 학습문에 포함된 복수의 문장 중 제1문장과 연계된 제1이미지 및 상기 제1문장에 대응하는 제2언어의 제1번역문을 디스플레이할 수 있다. 예를 들어, 상기 제2언어는 영어일 수 있다. 단계 S908에서, 사용자 단말(120)은 상기 제1번역문의 TTS(Text to Speech) 음성을 재생할 수 있다. 본 발명의 일 실시예에 따르면, 상기 단계 S906 및 상기 단계 S908은 하나로 통합될 수 있으며, 사용자 단말(120)은 제1번역문을 디스플레이함과 동시에 상기 제1번역문의 TTS 음성을 재생할 수 있다.In step S902, the user terminal 120 may display a learning statement of the first language including a plurality of sentences. For example, the first language may be Korean. In step S904, the user terminal 120 may receive a start input of the learning service. For example, the user terminal 120 receives a touch input. In step S906, the user terminal 120 may display the first image associated with the first of the plurality of sentences included in the learning sentence, and the first translation of the second language corresponding to the first sentence. For example, the second language may be English. In step S908, the user terminal 120 can reproduce the TTS (Text to Speech) voice of the first translation. According to an embodiment of the present invention, the steps S906 and S908 may be integrated into one, and the user terminal 120 may display the first translation and reproduce the TTS voice of the first translation.

단계 S910에서, 사용자 단말(120)은 상기 제1번역문과 연계된 제2언어의 제1음성 입력을 수신할 수 있다. 단계 S912에서, 사용자 단말(120)은 상기 단계 S910에서 수신한 제1음성 입력에 대응하는 제2언어의 제1연습문 및 상기 제1연습문의 제1언어의 번역문을 디스플레이할 수 있다. 상기 제1연습문은 상기 단계 S910에서 수신한 제1음성 입력으로부터 인식된 텍스트이다.In step S910, the user terminal 120 may receive a first speech input of a second language associated with the first translation. In step S912, the user terminal 120 may display the first language practice of the second language corresponding to the first speech input received in step S910 and the translation of the first language of the first practice language. The first exercise is text recognized from the first speech input received in step S910.

단계 S914에서, 다국어 학습 서비스 제공 서버(110) 또는 사용자 단말(120)은 상기 단계 S910에서 수신한 제1음성 입력과 제1번역문이 일치하는지 여부를 판단할 수 있다. 판단의 결과, 상기 단계 S910에서 수신한 제1음성 입력과 제1번역문이 일치하지 않는 경우, 사용자 단말(120)은 상기 제1번역문과 연계된 제2언어의 음성 입력을 재수신할 수 있다. 한편, 상기 단계 S910에서 수신한 제1음성 입력과 제1번역문이 일치하는 경우, 단계 S916에서, 사용자 단말(120)은 상기 복수의 문장 중 제2문장과 연계된 제2이미지 및 상기 제2문장에 대응하는 제2언어의 제2번역문을 디스플레이할 수 있다. 또한, 단계 S918에서, 사용자 단말(120)은 상기 제2번역문의 TTS 음성을 재생할 수 있다. 본 발명의 일 실시예에 따르면, 상기 단계 S916 및 상기 단계 S918은 하나로 통합될 수 있으며, 사용자 단말(120)은 제2번역문을 디스플레이함과 동시에 상기 제2번역문의 TTS 음성을 재생할 수 있다.In step S914, the multilingual learning service providing server 110 or the user terminal 120 may determine whether the first voice input received in step S910 matches the first translation. As a result of the determination, if the first voice input received in step S910 does not match the first translation, the user terminal 120 may re-receive the voice input of the second language associated with the first translation. On the other hand, if the first speech input received in step S910 matches the first translation, in step S916, the user terminal 120 generates a second image associated with the second sentence of the plurality of sentences, A second translation of the second language corresponding to the second translation can be displayed. Further, in step S918, the user terminal 120 can reproduce the TTS voice of the second translation. According to an embodiment of the present invention, the steps S916 and S918 may be integrated into one, and the user terminal 120 may display the second translation and reproduce the TTS voice of the second translation.

또한, 단계 S920에서, 사용자 단말(120)은 상기 제2번역문과 연계된 제2언어의 제2음성 입력을 수신할 수 있다. 단계 S922에서, 사용자 단말(120)은 상기 단계 S920에서 수신한 제2번역문과 연계된 제2음성 입력에 대응하는 제2언어의 제2연습문 및 상기 제2연습문의 제1언어의 번역문을 디스플레이할 수 있다. 상기 제2연습문은 상기 단계 S920에서 수신한 제2음성 입력으로부터 인식된 텍스트이다. 단계 S906 내지 단계 S922에서 설명한 방법으로 사용자 단말(120)은 학습문에 포함된 모든 문장에 대한 학습 서비스를 제공할 수 있다.Also, in step S920, the user terminal 120 may receive a second voice input of a second language associated with the second translation. In step S922, the user terminal 120 displays the second exercise text of the second language corresponding to the second speech input associated with the second translation received in step S920 and the translation of the first language of the second practice text can do. The second practice statement is text recognized from the second speech input received in step S920. The user terminal 120 can provide a learning service for all sentences included in the learning sentence in the manner described in steps S906 through S922.

앞서 설명된 다국어 학습 서비스 제공 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The above-described multilingual learning service providing method may also be implemented in the form of a recording medium including instructions executable by a computer such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium can include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those of ordinary skill in the art that the foregoing description of the embodiments is for illustrative purposes and that those skilled in the art can easily modify the invention without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

110: 다국어 학습 서비스 제공 서버 120: 사용자 단말110: Multilanguage learning service providing server 120: User terminal

Claims (24)

사용자 단말에서 다국어 학습 서비스를 제공하는 방법에 있어서,
복수의 대화문을 포함하는 제1언어의 학습 대본을 디스플레이하는 단계;
학습 서비스의 시작 입력을 수신하는 단계;
상기 복수의 대화문 중 제1 대화문에 대응하는 제2언어의 제1번역 대화문을 제1화자 이미지 및 상기 제1번역 대화문을 재생하기 위한 TTS(Text to Speech) 음성 재생 아이콘과 함께 제1말풍선 내에 디스플레이하는 단계;
상기 제1번역 대화문을 디스플레이함과 동시에 상기 제1번역 대화문의 TTS(Text to Speech) 음성을 상기 제1화자 이미지와 연계된 제1음성으로 재생하는 단계;
상기 제1번역 대화문과 연계된 상기 제2언어의 음성 입력을 수신하는 단계;
상기 음성 입력에 대응하는 상기 제2언어의 제1연습문, 상기 제1연습문의 제1언어의 번역문, 상기 음성 입력의 녹음 파일 재생 아이콘 및 상기 TTS 음성 재생 아이콘을 제2말풍선과 함께 디스플레이하는 단계;
상기 음성 입력에 대응하는 상기 제1연습문과 상기 제1번역 대화문이 일치하지 않는 경우, 상기 제2언어의 상기 제1연습문의 일치하지 않는 부분의 글자색을 변화시켜 표시하는 단계;
상기 음성 입력과 상기 제1번역 대화문이 일치하는 경우, 상기 복수의 대화문 중 제2대화문에 대응하는 제2언어의 제2번역 대화문을 제2화자 이미지와 상기 제2번역 대화문을 재생하기 위한 TTS 음성 재생 아이콘과 함께 제3말풍선 내에 디스플레이하는 단계; 및
상기 제2번역 대화문을 디스플레이함과 동시에 상기 제2번역 대화문의 TTS 음성을 상기 제2화자 이미지와 연계된 제2음성으로 재생하는 단계;를 포함하는
다국어 학습 서비스 제공 방법.
A method for providing a multilingual learning service in a user terminal,
Displaying a learning script of a first language including a plurality of dialogs;
Receiving a start input of a learning service;
Displaying a first translated dialogue in a second language corresponding to the first dialogue among the plurality of dialogues together with a first speech image and a TTS (Text to Speech) speech reproduction icon for reproducing the first translated dialogue in a first speech balloon ;
Reproducing the first translation dialogue and simultaneously reproducing a TTS (Text to Speech) speech of the first translation dialog with a first speech associated with the first speaker image;
Receiving speech input of the second language associated with the first translation dialogue;
Displaying a first practice statement of the second language corresponding to the voice input, a translation of the first language of the first practice inquiry, a recorded file reproduction icon of the voice input, and the TTS voice reproduction icon together with a second speech balloon ;
Changing a character color of an unmatched part of the first practice statement of the second language when the first practice statement corresponding to the voice input does not match the first translation conversation statement;
A second translation dialogue of a second language corresponding to a second dialogue of the plurality of dialogues is used as a second speaker image and a TTS voice for reproducing the second translation dialogue, Displaying in a third speech balloon with a play icon; And
And displaying the second translated dialogue and reproducing the TTS audio of the second translated dialog with a second audio associated with the second speaker image
A method for providing a multilingual learning service.
제 1 항에 있어서,
상기 음성 입력의 녹음 파일의 재생 입력을 수신하는 단계; 및
상기 재생 입력에 기초하여 상기 음성 입력의 녹음 파일을 재생하는 단계,
를 더 포함하는 다국어 학습 서비스 제공 방법.
The method according to claim 1,
Receiving a playback input of a recorded file of the audio input; And
Reproducing the recorded file of the audio input based on the playback input,
Further comprising the steps of:
삭제delete 제 1 항에 있어서,
상기 제2번역 대화문과 연계된 상기 제2언어의 음성 입력을 수신하는 단계; 및
상기 제2번역 대화문과 연계된 음성 입력에 대응하는 상기 제2언어의 제2연습문, 상기 제2연습문의 제1언어의 번역문 및 상기 제2번역 대화문과 연계된 음성입력의 녹음 파일 재생 아이콘을 디스플레이하는 단계,
를 더 포함하는 다국어 학습 서비스 제공 방법.
The method according to claim 1,
Receiving a voice input of the second language associated with the second translation conversation; And
A second exercise statement of the second language corresponding to the voice input associated with the second translation dialogue, a translation of the first language of the second practice query, and a record file reproduction icon of a voice input associated with the second translation dialogue Displaying,
Further comprising the steps of:
삭제delete 제 1 항에 있어서,
상기 제2말풍선은 상기 제1말풍선의 수직하단에 디스플레이되고, 상기 제3말풍선은 상기 제2말풍선의 좌하단 또는 우하단에 디스플레이되는 것을 특징으로 하는 다국어 학습 서비스 제공 방법.
The method according to claim 1,
Wherein the second speech balloon is displayed at a lower right side of the first speech balloon, and the third speech balloon is displayed at a lower left corner or a lower right corner of the second speech balloon.
제 6 항에 있어서,
상기 제1말풍선의 바탕색과 상기 제2말풍선의 바탕색은 동일하고,
상기 제3말풍선의 바탕색은 상기 제1말풍선 및 상기 제2말풍선의 바탕색과 다른 것을 특징으로 하는 다국어 학습 서비스 제공 방법.
The method according to claim 6,
The background color of the first speech balloon and the background color of the second speech balloon are the same,
Wherein the background color of the third speech balloon is different from the background color of the first speech balloon and the second speech balloon.
제 4 항에 있어서,
상기 제1번역 대화문의 TTS 음성, 다음으로 상기 제1번역 대화문과 연계된 음성 입력의 녹음 파일, 다음으로 상기 제2번역 대화문의 TTS 음성 및 다음으로 상기 제2번역 대화문과 연계된 음성 입력의 녹음 파일을 순서대로 재생하는 단계,
를 더 포함하는 다국어 학습 서비스 제공 방법.
5. The method of claim 4,
A recording file of a TTS audio of the first translation conversation followed by a voice input associated with the first translation conversation, a recording of a voice input associated with the TTS voice of the second translation conversation followed by the second translation conversation, Reproducing the files in order,
Further comprising the steps of:
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020150029839A 2015-03-03 2015-03-03 Method for providing multi language learning service KR101666129B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150029839A KR101666129B1 (en) 2015-03-03 2015-03-03 Method for providing multi language learning service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150029839A KR101666129B1 (en) 2015-03-03 2015-03-03 Method for providing multi language learning service

Publications (2)

Publication Number Publication Date
KR20160107000A KR20160107000A (en) 2016-09-13
KR101666129B1 true KR101666129B1 (en) 2016-10-13

Family

ID=56946525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150029839A KR101666129B1 (en) 2015-03-03 2015-03-03 Method for providing multi language learning service

Country Status (1)

Country Link
KR (1) KR101666129B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964608B1 (en) * 2017-10-27 2019-08-07 이범준 Method and apparatus for providing word and sentence learning service using video and motion sensing information
CN109359305A (en) * 2018-09-05 2019-02-19 盛云未来(北京)科技有限公司 A kind of method and apparatus of multilingual intertranslation in unison
KR102147519B1 (en) * 2018-12-07 2020-08-24 조훈근 system and method that provides translation support service that reflects linguistic characteristics information based on the dialogue relationship
KR102280218B1 (en) 2019-01-21 2021-07-21 공주대학교 산학협력단 Virtual model house production system
KR102274162B1 (en) * 2020-08-01 2021-07-07 최정안 Emoticons and systems for teaching Chinese characters
KR102274161B1 (en) * 2020-08-01 2021-07-07 이명관 Emoticons and systems for language education
KR102483348B1 (en) * 2020-09-07 2022-12-30 김성길 Language learning device and language learning method using the same
KR102416041B1 (en) 2021-11-23 2022-07-01 진기석 Multilingual simultaneous learning system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120111225A (en) * 2011-03-31 2012-10-10 에스케이텔레콤 주식회사 System for providing contents for language learning, terminal thereof and a computer recordable medium storing thereof
KR101396715B1 (en) * 2012-02-17 2014-05-16 (주)카카오 A method of providing a visual representation in a speech bubble including instant message and mobile terminal thereof
KR20140004537A (en) * 2012-07-03 2014-01-13 (주)아이티씨교육 Method for providing learning language service based on accumulation test and speaking test using speech recognition engine
KR102191425B1 (en) * 2013-07-29 2020-12-15 한국전자통신연구원 Apparatus and method for learning foreign language based on interactive character

Also Published As

Publication number Publication date
KR20160107000A (en) 2016-09-13

Similar Documents

Publication Publication Date Title
KR101666129B1 (en) Method for providing multi language learning service
Richards The changing face of language learning: Learning beyond the classroom
US9063931B2 (en) Multiple language translation system
Lee Shifting to the world Englishes paradigm by way of the translingual approach: Code‐meshing as a necessary means of transforming composition pedagogy
US20220286310A1 (en) Systems, methods, and apparatus for notifying a transcribing and translating system of switching between spoken languages
US20220414349A1 (en) Systems, methods, and apparatus for determining an official transcription and speaker language from a plurality of transcripts of text in different languages
Kuning Applications of Social Media to Learn Speaking: Applications of Social Media to Learn Speaking
US20150088485A1 (en) Computerized system for inter-language communication
Acosta et al. Analysis of teaching resources used in EFL classes in selected Ecuadorian universities
US20080195375A1 (en) Echo translator
KR100792325B1 (en) Interactive dialog database construction method for foreign language learning, system and method of interactive service for foreign language learning using its
CN110892406B (en) Multilingual communication system and message transmission method
Ngonso et al. When values change values: assessing how social media changes Nigerian youth communication patterns and values
KR102101817B1 (en) Language study supporting apparatus using video publicated on the internet
US20080300012A1 (en) Mobile phone and method for executing functions thereof
KR100593589B1 (en) Multilingual Interpretation / Learning System Using Speech Recognition
KR20150104051A (en) Apparatus and method for providing translating chatting service
KR102534275B1 (en) Teminal for learning language, system and method for learning language using the same
US20220051656A1 (en) System and method using cloud structures in real time speech and translation involving multiple languages, context setting, and transcripting features
KR20140084438A (en) Server for generating education data by using listening difficulty lever and method thereof
KR20230115569A (en) How to provide multilingual services in the form of chatting.
KR102416041B1 (en) Multilingual simultaneous learning system
Jati Perspective on ICT in teaching and learning listening & speaking in the 21st century: beyond classroom wall
TW201346597A (en) Multiple language real-time translation system
Cui Deconstructing overhearing viewers: TVmojis as story retellers

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant