KR20200058909A - Method and apparatus for learning language, thereof system - Google Patents

Method and apparatus for learning language, thereof system Download PDF

Info

Publication number
KR20200058909A
KR20200058909A KR1020180143606A KR20180143606A KR20200058909A KR 20200058909 A KR20200058909 A KR 20200058909A KR 1020180143606 A KR1020180143606 A KR 1020180143606A KR 20180143606 A KR20180143606 A KR 20180143606A KR 20200058909 A KR20200058909 A KR 20200058909A
Authority
KR
South Korea
Prior art keywords
learning
language
user
unit
level
Prior art date
Application number
KR1020180143606A
Other languages
Korean (ko)
Inventor
김형국
이석주
Original Assignee
주식회사 토킹코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토킹코리아 filed Critical 주식회사 토킹코리아
Priority to KR1020180143606A priority Critical patent/KR20200058909A/en
Publication of KR20200058909A publication Critical patent/KR20200058909A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

The present invention relates to a language learning system and a method thereof. The language learning system comprises: a service server that transmits service data required for configuring a virtual environment; a user terminal that receives the service data to provide the virtual environment to a user, and transmits a user conversation with a virtual object in the virtual environment to the service server; and a learning server that determines the language ability, language learning habit, and language level of the user from the user conversation and user personal information in the virtual environment, and selects or generates a customized learning content based on at least one of the language ability, language learning habit, language level, and personal information to provide the same through the service server.

Description

사용자 맞춤형 상황별 언어 학습 방법 및 장치와 그 시스템{METHOD AND APPARATUS FOR LEARNING LANGUAGE, THEREOF SYSTEM}METHOD AND APPARATUS FOR LEARNING LANGUAGE, THEREOF SYSTEM}

본 발명은 언어 학습 방법 및 장치와 그 시스템에 관한 것으로, 보다 상세하게는 사용자 단말을 통해 사용자 맞춤형 상황별 언어를 학습이 가능한 언어 학습 방법 및 장치와 그 시스템에 관한 것이다. The present invention relates to a language learning method and apparatus and a system thereof, and more particularly, to a language learning method and apparatus and system capable of learning a user-specific contextual language through a user terminal.

누구라도 모국어가 아닌 다른 국가의 언어를 학습하는 것은 쉽지 않다. 대체의 언어학습 방법은 교재를 기반으로 독학, 수강, 1:1대화형 학습의 방법을 취하고 있지만, 이러한 종래의 모든 학습 방법은 모국어를 익히는 방식과는 상이하다. It is not easy for anyone to learn a language in a country other than their native language. Alternative language learning methods are self-taught, taking, and 1: 1 interactive learning based on textbooks, but all of these conventional learning methods are different from the way they learn their native language.

독학이나 강좌 수강과 같은 일방적인 학습은 의도된 학습의 범주(어학 시험 등) 내에서는 유용하지만, 그 외의 다양한 실제 환경에서의 적용이 쉽지 않고 따라서 토익이나 토플과 같은 어학 점수가 높은 자라도 일상의 회화에는 취약한 경우가 많다. 또한 1:1 대화형 학습의 경우도 같이 생활하지 않는 한 접하는 절대 시간량이 부족할 수 밖에 없어서 어학 학습 시간에 장기간이 소요된다.Unilateral learning, such as self-study or course attendance, is useful within the scope of the intended study (such as language exams), but it is not easy to apply in a variety of other real-world environments, so even a person with a high score in the language such as TOEIC or TOEFL can speak everyday. There are many vulnerable cases. Also, in the case of 1: 1 interactive learning, there is no shortage of absolute amount of time to contact unless you live together, so it takes a long time to study.

어학 학습에서 가장 효과적인 방법은 모국어를 배울 때의 방식인데, 구체적으로는 일상 생활에서 다양한 주변 환경을 오감을 통해 접하면서 상황별로 자연스럽게 언어를 접하면서, 단어, 구문, 문장을 접하면서 반복에 의한 암기가 되고, 그렇게 암기한 단어를 각 상황에 따라 적절하게 사용할 수 있게 되는 것이다. The most effective way to learn a language is to learn the native language. Specifically, in everyday life, while encountering various surrounding environments through the five senses, you can naturally encounter language by context, memorizing by repetition while touching words, phrases, and sentences. It becomes possible to use the words memorized appropriately according to each situation.

하지만, 이러한 환경은 실제 그 언어를 사용하는 나라에서 살지 않으면 접하기 어렵고, 이런 면 때문에 많은 사람들이 어학 학습으로 인한 고충이 많다.However, this environment is difficult to encounter unless you live in a country that actually speaks the language, and because of this, many people suffer from language learning.

이러한 면으로 인하여, 학습하고자 하는 언어를 가급적 많은 감각 채널(시각, 청각, 촉각 등)을 통하여 쉽고 다양하게 많은 시간을 접할 수 있도록 하는 학습 방법 및 시스템이 요구되지만, 현재까지 이를 만족하는 학습 방법이나 시스템은 부재하다. Due to this aspect, a learning method and a system are required to make it easy and versatile to access the language you want to learn through as many sensory channels as possible (visual, auditory, tactile, etc.). The system is absent.

더욱이, 각 사용자는 어학습득능력, 언어습관, 현재어학수준, 성별, 나이가 상이할 것인데, 이에 따라 학습될 컨텐츠가 제공되어야 효과적인 언어 학습이 가능하지만, 이에 대해서도 체계적인 학습 방법이나 시스템이 부재하다. Moreover, each user will have different language acquisition abilities, language habits, current language level, gender, and age. Accordingly, effective language learning is possible only when content to be learned is provided, but there is also no systematic learning method or system.

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 사용자 단말을 통해 사용자의 위치나 시간에 무관하게 다양한 상황별 맞춤형 언어 학습을 제공하는 방법 및 장치와 그 시스템을 제공함에 그 목적이 있다.Accordingly, the present invention has been proposed to solve the above-described problems, and its purpose is to provide a method and apparatus and system for providing customized language learning according to various situations regardless of a user's location or time through a user terminal. There is this.

또한, 본 발명은 사용자가 다양한 상황에서 가상의 객체와 실시간 의사소통이 가능하도록 하여 가급적 많은 감각 채널을 통해 언어를 접하게 함으로써 언어에 대한 학습 효과가 빠르게 향상될 수 있도록 하는 언어 학습 방법 및 장치와 그 시스템을 제공함에 있다.In addition, the present invention is a language learning method and apparatus that enables a user to communicate with a virtual object in various situations in real-time, thereby allowing language to be rapidly improved by learning the language through as many sense channels as possible. In providing a system.

또한, 본 발명은 사용자의 학습 상황뿐 아니라 어학습득능력, 언어습관, 현재어학수준, 성별, 나이를 고려하여 학습 컨텐츠를 제공함으로써, 발음 교정 또는 단계별 문법 제공 등 학습이 필요한 부분에 대한 빠른 학습이 가능하도록 하는 언어 학습 방법 및 장치와 그 시스템을 제공함에 있다.In addition, the present invention provides learning contents in consideration of a user's learning situation as well as language acquisition ability, language habits, current language level, gender, and age, so that quick learning of parts requiring learning such as pronunciation correction or step-by-step grammar is provided. It is to provide a language learning method and apparatus and a system for making it possible.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The objects of the present invention are not limited to those mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 목적을 달성하기 위한 본 발명에 따른 언어 학습 시스템은, 가상 환경 구성에 필요한 서비스 데이터를 송신하는 서비스 서버와, 상기 서비스 데이터를 수신하여 사용자에게 가상환경을 제공하고, 가상환경내 가상 개체와의 사용자 대화를 상기 서비스 서버로 전달하는 사용자 단말과, 상기 가상 환경에서의 사용자 대화 및 사용자 개인정보로부터 사용자의 어학능력, 어학습관, 어학 수준을 판단하고, 어학능력, 어학습관, 어학 수준 및 개인정보 중 적어도 하나를 토대로 사용자 맞춤형 학습 컨텐츠를 선정 또는 생성하여 상기 서비스 서버를 통하여 사용자에게 제공하는 학습 서버를 포함한다. The language learning system according to the present invention for achieving the above object includes a service server that transmits service data necessary for configuring a virtual environment, and provides a virtual environment to a user by receiving the service data, and a virtual entity in the virtual environment. The user terminal for transmitting the user's conversation to the service server, and the user's language ability, language learning, and language level from the user's conversation and user personal information in the virtual environment are determined, and the language ability, language learning, language level and personal And a learning server that selects or generates user-specific learning content based on at least one of the information and provides it to the user through the service server.

또한, 본 발명에 따른 하는 언어 학습 방법은, 서비스 서버가 사용자가 선택한 상황에 대한 가상환경을 제공하는 단계와, 가상환경하에서 가상 개체와의 사용자 대화를 추출하는 단계와, 추출된 사용자 대화를 토대로 어학능력, 어학습관 어학수준 중 적어도 어느 하나를 판단하는 단계와, 판단된 어학능력, 어학습관, 어학수준 중 적어도 어느 하나를 고려하여 학습컨텐츠를 선정하고 제공하는 단계를 포함한다. In addition, the language learning method according to the present invention, the service server providing a virtual environment for the situation selected by the user, extracting a user conversation with a virtual object under the virtual environment, and based on the extracted user conversation And determining at least one of language ability and language learning level, and selecting and providing learning content in consideration of at least one of the determined language ability, language learning, and language level.

본 발명에 의하면, 사용자 단말을 통해 사용자가 실제 위치한 장소와 관계없이 원하는 장소를 기반으로 언어를 학습할 수 있도록 한다. According to the present invention, the user terminal enables the user to learn a language based on a desired location regardless of the actual location.

또한, 본 발명에 의하면, 사용자가 다양한 상황에서 가상의 객체와 실시간 의사소통이 가능하도록 하여 언어에 대한 학습 효과가 빠르게 향상될 수 있도록 한다.In addition, according to the present invention, the user can communicate with a virtual object in various situations in real time, so that the learning effect on the language can be rapidly improved.

또한, 본 발명에 의하면 사용자의 학습 상황에 따라 학습 컨텐츠를 제공함으로써, 발음 교정 또는 문법 등 학습이 필요한 부분에 대한 빠른 학습이 가능하도록 한다In addition, according to the present invention, by providing learning content according to a user's learning situation, it is possible to quickly learn a part requiring learning, such as pronunciation correction or grammar.

본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 언어 학습 시스템의 네트워크 구성을 나타내는 블록도,
도 2는 본 발명에 따른 언어 학습 방법을 나타내는 흐름도,
도 3은 본 발명에 따른 사용자 단말의 구성을 나타내는 블록도.
도 4는 본 발명에 따른 사용자 단말에서의 언어 학습 방법을 나타내는 순서도.
도 5는 본 발명에 따른 학습 서버의 상세 구성도.
도 6은 본 발명에 다른 일 실시예에 따른 언어 학습 방법의 흐름도.
1 is a block diagram showing a network configuration of a language learning system according to the present invention,
2 is a flowchart showing a language learning method according to the present invention,
3 is a block diagram showing the configuration of a user terminal according to the present invention.
4 is a flowchart illustrating a language learning method in a user terminal according to the present invention.
5 is a detailed configuration diagram of a learning server according to the present invention.
6 is a flowchart of a language learning method according to another embodiment of the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. The objectives and effects of the present invention, and technical configurations for achieving them, will be clarified with reference to embodiments described below in detail together with the accompanying drawings. In describing the present invention, when it is determined that a detailed description of known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of donations in the present invention, which may vary according to a user's or operator's intention or practice.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms. Only the present embodiments are provided to make the disclosure of the present invention complete, and to fully inform the person of ordinary skill in the art to which the present invention pertains, the scope of the present invention being defined by the scope of the claims. It just works. Therefore, the definition should be made based on the contents throughout this specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...장치", "...디바이스", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" or "equipment" a component, this means that other components may be further included, not specifically excluded, unless otherwise stated. . In addition, terms such as "... unit", "... device", "... device", "... unit" or "... module" described in the specification may have at least one function or operation. Refers to a processing unit, which may be implemented in hardware or software or a combination of hardware and software.

한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.On the other hand, in an embodiment of the present invention, each component, functional blocks or means may be composed of one or more sub-components, electrical, electronic, and mechanical functions performed by each component are electronic circuits, Integrated circuits, ASICs (Application Specific Integrated Circuits), etc. may be implemented with various known devices or mechanical elements, and may be implemented separately, or two or more may be integrated into one.

또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Also, combinations of each block in the accompanying block diagram and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, portable notebook computer, network computer, mobile device such as a smart phone, an online game service providing server or other programmable data processing equipment, and thus a computer device or other program. The instructions, which are executed through a processor of a possible data processing equipment, create a means for performing the functions described in each block of the block diagram or each step of the flow chart described below. Since these computer program instructions may be stored in computer readable memory or memory available to a computer device capable of directing a computer device or other programmable data processing equipment to implement a function in a specific manner, each block in the block diagram Alternatively, it is also possible to produce an article containing instruction means for performing the functions described in each step of the flowchart. Since computer program instructions may be mounted on a computer device or other programmable data processing equipment, each block and flow diagram in a block diagram is created by creating a process for a series of operational steps to be performed on the computer device or other programmable data processing equipment. It is also possible to provide steps for executing the functions described in each step of.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step can represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments it is possible that the functions mentioned in blocks or steps occur out of order. For example, two blocks or steps shown in succession may in fact be executed substantially simultaneously, or it is also possible that the blocks or steps are sometimes performed in reverse order depending on the corresponding function.

본 발명의 실시예에 있어서, 클라이언트 또는 각종 장치라고 함은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA, 휴대전화, 게임기 등 데이터를 수집, 판독, 처리, 가공, 저장, 표시할 수 있는 모든 계산 수단을 의미한다. 특히, 본 발명의 실시예에 있어서의 클라이언트 또는 각종 장치는 해독 가능한 코드로 작성된 소프트웨어를 실행시킬 수 있으며, 이를 사용자에게 표시하여 전달할 수 있는 기능을 갖는 장치이다. 또한, 필요에 따라서는 소프트웨어를 자체적으로 저장하기도 하고, 또는 외부로부터 데이터와 함께 읽어 들일 수도 있다.In the embodiment of the present invention, the client or various devices means all computing means capable of collecting, reading, processing, processing, storing, and displaying data such as a desktop computer, notebook computer, smart phone, PDA, mobile phone, and game machine. Means In particular, the client or various devices in the embodiment of the present invention are devices having a function capable of executing software written in readable code and displaying it to a user for delivery. In addition, if necessary, the software may be stored on its own, or may be read along with data from the outside.

또한, 본 발명의 실시예에 있어서의 클라이언트 또는 각종 장치에는 위와 같은 데이터 처리 기능뿐 아니라 입력, 출력, 저장 등의 기능이 포함되어 있으며, 이를 위하여 일반적인 컴퓨터 장치들이 갖는 CPU, 메인보드, 그래픽 카드, 하드디스크, 사운드 카드, 스피커, 키보드, 마우스, 모니터, USB, 통신 모뎀 등의 각종 요소들 뿐만 아니라 무선 스마트폰 단말기들이 갖는 CPU, 메인보드, 그래픽 칩, 메모리 칩, 사운드엔진, 스피커, 터치패드, USB 등의 외부 연결 단자, 통신 안테나, 3G, LTE, LTE-A, WiFi, 블루투스 등의 통신을 구현할 수 있는 통신 모뎀 등을 포함할 수 있다. 이러한 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 구현할 수 있으며, 본 발명의 실시예에서 도면이나 상세한 설명에서 하나 또는 그 이상의 블록으로 표시된 장치 또는 그 일부분들은 위와 같은 클라이언트 또는 각종 장치에 포함되어 있는 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 나타내는 것을 의미할 수 있다.In addition, the client or various devices in the embodiment of the present invention include functions such as input, output, and storage as well as data processing functions as described above, and for this purpose, CPUs, motherboards, and graphics cards of general computer devices, Various elements such as hard disk, sound card, speaker, keyboard, mouse, monitor, USB, communication modem, etc., as well as CPUs, motherboards, graphics chips, memory chips, sound engines, speakers, touch pads of wireless smartphone terminals, It may include an external connection terminal such as USB, a communication antenna, a communication modem capable of realizing communication such as 3G, LTE, LTE-A, WiFi, and Bluetooth. These various elements alone or two or more together, or a part of various elements can be combined to implement one or more functions, and in the embodiments of the present invention, a device indicated by one or more blocks in the drawings or detailed description, or The parts may mean that various elements included in the above-described client or various devices are singly or two or more together, or a part of various elements are combined to represent one or more functions.

본 발명은 기본적인 동작 환경은 다음과 같다. The basic operating environment of the present invention is as follows.

사용자가 사용자 단말을 통해 증강 현실 또는 가상 현실 속의 거리 및 그 거리에 늘어선 특정 장소들(예컨대, 편의점, 학원, 학교, 병원, 약국, 종교시설 등 일상에서 접할 수 있는 장소들; 이하 서비스 상점으로 통칭함)을 선택적으로 방문하여 학습하고자 하는 언어로 주문, 예약 및 문의 등을 진행하면서 가상의 객체와 대화를 하도록 하고, 그 대화의 결과를 기반으로 학습 컨텐츠를 제공하여 학습을 진행할 수 있도록 한다. 또한, 특정 서비스 상점을 방문하지 않더라도, 가상의 거리를 거니는 도중 마주친 가상의 객체로부터 질문을 받음으로써 대화를 할 수도 있다. 또한, 증강 현실 또는 가상 현실 속에서 각 서비스 상점에서 제공하고 있는 쿠폰, 할인권을 받거나 관련 혜택에 대한 정보를 함께 제공받을 수 있도록 한다.Distances in augmented reality or virtual reality and specific places lined up by the user through the user terminal (for example, convenience stores, academies, schools, hospitals, pharmacies, religious facilities, etc., places that can be accessed in daily life; hereinafter collectively referred to as service shops) To selectively interact with the virtual object while ordering, making reservations and inquiries in the language you want to learn, and providing learning content based on the results of the conversation so that you can proceed with learning. In addition, even if you do not visit a specific service store, you can have a conversation by receiving a question from a virtual object encountered while walking through a virtual street. In addition, in augmented reality or virtual reality, it is possible to receive coupons and discount coupons provided by each service store or to receive information on related benefits.

한편, 본 명세서에서 서비스 상점은 각 특색에 맞는 서비스(판매, 상담, 진료 등)을 제공하고 있는 곳들로서 상점이라는 용어로 통칭하지만 본 명세서는 영리추구의 판매상점은 종교시설 등의 비영리 시설을 포괄하여 사용자가 일상에서 들를 수 있는 가능한 모든 곳을 통칭하는 용어로 이용된다. On the other hand, in this specification, the service shop is a place that provides services (sales, counseling, medical treatment, etc.) that fit each feature. It is collectively referred to as the store, but this specification includes a non-profit facility such as a religious facility for a commercial purse. Therefore, it is used as a general term to describe wherever the user can stop by.

이하에서는 본 발명의 바람직한 일 실시예에 따른 언어 학습 장치 및 방법, 그 시스템에 대하여 첨부된 도면을 참고하여 구체적으로 설명하기로 한다.Hereinafter, a language learning apparatus and method and a system according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 언어 학습 시스템의 네트워크 구성을 나타내는 블록도이다.1 is a block diagram showing a network configuration of a language learning system according to an embodiment of the present invention.

도 1을 참조하면, 언어 학습 시스템(100)은 사용자 단말(101), 서비스 서버(103), 서비스 상점 서버(105) 및 학습 서버(107)을 포함하여 구성된다.Referring to FIG. 1, the language learning system 100 includes a user terminal 101, a service server 103, a service store server 105, and a learning server 107.

먼저, 사용자 단말(101)은 사용자에 의해 설정된 구동 환경에 따라 서비스 데이터를 기반으로 제1 모드 및 제2 모드 중 어느 하나로 서비스를 구동하여 3D 영상을 생성 및 디스플레이 한다. 여기서, 구동 환경은 3D 영상의 배경이 되는 위치 정보 즉, 사용자가 언어 학습을 원하는 가상의 지역에 대한 정보를 포함하며, 제1 모드 및 제2 모드는 각각 증강현실 모드 및 가상현실 모드가 될 수 있다.First, the user terminal 101 generates and displays a 3D image by driving a service in one of the first mode and the second mode based on the service data according to the driving environment set by the user. Here, the driving environment includes location information that is a background of a 3D image, that is, information about a virtual area where a user wants to learn a language, and the first mode and the second mode can be augmented reality mode and virtual reality mode, respectively. have.

또한, 사용자 단말(101)은 사용자로부터 입력되는 음성, 터치, 움직임 및 시선 등의 입력 정보를 인식하여 미리 학습된 데이터를 기반으로 3D 영상 내 가상의 객체와의 대화를 실행한다. 이후, 사용자 단말(101)은 상기 실행된 대화에 대한 결과 정보를 생성하여 서비스 서버(103)로 송신하고, 그에 대한 응답으로 수신되는 학습 컨텐츠 정보를 이용하여 학습 서버(107)로부터 학습 컨텐츠를 제공받는다.In addition, the user terminal 101 recognizes input information such as voice, touch, movement, and gaze inputted from the user and executes a conversation with a virtual object in a 3D image based on previously learned data. Thereafter, the user terminal 101 generates result information for the executed conversation and transmits it to the service server 103, and provides learning content from the learning server 107 using the learning content information received in response thereto Receive.

사용자 단말(101)은 3D 영상 내의 적어도 하나 이상의 서비스 상점에 대응하는 서비스 상점 서버(105)로부터 해당 서비스 상점의 혜택 정보를 제공받을 수도 있다. The user terminal 101 may be provided with benefit information of a corresponding service store from a service store server 105 corresponding to at least one service store in a 3D image.

한편, 사용자 단말(101)는 HMD(Head Mounted Display)와 같은 별도의 장치와 연동되어 서비스를 제공할 수도 있다. On the other hand, the user terminal 101 may provide a service in conjunction with a separate device such as a head mounted display (HMD).

서비스 서버(103)는 저장된 서비스 데이터 중 사용자 단말(101)의 구동 환경에 대응하는 서비스 데이터를 사용자 단말(101)로 송신하고, 사용자 단말(101)로부터 수신되는 대화에 대한 결과 정보를 분석한다. 이후, 서비스 서버(103)는 그 분석 결과에 따라 학습 컨텐츠 정보를 생성하여 사용자 단말(101)로 송신함으로써, 상기 사용자 단말(101)이 필요로 하는 학습 컨턴체를 제공받을 수 있도록 한다.The service server 103 transmits service data corresponding to the driving environment of the user terminal 101 among the stored service data to the user terminal 101 and analyzes result information on the conversation received from the user terminal 101. Thereafter, the service server 103 generates learning content information according to the analysis result and transmits it to the user terminal 101, so that the learning terminal body required by the user terminal 101 can be provided.

서비스 상점 서버(105)는 서비스 서버(103)로 자신의 혜택 정보를 송신한다. 비록, 도 1에서는 하나의 서비스 상점 서버만을 도시하였으나, 서비스에 가입된 즉, 입점된 복수개의 서비스 상점 각각에 대해 각각 구성될 수 있다.The service store server 105 transmits its benefit information to the service server 103. Although only one service store server is illustrated in FIG. 1, it may be configured for each of a plurality of service stores subscribed to the service, that is, entered.

학습 서버(107)는 사용자 단말(101)의 학습 컨텐츠 제공 요청을 수신하고, 그에 대한 응답으로 제공 요청된 학습 컨텐츠를 사용자 단말(101)로 송신한다.The learning server 107 receives a request for providing learning content from the user terminal 101 and transmits the learning content requested to be provided to the user terminal 101 in response to the request.

도 2는 본 발명의 실시예에 따른 언어 학습 방법을 나타내는 흐름도이다.2 is a flowchart illustrating a language learning method according to an embodiment of the present invention.

사용자 단말(101)에서 어플리케이션을 실행하면(S201), 어플리케이션이 실행되었음을 알리는 알림메시지를 서비스 서버(103)로 송신한다(S203). 이때, S203 단계는 생략될 수 있다.When the application is executed in the user terminal 101 (S201), a notification message indicating that the application has been executed is transmitted to the service server 103 (S203). At this time, step S203 may be omitted.

이후, 사용자 단말(101)은 3D 영상을 구동하고자 하는 구동 환경을 설정하고(S205), 이 설정 정보를 서비스 서버(103)로 송신한다(S207). 이때, 설정 정보는 사용자에 의해 선택된 위치 정보 즉, 언어 학습의 배경이 되는 지역에 대한 정보, 증강현실 모드인지 가상현실 모드인지 여부에 대한 모드 정보를 포함한다.Thereafter, the user terminal 101 sets a driving environment in which the 3D image is to be driven (S205), and transmits the setting information to the service server 103 (S207). At this time, the setting information includes location information selected by the user, that is, information about an area that is a background of language learning, and mode information about whether augmented reality mode or virtual reality mode.

서비스 서버(103)는 사용자 단말(101)로부터 수신되는 설정 정보를 확인하고(S209), 저장된 서비스 데이터 중 상기 확인된 설정 정보에 대응하는 서비스 데이터를 송신한다(S211). 이때, 서비스 데이터는 서비스 구동에 필요한 데이터를 포함하는 것으로, 상기 설정 정보에 포함된 위치 정보에 따라 미리 저장된 거리 정보 및 적어도 하나 이상의 서비스 상점에 대한 정보를 더 포함한다.The service server 103 checks the setting information received from the user terminal 101 (S209), and transmits service data corresponding to the checked setting information among stored service data (S211). At this time, the service data includes data necessary for driving the service, and further includes distance information previously stored according to the location information included in the setting information and information on at least one service store.

사용자 단말(101)은 상기 서비스 서버(103)로부터 서비스 데이터를 다운로드 하여 저장하고(S213), 저장된 서비스 데이터를 기반으로 서비스를 구동한다(S215). 이때, 서비스는 사용자 단말(101)과 연동된 상태에서 사용자가 착용한 별도의 장치에 의해 구동될 수도 있다.The user terminal 101 downloads and stores service data from the service server 103 (S213), and drives a service based on the stored service data (S215). At this time, the service may be driven by a separate device worn by the user in a state interlocked with the user terminal 101.

이후, 사용자 단말(101)은 사용자로부터 음성, 터치, 움직임 및 시선 등의 사용자 입력 정보를 인식하고(S217), 미리 학습된 데이터를 기반으로 3D 영상 내 가상의 객체와의 대화를 실행함으로써 결과 정보를 생성한다(S219). 사용자 단말(101)은 그 생성된 결과 정보를 서비스 서버(103)로 송신한다.Thereafter, the user terminal 101 recognizes user input information such as voice, touch, movement, and gaze from the user (S217), and executes a conversation with a virtual object in the 3D image based on the previously learned data, resulting information Create (S219). The user terminal 101 transmits the generated result information to the service server 103.

서비스 서버(103)는 사용자 단말(101)로부터 수신되는 결과 정보를 확인하고(S223), 그 결과 정보를 기반으로 학습 컨텐츠 정보를 사용자 단말(101)로 송신한다(S225). 도면을 통해 도시하지는 않았지만, 구체적으로 서비스 서버(103)는 결과 정보를 분석하고, 분석 결과에 따라 여러 학습 컨텐츠 중 적어도 하나 이상의 학습 컨텐츠를 선택하여 그에 대한 정보를 송신하는 것이다.The service server 103 checks the result information received from the user terminal 101 (S223), and transmits the learning content information to the user terminal 101 based on the result information (S225). Although not illustrated through the drawings, specifically, the service server 103 analyzes the result information, and selects at least one or more learning contents from among various learning contents according to the analysis result and transmits the information about it.

사용자 단말(101)은 서비스 서버(103)로부터 수신되는 학습 컨텐츠 정보를 기반으로 학습 컨텐츠를 확인하고(S227), 그 학습 컨텐츠 정보를 이용하여 학습 서버(107)로 학습 컨텐츠에 대한 제공을 요청한다(S229). 이때, 사용자 단말(101)은 학습 컨텐츠 정보에 포함된 링크를 통해 학습 서버(107)로 학습 컨텐츠에 대한 제공을 요청할 수도 있다.The user terminal 101 checks the learning content based on the learning content information received from the service server 103 (S227), and requests the learning server 107 to provide the learning content using the learning content information (S229). At this time, the user terminal 101 may request to provide the learning content to the learning server 107 through the link included in the learning content information.

학습 서버(107)는 사용자 단말(101)로부터 수신되는 학습 컨텐츠에 대한 제공 요청을 확인하고(S231), 제공 요청된 학습 컨텐츠를 사용자 단말(101)로 제공한다(S233).The learning server 107 confirms a request to provide learning content received from the user terminal 101 (S231), and provides the requested learning content to the user terminal 101 (S233).

사용자 단말(101)은 학습 서버(107)로부터 제공되는 학습 컨텐츠를 통해 학습을 진행한다(S235).The user terminal 101 progresses learning through the learning content provided from the learning server 107 (S235).

한편, 사용자 단말(101)은 서비스가 구동된 상태에서 증강현실 또는 가상현실 속의 특정 상점에 방문하는 경우, 해당 특정 상점에 대한 혜택 정보를 확인할 수 있다. 이 혜택 정보는 S202단계와 같이 서비스 상점 서버(105)에서 서비스 서버(103)로 제공되는데, 이는 서비스 상점 서버(105)에서 제공하는 할인, 행사 및 쿠폰 중 적어도 하나에 대한 정보에 변동이 있을 때마다 서비스 상점 서버(105)가 서비스 서버(103)로 송신할 수 있다. 한편, 도 2에는 도시되지 않았지만, 사용자 단말(101)로부터 혜택 제공 요청이 있을 경우, 서비스 서버(103)가 이를 서비스 상점 서버(105)로 알려주어 혜택을 제공받을 수 있도록 할 수도 있다.Meanwhile, when the user terminal 101 visits a specific store in augmented reality or virtual reality while the service is running, the user terminal 101 may check the benefit information for the specific store. This benefit information is provided from the service store server 105 to the service server 103 as in step S202, when there is a change in information on at least one of discounts, offers and coupons provided by the service store server 105. Each time the service store server 105 can transmit to the service server 103. Meanwhile, although not shown in FIG. 2, when a request for providing a benefit is provided from the user terminal 101, the service server 103 may inform the service store server 105 to receive the benefit.

이 경우, 사용자 단말(101)은 확인된 혜택 정보에서 제공받고자 하는 혜택을 선택하고(S237), 혜택 선택 정보를 서비스 서버(103)로 송신한다(S239).In this case, the user terminal 101 selects the benefit to be provided from the verified benefit information (S237), and transmits the benefit selection information to the service server 103 (S239).

서비스 서버(103)는 사용자 단말(101)로부터 수신되는 혜택 선택 정보를 확인하고(S241), 그 확인된 혜택 선택 정보에 대응하는 혜택을 사용자 단말(101)로 제공한다.The service server 103 checks the benefit selection information received from the user terminal 101 (S241), and provides a benefit corresponding to the checked benefit selection information to the user terminal 101.

사용자 단말(101)은 서비스 서버(103)로부터 수신되는 혜택을 다운로드 및 저장한다(S245). 이 저장된 혜택은 할인, 행사, 쿠폰에 대한 것일 수 있으며, 저장된 쿠폰이나 할인의 경우 해당 상점의 오프라인 또는 온라인 주문 시 사용할 수도 있다.The user terminal 101 downloads and stores the benefits received from the service server 103 (S245). The stored benefits may be for discounts, offers, or coupons, and in the case of stored coupons or discounts, they may be used for offline or online ordering of the store.

혜택 제공에 대한 S237단계 내지 245단계는 학습 서비스 제공에 대한 S219단계 내지 S235단계 이전에 실행될 수도 있으며, 사용자가 선택하지 않으면 생략될 수도 있다.Steps S237 to 245 for providing a benefit may be executed before steps S219 to S235 for providing a learning service, or may be omitted if the user does not select them.

도 3은 본 발명의 실시예에 따른 사용자 단말의 구성을 나타내는 블록도이다.3 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.

도 3을 참조하면, 사용자 단말(101)은 송수신부(1011), 카메라부(1013), 오디오부(1015), 인식부(1017), 구동부(1019), 생성부(1021), 디스플레이부(1023), 저장부(1025) 및 제어부(1027)를 포함한다.Referring to FIG. 3, the user terminal 101 includes a transmitter / receiver unit 1011, a camera unit 1013, an audio unit 1015, a recognition unit 1017, a driving unit 1019, a generating unit 1021, and a display unit ( 1023), a storage unit 1025, and a control unit 1027.

송수신부(1011)는 구동 환경에 대한 설정 정보, 서비스 구동에 대한 결과 정보 및 학습 컨텐츠에 대한 제공 요청을 송신하고, 상기 설정 정보에 대응하는 서비스 데이터, 학습 컨텐츠 정보 및 학습 컨텐츠를 수신한다. 또한, 그 외에 사용자 단말(101)로부터 송수신되는 모든 신호, 데이터, 정보들 또한 이 송수신부(1011)에 의해 송수신된다.The transmitting and receiving unit 1011 transmits a setting request for a driving environment, result information for driving a service, and a request for providing learning content, and receives service data, learning content information, and learning content corresponding to the setting information. In addition, all signals, data, and information transmitted and received from the user terminal 101 are also transmitted and received by the transceiver 1011.

카메라부(1013)는 주변 환경을 촬영할 수 있으며, 촬영을 통해 실제 영상 정보를 입력한다. 이때, 실제 영상 정보는 실시간으로 입력되어 생성부(1019)로 제공될 수 있다.The camera unit 1013 may photograph the surrounding environment, and input real image information through photography. At this time, actual image information may be input in real time and provided to the generator 1019.

오디오부(1015)는 마이크(미도시) 및 스피커(미도시)를 포함하는 것으로 사용자 단말(101)의 내부에서 출력되는 오디오 신호를 스피커를 통해 재생하고, 사용자 단말(101)의 외부에서 발생하는 오디오 신호를 마이크를 통해 입력한다.The audio unit 1015 includes a microphone (not shown) and a speaker (not shown), and reproduces an audio signal output from the inside of the user terminal 101 through the speaker, and is generated outside the user terminal 101 The audio signal is input through the microphone.

인식부(1017)는 사용자로부터 입력되는 음성, 터치, 움직임 및 시선 중 적어도 하나에 대한 입력 정보를 인식한다. 이때, 음성은 상기 오디오부(1015)의 마이크를 통해 입력되는 것을 기반으로 인식할 수 있고, 터치는 디스플레이부(1017)에서 이루어지는 사용자의 터치를 기반으로 인식할 수도 있다. 그 외, 도면을 통해서는 도시하지 않았지만, 사용자의 움직임 또는 생체 정보를 감지하기 위한 각종 센서들이 구비될 수 있는데, 인식부(1017)는 이 센서들을 통해 감지된 사용자의 움직임 또는 생체 정보를 인식할 수도 있다.The recognition unit 1017 recognizes input information for at least one of voice, touch, movement, and gaze input from a user. At this time, the voice may be recognized based on input through the microphone of the audio unit 1015, and the touch may be recognized based on a user's touch made in the display unit 1017. In addition, although not illustrated through the drawings, various sensors for sensing a user's movement or biometric information may be provided, and the recognition unit 1017 may recognize the user's movement or biometric information detected through these sensors. It might be.

구동부(1019)는 어플리케이션을 실행하고, 구동 환경에 따라 제1 모드 및 제2 모드 즉, 증강현실 모드 및 가상현실 모드 중 어느 하나로 서비스를 구동한다. 이때, 구동부(1019)는 오디오부(1015) 및 디스플레이부(1023)로부터 입력되는 정보를 인식부(1017)에서 인식함에 의해 실행 또는 구동될 수 있다.The driver 1019 executes an application and drives a service in one of a first mode and a second mode, that is, an augmented reality mode and a virtual reality mode, according to a driving environment. In this case, the driving unit 1019 may be executed or driven by recognizing information input from the audio unit 1015 and the display unit 1023 in the recognition unit 1017.

생성부(1021)는 인식부(1017)로부터 인식되는 입력 정보 및 상기 송수신부(1011)에 의해 수신된 서비스 데이터를 기반으로 3D 영상을 생성한다.The generation unit 1021 generates a 3D image based on the input information recognized by the recognition unit 1017 and the service data received by the transmission / reception unit 1011.

디스플레이부(1023)는 상기 생성부(1021)에서 생성된 3D 영상을 디스플레이 한다.The display unit 1023 displays the 3D image generated by the generation unit 1021.

저장부(1025)는 상기 서비스 데이터 및 상기 미리 학습된 데이터를 저장한다. 또한, 저장부(1025)는 그 외에 사용자 단말(101)로 수신되는 모든 데이터, 정보 등을 저장할 수 있을 뿐만 아니라, 사용자 단말(101)에서 생성된 데이터, 정보 등을 저장할 수도 있다.The storage unit 1025 stores the service data and the previously learned data. Also, the storage unit 1025 may store all data and information received by the user terminal 101 as well as data and information generated by the user terminal 101.

제어부(1027)는 구동 환경에 따라 상기 제1 모드 및 상기 제2 모드 중 어느 하나로 서비스를 구동하여 3D 영상을 생성 및 디스플레이하고, 입력 정보를 인식하여 미리 학습된 데이터를 기반으로 3D 영상 내 가상의 객체와의 대화를 실행하며, 상기 실행된 대화에 대한 결과 정보를 생성하여 송신하고, 그 결과 정보에 대한 응답으로 수신되는 학습 컨텐츠 정보를 이용하여 학습 컨텐츠를 실행하도록 제어한다. The control unit 1027 generates and displays a 3D image by driving a service in any one of the first mode and the second mode according to the driving environment, recognizes input information, and virtualizes the 3D image based on previously learned data. It executes a conversation with an object, generates and transmits the result information for the executed conversation, and controls to execute the learning content using the learning content information received in response to the result information.

도 4는 본 발명의 실시예에 따른 사용자 단말에서의 언어 학습 방법을 나타내는 순서도이다.4 is a flowchart illustrating a language learning method in a user terminal according to an embodiment of the present invention.

구동부(1019)에서 어플리케이션을 실행하고(S401), 오디오부(1015) 및 디스플레이부(1023)로부터 입력되는 사용자 입력 정보를 인식부(1017)에서 인식함에 의해 위치 및 구동 모드를 설정한다(S403).The application is executed by the driver 1019 (S401), and the user input information input from the audio unit 1015 and the display unit 1023 is recognized by the recognition unit 1017 to set the location and driving mode (S403). .

이후, 송수신부(1011)에서 설정 정보를 서비스 서버(103)로 송신하고(S405), 그에 대한 응답으로 서비스 서버(103)로부터 수신되는 서비스 데이터를 수신하여 다운로드 하여 저장부(1025)에 저장한다(S407).Thereafter, the transmission / reception unit 1011 transmits the setting information to the service server 103 (S405), receives and downloads service data received from the service server 103 in response thereto, and stores the downloaded service data in the storage unit 1025. (S407).

구동부(1019)는 저장된 서비스 데이터를 기반으로 제1 모드 및 제2 모드 중 어느 하나로 서비스를 구동한다(S409).The driver 1019 drives the service in one of the first mode and the second mode based on the stored service data (S409).

구동부(1019)가 제1 모드 즉, 증강현실 모드로 구동하는 경우, 생성부(1021)는 카메라부(1013)로부터 촬영되는 실제 영상과 상기 서비스 데이터에 포함된 3D 영상 정보에 따른 3D 가상 물체를 합성함으로써 3D 영상을 생성한다(S411). 한편, 구동부(1019)가 제2 모드 즉, 가상현실 모드로 구동하는 경우, 생성부(1021)는 상기 서비스 데이터에 포함된 3D 영상 정보를 기반으로 3D 영상을 생성한다(S413).When the driving unit 1019 is driven in the first mode, that is, the augmented reality mode, the generator 1021 generates a 3D virtual object according to 3D image information included in the service data and the actual image photographed from the camera unit 1013. 3D images are generated by synthesis (S411). Meanwhile, when the driver 1019 is driven in the second mode, that is, the virtual reality mode, the generator 1021 generates a 3D image based on the 3D image information included in the service data (S413).

이후, 인식부(1017)가 오디오부(1015) 또는 디스플레이부(1023)로부터 입력되는 사용자 입력 정보가 감지되는지 여부를 확인한다(S415). 예를 들어, 오디오부(1015)를 통해 사용자의 음성이 입력되면, 저장부(1025)에 저장된 미리 학습된 데이터를 기반으로 대화가 진행되며, 더 이상 입력되는 음성이 없을 경우에는 대화가 종료된 것으로 간주한다. 즉, S411단계 내지 S415단계는 반복적으로 진행될 수 있다.Thereafter, the recognition unit 1017 determines whether user input information input from the audio unit 1015 or the display unit 1023 is detected (S415). For example, when a user's voice is input through the audio unit 1015, a conversation is performed based on pre-trained data stored in the storage unit 1025. If there is no more input voice, the conversation is ended. Is considered. That is, steps S411 to S415 may be repeatedly performed.

확인 결과, 사용자 입력 정보가 감지되는 경우, 그 감지된 사용자 입력 정보에 따라 3D 영상을 생성하여 출력하고, 사용자 입력 정보가 감지되지 않는 경우, 상기 S411단계 및 상기 S413단계에 따른 결과 정보를 생성하여 서비스 서버(103)로 송신한다(S417). 이는 S411단계 내지 S415단계는 반복적으로 진행된 대화에 대한 결과 정보를 송신하는 것이다. 이를 위해, S411단계 내지 S415단계에서 진행된 대화 정보는 저장부(1025)에 저장될 수 있다.As a result of the confirmation, if user input information is detected, a 3D image is generated and output according to the detected user input information, and when user input information is not detected, result information according to steps S411 and S413 is generated. It transmits to the service server 103 (S417). This is the step S411 to step S415 is to transmit the result information for the repeated conversation. To this end, conversation information performed in steps S411 to S415 may be stored in the storage unit 1025.

송수신부(1011)가 결과 정보에 대한 응답으로 서비스 서버(103)로부터 학습 컨텐츠 정보를 수신하고, 디스플레이부(1023)가 수신된 학습 컨텐츠 정보를 디스플레이함으로써 사용자가 이를 확인한다.The transceiver 1011 receives the learning content information from the service server 103 in response to the result information, and the display unit 1023 displays the received learning content information, so that the user confirms it.

이를 기반으로 사용자가 학습 컨텐츠 연결 여부를 선택하게 되는데, 인식부(1017)가 사용자의 선택에 의해 학습 컨텐츠 연결 여부를 인식한다(S421).Based on this, the user selects whether or not the learning content is connected. The recognition unit 1017 recognizes whether the learning content is connected by the user's selection (S421).

만약, 인식부(107)가 학습 컨텐츠에 연결하지 않는 것으로 인식한 경우, S415단계로 진행하고, 인식부(1017)가 학습 컨텐츠에 연결하는 것으로 인식한 경우, 송수신부(1011)가 해당 학습 컨텐츠에 대한 제공 요청을 서비스 서버(103)로 송신한다(S423). If it is recognized that the recognition unit 107 does not connect to the learning content, the process proceeds to step S415, and when the recognition unit 1017 recognizes that the learning content is connected, the transmitting / receiving unit 1011 receives the corresponding learning content. A request for providing a service is transmitted to the service server 103 (S423).

이후, 송수신부(1011)가 그에 대한 응답으로 서비스 서버(103)로부터 해당 학습 컨텐츠를 수신하고, 구동부(1019)를 통해 학습을 진행한다(S425).Thereafter, the transmission / reception unit 1011 receives the corresponding learning content from the service server 103 in response thereto, and progresses learning through the driving unit 1019 (S425).

학습 방법에 대한 다른 실시예로서 , 서비스 서버(103)는 미리 작성된 복수의 시나리오 및 이에 따라 생성된 가상환경을 저장하고 있다가, 사용자의 선택에 따라 그 중 하나를 사용자 단말에게 제공한다. As another embodiment of the learning method , the service server 103 stores a plurality of pre-written scenarios and a virtual environment created accordingly, and provides one of them to a user terminal according to a user's selection.

사용자는 그 가상환경 속에서 자신의 의도로 서비스 상점을 들러 대화하거나 또는 가상환경에 존재하는 다른 개체와 대화를 한다. In the virtual environment, a user stops at a service store with his intention or talks with another object existing in the virtual environment.

이 대화는 서비스 서버(103)를 거쳐 또는 직접 학습 서버(107)로 전달되어 사용자의 연령/성별/거주지역 등 개인정보를 고려하여 사용자의 어학 능력, 어학 습관, 어학 수준을 판단하고, 이 판단 결과에 따라 사용자 맞춤형 학습 컨텐츠를 선정하여 제공하거나 학습 가이드를 제공한다.This conversation is passed through the service server 103 or directly to the learning server 107 to determine the user's language ability, language habits, and language level in consideration of personal information such as the user's age / gender / resident area, and this determination Depending on the results, user-specific learning content is selected and provided or a learning guide is provided.

또한, 판단과 컨텐츠 및 가이드 선정이 적절한지 여부를 지속적으로 검증하면서 선정 기준을 조정한다. In addition, the selection criteria are adjusted while continually verifying whether judgment and selection of content and guides are appropriate.

이하, 도 5 및 도 6을 참조하여 전술한 일 실시예를 보다 구체적으로 설명한다.Hereinafter, one embodiment described above will be described in more detail with reference to FIGS. 5 and 6.

도 5는 학습 서버(107)의 세부 구성도로서, 도시된 바와 같이 학습 서버(107)는 어학 능력 판단부(1071), 어학습관 판단부(1072), 어학수준 판단부(1073), 개인정보 저장부(1074), 학습컨텐츠 선정부(1075), 학습가이드 생성부(1076), 검증부(1077)을 포함한다.5 is a detailed configuration diagram of the learning server 107. As shown, the learning server 107 includes a language ability determining unit 1071, a language learning habit determining unit 1072, a language level determining unit 1073, and personal information. It includes a storage unit 1074, a learning content selection unit 1075, a learning guide generation unit 1076, and a verification unit 1077.

어학능력 판단부(1071)는 가상환경에서 각 상황별 사용자의 대화로부터 사용자가 본래 가지고 있는 어학능력을 추론한다. 예컨대, 해당 외국어에 대한 학습 기간이 짧아서 사용하는 어휘가 적고 문법상 오류가 많다고 하더라도, 본래 가지고 있거나 현재 형성된 어학능력 자체는 높을 수 있다. The language ability determining unit 1071 infers the language ability of the user from the user's conversation in each situation in the virtual environment. For example, even though the vocabulary used is small and there are many grammatical errors due to a short learning period for the foreign language, the language ability itself possessed or currently formed may be high.

질문에 대한 응답에 이르기까지의 응답 지연 시간, 질문에 대한 응답 내용의 부합성/적절성, 응답 내용의 참신성, 구문의 독창성을 주된 평가 요소로 하여 사용자의 어학능력을 판단할 수 있다. The user's language ability can be judged by using the response delay time to answering the question, the suitability / appropriateness of the response to the question, the novelty of the response, and the originality of the phrase as the main evaluation factors.

또한, 개인정보 저장부에 포함된 사용자의 연령/성별/지역 등을 고려하여 어학능력을 판단함이 바람직하다. 동일한 응답을 하더라도 사용자의 연령이 낮으면, 사용자의 연령이 높은 경우보다 본래의 어학능력이 높다고 판단함이 적절하기 때문이다. In addition, it is preferable to judge language ability in consideration of the age / gender / region of the user included in the personal information storage unit. This is because it is appropriate to judge that the original language ability is higher than the case where the user's age is high when the user's age is low even though the same response is made.

어학능력 판단부(1071)의 추론 엔진은 딥러닝이 가능한 AI 신경망을 이용하여 다수 사용자의 대화를 빅데이터로 관리하며 자가 학습을 하며 정확성을 점점 높여가도록 구성함이 바람직하며, 이하에서 설명하는 어학습관 판단부, 어학수준 판단부의 추론 엔진 역시 동일하다.The reasoning engine of the language ability judging unit 1071 is preferably configured to manage conversations of multiple users with big data using self-learning and deepen accuracy by using AI networks capable of deep learning. The reasoning engine of the habit determination unit and the language level determination unit are the same.

어학습관 판단부(1072)는 '아?', '저?', '에.. 또..'등의 간투사와, 의미없이 습관적으로 붙이는, '이제..','you know' 등과 같은 단어나 어구의 사용빈도를 파악한다. 또한, 장황한 설명조의 어체를 쓰는지, 간결하고 직설적인 어체를 쓰는지를 파악한다. The language learning judging unit 1072 is a word like 'now ..', 'you know', such as' Ah? ',' Me? ',' E ..... I grasp the frequency of use of phrases. Also, find out whether you use verbose, verbose, concise and straightforward language.

어체를 포함하는 어학습관을 파악하는 것은 학습효과 면에서 큰 영향을 미칠 수 있는 중요한 요소이다. 예컨대, 간결하고 직설적인 어체를 쓰는 사용자에게 장황한 설명조의 어체를 주로 수록한 학습 컨텐츠를 제공하면 지루함을 느끼고 결과적으로 학습효과가 낮게 된다.Understanding language learning habits, including language, is an important factor that can have a great impact on learning effectiveness. For example, if a user who uses a concise and straightforward language provides learning content that mainly includes a long description language, the user feels bored and consequently has a low learning effect.

반대로, 설명조의 어체를 쓰는 사용자에게 단답형의 짧은 어체를 주로 수록한 학습 컨텐츠를 제공하면 학습컨텐츠의 부족함을 느끼고 자칫 실망감으로 이어져 학습효과가 낮아질 수 있다. Conversely, providing learning contents that mainly contain short-answered short-formed words to users who use explanatory language can lead to a feeling of lack of learning content and lead to disappointment, leading to lower learning effects.

종래의 어학학습 방법에서, 어체는 어학수준에 따라 초급은 짧은 대화, 상급은 긴 대화를 학습하도록 교육하는 것이 일반적이지만, 사용자의 어학습관에 따라 아무리 어학수준이 높고 해당 언어가 익숙해도 짧고 간결하게 말하는 어학습관을 가진 학습자는 긴문장을 선호하지 않고, 설명조 어체를 선호하는 학습자는 어학수준이 낮은 상황에서도 힘겹게 긴 문장을 만들려고 애쓰다가 결국 완결된 문장으로 대화하지 못하는 양상이 있다.In the conventional language learning method, it is common to educate the beginners to learn short conversations for the beginners and long conversations for the advanced language according to the language level, however, depending on the language learning habits of the user, no matter how high the language level is, even if the language is familiar, the language is short and concise. A learner who has a speaking language learning preference does not prefer a long sentence, and a learner who prefers an explanatory language has a tendency to try to make a long sentence hard even in a situation where the language level is low, but in the end, there is a tendency to be unable to communicate with a completed sentence.

본 발명은 이러한 점을 고려하여 어학습관을 고려한 맞춤형 학습 방법 및 시스템을 제공하려는 것이다.The present invention is to provide a customized learning method and system in consideration of language learning in consideration of these points.

어학능력 판단부(1071) 및 어학습관 판단부(1072)는 사용자가 가상환경에서 학습 중 또는 평가 중 하는 모든 대화에 대하여 지속적으로 판단하며 발전 또는 변화를 감지한다. The language ability determining unit 1071 and the language learning habit determining unit 1072 continuously judge all the conversations that the user is learning or evaluating in the virtual environment and detect the development or change.

한편, 학습대상 언어로 말하는 사용자의 대화만을 토대로 추론하면 정확도가 낮을 수 있으므로, 사용자의 모국어로 대화하는 내용을 더하여 추론하는 것이 정확도 향상 면에서 유리하다. 따라서 서비스 서버는 평가모드를 별도로 마련하여, 최초 사용시의 평가에서는 사용자의 모국어로 가상환경에서 대화를 진행하도록 하는 것이 바람직하다. On the other hand, since the accuracy may be low when reasoning based only on the conversation of the user speaking in the language to be learned, it is advantageous in terms of improving accuracy by inferring the content of the conversation in the user's native language. Therefore, the service server is provided with a separate evaluation mode, and it is preferable to conduct a conversation in a virtual environment in the user's native language in the evaluation at the first use.

어학수준 판단부(1073)는 해당 언어의 어학수준을 파악한다. 이는 학습 대상이 되는 해당 외국어를 얼마나 유창하게 쓰느냐의 측면을 고려하면 되므로 전술한 어학능력, 어학습관에 비해서는 상대적으로 용이하게 사용자의 어학수준을 파악할 수 있다.The language level determining unit 1073 determines the language level of the corresponding language. This is because it is necessary to consider the aspect of how fluently the corresponding foreign language is used as a learning object, so the user's language level can be grasped relatively easily compared to the above-described language ability and language learning habits.

이용하는 단어의 수, 표현의 등급(초급/중급/고급), 응답 지연 시간, 문법의 오류 여부, 이용하는 단어, 숙어의 종류와 수준 등을 고려하여 파악한다.The number of words to be used, the grade of the expression (beginner / intermediate / advanced), response delay time, grammatical errors, words to be used, and the type and level of idioms are considered.

개인정보 저장부(1072)는 사용자의 개인정보, 즉 성별, 연령, 거주지역, 직업, 교육수준, 결혼유무, 관심분야 등의 여러 사적 정보 중에서 사용자가 제공한 정보를 저장한다. 개인정보 저장부(1072)에 저장된 정보는 어학능력 판단부, 어학습관 판단부, 어학수준 판단부의 추론시 참고로 이용되며, 제공받아 저장된 개인정보가 많고 구체적일수록 어학능력 판단부, 어학습관 판단부, 어학수준 판단부의 추론결과의 정확도가 높아질 수 있다.The personal information storage unit 1072 stores personal information of the user, that is, information provided by the user among various personal information such as gender, age, residential area, occupation, education level, marital status, and interests. The information stored in the personal information storage unit 1072 is used as a reference when inferring the language ability determining unit, language learning habit determining unit, and language level determining unit. The more personal information received and stored, the more detailed the language ability determining unit, language learning habit determining unit In addition, the accuracy of the reasoning result of the language level judging unit may be increased.

학습컨텐츠 선정부(1075)는 어학능력 판단부, 어학습관 판단부, 어학수준 판단부가 추론한 결과 및/또는 개인정보를 토대로 사용자의 현 시점에서 가장 적합한 학습컨텐츠를 선정한다. The learning content selection unit 1075 selects the most suitable learning content at the current time of the user based on the results and / or personal information inferred by the language ability determining unit, the language learning determining unit, and the language level determining unit.

예컨대, 판단 결과와 개인정보를 토대로 사용자가 타고나거나 습득하여 현재 갖춰진 어학능력이 높고, 짧고 간결한 어체를 선호하나, 학습 기간이 짧아서 현재의 해당 언어에 대한 어학수준은 낮은 사용자로서, IT 분야 전문직에 종사하며 역사에 관심이 많은 30대 남자인 경우를 상정해본다. For example, based on the judgment result and personal information, the user is born or acquired and prefers the currently equipped language ability, short and concise language, but because the learning period is short, the current language level for the current language is a low user, and he / she is specialized in IT fields. Imagine a man in his 30s who is engaged in history and is interested in history.

이 사용자에게는 각 상황에 과학 기술, 고대 로마의 역사 등에 관한 내용을 가미하며, 짧고 간결한 어체로 가상환경에서의 제공 대화 내용을 구성하고, 학습 목표를 높게 잡아 제공되는 컨텐츠의 수준을 단기간에 상향하여 제공하도록 한다. To this user, the contents of science and technology, the history of ancient Rome, etc. are added to each situation, and the contents of the dialogue provided in the virtual environment in a short and concise language are set high, and the level of the contents provided is raised in a short period of time by raising the learning goals. To provide.

지식수준이 높은 사용자에게 동일하거나 유사한 내용에 대하여 초급 수준의 단어를 이용한 컨텐츠를 장시간 제공하면 금방 실증을 느끼게 되므로, 사용자의 어학 수준에 비하여 조금 버겁다고 생각될 정도로 컨텐츠 수준의 상향 속도를 높이도록 한다.Providing content with the same or similar content for beginner level words to users with high knowledge level for a long time will quickly prove it, so increase the speed of the content level up to a level that is considered to be a little rough compared to the user's language level. .

이상의 설명에서, 어학능력 판단부, 어학습관 판단부, 어학수준 판단부를 각각 별도로 구성된 판단부인 가정하고 설명하였으나, 본 발명에 따른 어학 시스템은 하나의 판단부가 어학능력, 어학습관, 어학수준을 판단하도록 구성할 수 있음은 물론이고, 또한 어학능력, 어학습관, 어학수준 중 일부만을 판단하는 것으로 구현할 수 있다. In the above description, it has been assumed and assumed that the language ability determination unit, the language learning habit determination unit, and the language level determination unit are separately configured determination units, but the language system according to the present invention allows one determination unit to determine language ability, language learning habits, and language level. In addition to being configurable, it can also be implemented by judging only a part of language skills, language learning habits, and language levels.

또한 같은 취지로 학습컨텐츠 선정부(1075) 역시, 어학능력 판단부, 어학습관 판단부, 어학수준 판단부가 추론한 결과 및 개인정보를 모두 고려하여 학습컨텐츠를 선정하는 것이 바람직하나, 어학능력 판단부, 어학습관 판단부, 어학수준 판단부가 추론한 결과 및 개인정보 중 일부만을 토대로 학습컨텐츠를 선정하는 것을 배제하는 것은 아니다.Also, for the same purpose, the learning content selection unit 1075 also selects the learning content in consideration of both the inference result and the personal information of the language ability determination unit, the language learning decision unit, and the language level determination unit, but the language ability determination unit However, it does not exclude the selection of learning content based on the results of the language learning judgment unit, the language level judgment unit's reasoning, and only a part of personal information.

한편, 학습컨텐츠 선정부(1075)는 사용자의 현재 수준에 맞는 컨텐츠의 선정은 물론이고, 사용자에 맞는 학습목표를 설정하고 이에 맞춰 미래의 각 학습 일정별 컨텐츠의 선정도 함께 하는 것이 바람직하다. Meanwhile, it is preferable that the learning content selection unit 1075 not only selects content suitable for the user's current level, but also sets learning objectives suitable for the user and selects content for each future learning schedule accordingly.

학습가이드 선정부(1076)는 크게 두 가지 측면에서 가이드를 선정한다. The learning guide selection unit 1076 selects a guide from two main aspects.

첫째로, 불필요한 간투어나 의미없는 거슬리는 반복된 표현 등, 사용자 자신이 의식하지 못하는 바람직하지 못한 언어 습관을 정리하여 이에 대하여 자제하는 가이드를 제시할 수 있다.First, it is possible to present a guide to refrain from arranging undesirable language habits that the user himself is not aware of, such as unnecessary intercourse or meaningless repeated expressions.

둘째로, 사용자의 학습 이력과 현재의 학습 성취도를 토대로, 현 시점에서의 학습 상황을 정확히 제시하면서 이후의 보다 효율적인 학습을 위한 학습방법 및 목표를 제시할 수 있다. Second, based on the user's learning history and current learning achievement, it is possible to present learning methods and goals for more efficient learning in the future while accurately presenting the learning situation at the present time.

학습컨텐츠 선정부(1075) 및 학습가이드 선정부(1076) 역시 딥러닝이 가능한 AI 신경망을 이용하여 다수 사용자의 대화를 빅데이터로 관리하며 자가 학습을 하며 정확성을 점점 높여가도록 구성함이 바람직하다.The learning content selection unit 1075 and the learning guide selection unit 1076 are also preferably configured to manage conversations of multiple users with big data using self-learning and self-learning and increase accuracy by using deep learning AI neural networks.

여기서 학습컨텐츠의 선정은 이미 확보된 컨텐츠 중에서 적합한 컨텐츠를 선정할 수도 있음은 물론이고, AI 모듈을 통하여 새로운 학습컨텐츠를 생성하는 것을 포함한다. 새롭게 생성된 학습컨텐츠는 학습컨텐츠 DB(미도시)에 저장하여 이후의 다른 사용자에게 제공될 수 있다. 학습가이드의 선정도 마찬가지이다.Here, the selection of learning content may include selecting suitable content from content already secured, as well as generating new learning content through the AI module. The newly generated learning content may be stored in a learning content DB (not shown) and provided to other users. The same applies to the selection of study guides.

검증부(1077)는 어학능력 판단부(1071), 어학습관 판단부(1072), 어학수준 판단부(1073), 학습컨텐츠 선정부(1075), 학습가이드 선정부(1076)의 판단 또는 선정 결과와 개인정보 저장부(1074)에 저장된 개인정보를 토대로 각 판단부 및 선정부가 올바른 결과를 도출하였는지를 검증한다. The verification unit 1077 is determined by the language ability determining unit 1071, language learning habit determining unit 1072, language level determining unit 1073, learning content selection unit 1075, learning guide selection unit 1076 Based on the personal information stored in the and personal information storage unit 1074, it is verified whether each judgment unit and the selection unit have produced the correct results.

검증의 방식은 현 시점에 취합된 과거 및 현재의 빅데이터 분석을 통해서 이루어질 수 있다. The verification method can be achieved through analysis of past and present big data collected at the present time.

또는, 어학능력 판단부(1071), 어학습관 판단부(1072), 어학수준 판단부(1073)의 판단 결과에 따라 학습컨텐츠와 학습가이드를 생성할 때, 학습컨텐츠 선정부(1075), 학습가이드 선정부(1076)로 하여금 유사한 개인정보를 가지는 여러 사용자에게 상이하게 학습컨텐츠와 학습가이드를 생성 제공하게 한 후에, 그로부터의 소정 시간후의 각 사용자의 학습성취도를 살펴서 어떤 학습컨텐츠와 학습가이드가 가장 효과적이었는지를 판단하여, 각 사용자에 맞는 학습컨텐츠와 학습가이드를 지속적으로 검증하며 보정해나갈 수 있다.Alternatively, when the learning content and the learning guide are generated according to the determination results of the language ability determining unit 1071, the language learning habit determining unit 1072, and the language level determining unit 1073, the learning content selection unit 1075, the learning guide After the selection unit 1076 generates and provides learning contents and learning guides differently to multiple users having similar personal information, the learning achievement of each user after a predetermined period of time is examined to determine which learning contents and learning guides are most effective. By determining whether or not, it is possible to continuously verify and correct learning contents and learning guides suitable for each user.

도 6은 본 발명의 바람직한 일 실시예에 따른 사용자 맞춤형 학습 방법의 순서도이다. 6 is a flowchart of a user-customized learning method according to an exemplary embodiment of the present invention.

서비스 서버(103)는 사용자에게 준비된 상황리스트를 제공한다(S610). 상황리스트에 포함되는 각 상황의 예는 백화점 방문하여 물건 구입, 공항에서 티케팅, 호텔에서 체크인 등의 짧고 단편화된 상황은 물론이고, 특정 주제에 대한 토론, 특정 주제에 대한 사용자의 연설 등 길고 복합적인 상황을 포함한다. The service server 103 provides a prepared situation list to the user (S610). Examples of each situation included in the situation list include short and fragmented situations such as shopping at a department store, ticketing at an airport, and check-in at a hotel, as well as long and complex situations such as discussions on specific topics and user speeches on specific topics. Situation.

사용자가 상황리스트에서 상황을 선택하면 서비스 서버(103)은 선택된 상황에 대한 가상환경을 제공한다(S620). 상황의 선택은 사용자 단말의 UI를 통하여 할 수도 있고, 상황 선택 가상환경을 별도로 마련하고 사용자가 이 가상환경에서 선택하도록 구성할 수 있다. When the user selects a situation from the situation list, the service server 103 provides a virtual environment for the selected situation (S620). The situation may be selected through the UI of the user terminal, or a situation selection virtual environment may be separately provided and configured to be selected by the user in this virtual environment.

상황이 선택되고 사용자에게 가상환경에 제공되면, 서비스 서버(108)는 준비된 대화 내용을 기반으로 가상 개체와 사용자가 대화를 하도록 한다. 대화가 가능한 상호작용성 AI 모듈이 이용될 수 있다. When the situation is selected and provided to the user in the virtual environment, the service server 108 allows the user to have a conversation with the virtual object based on the prepared conversation. Interactive AI modules can be used.

학습 서버(107)는 제공되는 가상환경에서 이루어지는 사용자의 대화를 추출한다(S630). 대화의 추출은 실시간으로 이루어지는 것이 바람직하나 통신부하 등을 고려하여 대화가 완료된 후 저장된 대화에서 사용자 대화를 추출하도록 하는 것도 물론 가능하다.The learning server 107 extracts the user's conversation in the provided virtual environment (S630). It is preferable to extract the dialogue in real time, but it is also possible to extract the user dialogue from the stored dialogue after the dialogue is completed in consideration of the communication load.

추출된 대화와 개인정보를 토대로 어학능력 판단부(1071), 어학습관 판단부(1072), 어학수준 판단부(1073)는 각각 사용자의 어학능력, 어학습관, 어학수준을 판단하고 평가한다(S640). 각 판단은 AI기술을 이용하여 AI스스로 학습을 거치며 지속적으로 신뢰도와 정확도를 높여간다. Based on the extracted dialogue and personal information, the language ability determining unit 1071, the language learning habit determining unit 1072, and the language level determining unit 1073 respectively determine and evaluate the user's language ability, language learning habits, and language level (S640) ). Each judgment is learned by AI using AI technology and continuously increases reliability and accuracy.

어학능력과 어학습관을 최초로 판단할 때는 학습 대상 언어보다는 사용자의 모국어 대화를 추출하여 이로부터 판단을 하는 것이 더 정확도가 높다. When determining the language ability and language learning for the first time, it is more accurate to extract the user's native language conversation and make a judgment from it rather than the target language.

즉, 아직 유창하지 못한 외국어 대화를 기초로 어학능력과 어학습관을 판단하면 부정확한 결과가 나올 가능성이 크므로, 최로의 판단 과정에서는 제공되는 대화를 모국어로 진행하는 것이 바람직하다. In other words, when judging language ability and language learning based on foreign language conversations that are not yet fluent, there is a high possibility that inaccurate results may occur. Therefore, it is desirable to conduct the provided conversation in the native language in the process of judging the best.

학급컨텐츠 선정부(1075)는 어학능력, 어학습관, 어학수준이 파악이 되면, 개인정보를 고려하여 적절한 학습컨텐츠를 선정하고 제공한다(S650). 이와 함께 학습가이드를 선정하고 이를 제공한다(S655). 어떠한 가이드를 제공하는지에 대해서는 전술한 바와 같다. The class content selection unit 1075 selects and provides appropriate learning content in consideration of personal information when the language ability, language learning habits, and language level are identified (S650). Along with this, a learning guide is selected and provided (S655). What guides are provided is as described above.

학습컨텐츠나 학습가이드의 선정에는 어학능력, 어학습관, 어학수준 및 개인정보를 모두 고려하는 것이 바람직하지만, 이 중의 일부만을 고려하여 선정할 수 있다. 어학능력, 어학습관, 어학수준 및 개인정보 중 일부만을 고려하더라도 종래의 어학 학습 방식에 비하여 현저히 높은 성과를 낼 수 있을 것이다. It is desirable to consider all language skills, language learning habits, language level, and personal information for the selection of learning contents or learning guides, but only some of them can be selected. Even considering only a part of language ability, language learning habits, language level, and personal information, it will be able to produce significantly higher results than the conventional language learning method.

학습컨텐츠의 선정은 이미 확보된 컨텐츠 중에서 적합한 컨텐츠를 선정할 수도 있음은 물론이고, AI 모듈을 통하여 새로운 학습컨텐츠를 생성하는 것을 포함한다. 새롭게 생성된 학습컨텐츠는 학습컨텐츠 DB(미도시)에 저장하여 이후의 다른 사용자에게 제공될 수 있다. 학습가이드의 선정도 마찬가지이다.The selection of learning content may include selecting suitable content from already secured content, as well as generating new learning content through the AI module. The newly generated learning content may be stored in a learning content DB (not shown) and provided to other users. The same applies to the selection of study guides.

제공된 학습컨텐츠에 따라 사용자는 가상환경에서 대화를 하게 되고, 사용자의 종료 선택여부에 따라(S660), 종료를 선택하지 않으면 다시 대화추출 단계(S630)로부터 판단(S640), 새로운 학습컨텐츠 선정 및 제공(S650)의 과정을 거치면서 실제 고도의 언어 교육자가 학생의 수준과 성형에 맞추어 대화의 주제, 내용, 수준을 조금씩 맞춤형으로 변경하는 효과를 그대로 낼 수 있도록 한다. According to the provided learning contents, the user has a conversation in the virtual environment, and according to whether the user selects the termination (S660), if the termination is not selected, the decision is again made from the dialogue extraction step (S630) (S640), and selection and provision of new learning contents Through the course of (S650), the actual high-level language educator can make the effect of changing the subject, content, and level of the dialogue into small pieces according to the level and shape of the student.

이러한 순환구조에서 어학능력, 어학습관, 어학수준의 평가와 학습컨텐츠 및 학습가이드의 선정 및 제공은 성별, 연령, 거주지역, 직업, 교육수준, 결혼유무, 관심분야 등의 전부 또는 적어도 일부의 개인정보를 고려하기 때문에, 사람 언어 교육자의 교육보다 더 나은 언어학습 효과를 기대할 수 있다.In this circulatory structure, language ability, language learning, language level evaluation, and selection and provision of learning content and learning guides are all or at least some individuals, such as gender, age, residential area, occupation, educational level, marital status, interests, etc. Because information is considered, a better language learning effect can be expected than that of a human language educator.

한편, 종료 선택 단계(S660)에서 사용자가 종료를 선택하면 판단결과, 학습컨텐츠 및 학습가이드의 선정결과를 저장하고(S670) 종료한다. 저장된 결과들은 이후의 판단 및 선정에 반영할 수 있다. On the other hand, if the user selects the end in the end selection step (S660), the judgment result, the selection result of the learning content and the learning guide is stored (S670). The saved results can be reflected in later judgment and selection.

도시하지는 않았지만, 전술한 학습컨텐츠 선정 및 제공 단계(S650) 및 학습가이드 선정 및 제공 단계(S655)는 검증부(1077)에 의하여 실시간으로 또는 학습이 종료된 이후 검증된다. Although not shown, the above-described learning content selection and provision step (S650) and the learning guide selection and provision step (S655) are verified in real time by the verification unit 1077 or after learning is finished.

더욱이 이러한 검증은 동일 범주의 개인정보를 가지는 복수의 사용자에게 조금씩 다른 학습컨텐츠 및 학습가이드를 선정 및 제공하여 소정시간 동안 학습 성과를 추적검사를 하는 방식으로도 검증을 함으로써, 보다 검증의 신뢰도를 높이고, 각 사용자 맞춤형의 학습컨텐츠 및 학습가이드의 제공이 가능하다. 동일 범주의 개인정보라 함은, 예컨대 연령 차이가 3살 이내 사용자들, 거주 지역이 동일한 사용자들 일 수 있다. Moreover, this verification is performed by selecting and providing slightly different learning contents and learning guides to a plurality of users who have the same category of personal information, and also verifying the learning performance for a certain period of time, thereby increasing the reliability of verification. , It is possible to provide learning contents and learning guides customized for each user. The personal information of the same category may be, for example, users within 3 years of age, and users having the same residential area.

또한, 검증의 대상은 학습컨텐츠 선정 및 제공 단계(S650) 및 학습가이드 선정 및 제공 단계(S655)뿐 아니라, 어학능력 판단부(1071), 어학습관 판단부(1072), 어학수준 판단부(1073)의 판단 단계(S640)에 대해서도 이루어지면 더욱 좋다. In addition, the subject of verification is not only the learning content selection and provision step (S650) and the learning guide selection and provision step (S655), but also the language ability determination unit 1071, language learning habit determination unit 1072, and language level determination unit 1073 It is better if the determination step (S640) is made.

역시 도시하지는 않았지만, 판단 결과를 토대로 학습목표 및 학습일정계획을 설정하는 학습목표 및 일정계획 설정부를 마련하고, 이에 대한 설정을 토대로 사용자에게 제공할 학습컨텐츠 및 학습가이드의 선정을 하는 것이 더 바람직하다. Although not shown, it is more preferable to prepare a learning target and a schedule setting unit for setting a learning target and a learning schedule based on the judgment result, and to select a learning content and a learning guide to be provided to the user based on the setting. .

설정된 학습목표 및 일정계획은 사용자에게 직접 제공을 할 수도 있으며, 이것만으로도 목표지향적 학습이 가능하여 학습효과의 향상을 꾀할 수 있고, 또한 더 좋기로는 본 발명에 따른 학습 시스템이 설정되고 사용자에게 제시된 일정계획에 따른 일정관리를 해줌으로써, 사용자가 꾸준히 학습을 지속할 수 있도록 지원한다.The set learning objectives and schedule can be provided directly to the user, and this alone enables goal-oriented learning to improve the learning effect, and more preferably, the learning system according to the present invention is set and presented to the user. By managing the schedule according to the schedule, it helps the user to continue learning continuously.

한편, 본 발명의 학습 시스템은 학습 성취도 평가부(미도시)를 추가로 갖추어 설정된 학습목표 및 일정에 부합되는지 미흡한지, 또는 초과하는지를 지속적으로 평가하면 더 좋다.On the other hand, the learning system of the present invention is further equipped with a learning achievement evaluation unit (not shown), it is better to continuously evaluate whether or not it meets or exceeds the set learning goals and schedule.

학습 성취도 평가부의 평가 결과는 다시 검증부로 전달되어 전술한 학습모델의 적정성을 검증하는데 이용된다. 예컨대 학습이 미진한 경우 사용자가 게으르거나 노력하지 않아서 평가가 좋지 않은지, 아니면 판단 단계(S640)와 선정 및 제공 단계(S650)에서 학습 시스템이 적절한 판단을 못하였거나 또는 적절한 학습컨텐츠나 가이드를 선정하지 못했는지를 검증하는데 이용한다.The evaluation results of the learning achievement evaluation unit are sent back to the verification unit and used to verify the adequacy of the learning model described above. For example, if the learning is insufficient, the user is lazy or does not make effort, so the evaluation is not good, or the learning system does not make appropriate judgment in the judgment step (S640) and the selection and provision step (S650), or the appropriate learning content or guide is not selected. It is used to verify that it has failed.

만약 학습 성취도가 높게 평가되면, 그 사용자에 대한 학습 모델을 다른 사용자에게도 적용해보고, 다른 사용자에 대한 학습 성취도를 추적 확인하여 다른 사용자에 대해서도 학습 성취도가 높게 나오면 해당 학습 모델을 우수 학습 모델로 선정하여 이후에 우선적으로 적용한다. If the learning achievement is highly evaluated, the learning model for that user is applied to other users, and if the learning achievement for other users is high by checking the learning achievement for other users, the corresponding learning model is selected as the best learning model It is applied preferentially afterwards.

본 명세서에서 학습모델이라 함은, 선정된 학습컨텐츠(가이드)의 내용이나 학습컨텐츠(가이드)의 생성 방식 및 결과뿐 아니라, 어학능력 판단부(1071), 어학습관 판단부(1072), 어학수준 판단부(1073)의 판단 방식을 포함하는 개념이다.In this specification, the learning model means not only the content of the selected learning content (guide) or the generation method and result of the learning content (guide), but also the language ability determination unit 1071, language learning habit determination unit 1072, and language level. It is a concept including the determination method of the determination unit 1073.

즉, 본 발명에 따른 사용자 맞춤형 학습 방법 및 시스템은 다각적인 검증을 지속적으로 수행하여 스스로 발전해가는 자기 진화형 방법 및 시스템이다. That is, the user-customized learning method and system according to the present invention is a self-evolving method and system that continuously develops itself by continuously performing various verifications.

이상, 본 명세서와 도면에 본 발명의 몇몇 바람직한 실시예에 대하여 개시하였으며 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 용어나 실시예의 내용이 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, some preferred embodiments of the present invention have been disclosed in the present specification and drawings, although specific terms are used, they are merely used in a general sense to easily describe the technical contents of the present invention and to understand the invention. The contents of the examples are not intended to limit the scope of the invention. It is apparent to those skilled in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

Claims (10)

사용자 맞춤형 언어 학습 시스템으로서,
가상 환경 구성에 필요한 서비스 데이터를 송신하는 서비스 서버와,
상기 서비스 데이터를 수신하여 사용자에게 가상환경을 제공하고, 가상환경내 가상 개체와의 사용자 대화를 상기 서비스 서버로 전달하는 사용자 단말과,
상기 가상 환경에서의 사용자 대화 및 사용자 개인정보로부터 사용자의 어학능력, 어학습관, 어학 수준을 판단하고, 어학능력, 어학습관, 어학 수준 및 개인정보 중 적어도 하나를 토대로 사용자 맞춤형 학습 컨텐츠를 선정 또는 생성하여 상기 서비스 서버를 통하여 사용자에게 제공하는 학습 서버
를 포함하는 언어 학습 시스템.
As a customized language learning system,
A service server that transmits service data necessary for configuring a virtual environment,
A user terminal receiving the service data, providing a virtual environment to a user, and transmitting a user conversation with a virtual object in the virtual environment to the service server;
Determines the user's language ability, language learning, and language level from user conversation and user personal information in the virtual environment, and selects or creates user-specific learning content based on at least one of language ability, language learning, language level, and personal information Learning server provided to the user through the service server
Language learning system comprising a.
제1항에 있어서, 상기 학습 서버는
사용자의 어학능력, 어학습관, 어학 수준 중 적어도 하나를 판단하는 판단부와,
사용자의 개인정보를 저장하는 저장부와,
상기 판단부와 저장부로부터 전달된 사용자의 어학능력, 어학습관, 어학 수준 및 개인정보 중 적어도 하나를 토대로 학습 컨텐츠를 선정하는 학습컨텐츠 선정부
를 포함하는 것인 언어 학습 시스템.
The method of claim 1, wherein the learning server
A determination unit that determines at least one of the user's language ability, language learning habits, and language level,
A storage unit for storing user's personal information,
A learning content selection unit that selects learning content based on at least one of a user's language ability, language learning habits, language level, and personal information transmitted from the determination unit and the storage unit
Language learning system that includes.
제2항에 있어서, 상기 학습 서버는
상기 판단부의 언어습관 판단 결과를 토대로 학습가이드를 제공하는 학습가이드 선정부를 더 포함하는 것인 언어 학습 시스템.
The method of claim 2, wherein the learning server
A language learning system further comprising a learning guide selection unit that provides a learning guide based on the determination result of the language habit of the determination unit.
제2항에 있어서, 상기 학습 서버는
상기 학습컨텐츠 선정 결과의 적합성을 검증하는 검증부를 더 포함하는 것인 언어 학습 시스템.
The method of claim 2, wherein the learning server
Language learning system further comprises a verification unit for verifying the suitability of the learning content selection results.
제4항에 있어서,
상기 검증부는 상기 판단부의 판단결과와 상기 학습컨텐츠 선정 결과의 적합성을 검증하고 검증 결과를 상기 학습컨텐츠 선정부로 피드백하고,
상기 학습컨텐츠 선정부는 피드백된 상기 검증 결과를 반영하여 사용자에게 제공할 학습컨텐츠를 재선정하는 것인 언어 학습 시스템.
The method of claim 4,
The verification unit verifies the suitability of the determination result of the determination unit and the learning content selection result, and feedbacks the verification result to the learning content selection unit,
The learning content selection unit re-selects learning content to be provided to a user by reflecting the feedback result of the verification.
사용자 맞춤형 언어 학습 방법으로서,
서비스 서버가 사용자가 선택한 상황에 대한 가상환경을 제공하는 단계와,
가상환경하에서 가상 개체와의 사용자 대화를 추출하는 단계와,
추출된 사용자 대화를 토대로 어학능력, 어학습관 어학수준 중 적어도 어느 하나를 판단하는 단계와,
판단된 어학능력, 어학습관, 어학수준 중 적어도 어느 하나를 고려하여 학습컨텐츠를 선정하고 제공하는 단계
를 포함하는 언어 학습 방법.
As a customized language learning method,
A step in which the service server provides a virtual environment for a situation selected by the user;
Extracting a user conversation with a virtual object under a virtual environment,
Determining at least one of language ability and language learning language level based on the extracted user conversation;
Selecting and providing learning contents considering at least one of the determined language ability, language learning habits, and language level
Language learning method comprising a.
제6항에 있어서, 상기 판단하는 단계는
어학능력 및 어학습관을 최초로 판단할 때는 사용자의 모국어 대화를 추출하여 이로부터 판단을 하는 것인 언어 학습 방법.
The method of claim 6, wherein the determining step
When the language ability and language learning are first judged, a language learning method in which a user's native language conversation is extracted and judged therefrom.
제6항에 있어서, 사용자가 학습을 종료할 때까지, 상기 대화를 추출하는 단계와, 상기 판단하는 단계 및 학습컨텐츠를 선정하고 제공하는 단계를 반복하면서 학습컨텐츠의 주제, 내용, 수준을 변경하는 것인 언어 학습 방법.
According to claim 6, until the user completes the learning, extracting the conversation, and repeating the determining step and selecting and providing the learning content while changing the subject, content, and level of the learning content Language learning method.
제6항에 있어서, 동일범주내의 개인정보를 가지는 복수의 사용자에게 조금씩 다른 학습컨텐츠를 선정 및 제공한 후 소정시간 동안 학습성과를 추적검사를 하여 상기 학습컨텐츠의 선정 적합성을 검증하는 단계를 더 포함하는 언어 학습 방법.
The method of claim 6, further comprising: selecting and providing slightly different learning contents to a plurality of users having personal information within the same category, and then tracking the learning performance for a predetermined period of time to verify the suitability of selecting the learning contents. How to learn language.
제6항에 있어서,
학습 성취도 평가를 수행하는 단계와,
그 평가 결과를 토대로 전술한 학습모델의 적정성을 검증하는 단계
를 더 포함하는 언어 학습 방법.

The method of claim 6,
Performing a learning achievement assessment,
Steps to verify the adequacy of the learning model described above based on the evaluation results
Language learning method further comprising a.

KR1020180143606A 2018-11-20 2018-11-20 Method and apparatus for learning language, thereof system KR20200058909A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180143606A KR20200058909A (en) 2018-11-20 2018-11-20 Method and apparatus for learning language, thereof system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180143606A KR20200058909A (en) 2018-11-20 2018-11-20 Method and apparatus for learning language, thereof system

Publications (1)

Publication Number Publication Date
KR20200058909A true KR20200058909A (en) 2020-05-28

Family

ID=70920560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143606A KR20200058909A (en) 2018-11-20 2018-11-20 Method and apparatus for learning language, thereof system

Country Status (1)

Country Link
KR (1) KR20200058909A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210157030A (en) * 2020-06-19 2021-12-28 시크릿타운 주식회사 How to provide augmented reality content-based experience services to improve cognitive development in kids
KR20220016646A (en) * 2020-08-03 2022-02-10 손남용 Non-face-to-face English education system using augmented reality
WO2022182064A1 (en) * 2021-02-28 2022-09-01 조지수 Conversation learning system using artificial intelligence avatar tutor, and method therefor
KR102601362B1 (en) * 2023-01-19 2023-11-10 염환아 Method, apparatus and system for evaluating language ability and suggesting learning contents based on vocabulary usage habits

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210157030A (en) * 2020-06-19 2021-12-28 시크릿타운 주식회사 How to provide augmented reality content-based experience services to improve cognitive development in kids
KR20220016646A (en) * 2020-08-03 2022-02-10 손남용 Non-face-to-face English education system using augmented reality
WO2022182064A1 (en) * 2021-02-28 2022-09-01 조지수 Conversation learning system using artificial intelligence avatar tutor, and method therefor
KR102601362B1 (en) * 2023-01-19 2023-11-10 염환아 Method, apparatus and system for evaluating language ability and suggesting learning contents based on vocabulary usage habits

Similar Documents

Publication Publication Date Title
CN110998725B (en) Generating a response in a dialog
KR20200058909A (en) Method and apparatus for learning language, thereof system
KR102341752B1 (en) Method for assisting lectures with avatar of metaverse space and apparatus thereof
KR102302137B1 (en) Apparatus for studying foreign language and method for providing foreign language study service by using the same
WO2017070496A1 (en) Automatic test personalization
US9536439B1 (en) Conveying questions with content
KR20120061801A (en) Method and apparatus for improving language communication
Griol et al. Incorporating android conversational agents in m‐learning apps
CN108763342A (en) Education resource distribution method and device
CN108629497A (en) Course content Grasping level evaluation method and device
CN110796911A (en) Language learning system capable of automatically generating test questions and language learning method thereof
EP4075411A1 (en) Device and method for providing interactive audience simulation
KR20180105861A (en) Foreign language study application and foreign language study system using contents included in the same
KR20190130774A (en) Subtitle processing method for language education and apparatus thereof
CN117541444B (en) Interactive virtual reality talent expression training method, device, equipment and medium
US20140178848A1 (en) Method and apparatus for administering learning contents
CN117032847A (en) Virtual training lecturer interaction method, electronic device, storage medium and program product
CN113748449A (en) Evaluation and training system
KR100756671B1 (en) English studying system which uses an accomplishment multimedia
Doumanis Evaluating humanoid embodied conversational agents in mobile guide applications
KR102231392B1 (en) Electronic device for providing recommended education content using big data and machine learning model and method for operating thereof
KR102321141B1 (en) Apparatus and method for user interface for pronunciation assessment
Jayakody et al. Mobile application for vision impaired people to facilitate to learn the English language
Kamaghe Enhanced m-learning assistive technology to support visually impaired learners in Tanzania the case of higher learning institution
KR101709936B1 (en) Apparatus and method for enhancing the capability of conceptulazing a real-life topic and commanding english sentences by reorganizing the key idea of a real-life topic with simple english sentences

Legal Events

Date Code Title Description
E601 Decision to refuse application