KR101927050B1 - User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server - Google Patents

User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server Download PDF

Info

Publication number
KR101927050B1
KR101927050B1 KR1020180006436A KR20180006436A KR101927050B1 KR 101927050 B1 KR101927050 B1 KR 101927050B1 KR 1020180006436 A KR1020180006436 A KR 1020180006436A KR 20180006436 A KR20180006436 A KR 20180006436A KR 101927050 B1 KR101927050 B1 KR 101927050B1
Authority
KR
South Korea
Prior art keywords
user
module
disclosure
interactive
user terminal
Prior art date
Application number
KR1020180006436A
Other languages
Korean (ko)
Inventor
장세영
설재호
Original Assignee
주식회사 머니브레인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 머니브레인 filed Critical 주식회사 머니브레인
Priority to KR1020180006436A priority Critical patent/KR101927050B1/en
Application granted granted Critical
Publication of KR101927050B1 publication Critical patent/KR101927050B1/en

Links

Images

Classifications

    • G06N99/005
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Abstract

A user terminal is provided. The user terminal of the present disclosure includes a user input module configured to receive natural language input from a user; and an interactive AI agent module configured to provide an interactive AI agent service based on natural language input - an interactive AI agent service is provided by using a user-customized intent decision model constructed according to a machine learning method-. The user-customized intent decision model is pre-learned in accordance with the machine learning method and is provided in advance to the user terminal in an online or offline manner. The user-customized intent decision model is further configured to be learned and updated based on user customized data for the user obtained from interaction with the interactive AI agent module by the user.

Description

서버에 대한 액세스 없이, 개인화 데이터를 이용하여 학습 가능하도록 구성된 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 및 컴퓨터 판독가능 기록매체{USER TERMINAL AND COMPUTER READABLE RECORINDG MEDIUM INCLUDING A USER ADAPTIVE LEARNING MODEL TO BE TRANINED WITH USER CUSTOMIZED DATA WITHOUT ACCESSING A SERVER}USER TERMINAL AND COMPUTER READABLE RECORDENT MEDIUM INCLUDING A USER ADAPTIVE LEARNING MODEL TO BE TRANINED WITH USER CUSTOMIZED WITH A CUSTOMIZED LEARNING MODEL CONFIGURABLE TO LEARN TO USE WITH PERSONALIZED DATA WITHOUT ACCESS TO THE SERVER DATA WITHOUT ACCESSING A SERVER}

본 개시는, 머신러닝 기반의 대화형 AI 에이전트 시스템과 연관된 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 등에 관한 것이며, 보다 구체적으로는 대화형 AI 에이전트 시스템과의 인터랙션에 의해 축적되는 사용자 개인화 데이터를 이용하여, 서버에 대한 액세스 없이, 사용자 단말 상에서 학습되도록 구성된 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 등에 관한 것이다.[0001] This disclosure relates to user terminals including a user-tailored learning model associated with machine learning based interactive AI agent systems, and more particularly to a user terminal that includes user personalization data accumulated by interaction with an interactive AI agent system A user terminal including a user-customized learning model configured to learn on a user terminal without access to the server, and the like.

근래, 인공지능 분야, 특히 자연어 이해 분야의 기술 발전에 따라, 전통적인 기계 중심의 명령 입출력 방식에 따른 기계 조작에서 벗어나, 사용자로 하여금, 보다 사람 친화적인 방식, 예컨대 음성 및/또는 텍스트 형태의 자연어를 매개로 한 대화 방식으로 기계를 조작하고 기계로부터 원하는 서비스를 얻을 수 있도록 하는 대화형 AI 에이전트 시스템의 개발 및 활용이 점차 늘어나고 있다. 그에 따라, 온라인 상담 센터나 온라인 쇼핑몰 등을 비롯한 (그러나 이에 한정되지 않은 더 많은) 다양한 분야에서, 사용자는, 음성 및/또는 텍스트 형태의 자연어 대화를 제공하는 대화형 AI 에이전트 시스템을 통하여 원하는 서비스를 제공받을 수 있게 되었다. Description of the Related Art [0002] In recent years, with the development of artificial intelligence fields, especially natural language understanding fields, it has become possible to move away from the machine operation according to the conventional machine-centered command input / output method and to allow users to use natural language in a more human-friendly manner such as voice and / Interactive AI agent systems are increasingly being developed and utilized to interactively manipulate machines and obtain desired services from machines. Accordingly, in various fields, including but not limited to, online consulting centers, online shopping malls, and the like, a user can provide desired services through an interactive AI agent system that provides natural language conversations in the form of voice and / or text It is possible to receive it.

최근에는, 고정 시나리오 기반의 간단한 문답 형태의 대화 서비스만을 제공하던 종래의 대화형 AI 에이전트 시스템을 넘어서서, 머신러닝을 기초로 구축된 학습 모델 기반의 자유 발화 대화를 지원하는 대화형 AI 에이전트 시스템에 대한 요구가 늘어나고 있다. 머신러닝을 기초로 구축된 학습 모델 기반의 대화형 AI 에이전트 시스템의 성능 향상을 위해서는, 학습 모델이 일단 구축된 이후에도 그러한 학습 모델을 지속적으로 추가 학습시킬 필요가 있다. 특히, 각 개인별 대화 양태 및 인텐트가 다양할 수 있다는 점을 고려할 때, 학습 모델을 사용자 개인에 적응적으로 추가 학습시킬 필요가 있다.Recently, the interactive AI agent system that supports free speech communication based on the learning model based on machine learning has been developed over the conventional interactive AI agent system which only provides a simple dialogue type dialog service based on fixed scenarios The demand is increasing. In order to improve the performance of an interactive AI agent system based on a learning model based on machine learning, it is necessary to continuously learn such a learning model even after the learning model is once constructed. In particular, considering that the individual conversation styles and intent may vary, it is necessary to adaptively learn the learning model to the individual user.

특허문헌 1: 한국 특허출원 공개 제10-2011-0072847호Patent Document 1: Korean Patent Application Publication No. 10-2011-0072847

그런데, 지금까지 대화형 AI 에이전트 시스템을 위한 머신러닝 방식에 따른 학습 모델의 구축, 갱신(추가 학습에 따른 갱신) 및 관리 등은 모두 서버단에서 일괄하여 수행되었기 때문에, 그러한 학습 모델의 갱신 및 관리 등이 사용자별로 민감하고 신속하고 적응적으로 이루어지지 않은 문제가 있다. 그러므로, 대화형 AI 에이전트 시스템을 위한 학습 모델을 사용자 단말에 제공하고, 사용자 단말 상에서, 해당 단말에 대응하는 사용자에 대해 민감하고 신속하고 적응적으로, 그리고 서버에 대한 통신 상태와 무관하게, 추가하여 학습 및 갱신되도록 할 필요가 있다. However, up to now, building and updating (updating according to additional learning) and management of a learning model according to a machine learning method for an interactive AI agent system have all been carried out at a server terminal, And the like are not sensitive and quick and adaptable to each user. Therefore, a learning model for the interactive AI agent system is provided to the user terminal, and on the user terminal, the user corresponding to the terminal is added sensitively, promptly, adaptively, and irrespective of the communication state to the server Learning and updating.

본 개시의 일 특징에 의하면, 사용자 단말이 제공된다. 본 개시의 사용자 단말은, 사용자로부터 자연어 입력을 수신하도록 구성된 사용자 입력 모듈; 및 자연어 입력에 기초한 대화형 AI 에이전트 서비스를 제공하도록 구성된 대화형 AI 에이전트 모듈- 대화형 AI 에이전트 서비스는, 머신러닝 방식에 따라 구축된 사용자 맞춤형 학습 모델을 이용하여 제공됨 -을 포함하고, 사용자 맞춤형 학습 모델은, 머신러닝 방식에 따라 사전 학습된 상태로, 온라인 또는 오프라인 방식에 의해 사용자 단말에 미리 제공된 것이고, 사용자 맞춤형 학습 모델은, 사용자에 의한 대화형 AI 에이전트 모듈과의 인터랙션으로부터 획득되는 사용자에 관한 개인화 데이터에 기초하여 추가적으로 학습 및 갱신되도록 구성된다.According to one aspect of the disclosure, a user terminal is provided. The user terminal of the present disclosure includes a user input module configured to receive natural language input from a user; And an interactive AI agent module configured to provide an interactive AI agent service based on natural language input, the interactive AI agent service being provided using a user-customized learning model built according to a machine learning method, The model is provided in advance to the user terminal in an online or offline manner in a state pre-learned according to a machine learning method, and the user-customized learning model is a model of a user acquired from the interaction with the interactive AI agent module by the user And is further configured to learn and update based on personalization data.

본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델은, 임의의 외부 서버에 대한 통신 없이, 사용자 단말 상에서, 사용자에 관한 개인화 데이터에 기초하여 추가적으로 학습 및 갱신되도록 구성될 수 있다.According to one embodiment of the present disclosure, a customized learning model can be configured to additionally learn and update on the user terminal, based on personalization data about the user, without any external server communication.

본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델의 학습 및 갱신은, 사용자 단말 상에서, 사용자에 의한 대화형 AI 에이전트 모듈과의 인터랙션에 따라 획득되는 사용자에 관한 개인화 데이터에 기초하여 소정 시간 간격으로 반복하여 수행될 수 있다.In accordance with one embodiment of the present disclosure, learning and updating of a customized learning model is performed on a user terminal at predetermined time intervals based on personalization data regarding the user obtained in accordance with the interaction with the interactive AI agent module by the user Can be repeatedly performed.

본 개시의 일 실시예에 의하면, 사용자에 의한 대화형 AI 에이전트 모듈과의 인터랙션으로부터 획득되는 사용자에 관한 개인화 데이터는, 사용자의 발화 기록, 사용자의 발화에 관한 인식/처리 실패의 발생 여부, 인식/처리 실패 발생시 원인 및/또는 해결책, 사용자의 발화 기록에 따른 대화형 AI 에이전트 모듈에 의한 응답 및/또는 태스크 수행 기록 중 적어도 하나를 포함할 수 있다.According to one embodiment of the present disclosure, personalization data relating to a user obtained from an interaction with a user by an interactive AI agent module includes user's utterance record, whether a recognition / processing failure has occurred regarding user utterance, A cause and / or solution for a processing failure, a response by the interactive AI agent module according to a user's utterance record, and / or a task performance record.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서비스는, 자연어 입력에 대응하는 사용자의 인텐트 결정 및 결정된 인텐트에 대응하는 대화 응답의 제공을 포함할 수 있다. According to one embodiment of the present disclosure, the interactive AI agent service may include determining a user's intent corresponding to natural language input and providing an interactive response corresponding to the determined intent.

본 개시의 다른 특징에 의하면, 사용자 맞춤형 학습 모델이 기록된 컴퓨터 판독가능 기록 매체가 제공된다. 본 개시의 컴퓨터 판독가능 기록 매체는 사용자 단말에 포함되고, 사용자 맞춤형 학습 모델은, 머신러닝 방식에 따라 사전 학습된 상태로 컴퓨터 판독가능 기록 매체에 저장되며, 그 후, 사용자 맞춤형 학습 모델은 사용자 단말 상의 대화형 AI 에이전트 모듈에 의해 이용되어 사용자에게 대화형 AI 에이전트 서비스를 제공하는데 이용되고, 사용자 맞춤형 학습 모델은, 사용자에 의한 대화형 AI 에이전트 모듈과의 인터랙션으로부터 획득되는 사용자에 관한 개인화 데이터에 기초하여 추가적으로 학습 및 갱신되도록 구성된다.According to another aspect of the present disclosure, there is provided a computer-readable recording medium on which a customized learning model is recorded. The computer-readable recording medium of the present disclosure is included in a user terminal, and the user-customized learning model is stored in a computer-readable recording medium in a pre-learned state according to a machine learning method, Wherein the user-customized learning model is used by the interactive AI agent module on the user to provide an interactive AI agent service to the user, wherein the user-customized learning model is based on personalization data about the user obtained from interaction with the interactive AI agent module by the user To be additionally learned and updated.

본 개시 실시예에 의하면, 대화형 AI 에이전트 시스템을 위한 학습 모델을 사용자 단말에 제공하고, 사용자 단말 상에서, 해당 단말에 대응하는 사용자에 대해 민감하고 신속하고 적응적으로, 그리고 서버에 대한 통신 상태와 무관하게, 추가하여 학습 및 갱신되도록 할 수 있다. 본 개시의 실시예에 의하면, 특히 사용자 단말 상에서, 해당 단말에 대응하는 사용자와 해당 대화형 AI 에이전트 시스템 간의 인터랙션에 따른 데이터(예컨대, 사용자 이력 데이터) 등에 의해 사용자 단말 상의 학습 모델을 거의 실시간으로 학습 및 갱신할 수 있다. 그러므로, 본 개시의 실시예에 의하면, 대화형 AI 에이전트 시스템 개발자에 의해 서버단에서 전체 사용자를 위한 학습 모델의 갱신만이 이루어지던 종래의 경우와 달리, 사용자 단말의 통신 가능 여부 또는 개발자 등의 개입 시기 등과 무관하게, 거의 실시간으로, 개별 사용자의 이력 및 특징이 학습 모델 등에 반영될 수 있다.According to the presently disclosed embodiment, a learning model for an interactive AI agent system is provided to a user terminal, and on a user terminal, a user is alerted to the user corresponding to the terminal in a sensitive, quick and adaptive manner, It can be additionally learned and updated irrelevantly. According to the embodiment of the present disclosure, a learning model on a user terminal can be learned almost in real time by data (for example, user history data) based on an interaction between a user corresponding to the terminal and a corresponding interactive AI agent system And can update. Therefore, according to the embodiment of the present disclosure, unlike the conventional case where the interactive AI agent system developer only updates the learning model for the entire user at the server end, The history and characteristics of the individual users can be reflected in the learning model in almost real time regardless of the timing and the like.

도 1은, 본 개시의 일 실시예에 따른, 사용자 단말(100)의 구성을 개략적으로 도시한 기능 블록도이다.
도 2는, 본 개시의 일 실시예에 따른, 도 1의 대화형 AI 에이전트 모듈(110)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.
도 3은, 본 개시의 일 실시예에 따른, 도 2의 대화/태스크 처리부(204)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.
1 is a functional block diagram that schematically illustrates the configuration of a user terminal 100, in accordance with one embodiment of the present disclosure.
FIG. 2 is a functional block diagram that schematically illustrates the functional configuration of the interactive AI agent module 110 of FIG. 1, in accordance with one embodiment of the present disclosure.
FIG. 3 is a functional block diagram schematically illustrating the functional configuration of the dialog / task processing unit 204 of FIG. 2, according to one embodiment of the present disclosure.

이하, 첨부 도면을 참조하여 본 개시의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 개시의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 개시의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. Hereinafter, when it is judged that there is a possibility that the gist of the present disclosure may be unnecessarily blurred, a detailed description of known functions and configurations will be omitted. It is also to be understood that the following description is only an example of the present disclosure, and the present disclosure is not limited thereto.

본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는 "및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다' 또는 '가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.The terminology used in this disclosure is used only to describe a specific embodiment and is not used to limit the present disclosure. For example, an element expressed in singular < Desc / Clms Page number 5 > terms should be understood as including a plurality of elements unless the context clearly dictates a singular value. It is to be understood that the term " and / or " as used in this disclosure encompasses any and all possible combinations of one or more of the listed items. It should be understood that the terms " comprises " or " having ", etc. used in the present disclosure are intended to specify that there exist features, numbers, steps, operations, elements, It is not intended to exclude the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof, by use.

본 개시의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.In the embodiments of the present disclosure, 'module' or 'sub-module' means a functional part that performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software. Also, a plurality of "modules" or "sub-modules" may be integrated into at least one software module and implemented by at least one processor, except for "module" or "sub-module" have.

본 개시의 실시예에 있어서 '대화형 AI 에이전트 시스템'은, 사용자와의 사이에서 음성 및/또는 텍스트 형태의 자연어를 매개로 한 대화형 인터랙션을 통해, 사용자로부터 입력되는 자연어 입력(예컨대, 자연어로 된 사용자로부터의 명령, 진술, 요청, 질문 등)을 수신 및 해석하여 사용자의 인텐트(intent)를 알아내고 그 알아낸 사용자의 인텐트에 기초하여 필요한 동작 수행, 즉 적절한 대화 응답의 제공 및/또는 태스크의 수행을 제공할 수 있는 임의의 정보 처리 시스템을 지칭할 수 있으며, 특정 형태로 제한되는 것은 아니다. 본 개시의 실시예에 있어서, '대화형 AI 에이전트 시스템'에 의해 수행되는 동작은, 예컨대 사용자의 인텐트에 따라 각각 이루어지는 대화 응답 및/또는 태스크 수행일 수 있다. In the embodiment of the present disclosure, the 'interactive AI agent system' is a system in which a user interacts with a user via a natural word input (e.g., a natural language) input from a user through interactive interaction mediated by a natural language of voice and / (E.g., instructions, statements, requests, questions, etc. from the user) to find out the intent of the user and perform the necessary actions based on the found user's intent, i.e., Or any other information processing system capable of providing performance of a task, and is not limited to any particular form. In an embodiment of the present disclosure, the actions performed by the 'interactive AI agent system' may be, for example, an interactive response and / or task performance, respectively, depending on the intent of the user.

본 개시의 실시예에 있어서, '대화형 AI 에이전트 시스템'에 의해 제공되는 대화 응답은 시각, 청각 및/또는 촉각 형태(예컨대, 음성, 음향, 텍스트, 비디오, 이미지, 기호, 이모티콘, 하이퍼링크, 애니메이션, 각종 노티스, 모션, 햅틱 피드백 등을 포함할 수 있으며, 이로써 제한되는 것은 아님) 등 다양한 형태로써 제공될 수 있음을 알아야 한다. 본 개시의 실시예에 있어서 '대화형 AI 에이전트 시스템'에 의해 수행되는 태스크는, 예컨대 정보의 검색, 결재 진행, 메시지 작성, 이메일 작성, 전화 걸기, 음악 재생, 사진 촬영, 사용자 위치 탐색, 지도/내비게이션 서비스 등을 비롯한 각종 다양한 형태의 태스크(다만, 예시일 뿐이며 이로써 제한되는 것은 아님)를 포함할 수 있다.In an embodiment of the present disclosure, the interactive response provided by the 'interactive AI agent system' may be in the form of a visual, audible and / or tactile (e.g., voice, sound, text, video, image, symbol, emoticon, hyperlink, Animation, various notices, motion, haptic feedback, and the like), and the like. The tasks performed by the 'interactive AI agent system' in the present embodiment include, for example, searching for information, progressing payment, composing a message, creating an email, dialing, playing music, photographing, (E.g., but not limited to) various types of tasks, including, but not limited to, navigation services, and the like.

본 개시의 실시예에 있어서 '대화형 AI 에이전트 시스템'은, 메신저 플랫폼에 기초한 챗봇(chatbot) 시스템, 예컨대 메신저 상에서 사용자와 메시지를 주고받으며 사용자가 원하는 다양한 정보를 제공하거나 태스크를 수행하는 챗봇 시스템을 포함할 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.In the embodiment of the present disclosure, the 'interactive AI agent system' includes a chatbot system based on the messenger platform, for example, a chatbot system for exchanging messages with a user on a messenger, providing various information desired by the user, or performing a task But it should be understood that the disclosure is not so limited.

덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 개시에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.In addition, all terms used in the present disclosure, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs. It should be understood that commonly used predefined terms are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are not to be interpreted excessively or extensively unless explicitly defined otherwise in this disclosure .

이하, 첨부된 도면을 참조하여, 본 개시의 실시예에 대해 구체적으로 설명하기로 한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은, 본 개시의 일 실시예에 따른, 사용자 단말(100)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 사용자 단말(100)은, 사용자 입력 수신 모듈(102), 센서 모듈(104), 프로그램 메모리 모듈(106), 프로세싱 모듈(108), 대화형 AI 에이전트 모듈(110), 통신 모듈(112), 및 응답 출력 모듈(114)를 포함한다.Figure 1 is a functional block diagram that schematically illustrates the functional configuration of a user terminal 100, in accordance with one embodiment of the present disclosure. The user terminal 100 includes a user input receiving module 102, a sensor module 104, a program memory module 106, a processing module 108, an interactive AI agent module 110, (112), and a response output module (114).

본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(102)은, 사용자로부터 다양한 형태의 입력, 예컨대 음성 입력 및/또는 텍스트 입력 등의 자연어 입력(및 부가적으로 터치 입력 등의 다른 형태의 입력)을 수신할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(102)은, 예컨대 마이크로폰 및 오디오 회로를 포함하며, 마이크로폰을 통해 사용자 음성 입력 신호를 획득하고 획득된 신호를 오디오 데이터로 변환할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(102)은, 예컨대 마우스, 조이스틱, 트랙볼 등의 각종 포인팅 장치, 키보드, 터치패널, 터치스크린, 스타일러스 등 다양한 형태의 입력 장치를 포함할 수 있고, 이들 입력 장치를 통해 사용자로부터 입력된 텍스트 입력 및/또는 터치 입력 신호를 획득할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(102)에서 수신되는 사용자 입력은, 소정의 태스크 수행, 예컨대 소정의 애플리케이션 실행이나 소정 정보의 검색 등과 연관될 수 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 사용자 입력 수신 모듈(102)에서 수신되는 사용자 입력은, 소정의 애플리케이션 실행이나 정보의 검색 등과는 무관하게 단순한 대화 응답 만을 필요로 하는 것일 수도 있다.According to one embodiment of the present disclosure, the user input receiving module 102 may be configured to receive various types of input from a user, such as natural language input (such as voice input and / or text input, and additionally other types of input Can be received. According to one embodiment of the present disclosure, the user input receiving module 102 includes, for example, a microphone and an audio circuit, and can acquire a user voice input signal through a microphone and convert the obtained signal into audio data. According to one embodiment of the present disclosure, the user input receiving module 102 may include various types of input devices such as various pointing devices such as a mouse, joystick, trackball, keyboard, touch panel, touch screen, , And can acquire a text input and / or a touch input signal inputted from a user through these input devices. In accordance with one embodiment of the present disclosure, the user input received at the user input receiving module 102 may be associated with performing certain tasks, such as performing certain applications or retrieving certain information, It is not. According to another embodiment of the present disclosure, the user input received at the user input receiving module 102 may require only a simple conversation response, regardless of any application execution or retrieval of information.

본 개시의 일 실시예에 의하면, 센서 모듈(104)은 하나 이상의 서로 다른 유형의 센서를 포함하고, 이들 센서를 통해 사용자 단말(100)의 상태 정보, 예컨대 해당 사용자 단말(100)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 또는 사용자 단말(100)의 주위 환경 상태에 관한 정보 등을 획득할 수 있다. 본 개시의 일 실시예에 의하면, 센서 모듈(104)은, 예컨대 광 센서를 포함하고, 광 센서를 통해 해당 사용자 단말(100)의 주변 광 상태를 감지할 수 있다. 본 개시의 일 실시예에 의하면, 센서 모듈(104)은, 예컨대 이동 센서를 포함하고, 이동 센서를 통해 해당 사용자 단말(100)의 이동 상태 여부를 감지할 수 있다. 본 개시의 일 실시예에 의하면, 센서 모듈(104)은, 예컨대 속도 센서 및 GPS 센서를 포함하고, 이들 센서를 통해 해당 사용자 단말(100)의 위치 및/또는 배향 상태를 감지할 수 있다. 본 개시의 다른 실시예에 의하면, 센서 모듈(104)은 온도 센서, 이미지 센서, 압력 센서, 접촉 센서 등을 비롯한 다른 다양한 형태의 센서를 포함할 수 있음을 알아야 한다.According to one embodiment of the present disclosure, the sensor module 104 includes one or more different types of sensors, and through these sensors, status information of the user terminal 100, such as the physical state of the user terminal 100, Software and / or hardware status, or information about the environmental conditions of the user terminal 100, and the like. According to one embodiment of the present disclosure, the sensor module 104 may include an optical sensor, for example, and may sense the ambient light condition of the user terminal 100 through an optical sensor. According to one embodiment of the present disclosure, the sensor module 104 includes, for example, a movement sensor, and can detect whether the corresponding user terminal 100 is moving through the movement sensor. According to one embodiment of the present disclosure, the sensor module 104 includes, for example, a velocity sensor and a GPS sensor, and through these sensors, the position and / or orientation of the user terminal 100 can be sensed. It should be noted that, according to another embodiment of the present disclosure, the sensor module 104 may include other various types of sensors, including temperature sensors, image sensors, pressure sensors, touch sensors, and the like.

본 개시의 일 실시예에 의하면, 프로그램 메모리 모듈(106)은, 사용자 단말(100) 상에서 실행될 수 있는 각종 프로그램, 예컨대 각종 애플리케이션 프로그램 및 관련 데이터 등이 저장된 임의의 저장 매체일 수 있다. 본 개시의 일 실시예에 의하면, 프로그램 메모리 모듈(106)에는, 예컨대 전화 걸기 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 카메라 애플리케이션, 음악 재생 애플리케이션, 비디오 재생 애플리케이션, 이미지 관리 애플리케이션, 지도 애플리케이션, 브라우저 애플리케이션 등을 비롯한 다양한 애플리케이션 프로그램들과 이들 프로그램의 실행과 관련된 데이터들이 저장될 수 있다. 본 개시의 일 실시예에 의하면, 프로그램 메모리 모듈(106)은, DRAM, SRAM, DDR RAM, ROM, 자기 디스크, 광 디스크, 플래시 메모리 등 다양한 형태의 휘발성 또는 비휘발성 메모리를 포함하도록 구성될 수 있다.According to one embodiment of the present disclosure, the program memory module 106 may be any storage medium that stores various programs that may be executed on the user terminal 100, such as various application programs and related data, and the like. According to one embodiment of the present disclosure, the program memory module 106 may include a memory device such as a telephone dialer application, an email application, an instant messaging application, a camera application, a music playback application, a video playback application, an image management application, , And data related to the execution of these programs. According to one embodiment of the present disclosure, the program memory module 106 may be configured to include volatile or non-volatile memory in various forms such as DRAM, SRAM, DDR RAM, ROM, magnetic disk, optical disk, .

본 개시의 일 실시예에 의하면, 프로세싱 모듈(108)은, 사용자 단말(100)의 각 컴포넌트 모듈과 통신하고 사용자 단말(100) 상에서 각종 연산을 수행할 수 있다. 본 개시의 일 실시예에 의하면, 프로세싱 모듈(108)은, 프로그램 메모리 모듈(106) 상의 각종 애플리케이션 프로그램을 구동 및 실행시킬 수 있다. 본 개시의 일 실시예에 의하면, 프로세싱 모듈(108)은, 필요한 경우, 사용자 입력 수신 모듈(102) 및 센서 모듈(104)에서 획득된 신호를 수신하고, 이들 신호에 관한 적절한 처리를 수행할 수 있다.According to one embodiment of the present disclosure, the processing module 108 may communicate with each component module of the user terminal 100 and perform various operations on the user terminal 100. According to one embodiment of the present disclosure, the processing module 108 can drive and execute various application programs on the program memory module 106. According to one embodiment of the present disclosure, the processing module 108 may receive signals obtained from the user input receiving module 102 and the sensor module 104, if necessary, and perform appropriate processing on these signals have.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)은, 사용자 맞춤형 학습 모델을 구비할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델은, 머신러닝 방식에 따라 사전 학습된 상태로, 온라인 또는 오프라인 방식에 의해 사용자 단말(102) 상에 미리 제공된 것일 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)은, 사용자 단말(102) 상에서 수집된 해당 사용자에 관한 개인화 데이터를 이용하여 사용자 맞춤형 학습 모델을 지속적으로 추가 학습 및 갱신 시킬 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델의 추가 학습 및 갱신에 이용되는 사용자 개인화 데이터는, 후술하는 사용자 입력 수신 모듈(102)을 통하여 수신되는 사용자 입력, 또는 그에 대한 처리 결과 등을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델은, 해당 사용자의 대화형 AI 에이전트 모듈(110)과의 인터랙션에 의해 축적되는 개인화 데이터에 의해 추가 학습 및 갱신될 수 있다.According to one embodiment of the present disclosure, the interactive AI agent module 110 may comprise a customized learning model. According to one embodiment of the present disclosure, the customized learning model may be pre-learned in accordance with the machine learning method and provided in advance on the user terminal 102 in an online or offline manner. According to one embodiment of the present disclosure, the interactive AI agent module 110 may continue to further learn and update a customized learning model using personalization data for that user collected on the user terminal 102 . According to one embodiment of the present disclosure, the user personalization data used for further learning and updating of the user-customized learning model includes user input received through the user input receiving module 102 described below, can do. According to one embodiment of the present disclosure, the customized learning model may be further learned and updated by the personalization data accumulated by the interaction with the interactive AI agent module 110 of the user.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)은, 사용자 입력 수신 모듈(102)을 통하여 수신된 음성, 텍스트 및/또는 터치 형태의 사용자 입력을 수신하고, 사용자 단말(102) 상에 구비된 사용자 맞춤형 학습 모델에 기초해서 그 수신된 사용자 입력을 처리하여 사용자의 인텐트(intent)를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)은, 또한 사용자 맞춤형 학습 모델에 기초하여 사용자 인텐트에 부합하는 특정한 대화 응답을 생성하고 후술하는 응답 출력 모듈(114)을 통해 출력할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)은, 또한, 위 결정된 사용자 인텐트에 대응하는 소정의 태스크가 사용자 단말(100) 상에서 수행되도록 할 수 있다.In accordance with one embodiment of the present disclosure, the interactive AI agent module 110 receives user input in the form of voice, text and / or touch received via the user input receiving module 102, The received user input may be processed based on a user-customized learning model provided on the user terminal to determine the intent of the user. In accordance with one embodiment of the present disclosure, the interactive AI agent module 110 also generates a specific conversation response that matches the user intent based on a customized learning model and outputs it via the response output module 114, can do. In accordance with one embodiment of the present disclosure, the interactive AI agent module 110 may also cause a predetermined task corresponding to the determined user intent to be performed on the user terminal 100. [

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)에 의해 생성되는 대화 응답은, 전술한 음성 및/또는 텍스트 형태의 자연어 응답과 함께, 이미지, 비디오, 기호, 이모티콘 등 다른 시각적 요소들이나, 음향 등의 다른 청각적 요소들이나, 기타 다른 촉각적 요소들을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력 수신 모듈(102)을 통해 수신된 사용자 입력의 형태(예컨대, 음성 입력인지 아니면 텍스트 입력인지)에 따라, 대화형 AI 에이전트 모듈(110) 상에서 동일한 형태의 응답이 생성될 수 있으며(예컨대, 음성 입력이 주어진 경우에는 음성 응답이 생성되고 텍스트 입력이 주어진 경우에는 텍스트 응답이 생성됨), 다만 본 발명이 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 사용자 입력의 형태와 무관하게 음성 및/또는 텍스트 형태의 응답이 생성 및 제공될 수 있음을 알아야 한다.In accordance with one embodiment of the present disclosure, the interactive response generated by the interactive AI agent module 110 may include other visual elements such as images, video, symbols, emoticons, etc., along with the natural language responses of the speech and / Or other auditory elements such as sound, or other tactile elements. According to one embodiment of the present disclosure, an interactive AI agent module 110 may be provided that has the same type (e.g., A response may be generated (e.g., a voice response is generated if a voice input is given and a text response is generated if a text input is given), but the invention is not so limited. It should be appreciated that, in accordance with another embodiment of the present disclosure, responses in the form of voice and / or text may be generated and provided regardless of the type of user input.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 모듈(110)은, 후술하는 통신 모듈(112)을 통해서, 소정의 외부 서비스 서버(도시되지 않음)와 통신할 수 있다. 외부 서비스 서버는, 예컨대 대화형 AI 에이전트 서비스를 제공하는 서버, 온라인 상담 센터 서버, 금융 서비스 서버, 법률 서비스 서버, 의료 서비스 서버, 온라인 쇼핑몰 서버, 정보 검색 서버, 지도 서비스 서버, 네비게이션 서비스 서버 등일 수 있으며, 본 개시가 이로써 제한되는 것은 아니다.According to one embodiment of the present disclosure, the interactive AI agent module 110 may communicate with a predetermined external service server (not shown) via the communication module 112 described below. The external service server may be, for example, a server providing an interactive AI agent service, an online consultation center server, a financial service server, a legal service server, a medical service server, an online shopping mall server, an information search server, a map service server, And the disclosure is not so limited.

본 개시의 일 실시예에 의하면, 통신 모듈(112)은, 사용자 단말(100)이 소정의 외부 서비스 서버(도시되지 않음)와 통신할 수 있게 한다. 본 개시의 일 실시예에 의하면, 통신 모듈(112)은, 예컨대 사용자 입력 수신 모듈(102) 및 센서 모듈(104) 상에서 획득된 신호가 소정의 프로토콜에 따라 외부 서비스 서버로 전송되도록 하거나, 외부 서비스 서버로부터 수신된 각종 신호, 예컨대 음성 및/또는 텍스트 형태의 자연어 응답을 포함한 응답 신호 또는 각종 제어 신호 등을 수신하고 수신된 신호에 대해 소정의 프로토콜에 따라 적절한 처리를 수행할 수 있다.According to one embodiment of the present disclosure, the communication module 112 enables the user terminal 100 to communicate with a predetermined external service server (not shown). According to one embodiment of the present disclosure, the communication module 112 may be configured to allow signals obtained on the user input receiving module 102 and the sensor module 104 to be transmitted to an external service server according to a predetermined protocol, A response signal or various control signals including natural language responses in the form of voice and / or text, and the like, and perform appropriate processing according to a predetermined protocol on the received signals.

본 개시의 일 실시예에 의하면, 응답 출력 모듈(114)은, 사용자 입력에 대응하는 응답을 시각, 청각 및/또는 촉각 등 다양한 형태로써 출력할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(114)은, 예컨대 LCD, LED, OLED, QLED 등의 기술에 기초한 터치 스크린 등의 각종 디스플레이 장치를 포함하고, 이들 디스플레이 장치를 통해 사용자 입력에 대응하는 시각적 응답, 예컨대 텍스트, 기호, 비디오, 이미지, 하이퍼링크, 애니메이션, 각종 노티스 등을 사용자에게 제시할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(114)은, 예컨대 스피커 또는 헤드셋을 포함하고, 사용자 입력에 대응하는 청각적 응답, 예컨대 음성 및/또는 음향 응답을 스피커 또는 헤드셋을 통해 사용자에게 제공할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(114)는 모션/햅틱 피드백 생성부를 포함하고, 이를 통해 촉각적 응답, 예컨대 모션/햅틱 피드백을 사용자에게 제공할 수 있다. 본 개시의 일 실시예에 의하면, 응답 출력 모듈(114)은, 사용자 입력에 대응하는 텍스트 응답, 음성 응답 및 모션/햅틱 피드백 중 임의의 두 개 이상의 조합을 동시에 제공할 수 있음을 알아야 한다.According to one embodiment of the present disclosure, the response output module 114 may output a response corresponding to a user input in various forms, such as a visual, audible, and / or tactile sense. According to one embodiment of the present disclosure, the response output module 114 includes various display devices, such as touch screens, based on techniques such as LCD, LED, OLED, QLED, etc., Such as text, symbols, video, images, hyperlinks, animations, various notices, etc., to the user. According to one embodiment of the present disclosure, the response output module 114 may include, for example, a speaker or a headset, and may provide an audible response, e.g., voice and / or acoustic response, can do. According to one embodiment of the present disclosure, the response output module 114 includes a motion / haptic feedback generator, through which a tactile response, e.g., motion / haptic feedback, can be provided to the user. It should be appreciated that, in accordance with one embodiment of the present disclosure, the response output module 114 may concurrently provide any two or more combinations of text responses, voice responses, and motion / haptic feedback corresponding to user input.

본 개시의 일 실시예에 의하면, 사용자 단말(100)은 유선 또는 무선 통신 기능을 구비한 임의의 사용자 전자 장치일 수 있다. 사용자 단말(100)은, 예컨대 스마트 폰, 태블릿 PC, 뮤직 플레이어, 스마트 스피커, 데스크탑, 랩탑, PDA, 게임 콘솔, 디지털 TV, 셋탑박스 등을 포함한 다양한 유선 또는 무선 통신 단말일 수 있으며, 특정 형태로 제한되지 않음을 알아야 한다. According to one embodiment of the present disclosure, the user terminal 100 may be any user electronic device having wired or wireless communication capabilities. The user terminal 100 may be a variety of wired or wireless communication terminals including, for example, a smart phone, a tablet PC, a music player, a smart speaker, a desktop, a laptop, a PDA, a game console, a digital TV, a set- It should be noted that it is not limited.

도 2는, 본 개시의 일 실시예에 따른, 도 1의 대화형 AI 에이전트 모듈(110)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 대화형 AI 에이전트 모듈(110)은, 사용자 맞춤형 학습 모델(202), 사용자 맞춤형 학습 모델 갱신부(204), 및 대화/태스크 처리부(208)를 포함한다.FIG. 2 is a functional block diagram that schematically illustrates the functional configuration of the interactive AI agent module 110 of FIG. 1, in accordance with one embodiment of the present disclosure. The interactive AI agent module 110 includes a user-customized learning model 202, a customized learning model update section 204, and a dialog / task processing section 208.

본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델(202)은, 도 1을 참조하여 전술한 바와 같이, 대화형 AI 에이전트 모듈(110)이 사용자로부터의 입력을 처리하여 사용자 인텐트를 결정하고 그 인텐트에 부합하는 대화 응답 등을 생성 및 제공하는데 이용되는 학습 모델이다. 전술한 바와 같이, 사용자 맞춤형 학습 모델(202)은, 소정의 데이터에 의해 머신러닝 방식에 따라 사전 학습된 상태로, 온라인 또는 오프라인 방식에 의해 사용자 단말(102) 상에 미리 제공된 것일 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델(202)은, 후술하는 사용자 맞춤형 학습 모델 갱신부(204)에 의해 지속적으로 추가 학습되고 갱신될 수 있다. According to one embodiment of the present disclosure, the user-customized learning model 202 may be configured such that the interactive AI agent module 110 processes the input from the user to determine the user intent, as described above with reference to Figure 1 And a dialogue response corresponding to the intent. As described above, the user-customized learning model 202 may be previously provided on the user terminal 102 in an online or offline manner, pre-learned in accordance with a machine learning method by predetermined data. According to one embodiment of the present disclosure, the user-customized learning model 202 can be continually further learned and updated by the user-customized learning model updating section 204 described later.

본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델 갱신부(204)는, 해당 사용자 단말(100)의 사용자에 관한 사용자 개인화 데이터, 예컨대 사용자 단말(100)을 통해 해당 사용자가 대화형 AI 에이전트 모듈(110)과의 인터랙션을 진행함에 따라 발생하는 데이터를 지속적으로 수집할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델 갱신부(204)는, 예컨대 사용자의 발화 기록, 사용자 발화에 관한 인식/처리 실패의 발생 여부, 인식/처리 실패 발생시 원인 및/또는 해결책, 사용자 발화 기록에 따른 대화형 AI 에이전트 모듈(110)에 의한 응답 및/또는 태스크 수행 기록 등(이로써 한정되지 않음)을 사용자에 관한 개인화 데이터로서 수집할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델 갱신부(204)는, 지속적으로 수집되는 사용자 개인화 데이터를 이용하여, 사용자 학습 모델(202)을 추가적으로 학습시키고, 그에 따라 사용자 맞춤형 학습 모델(202)을 지속적으로 갱신시킬 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델 갱신부(204)는, 위 사용자 개인화 데이터의 수집에 따라 소정 시간 간격으로 사용자 학습 모델(202)을 추가 학습 및 갱신 시킬 수 있다. 본 개시의 일 실시예에 의하면, 사용자 맞춤형 학습 모델 갱신부(204)의 사용자 개인화 데이터의 수집과 그에 기초한 사용자 맞춤형 학습 모델(202)의 추가 학습 및 갱신은, 사용자 단말(100) 상에서 (외부 서버의 도움 없이) 단독으로 수행될 수 있음을 알아야 한다.According to one embodiment of the present disclosure, the user-customized learning model update unit 204 updates the user personalization data related to the user of the user terminal 100, for example, through the user terminal 100, It is possible to continuously collect data generated as the interaction with the mobile terminal 110 proceeds. According to one embodiment of the present disclosure, the user-customized learning model updating unit 204 updates the user-customized learning model updating unit 204 based on, for example, a user's utterance record, whether a recognition / processing failure has occurred with respect to user utterance, Such as (but not limited to) responses and / or task performance records by the interactive AI agent module 110 according to the utterance record as personalization data about the user. According to one embodiment of the present disclosure, the user-customized learning model updating unit 204 further learns the user learning model 202 using the user personalization data continuously collected, ) Can be continuously updated. According to one embodiment of the present disclosure, the user-customized learning model update unit 204 may further learn and update the user learning model 202 at predetermined time intervals in accordance with the collection of the above-mentioned user personalization data. According to one embodiment of the present disclosure, the collection of user personalization data of the user-customized learning model update unit 204 and the additional learning and updating of the user-customized learning model 202 based thereon are performed on the user terminal 100 ≪ / RTI > without the aid of a < / RTI >

본 개시의 일 실시예에 의하면, 대화/태스크 처리부(206)는, 사용자 자연어 입력을 수신하고, 사용자 맞춤형 학습 모델(202)에 기초하여, 수신된 사용자 자연어 입력을 처리하고, 그 사용자 자연어 입력에 대응한 사용자의 인텐트를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 대화/태스크 처리부(206)는 또한 결정된 사용자 인텐트에 부합하는 동작, 예컨대 적절한 대화 응답 및/또는 태스크 수행을 제공할 수 있다.According to one embodiment of the present disclosure, the dialog / task processing unit 206 receives the user natural language input, processes the received user natural language input based on the user-customized learning model 202, The intent of the corresponding user can be determined. According to one embodiment of the present disclosure, the dialog / task processing unit 206 may also provide an action consistent with the determined user ' s tent, e.g., an appropriate conversation response and / or task performance.

도 3은, 본 개시의 일 실시예에 따른, 도 2의 대화/태스크 처리부(208)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 대화/태스크 처리부(204)는, 음성-텍스트 변환(Speech-To-Text; STT) 모듈(302), 자연어 이해(Natural Language Understanding; NLU) 모듈(304), 대화 관리 모듈(306), 대화 생성 모듈(308), 및 음성 합성(Text-To-Speech; TTS) 모듈(310)을 포함한다.FIG. 3 is a functional block diagram that schematically illustrates the functional configuration of the dialog / task processing unit 208 of FIG. 2, according to one embodiment of the present disclosure. Task processing unit 204 includes a Speech-To-Text (STT) module 302, a Natural Language Understanding (NLU) module 304, a dialogue management module 306, a dialog generation module 308, and a text-to-speech (TTS) module 310.

본 개시의 일 실시예에 의하면, STT 모듈(302)은, 사용자 입력 수신 모듈(102)을 통하여 수신된 사용자 입력 중 음성 입력을 수신하고, 수신된 음성 입력을 패턴 매칭 등에 기초하여 텍스트 데이터로 변환할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(302)은, 사용자의 음성 입력으로부터 특징을 추출하여 특징 벡터열을 생성할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(302)은, DTW(Dynamic Time Warping) 방식이나 HMM 모델(Hidden Markov Model), GMM 모델(Gaussian-Mixture Mode), 딥 신경망 모델, n-gram 모델 등의 다양한 통계적 모델에 기초하여, 텍스트 인식 결과, 예컨대 단어들의 시퀀스를 생성할 수 있다. According to one embodiment of the present disclosure, the STT module 302 receives speech input from user inputs received via the user input receiving module 102 and converts the received speech input into text data based on pattern matching or the like can do. According to one embodiment of the present disclosure, the STT module 302 may extract a feature from a user's speech input to generate a feature vector sequence. According to one embodiment of the present disclosure, the STT module 302 may be implemented as a dynamic time warping (DTW) method, a HMM model (Hidden Markov Model), a GMM model (Gaussian-Mixture Mode), a deep neural network model, For example, a sequence of words, based on various statistical models of the speech recognition results.

본 개시의 일 실시예에 의하면, NLU 모듈(304)은, 사용자 입력 수신 모듈(102) 또는 STT 모듈(302)로부터 텍스트 입력을 수신할 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(304)에서 수신되는 텍스트 입력은, 예컨대 사용자 입력 수신 모듈(102)로부터 수신되었던 사용자 텍스트 입력 또는 사용자 음성 입력으로부터 STT 모듈(302)에서 생성된 텍스트 인식 결과, 예컨대 단어들의 시퀀스일 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(304)은, 텍스트 입력을 수신하는 것과 함께 또는 그 이후에, 해당 사용자 입력과 연관된 상태 정보, 예컨대 해당 사용자 입력 당시의 사용자 단말(100)의 상태 정보 등을 수신할 수 있다. 전술한 바와 같이, 상태 정보는, 예컨대 사용자 단말(100)에서 사용자 음성 입력 및/또는 텍스트 입력 당시의 해당 사용자 단말(100)에 관련된 여러가지 상태 정보(예컨대, 사용자 단말(100)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(100) 주위의 환경 상태 정보 등)일 수 있다.According to one embodiment of the present disclosure, the NLU module 304 may receive text input from the user input receiving module 102 or the STT module 302. In accordance with one embodiment of the present disclosure, the textual input received at the NLU module 304 may be, for example, a textual input received from the user input receiving module 102 or a textual < RTI ID = A result, e.g., a sequence of words. According to one embodiment of the present disclosure, the NLU module 304 is configured to receive status information associated with the user input, such as the status information of the user terminal 100 at the time of the user input, And the like. As described above, the status information may include various status information (e.g., the physical state of the user terminal 100, the software status of the user terminal 100) related to the user terminal 100 at the time of inputting user voice and / And / or hardware state, environmental state information around the user terminal 100, etc.).

본 개시의 일 실시예에 의하면, NLU 모듈(304)은, 도 2의 사용자 맞춤형 학습 모델(202)에 기초하여, 위 수신된 텍스트 입력을 하나 이상의 사용자 인텐트에 대응시킬 수 있다. 여기서 사용자 인텐트는, 그 사용자 인텐트에 따라 대화형 AI 에이전트 모듈(110)에 의해 이해되고 수행될 수 있는 일련의 동작(들)과 연관될 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(304)은, 수신된 텍스트 입력을 하나 이상의 사용자 인텐트에 대응시킴에 있어서 전술한 상태 정보를 참조할 수 있다. According to one embodiment of the present disclosure, the NLU module 304 may map the received text input to one or more user tents based on the user-customized learning model 202 of FIG. Where the user intent can be associated with a series of operations (s) that can be understood and performed by the interactive AI agent module 110 according to the user's tent. According to one embodiment of the present disclosure, the NLU module 304 may refer to the status information described above in mapping the received text input to one or more user intents.

본 개시의 일 실시예에 의하면, 대화 관리 모듈(306)은, NLU 모듈(304)에 의해 결정된 사용자 인텐트에 따라, 그에 대응하는 일련의 동작 흐름을 생성할 수 있다. 본 개시의 일 실시예에 의하면, 대화 관리 모듈(306)은, 도 2의 사용자 맞춤형 학습 모델(202)에 기초하여, NLU 모듈(304)로부터 수신된 사용자 인텐트에 대응하여 어떠한 동작, 예컨대 어떠한 대화 응답 및/또는 태스크 수행을 행하여야 할지를 결정하고, 그에 따른 세부 동작 흐름을 생성할 수 있다. According to one embodiment of the present disclosure, the conversation management module 306 may generate a corresponding series of operational flows according to the user < Desc / Clms Page number 10 > tent determined by the NLU module 304. [ In accordance with one embodiment of the present disclosure, the dialogue management module 306 may perform any action, e.g., any action corresponding to the user tent received from the NLU module 304, based on the customized learning model 202 of FIG. Determine whether to perform conversation responses and / or task performances, and generate a corresponding detailed action flow.

본 개시의 일 실시예에 의하면, 대화 생성 모듈(308)은, 대화 관리 모듈(306)에 의해 생성된 동작 흐름에 기초하여 필요한 대화 응답을 생성할 수 있다. 본 개시의 일 실시예에 의하면, 대화 생성 모듈(308)은, 도 2의 사용자 맞춤형 학습 모델(202)에 기초하여 적절한 대화 응답을 생성할 수 있다.According to one embodiment of the present disclosure, the dialog generation module 308 may generate the necessary dialog response based on the operation flow generated by the dialogue management module 306. [ According to one embodiment of the present disclosure, the dialog generation module 308 may generate an appropriate dialog response based on the customized learning model 202 of FIG.

본 개시의 일 실시예에 의하면, TTS 모듈(310)은, 대화 생성 모듈(310)에 의해 생성된 대화 응답을 수신할 수 있다. TTS 모듈(310)에서 수신되는 대화 응답은 텍스트 형태를 갖는 자연어 또는 단어들의 시퀀스일 수 있다. 본 개시의 일 실시예에 의하면, TTS 모듈(310)은, 다양한 형태의 알고리즘에 따라, 위 수신된 텍스트 형태의 입력을 음성 형태로 변환할 수 있다.According to one embodiment of the present disclosure, the TTS module 310 may receive the conversation response generated by the conversation creation module 310. The interactive response received at the TTS module 310 may be a natural word or a sequence of words having a textual form. According to one embodiment of the present disclosure, the TTS module 310 may convert the input of the received text form into a speech form, according to various types of algorithms.

도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 대화형 AI 에이전트 시스템의 모든 기능 컴포넌트가 사용자 단말(100) 상에서 구현되는 것으로 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 대화형 AI 에이전트 시스템의 각 기능 컴포넌트들은, 사용자 단말(100)과, 통신망을 통한 외부의 대화형 AI 에이전트 서버(도시되지 않음) 사이에 분배되어 구현될 수도 있음을 알아야 한다. 본 개시의 일 실시예에 따라 대화형 AI 에이전트 시스템이 그 기능들을 사용자 단말과 서버 사이에 분배하여 구현하는 경우, 사용자 단말과 서버 사이의 대화형 AI 에이전트 시스템의 각 기능의 분배는 실시예마다 달리 구현될 수 있음을 알아야 한다. In the embodiment of the present disclosure described above with reference to Figures 1-3, all functional components of the interactive AI agent system are described as being implemented on the user terminal 100, but the present disclosure is not so limited. According to another embodiment of the present disclosure, each functional component of the interactive AI agent system may be implemented and distributed between the user terminal 100 and an external interactive AI agent server (not shown) via a communication network . In a case where the interactive AI agent system distributes the functions between the user terminal and the server according to an embodiment of the present disclosure, the distribution of each function of the interactive AI agent system between the user terminal and the server differs depending on the embodiment It should be noted that the present invention can be implemented.

또한, 도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 편의상 특정 모듈이 소정의 동작들을 수행하는 것처럼 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 위 설명에서 어느 특정 모듈에 의해 수행되는 것과 같이 설명된 동작들이, 그와 다른 별개의 모듈에 의해 각각 수행될 수 있음을 알아야 한다. 또한, 도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 사용자 단말 상의 사용자 맞춤형 학습 모델이 대화형 AI 에이전트 서비스에 이용되는 경우를 중심으로 설명되었으나 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 사용자 단말 상의 사용자 맞춤형 학습 모델은, 이미지 검색 및/또는 합성, 음성 인식 및/또는 합성 등과 같은, 다른 머신러닝에 기반한 인공지능 서비스에도 확장하여 적용될 수 있음을 알아야 한다.Further, although the embodiments of the present disclosure described above with reference to Figs. 1 to 3 have been described as if a particular module performs certain operations for convenience, the present disclosure is not limited thereby. It should be noted that, in accordance with another embodiment of the present disclosure, the operations described above as performed by any particular module in the above description can be performed by separate and distinct modules, respectively. Further, in the embodiment of the present disclosure described above with reference to Figs. 1 to 3, although the description has been made on the case where the customized learning model on the user terminal is used for the interactive AI agent service, the present disclosure is not limited thereto. It should be noted that according to another embodiment of the present disclosure, a customized learning model on a user terminal may be extended to be applied to other machine learning based artificial intelligence services, such as image retrieval and / or synthesis, speech recognition and / do.

당업자라면 알 수 있듯이, 본 발명이 본 개시에 기술된 예시에 한정되는 것이 아니라 본 개시의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 본 명세서에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있음을 알아야 한다.As will be appreciated by those skilled in the art, the present invention is not limited to the examples described in this disclosure, but may be variously modified, rearranged and replaced within the scope of the present disclosure. It should be understood that the various techniques described herein may be implemented in hardware or software, or a combination of hardware and software.

본 개시의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 있다. 본 개시의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.A computer program according to an embodiment of the present disclosure may be stored in a storage medium readable by a computer processor or the like, for example, a non-volatile memory such as an EPROM, EEPROM, or flash memory device, a magnetic disk such as an internal hard disk and a removable disk, CDROM disks, and the like. Also, the program code (s) may be implemented in assembly language or machine language. All such modifications and variations that fall within the true spirit and scope of this disclosure are intended to be embraced by the following claims.

Claims (6)

사용자 단말로서,
사용자로부터 자연어 입력을 수신하도록 구성된 사용자 입력 모듈;
상기 자연어 입력 당시의 상기 사용자 단말에 관한 상태 정보를 수신하도록 구성된 센서 모듈; 및
대화형 AI 에이전트 모듈을 포함하고,
상기 대화형 AI 에이전트 모듈은,
머신러닝 방식에 따라 사전 학습된 상태로 미리 구축되어, 온라인 또는 오프라인 방식에 의해 상기 사용자 단말에 미리 제공된 사용자 맞춤형 인텐트 결정 모델;
상기 사용자 단말에 의한 임의의 외부 서버에 대한 통신 없이, 상기 사용자 단말 상의 상기 사용자 맞춤형 인텐트 결정 모델에 기초하고, 상기 센서 모듈을 통해서 수신된 상기 사용자 단말에 관한 상기 상태 정보와 함께 상기 사용자 입력 모듈을 통해서 상기 사용자로부터 수신된 상기 자연어 입력을 처리하여 소정의 사용자 인텐트를 결정하고, 상기 결정된 사용자 인텐트에 기초한 대화 및 태스크 처리를 수행하도록 구성된 대화 및 태스크 처리 모듈; 및
상기 사용자 단말에 의한 임의의 외부 서버에 대한 통신 없이, 상기 사용자에 의한 상기 대화형 AI 에이전트 모듈과의 인터랙션으로부터 획득되는 상기 사용자에 관한 개인화 데이터를 수집하고, 상기 수집된 개인화 데이터를 이용하여, 상기 사용자 맞춤형 인텐트 결정 모델을 추가 머신러닝 학습 및 갱신시키도록 구성된 상기 사용자 맞춤형 인텐트 결정 모델의 갱신 모듈을 포함하고,
상기 개인화 데이터는, 상기 사용자의 발화의 기록, 상기 사용자의 발화에 대한 상기 대화형 AI 에이전트 모듈 상에서의 인식 또는 처리의 실패의 발생 여부, 상기 인식 또는 처리의 실패의 발생 시 원인 및 해결책, 및 상기 사용자의 발화의 기록에 따른 상기 대화형 AI 에이전트 모듈에 의한 응답 또는 태스크 수행의 기록을 포함하는,
사용자 단말.
As a user terminal,
A user input module configured to receive natural language input from a user;
A sensor module configured to receive status information regarding the user terminal at the time of inputting the natural language; And
An interactive AI agent module,
Wherein the interactive AI agent module comprises:
A user-customized tent determination model previously provided in a pre-learned state in accordance with a machine learning method and provided in advance to the user terminal in an online or offline manner;
The method comprising: based on the user-customized tent decision model on the user terminal, with the status information on the user terminal received via the sensor module, A dialog and task processing module configured to process the natural language input received from the user to determine a predetermined user tent and to perform conversation and task processing based on the determined user tent; And
Collecting personalization data related to the user obtained from an interaction with the interactive AI agent module by the user without communicating with any external server by the user terminal, and using the collected personalization data, And an update module of the user-customized tent decision model configured to learn and update an additional machine learning tent decision model,
Wherein the personalization data includes at least one of a record of the user's utterance, a cause or remedy at the occurrence of the recognition or processing failure, and a determination of whether the recognition or processing failure occurs on the interactive AI agent module of the user utterance, A response by the interactive AI agent module according to the recording of the user's utterance or a record of task performance,
User terminal.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180006436A 2018-01-18 2018-01-18 User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server KR101927050B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180006436A KR101927050B1 (en) 2018-01-18 2018-01-18 User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180006436A KR101927050B1 (en) 2018-01-18 2018-01-18 User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153524A Division KR20190094088A (en) 2018-12-03 2018-12-03 User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server

Publications (1)

Publication Number Publication Date
KR101927050B1 true KR101927050B1 (en) 2018-12-10

Family

ID=64670621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180006436A KR101927050B1 (en) 2018-01-18 2018-01-18 User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server

Country Status (1)

Country Link
KR (1) KR101927050B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200120002A (en) * 2019-04-11 2020-10-21 우승희 Electronic Device for Providing User-Participating-Type AI Training Service, and Server and System therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200120002A (en) * 2019-04-11 2020-10-21 우승희 Electronic Device for Providing User-Participating-Type AI Training Service, and Server and System therefor
KR102363083B1 (en) * 2019-04-11 2022-02-15 우승희 Electronic Device for Providing User-Participating-Type AI Training Service, and Server and System therefor

Similar Documents

Publication Publication Date Title
KR101891492B1 (en) Method and computer device for providing contextual natural language conversation by modifying plain response, and computer readable recording medium
KR101891496B1 (en) Interactive ai agent system and method for actively monitoring and joining a dialogue session among users, computer readable recording medium
KR101914583B1 (en) Interactive ai agent system and method for actively providing a security related service based on monitoring of a dialogue session among users via the dialogue session or a separate session, computer readable recording medium
KR101949470B1 (en) Method, interactive ai agent system and computer readable recoding medium for providing user context-based authetication having enhanced security
KR20190094087A (en) User terminal including a user customized learning model associated with interactive ai agent system based on machine learning, and computer readable recording medium having the customized learning model thereon
KR20190103951A (en) Method, computer device and computer readable recording medium for building or updating knowledgebase models for interactive ai agent systen, by labeling identifiable but not-learnable data in training data set
KR101927050B1 (en) User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server
KR101891498B1 (en) Method, computer device and computer readable recording medium for multi domain service resolving the mixture of multi-domain intents in interactive ai agent system
WO2019124647A1 (en) Method and computer apparatus for automatically building or updating hierarchical conversation flow management model for interactive ai agent system, and computer-readable recording medium
KR102017544B1 (en) Interactive ai agent system and method for providing seamless chatting service among users using multiple messanger program, computer readable recording medium
KR101950387B1 (en) Method, computer device and computer readable recording medium for building or updating knowledgebase models for interactive ai agent systen, by labeling identifiable but not-learnable data in training data set
KR101945983B1 (en) Method for determining a best dialogue pattern for achieving a goal, method for determining an estimated probability of achieving a goal at a point of a dialogue session associated with a conversational ai service system, and computer readable recording medium
KR101959292B1 (en) Method and computer device for providing improved speech recognition based on context, and computer readable recording medium
KR101970899B1 (en) Method and computer device for providing improved speech-to-text based on context, and computer readable recording medium
KR102120751B1 (en) Method and computer readable recording medium for providing answers based on hybrid hierarchical conversation flow model with conversation management model using machine learning
KR102185925B1 (en) Method, computer device and computer readable recording medium for creating a trascation on a blockchain network, via a conversation understanding service server
KR102004092B1 (en) Method for generating relation database for providing seamless chatting service among users using multiple messanger program, computer readable recording medium
KR101924215B1 (en) Method of generating a dialogue template for conversation understainding ai service system having a goal, and computer readable recording medium
KR20190094088A (en) User terminal and computer readable recorindg medium including a user adaptive learning model to be tranined with user customized data without accessing a server
KR101934583B1 (en) Method and computer readable recoding medium for visualizing knowledge base for interactive ai agent system
KR101932264B1 (en) Method, interactive ai agent system and computer readable recoding medium for providing intent determination based on analysis of a plurality of same type entity information
KR102120749B1 (en) Method and computer readable recording medium for storing bookmark information to provide bookmark search service based on keyword
KR101932263B1 (en) Method, computer device and computer readable recording medium for providing natural language conversation by timely providing a substantive response
KR20190094081A (en) Method and computer readable recoding medium for visualizing knowledge base for interactive ai agent system
KR101914582B1 (en) Method, interactive ai agent system and computer readable recoding medium for providing semantic-free user voiceprint authentication having enhanced security

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant