KR20210045699A

KR20210045699A - Method and computer readable recording medium for providing bookmark search service stored with hierachical dialogue flow management model based on context

Info

Publication number: KR20210045699A
Application number: KR1020190129066A
Authority: KR
Inventors: 장세영
Original assignee: 주식회사 머니브레인
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2021-04-27

Abstract

Provided is a method for providing a context-based search service for a bookmark, which is performed by an artificial intelligence service server. According to the present invention, the method includes: bookmarking and storing a webpage together with search information for the webpage in a predetermined hierarchy structure, wherein the search information includes at least one of a tag input from a user terminal and related to the webpage, a search word received from a user in searching when searching for the webpage and storing the webpage in the form of a bookmark, and an abstract of the webpage; receiving, from the user terminal, a user input for searching for the bookmarked webpage; determining an entity corresponding to the user input to set the user input and the entity as search words; calculating likelihoods between search words of the user and bookmarked webpages; determining whether the highest likelihood exceeds a predetermined threshold value; and displaying the list of at least one of bookmarked webpages, which have higher likelihoods, of the bookmarked webpages, when the highest likelihood exceeds a first threshold value.

Description

[METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR PROVIDING BOOKMARK SEARCH SERVICE STORED WITH HIERACHICAL DIALOGUE FLOW MANAGEMENT MODEL BASED ON CONTEXT}

본 발명은, 대화형 AI 에이전트 시스템에 관한 것이며, 보다 구체적으로는 대화 이해 AI 시스템에 의하여, 계층적으로 저장되어 있는 북마크에 대한 문맥기반 검색 서비스를 제공하는 방법 등에 관한 것이다The present invention relates to an interactive AI agent system, and more particularly, to a method of providing a context-based search service for bookmarks stored hierarchically by a dialogue understanding AI system.

근래, 인공지능 분야, 특히 자연어 이해 분야의 기술 발전에 따라, 전통적인 기계 중심의 명령 입출력 방식에 따른 기계 조작에서 벗어나, 사용자로 하여금, 보다 사람 친화적인 방식, 예컨대 음성 및/또는 텍스트 형태의 자연어를 매개로 한 대화 방식으로 기계를 조작하고 기계로부터 원하는 서비스를 얻을 수 있도록 하는 대화형 AI 에이전트 시스템의 개발 및 활용이 점차 늘어나고 있다. 그에 따라, 온라인 상담 센터나 온라인 쇼핑몰 등을 비롯한 (그러나 이에 한정되지 않은 더 많은) 다양한 분야에서, 사용자는, 음성 및/또는 텍스트 형태의 자연어 대화를 제공하는 대화형 AI 에이전트 시스템을 통하여 원하는 서비스를 제공받을 수 있게 되었다. In recent years, with the advancement of technology in the field of artificial intelligence, especially in the field of natural language understanding, moving away from machine operation according to the traditional machine-centered command input/output method, users can use a more human-friendly method, for example, natural language in the form of voice and/or text. The development and use of interactive AI agent systems that enable machines to be manipulated and to obtain desired services from machines in an intermediary dialogue method are gradually increasing. Accordingly, in various fields including (but not limited to) online counseling centers and online shopping malls, users can provide desired services through an interactive AI agent system that provides natural language conversations in the form of voice and/or text. It became available to be provided.

최근에는, 고정 시나리오 기반의 간단한 문답 형태의 대화 서비스만을 제공하던 종래의 대화형 AI 에이전트 시스템을 넘어서서, 자유 발화 형태의 음성 입력을 기초로 보다 복잡한 도메인의 서비스를 제공하는 대화형 AI 에이전트 시스템에 대한 요구가 늘어나고 있으며, 기존에 제공되던 서비스에 대화형 AI 에이전트 시스템을 결합하여 보다 편리하게 개선된 서비스를 제공하고자 하는 흐름이 있다. 예컨대, 종래의 북마크 서비스의 경우 사용자가 설정한 고정된 계층적 구조에 따라 웹사이트를 저장하고, 저장된 웹사이트를 찾기 위해서는 사용자가 해당 구조를 따라 순차적으로 선택하여 웹사이트를 찾아가야 하기 때문에 사용자가 기 설정한 구조를 정확히 기억하지 못하는 경우 북마크된 웹사이트를 검색하는데 어려움이 있었는데, 대화형 AI 에이전트 시스템을 결합하여 보다 편리하게 개선된 서비스를 제공할 수 있다.In recent years, beyond the conventional interactive AI agent system that provided only simple question-and-answer conversation services based on fixed scenarios, the conversational AI agent system that provides services of more complex domains based on free-speech voice input has been developed. The demand is increasing, and there is a trend to provide improved services more conveniently by combining the interactive AI agent system with the existing services. For example, in the case of a conventional bookmark service, a website is stored according to a fixed hierarchical structure set by the user, and in order to find the stored website, the user must sequentially select and go to the website according to the corresponding structure. It was difficult to search for bookmarked websites when the preset structure was not accurately remembered. By combining the interactive AI agent system, improved services can be provided more conveniently.

종래의 북마크 서비스의 경우 사용자가 설정한 고정된 계층적 구조에 따라 웹사이트를 저장하고, 저장된 웹사이트를 찾기 위해서는 사용자가 해당 구조를 따라 순차적으로 선택하여 웹사이트를 찾아가야 하기 때문에 사용자가 기 설정한 구조를 정확히 기억하지 못하는 경우 북마크된 웹사이트를 검색하는데 어려움이 있다. 따라서, 웹사이트를 북마크하여 저장하는 동안 생성되는 로그를 이용하여 획득될수 있는 지식을 반영하여 효율적인 북마크 서비스 제공 방법 등이 필요하다.In the case of the conventional bookmark service, the website is stored according to a fixed hierarchical structure set by the user, and in order to find the stored website, the user has to sequentially select and go to the website according to the corresponding structure. If you don't remember exactly one structure, you have difficulty searching for bookmarked websites. Therefore, there is a need for a method of providing an efficient bookmark service by reflecting knowledge that can be obtained using a log generated while bookmarking and storing a website.

본 발명의 일 특징에 의하면, 대화 이해 AI 서비스 서버에 의하여 수행되는, 문맥기반 북마크 검색 서비스를 제공하는 방법이 제공된다. 본 발명은 소정의 계층적 구조에 따라, 웹페이지를 상기 웹페이지의 검색 정보와 함께 북마크하여 저장하는 단계 - 상기 검색 정보는 사용자 단말로부터 입력받은 상기 웹페이지에 관련된 태그, 상기 웹페이지를 검색하여 북마크로 저장한 경우, 검색할 때 사용자로부터 입력받은 검색어, 상기 웹페이지를 요약한 요약어 중 적어도 하나를 포함함 -; 상기 사용자 단말로부터 북마크된 웹페이지를 검색하기 위한 사용자의 입력을 수신하는 단계; 상기 사용자의 입력에 대응하는 엔티티를 결정하고, 상기 사용자 입력 및 상기 엔티티를 검색어로 설정하는 단계; 사용자의 검색어와 북마크된 웹페이지들 간의 유사도를 계산하는 단계; 가장 높은 유사도가 소정의 임계 값을 초과하는지 판정하는 단계; 및 상기 가장 높은 유사도가 제1 임계값을 초과하는 경우, 상기 북마크된 웹페이지들 중 높은 유사도를 가지는 중 적어도 하나의 북마크된 웹페이지의 리스트를 표시하는 단계; 를 포함할 수 있다. According to an aspect of the present invention, there is provided a method of providing a context-based bookmark search service performed by a conversation understanding AI service server. The present invention is a step of bookmarking and storing a web page along with search information of the web page according to a predetermined hierarchical structure-The search information is searched for a tag related to the web page and the web page received from a user terminal. In the case of saving as a bookmark, at least one of a search word input from a user and a summary word summarizing the web page is included when searching; Receiving a user's input for searching for a bookmarked web page from the user terminal; Determining an entity corresponding to the user's input, and setting the user input and the entity as a search word; Calculating a similarity between the user's search word and the bookmarked web pages; Determining whether the highest degree of similarity exceeds a predetermined threshold value; And displaying a list of at least one bookmarked webpage among the bookmarked webpages having a high degree of similarity when the highest similarity level exceeds a first threshold value. It may include.

본 발명의 일 실시예에 따르면, 상기 사용자의 검색어와 북마크된 웹페이지들 간의 유사도를 계산하는 단계는 상기 웹페이지의 검색 정보와 상기 사용자의 검색어와의 유사도를 계산하는 단계; 또는 상기 검색어로 북마크된 웹페이지의 리스트에 포함된 웹페이지들을 검색한 결과를 기초로 상기 유사도를 계산하는 단계 중 적어도 하나를 포함할 수 있다. According to an embodiment of the present invention, the calculating of the similarity between the user's search word and the bookmarked web pages includes: calculating a similarity between the search information of the web page and the user's search word; Alternatively, it may include at least one of calculating the similarity based on a result of searching for web pages included in a list of web pages bookmarked with the search word.

본 발명의 일 실시예에 따르면, 상기 유사도를 계산하는 단계는 상기 검색어를 상용화된 검색 엔진에 검색어로 입력하여 얻은 결과 페이지 중 북마크된 웹페이지가 포함되었는지 여부를 기초로 계산하는 단계를 포함할 수 있다. According to an embodiment of the present invention, calculating the similarity may include calculating based on whether a bookmarked web page is included among result pages obtained by inputting the search word as a search word into a commercially available search engine. have.

본 발명의 일 실시예에 따르면, 본 방법은 상기 검색어와 상기 사용자의 웹페이지 방문기록의 리스트들 간의 유사도를 계산하여, 소정의 제2 임계값을 초과하는 유사도를 가지는, 상기 사용자의 웹페이지 방문기록에 포함된 웹페이지의 리스트를 출력하는 단계를 더 포함할 수 있다. According to an embodiment of the present invention, the method calculates the similarity between the search word and the list of the user's web page visit history, and has a similarity that exceeds a predetermined second threshold. The method may further include outputting a list of web pages included in the record.

본 발명의 일 실시예에 따르면, 본 방법은 검색창을 표시하는 단계를 더 포함할 수 있다. According to an embodiment of the present invention, the method may further include displaying a search box.

본 발명의 다른 특징에 의하면, 하나 이상의 명령어를 포함하는 컴퓨터 판독 가능 기록 매체로서, 하나 이상의 명령어는, 컴퓨터에 위해 실행되는 경우, 컴퓨터로 하여금, 전술한 방법들 중 어느 하나의 방법을 수행하게 하는, 컴퓨터 판독 가능 기록 매체가 제공된다.According to another feature of the present invention, a computer-readable recording medium including one or more instructions, wherein the one or more instructions, when executed for a computer, cause the computer to perform any one of the above-described methods. , A computer-readable recording medium is provided.

계층적으로 저장되어 있는 북마크된 웹사이트에 대해, 사용자가 계층적 구조를 기억하지 못하는 경우에도 사용자의 검색 정보를 기초로 문맥기반의 효율적인 북마크 검색 서비스를 제공할 수 있다. For the bookmarked website that is hierarchically stored, even if the user cannot remember the hierarchical structure, a context-based efficient bookmark search service can be provided based on the user's search information.

따라서, 사용자로 하여금 보다 쉽게 북마크된 웹페이지를 찾을 수 있도록 하는 북마크 서비스 방법을 제공하며, 이로써 더욱 효율적인 북마크 관리가 이루어지도록 할 수 있다.Accordingly, a bookmark service method is provided that enables a user to more easily find a bookmarked web page, thereby enabling more efficient bookmark management.

도 1은, 본 발명의 일 실시예에 따라, 대화형 AI 에이전트 시스템이 구현될 수 있는 시스템 환경을 개략적으로 도시한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 도 1의 사용자 단말(102)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.
도 3은, 본 발명의 일 실시예에 따른, 도 1의 대화 이해 AI 서비스 서버(106)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.
도 4는, 본 발명의 일 실시예에 따라, 도 3의 대화 이해 AI 서비스 서버(106)에 의해 수행되는 문맥기반 북마크 검색 방법의 예시적 동작 흐름도이다.1 is a diagram schematically illustrating a system environment in which an interactive AI agent system can be implemented according to an embodiment of the present invention.
2 is a functional block diagram schematically showing a functional configuration of the user terminal 102 of FIG. 1 according to an embodiment of the present invention.
3 is a functional block diagram schematically showing a functional configuration of the conversation understanding AI service server 106 of FIG. 1 according to an embodiment of the present invention.
4 is an exemplary operation flow diagram of a context-based bookmark search method performed by the conversation understanding AI service server 106 of FIG. 3 according to an embodiment of the present invention.

이하, 첨부 도면을 참조하여 본 발명의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 발명의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 발명의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, when it is determined that there is a possibility that the subject matter of the present invention may be unnecessarily obscure, detailed descriptions of already known functions and configurations will be omitted. In addition, it should be understood that the contents described below are only related to an embodiment of the present invention, and the present disclosure is not limited thereto.

본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는 "및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다' 또는 '가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.The terms used in the present disclosure are only used to describe specific embodiments and are not intended to limit the present invention. For example, a component expressed in the singular should be understood as a concept including a plurality of components unless the context clearly means only the singular. It is to be understood that the term “and/or” as used in this disclosure encompasses any and all possible combinations by one or more of the listed items. The terms "comprise" or "have" used in the present disclosure are only intended to designate the existence of features, numbers, steps, actions, components, parts, or a combination thereof described in the present disclosure. It is not intended to exclude the possibility of the presence or addition of one or more other features or numbers, steps, actions, components, parts, or combinations thereof by use.

본 발명의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.In an embodiment of the present invention, a'module' or'unit' means a functional part that performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software. In addition, a plurality of'modules' or'units' may be integrated into at least one software module and implemented by at least one processor, except for'modules' or'units' that need to be implemented with specific hardware. have.

본 발명의 실시예에 있어서 '대화형 AI 에이전트 시스템'은, 사용자와의 사이에서 음성 및/또는 텍스트 형태의 자연어를 매개로 한 대화형 인터랙션을 통해, 사용자로부터 입력되는 자연어 입력(예컨대, 자연어로 된 사용자로부터의 명령, 진술, 요청, 질문 등)을 수신 및 해석하여 사용자의 인텐트(intent)를 알아내고 그 알아낸 사용자의 인텐트에 기초하여 필요한 동작 수행, 즉 적절한 대화 응답의 제공 및/또는 태스크의 수행을 제공할 수 있는 임의의 정보 처리 시스템을 지칭할 수 있으며, 특정 형태로 제한되는 것은 아니다. 본 발명의 실시예에 있어서, 대화형 AI 에이전트 시스템은 소정의 도메인의 서비스를 제공하기 위한 것일 수 있는데, 이때 서비스 도메인은 복수의 하위 인텐트 그룹들을 포함하여 구성될 수 있다(예컨대, 상품 구매의 서비스 도메인에는, 상품 문의, 브랜드 문의, 디자인 문의, 가격 문의, 반품 문의 등의 하위 인텐트 그룹들이 포함될 수 있음). 본 발명의 실시예에 있어서, '대화형 AI 에이전트 시스템'에 의해 수행되는 동작은, 예컨대 소정의 서비스 제공을 위한 하위 인텐트 그룹들의 순차적 흐름 안에서 사용자의 인텐트에 따라 각각 이루어지는 대화 응답 및/또는 태스크 수행일 수 있다. In an embodiment of the present invention, the'interactive AI agent system' is a natural language input (e.g., natural language) input from a user through an interactive interaction with the user through natural language in the form of voice and/or text. Receives and interprets commands, statements, requests, questions, etc.) from the user who has been assigned to find out the user's intent, and performs the necessary actions based on the found user's intent, that is, providing an appropriate conversation response and/ Or, it may refer to any information processing system capable of providing the performance of a task, and is not limited to a specific form. In an embodiment of the present invention, the interactive AI agent system may be for providing a service of a predetermined domain, and in this case, the service domain may include a plurality of sub intent groups (e.g., product purchase The service domain may include sub-intent groups such as product inquiries, brand inquiries, design inquiries, price inquiries, and return inquiries). In an embodiment of the present invention, the operation performed by the'interactive AI agent system' is, for example, a conversation response and/or a conversation response each made according to the user's intent in a sequential flow of sub-intent groups for providing a predetermined service. It can be task execution.

본 발명의 실시예에 있어서, '대화형 AI 에이전트 시스템'에 의해 제공되는 대화 응답은 시각, 청각 및/또는 촉각 형태(예컨대, 음성, 음향, 텍스트, 비디오, 이미지, 기호, 이모티콘, 하이퍼링크, 애니메이션, 각종 노티스, 모션, 햅틱 피드백 등을 포함할 수 있으며, 이로써 제한되는 것은 아님) 등 다양한 형태로써 제공될 수 있음을 알아야 한다. 본 발명의 실시예에 있어서 '대화형 AI 에이전트 시스템'에 의해 수행되는 태스크는, 예컨대 정보의 검색, 결재 진행, 메시지 작성, 이메일 작성, 전화 걸기, 음악 재생, 사진 촬영, 사용자 위치 탐색, 지도/내비게이션 서비스 등을 비롯한 각종 다양한 형태의 태스크(다만, 예시일 뿐이며 이로써 제한되는 것은 아님)를 포함할 수 있다.In an embodiment of the present invention, the conversation response provided by the'interactive AI agent system' is in visual, auditory and/or tactile form (e.g., voice, sound, text, video, image, symbol, emoticon, hyperlink, It should be noted that animation, various notes, motion, haptic feedback, and the like may be included, but are not limited thereto). In an embodiment of the present invention, tasks performed by the'interactive AI agent system' include, for example, search for information, proceed with payment, write messages, write emails, make phone calls, play music, take photos, search for user locations, map/ Various types of tasks (however, they are only examples and are not limited thereto), including navigation services, and the like.

본 발명의 실시예에 있어서 '대화형 AI 에이전트 시스템'은, 메신저 플랫폼에 기초한 챗봇(chatbot) 시스템, 예컨대 메신저 상에서 사용자와 메시지를 주고받으며 사용자가 원하는 다양한 정보를 제공하거나 태스크를 수행하는 챗봇 시스템을 포함할 수 있으며, 다만 본 발명이 이로써 제한되는 것은 아님을 알아야 한다.In an embodiment of the present invention, the'interactive AI agent system' includes a chatbot system based on a messenger platform, for example, a chatbot system that provides various information desired by the user or performs a task while exchanging messages with a user on a messenger. May be included, but it should be understood that the present invention is not limited thereto.

덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 개시에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.In addition, unless otherwise defined, all terms used in the present disclosure, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs. Terms defined in a commonly used dictionary should be construed as having a meaning consistent with the meaning in the context of the related technology, and it should be understood that, unless explicitly defined otherwise, in the present disclosure, they are not excessively limited or expanded. .

이하, 첨부된 도면을 참조하여, 본 발명의 실시예에 대해 구체적으로 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은, 본 발명의 일 실시예에 따라, 대화형 AI 에이전트 시스템이 구현될 수 있는 시스템 환경(100)을 개략적으로 도시한 도면이다. 도시된 바에 의하면, 시스템 환경(100)은, 복수의 사용자 단말(102a-102n), 통신망(104), 대화 이해 AI 서비스 서버(106), 및 외부 서비스 서버(108)를 포함한다.1 is a diagram schematically illustrating a system environment 100 in which an interactive AI agent system can be implemented according to an embodiment of the present invention. As shown, the system environment 100 includes a plurality of user terminals 102a-102n, a communication network 104, a conversation understanding AI service server 106, and an external service server 108.

본 발명의 일 실시예에 의하면, 복수의 사용자 단말(102a-102n) 각각은 유선 또는 무선 통신 기능을 구비한 임의의 사용자 전자 장치일 수 있다. 사용자 단말(102a-102n) 각각은, 예컨대 스마트 폰, 태블릿 PC, 뮤직 플레이어, 스마트 스피커, 데스크탑, 랩탑, PDA, 게임 콘솔, 디지털 TV, 셋탑박스 등을 포함한 다양한 유선 또는 무선 통신 단말일 수 있으며, 특정 형태로 제한되지 않음을 알아야 한다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 통신망(104)을 통해서, 대화 이해 AI 서비스 서버(106)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 통신망(104)을 통해서, 외부 서비스 서버(108)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 외부로부터 음성 및/또는 텍스트 형태의 사용자 입력을 수신할 수 있고, 통신망(104)을 통한 대화 이해 AI 서비스 서버(106) 및/또는 외부 서비스 서버(108)와의 통신(및/또는 사용자 단말(102a-102n) 내 처리)을 통해 얻어진, 위 사용자 입력에 대응한 동작 결과(예컨대, 북마크 검색 결과, 특정 대화 응답의 제공 및/또는 특정 태스크의 수행 등)를 사용자에게 제공할 수 있다. According to an embodiment of the present invention, each of the plurality of user terminals 102a-102n may be any user electronic device having a wired or wireless communication function. Each of the user terminals 102a-102n may be various wired or wireless communication terminals including, for example, a smart phone, a tablet PC, a music player, a smart speaker, a desktop, a laptop, a PDA, a game console, a digital TV, a set-top box, and the like, It should be noted that it is not limited to any particular form. According to an embodiment of the present invention, each of the user terminals 102a-102n can communicate with the conversation understanding AI service server 106, that is, transmit and receive necessary information through the communication network 104. According to an embodiment of the present invention, each of the user terminals 102a-102n can communicate with the external service server 108, that is, transmit and receive necessary information through the communication network 104. According to an embodiment of the present invention, each of the user terminals 102a-102n may receive a user input in the form of voice and/or text from the outside, and the conversation understanding AI service server 106 through the communication network 104 And/or an operation result corresponding to the above user input obtained through communication with the external service server 108 (and/or processing within the user terminals 102a-102n) (e.g., a bookmark search result, provision of a specific conversation response, and/or / Or performance of a specific task, etc.) can be provided to the user.

본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n)에 의해 제공되는 사용자 입력에 대응한 동작 결과로서의 응답은, 예컨대 소정의 서비스 도메인 내에서, 해당 서비스 제공을 위한 하위 인텐트 그룹들의 순차적 흐름 안에서 당시의 사용자 입력에 대응한 하위 인텐트 그룹의 대화 흐름 패턴에 따라 제공되는 것일 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 사용자 입력에 대응한 동작 결과로서의 대화 응답을, 시각, 청각 및/또는 촉각 형태(예컨대, 음성, 음향, 텍스트, 비디오, 이미지, 기호, 이모티콘, 하이퍼링크, 애니메이션, 각종 노티스, 모션, 햅틱 피드백 등을 포함할 수 있으며, 이로써 제한되는 것은 아님) 등 다양한 형태로써 사용자에게 제공할 수 있다. 본 발명의 실시예에 있어서, 사용자 입력에 대응한 동작으로서의 태스크 수행은, 예컨대 정보의 검색, 북마크 검색, 결재 진행, 메시지 작성, 이메일 작성, 전화 걸기, 음악 재생, 사진 촬영, 사용자 위치 탐색, 지도/내비게이션 서비스 등을 비롯한 각종 다양한 형태의 태스크(그러나 이로써 제한되는 것은 아님) 수행을 포함할 수 있다.According to an embodiment of the present invention, a response as a result of an operation corresponding to a user input provided by the user terminals 102a-102n is, for example, in a predetermined service domain, in a sequence of lower intent groups for providing a corresponding service. In the flow, it may be provided according to the conversation flow pattern of the lower intent group corresponding to the user input at the time. According to an embodiment of the present invention, each of the user terminals 102a-102n transmits a conversation response as a result of an operation corresponding to a user input in a visual, auditory and/or tactile form (e.g., voice, sound, text, video, Images, symbols, emoticons, hyperlinks, animations, various notes, motion, haptic feedback, etc. may be included, but are not limited thereto). In an embodiment of the present invention, task execution as an operation corresponding to a user input includes, for example, searching for information, searching for bookmarks, proceeding with payment, writing a message, writing an email, making a phone call, playing music, taking a picture, searching for a user location, and using a map. May include performing various types of tasks (but not limited thereto), including /navigation services.

본 발명의 일 실시예에 의하면, 통신망(104)은, 임의의 유선 또는 무선 통신망, 예컨대 TCP/IP 통신망을 포함할 수 있다. 본 발명의 일 실시예에 의하면, 통신망(104)은, 예컨대 Wi-Fi망, LAN망, WAN망, 인터넷망 등을 포함할 수 있으며, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 일 실시예에 의하면, 통신망(104)은, 예컨대 이더넷, GSM, EDGE(Enhanced Data GSM Environment), CDMA, TDMA, OFDM, 블루투스, VoIP, Wi-MAX, Wibro 기타 임의의 다양한 유선 또는 무선 통신 프로토콜을 이용하여 구현될 수 있다.According to an embodiment of the present invention, the communication network 104 may include any wired or wireless communication network, such as a TCP/IP communication network. According to an embodiment of the present invention, the communication network 104 may include, for example, a Wi-Fi network, a LAN network, a WAN network, an Internet network, and the like, and the present invention is not limited thereto. According to an embodiment of the present invention, the communication network 104 is, for example, Ethernet, GSM, EDGE (Enhanced Data GSM Environment), CDMA, TDMA, OFDM, Bluetooth, VoIP, Wi-MAX, Wibro and other various wired or wireless It can be implemented using a communication protocol.

본 발명의 일 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 통신망(104)을 통해 사용자 단말(102a-102n)과 통신할 수 있다. 본 발명의 일 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 통신망(104)을 통해 사용자 단말(102a-102n)과 필요한 정보를 송수신하고, 이를 통해 사용자 단말(102a-102n) 상에서 수신된 사용자 입력에 대응한, 즉 엔티티를 분석하고 엔티티에 부합하는 동작 결과가, 사용자에게 제공되도록 동작할 수 있다. According to an embodiment of the present invention, the conversation understanding AI service server 106 may communicate with the user terminals 102a-102n through the communication network 104. According to an embodiment of the present invention, the conversation understanding AI service server 106 transmits and receives necessary information with the user terminals 102a-102n through the communication network 104, and receives them on the user terminals 102a-102n through this. In response to the user input, that is, the entity may be analyzed and an operation result corresponding to the entity may be provided to the user.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 통신망(104)을 통해 사용자 단말(102a-102n)로부터 음성, 텍스트, 및/또는 터치 형태의 사용자 자연어 입력을 수신하고, 미리 준비된 모델들에 기초해서 그 수신된 자연어 입력을 처리하여 사용자의 인텐트(intent)를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 위 결정된 사용자 인텐트에 기초하여 대응하는 동작이 수행되도록 할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 단말(102a-102n)이 사용자 인텐트에 부합하는 특정한 태스크를 수행하도록 특정한 제어 신호를 생성하여 해당 사용자 단말(102a-102n)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 단말(102a-102n)이 사용자 인텐트에 부합하는 특정한 태스크를 수행하게 하기 위하여, 통신망(104)을 통해 외부 서비스 서버(108)에 접속할 수 있다.According to an embodiment of the present disclosure, the interactive AI agent server 106 receives, for example, a user natural language input in the form of voice, text, and/or touch from the user terminals 102a-102n through the communication network 104, and , Based on the models prepared in advance, the received natural language input may be processed to determine an intent of the user. According to an embodiment of the present disclosure, the interactive AI agent server 106 may cause a corresponding operation to be performed based on the determined user intent. According to an embodiment of the present disclosure, the interactive AI agent server 106 generates a specific control signal so that, for example, the user terminals 102a-102n perform a specific task corresponding to the user intent, the corresponding user terminal 102a -102n). According to an embodiment of the present disclosure, the interactive AI agent server 106 provides an external service through the communication network 104, for example, in order for the user terminals 102a-102n to perform a specific task corresponding to the user intent. Server 108 can be accessed.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 소정의 계층적 구조에 딸, 사용자의 북마크된 웹페이지의 검색 정보를 저장하고 사용자의 북마크 검색 요청에 따라, 사용자의 인텐트에 부합하는 북마크된 웹페이지의 리스트를 제공할 수 있다. According to an embodiment of the present disclosure, the interactive AI agent server 106 stores, for example, in a predetermined hierarchical structure, and stores search information of the user's bookmarked webpage, and according to the user's bookmark search request, the user's You can provide a list of bookmarked web pages that match your intent.

본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 인텐트에 부합하는 특정한 대화 응답을 생성하여 사용자 단말(102a-102n)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 위 결정된 사용자 인텐트에 기초하여, 대응하는 대화 응답을 음성 및/또는 텍스트 형태로써 생성하고, 생성된 응답을, 통신망(104)을 통해, 사용자 단말(102a-102n)로 전달할 수 있다. 본 개시의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)에 의해 생성되는 대화 응답은, 전술한 음성 및/또는 텍스트 형태의 자연어 응답과 함께, 이미지, 비디오, 기호, 이모티콘 등 다른 시각적 요소들이나, 음향 등의 다른 청각적 요소들이나, 기타 다른 촉각적 요소들을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 단말(102a-102n) 상에서 수신된 사용자 입력의 형태(예컨대, 음성 입력인지 아니면 텍스트 입력인지)에 따라, 대화형 AI 에이전트 서버(106) 상에서 동일한 형태의 응답이 생성될 수 있으며(예컨대, 음성 입력이 주어진 경우에는 음성 응답이 생성되고 텍스트 입력이 주어진 경우에는 텍스트 응답이 생성됨), 다만 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 사용자 입력의 형태와 무관하게 음성 및/또는 텍스트 형태의 응답이 생성 및 제공될 수 있음을 알아야 한다.According to an embodiment of the present disclosure, the interactive AI agent server 106 may generate, for example, a specific dialog response corresponding to a user intent and transmit it to the user terminals 102a-102n. According to an embodiment of the present disclosure, the interactive AI agent server 106 generates a corresponding dialog response in a voice and/or text form based on the determined user intent, and generates the response, a communication network ( 104), it can be transmitted to the user terminals 102a-102n. According to an embodiment of the present disclosure, the conversation response generated by the interactive AI agent server 106 includes other visual elements such as images, videos, symbols, and emoticons along with the above-described natural language response in the form of voice and/or text. Other auditory elements, such as field or sound, or other tactile elements may be included. According to an embodiment of the present disclosure, according to the type of user input received on the user terminals 102a-102n (eg, whether it is voice input or text input), the same type of response on the interactive AI agent server 106 May be generated (eg, when a voice input is given, a voice response is generated, and when a text input is given, a text response is generated), but the present disclosure is not limited thereto. It should be understood that according to another embodiment of the present disclosure, a response in the form of voice and/or text may be generated and provided irrespective of the form of user input.

본 발명의 일 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 앞서 언급한 바와 같이, 통신망(104)을 통해서 외부 서비스 서버(108)와 통신할 수 있다. 외부 서비스 서버(108)는, 예컨대 북마크 저장/검색 서비스 서버, 메시징 서비스 서버, 온라인 상담 센터 서버, 온라인 쇼핑몰 서버, 정보 검색 서버, 지도 서비스 서버, 네비게이션 서비스 서버 등일 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 사용자 단말(102a-102n)로 전달되는, 사용자 인텐트에 기초한 대화 응답은, 예컨대 외부 서비스 서버(108)로부터 검색 및 획득된 데이터 콘텐츠를 포함한 것일 수 있음을 알아야 한다.According to an embodiment of the present invention, the conversation understanding AI service server 106 may communicate with the external service server 108 through the communication network 104, as mentioned above. The external service server 108 may be, for example, a bookmark storage/retrieval service server, a messaging service server, an online consultation center server, an online shopping mall server, an information search server, a map service server, a navigation service server, etc., and the present disclosure is limited thereto. It is not. It should be noted that the conversation response delivered to the user terminals 102a-102n, based on the user intent, may include, for example, data content retrieved and obtained from the external service server 108.

본 도면에서는, 대화 이해 AI 서비스 서버(106)가 외부 서비스 서버(108)와 통신망(104)을 통해 통신 가능하게 구성된 별도의 물리 서버인 것으로 도시되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 예컨대 북마크 저장/검색 서버, 온라인 상담 센터 서버 또는 온라인 쇼핑몰 서버 등 각종 서비스 서버의 일부로 포함되어 구성될 수도 있음을 알아야 한다.In this drawing, although the conversation understanding AI service server 106 is shown as a separate physical server configured to be able to communicate with the external service server 108 and the communication network 104, the present disclosure is not limited thereto. According to another embodiment of the present invention, it should be noted that the conversation understanding AI service server 106 may be included as part of various service servers, such as a bookmark storage/retrieval server, an online counseling center server, or an online shopping mall server.

도 2는, 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말(102)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 사용자 단말(102)은, 사용자 입력 수신 모듈(202), 센서 모듈(204), 프로그램 메모리 모듈(206), 프로세싱 모듈(208), 통신 모듈(210), 및 응답 출력 모듈(212)을 포함한다.2 is a functional block diagram schematically showing a functional configuration of the user terminal 102 shown in FIG. 1 according to an embodiment of the present invention. As illustrated, the user terminal 102 includes a user input receiving module 202, a sensor module 204, a program memory module 206, a processing module 208, a communication module 210, and a response output module ( 212).

본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 사용자로부터 다양한 형태의 입력, 예컨대 음성 입력 및/또는 텍스트 입력 등의 자연어 입력(및 부가적으로 터치 입력 등의 다른 형태의 입력)을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 예컨대 마이크로폰 및 오디오 회로를 포함하며, 마이크로폰을 통해 사용자 음성 입력 신호를 획득하고 획득된 신호를 오디오 데이터로 변환할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 예컨대 마우스, 조이스틱, 트랙볼 등의 각종 포인팅 장치, 키보드, 터치패널, 터치스크린, 스타일러스 등 다양한 형태의 입력 장치를 포함할 수 있고, 이들 입력 장치를 통해 사용자로부터 입력된 텍스트 입력 및/또는 터치 입력 신호를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)에서 수신되는 사용자 입력은, 소정의 태스크 수행, 예컨대 소정의 애플리케이션 실행이나 소정 정보의 검색 등과 연관될 수 있으나, 본 발명이 이로써 제한되는 것은 아니다. According to an embodiment of the present invention, the user input receiving module 202 includes various types of input from the user, for example, natural language input such as voice input and/or text input (and additionally, other types of input such as touch input). ) Can be received. According to an embodiment of the present invention, the user input receiving module 202 includes, for example, a microphone and an audio circuit, and may acquire a user voice input signal through the microphone and convert the obtained signal into audio data. According to an embodiment of the present invention, the user input receiving module 202 may include various types of input devices such as various pointing devices such as a mouse, joystick, and trackball, a keyboard, a touch panel, a touch screen, and a stylus. , A text input and/or a touch input signal input from a user may be obtained through these input devices. According to an embodiment of the present invention, the user input received from the user input receiving module 202 may be related to performing a predetermined task, such as executing a predetermined application or searching for predetermined information, but the present invention is limited thereto. It is not.

본 발명의 일 실시예에 의하면, 센서 모듈(204)은 하나 이상의 서로 다른 유형의 센서를 포함하고, 이들 센서를 통해 사용자 단말(102)의 상태 정보, 예컨대 해당 사용자 단말(102)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 또는 사용자 단말(102)의 주위 환경 상태에 관한 정보 등을 획득할 수 있다. 본 발명의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 광 센서를 포함하고, 광 센서를 통해 해당 사용자 단말(102)의 주변 광 상태를 감지할 수 있다. 본 발명의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 이동 센서를 포함하고, 이동 센서를 통해 해당 사용자 단말(102)의 이동 상태 여부를 감지할 수 있다. 본 발명의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 속도 센서 및 GPS 센서를 포함하고, 이들 센서를 통해 해당 사용자 단말(102)의 위치 및/또는 배향 상태를 감지할 수 있다. 본 발명의 다른 실시예에 의하면, 센서 모듈(204)은 온도 센서, 이미지 센서, 압력 센서, 접촉 센서 등을 비롯한 다른 다양한 형태의 센서를 포함할 수 있음을 알아야 한다.According to an embodiment of the present invention, the sensor module 204 includes one or more different types of sensors, and through these sensors, the state information of the user terminal 102, for example, the physical state of the user terminal 102, It is possible to acquire software and/or hardware status, or information about the surrounding environment status of the user terminal 102. According to an embodiment of the present invention, the sensor module 204 includes, for example, an optical sensor, and may detect the ambient light condition of the user terminal 102 through the optical sensor. According to an embodiment of the present invention, the sensor module 204 includes, for example, a movement sensor, and may detect whether the user terminal 102 is in a moving state through the movement sensor. According to an embodiment of the present invention, the sensor module 204 includes, for example, a speed sensor and a GPS sensor, and may detect the position and/or orientation state of the user terminal 102 through these sensors. It should be noted that according to another embodiment of the present invention, the sensor module 204 may include a variety of other types of sensors including temperature sensors, image sensors, pressure sensors, contact sensors, and the like.

본 발명의 일 실시예에 의하면, 프로그램 메모리 모듈(206)은, 사용자 단말(102) 상에서 실행될 수 있는 각종 프로그램, 예컨대 각종 애플리케이션 프로그램 및 관련 데이터 등이 저장된 임의의 저장 매체일 수 있다. 본 발명의 일 실시예에 의하면, 프로그램 메모리 모듈(206)에는, 예컨대 전화 걸기 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 카메라 애플리케이션, 음악 재생 애플리케이션, 비디오 재생 애플리케이션, 이미지 관리 애플리케이션, 지도 애플리케이션, 브라우저 애플리케이션 등을 비롯한 다양한 애플리케이션 프로그램들과 이들 프로그램의 실행과 관련된 데이터들이 저장될 수 있다. 본 발명의 일 실시예에 의하면, 프로그램 메모리 모듈(206)은, DRAM, SRAM, DDR RAM, ROM, 자기 디스크, 광 디스크, 플래시 메모리 등 다양한 형태의 휘발성 또는 비휘발성 메모리를 포함하도록 구성될 수 있다.According to an embodiment of the present invention, the program memory module 206 may be any storage medium in which various programs that can be executed on the user terminal 102, such as various application programs and related data, are stored. According to an embodiment of the present invention, the program memory module 206 includes, for example, a phone dialing application, an email application, an instant messaging application, a camera application, a music playing application, a video playing application, an image management application, a map application, a browser application, and the like. Including various application programs and data related to execution of these programs may be stored. According to an embodiment of the present invention, the program memory module 206 may be configured to include various types of volatile or nonvolatile memory such as DRAM, SRAM, DDR RAM, ROM, magnetic disk, optical disk, and flash memory. .

본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 사용자 단말(102)의 각 컴포넌트 모듈과 통신하고 사용자 단말(102) 상에서 각종 연산을 수행할 수 있다. 본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 프로그램 메모리 모듈(206) 상의 각종 애플리케이션 프로그램을 구동 및 실행시킬 수 있다. 본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 필요한 경우, 사용자 입력 수신 모듈(202) 및 센서 모듈(204)에서 획득된 신호를 수신하고, 이들 신호에 관한 적절한 처리를 수행할 수 있다. 본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 필요한 경우, 통신 모듈(210)을 통해 외부로부터 수신되는 신호에 대해 적절한 처리를 수행할 수 있다.According to an embodiment of the present invention, the processing module 208 may communicate with each component module of the user terminal 102 and perform various operations on the user terminal 102. According to an embodiment of the present invention, the processing module 208 may drive and execute various application programs on the program memory module 206. According to an embodiment of the present invention, the processing module 208, if necessary, receives the signals obtained from the user input receiving module 202 and the sensor module 204, and can perform appropriate processing on these signals. have. According to an embodiment of the present invention, if necessary, the processing module 208 may perform appropriate processing on a signal received from the outside through the communication module 210.

본 발명의 일 실시예에 의하면, 통신 모듈(210)은, 사용자 단말(102)이 도 1의 통신망(104)을 통하여, 대화 이해 AI 서비스 서버(106) 및/또는 외부 서비스 서버(108)와 통신할 수 있게 한다. 본 발명의 일 실시예에 의하면, 통신 모듈(212)은, 예컨대 사용자 입력 수신 모듈(202) 및 센서 모듈(204) 상에서 획득된 신호가 소정의 프로토콜에 따라 통신망(104)을 통하여 대화 이해 AI 서비스 서버(106) 및/또는 외부 서비스 서버(108)로 전송되도록 할 수 있다. 본 발명의 일 실시예에 의하면, 통신 모듈(210)은, 예컨대 통신망(104)을 통하여 대화 이해 AI 서비스 서버(106) 및/또는 외부 서비스 서버(108)로부터 수신된 각종 신호, 예컨대 음성 및/또는 텍스트 형태의 자연어 응답을 포함한 응답 신호 또는 각종 제어 신호 등을 수신하고, 소정의 프로토콜에 따라 적절한 처리를 수행할 수 있다.According to an embodiment of the present invention, the communication module 210, the user terminal 102 through the communication network 104 of FIG. 1, the conversation understanding AI service server 106 and / or the external service server 108 and To be able to communicate. According to an embodiment of the present invention, the communication module 212 includes, for example, a user input receiving module 202 and a signal acquired on the sensor module 204 through the communication network 104 according to a predetermined protocol. It may be transmitted to the server 106 and/or the external service server 108. According to an embodiment of the present invention, the communication module 210, for example, through the communication network 104, the conversation understanding AI service server 106 and / or various signals received from the external service server 108, such as voice and / Alternatively, a response signal including a natural language response in a text format or various control signals may be received, and appropriate processing may be performed according to a predetermined protocol.

본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 사용자 입력에 대응하는 응답을 시각, 청각 및/또는 촉각 등 다양한 형태로써 출력할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 예컨대 LCD, LED, OLED, QLED 등의 기술에 기초한 터치 스크린 등의 각종 디스플레이 장치를 포함하고, 이들 디스플레이 장치를 통해 사용자 입력에 대응하는 시각적 응답, 예컨대 텍스트, 기호, 비디오, 이미지, 하이퍼링크, 애니메이션, 각종 노티스 등을 사용자에게 제시할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 예컨대 스피커 또는 헤드셋을 포함하고, 사용자 입력에 대응하는 청각적 응답, 예컨대 음성 및/또는 음향 응답을 스피커 또는 헤드셋을 통해 사용자에게 제공할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)는 모션/햅틱 피드백 생성부를 포함하고, 이를 통해 촉각적 응답, 예컨대 모션/햅틱 피드백을 사용자에게 제공할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 사용자 입력에 대응하는 텍스트 응답, 음성 응답 및 모션/햅틱 피드백 중 임의의 두 개이상의 조합을 동시에 제공할 수 있음을 알아야 한다.According to an embodiment of the present invention, the response output module 212 may output a response corresponding to a user input in various forms such as visual, auditory and/or tactile sense. According to an embodiment of the present invention, the response output module 212 includes various display devices such as touch screens based on technologies such as LCD, LED, OLED, and QLED, and responds to user input through these display devices. Visual responses such as text, symbols, videos, images, hyperlinks, animations, and various notifications may be presented to the user. According to an embodiment of the present invention, the response output module 212 includes, for example, a speaker or a headset, and provides an auditory response corresponding to the user input, for example, a voice and/or sound response, to the user through the speaker or headset. can do. According to an embodiment of the present invention, the response output module 212 may include a motion/haptic feedback generator, and may provide a tactile response, such as motion/haptic feedback, to a user through this. It should be noted that according to an embodiment of the present invention, the response output module 212 can simultaneously provide a combination of any two or more of a text response, a voice response, and a motion/haptic feedback corresponding to a user input.

도 3은, 본 개시의 일 실시예에 따른, 도 1의 대화 이해 AI 서비스 서버(106)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 대화 이해 AI 서비스 서버(106)는, 통신 모듈(302), 음성-텍스트 변환(Speech-To-Text; STT) 모듈(304), 자연어 이해(Natural Language Understanding; NLU) 모듈(306), 북마크 지식베이스(308), 사용자 데이터베이스(310), 북마크 관리 모듈(312), 대화 생성 모듈(314), 및 음성 합성(Text-To-Speech; TTS) 모듈(316)을 포함할 수 있다. 3 is a functional block diagram schematically showing a functional configuration of the conversation understanding AI service server 106 of FIG. 1 according to an embodiment of the present disclosure. As shown, the conversation understanding AI service server 106 includes a communication module 302, a speech-to-text (STT) module 304, a natural language understanding (NLU) module ( 306), a bookmark knowledge base 308, a user database 310, a bookmark management module 312, a conversation generation module 314, and a text-to-speech (TTS) module 316. have.

본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 소정의 유선 또는 무선 통신 프로토콜에 따라, 통신망(104)을 통하여, 대화 이해 AI 서비스 서버(106)가 사용자 단말(102) 및/또는 외부 서비스 서버(108)와 통신할 수 있게 한다. 본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 통신망(104)을 통해, 사용자 단말(102)로부터 전송되어 온, 사용자 입력(예컨대 터치 입력, 음성 입력 및/또는 텍스트 입력 등을 포함하며, 이로써 제한되지 않음)을 수신할 수 있다. 본 개시의 일 실시예에 의하면, 사용자 입력은 특정한 태스크 실행 또는 대화 응답의 요청 신호일 수 있다. According to an embodiment of the present disclosure, the communication module 302, through the communication network 104, according to a predetermined wired or wireless communication protocol, the conversation understanding AI service server 106 is the user terminal 102 and/or It makes it possible to communicate with the external service server 108. According to an embodiment of the present disclosure, the communication module 302 includes a user input (for example, a touch input, a voice input and/or a text input, etc.) transmitted from the user terminal 102 through the communication network 104. And, thereby, not limited to) can be received. According to an embodiment of the present disclosure, the user input may be a request signal for executing a specific task or responding to a conversation.

본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 전술한 사용자 입력과 함께 또는 그와 별도로, 통신망(104)을 통해, 사용자 단말(102)로부터 전송되어 온, 사용자 단말(102)의 상태 정보를 수신할 수 있다. 본 개시의 일 실시예에 의하면, 상태 정보는, 예컨대 전술한 사용자 입력 당시의 해당 사용자 단말(102)에 관련된 여러 가지 상태 정보(예컨대, 사용자 단말(102)의 물리적 상태, 사용자 단말(102)의 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(102) 주위의 환경 상태 정보 등)일 수 있다. 본 개시의 일 실시예에 의하면, 통신 모듈(302)은, 또한, 위 수신된 사용자 입력에 대응하여 대화 이해 AI 서비스 서버(106)에서 생성된 대화 응답(예컨대, 음성 및/또는 텍스트 형태의 자연어 대화 응답 등) 및/또는 제어 신호를, 통신망(104)을 통해, 사용자 단말(102)로 전달하기 위해 필요한 적절한 조치를 수행할 수 있다.According to an embodiment of the present disclosure, the communication module 302 is transmitted from the user terminal 102 through the communication network 104 together with or separately from the above-described user input. You can receive status information. According to an embodiment of the present disclosure, the state information is, for example, various state information related to the user terminal 102 at the time of the user input (e.g., the physical state of the user terminal 102, the physical state of the user terminal 102). It may be software and/or hardware status, environmental status information around the user terminal 102, etc.). According to an embodiment of the present disclosure, the communication module 302 may further include a conversation response generated by the conversation understanding AI service server 106 in response to the received user input (e.g., natural language in the form of voice and/or text). Conversation response, etc.) and/or control signals through the communication network 104 to the user terminal 102.

본 개시의 일 실시예에 의하면, STT 모듈(304)은, 통신 모듈(302)을 통해 수신된 사용자 입력 중 음성 입력을 수신하고, 수신된 음성 입력을 패턴 매칭 등에 기초하여 텍스트 데이터로 변환할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(304)은, 사용자의 음성 입력으로부터 특징을 추출하여 특징 벡터열을 생성할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(304)은, DTW(Dynamic Time Warping) 방식이나 HMM 모델(Hidden Markov Model), GMM 모델(Gaussian-Mixture Mode), 딥 신경망 모델, n-gram 모델 등의 다양한 통계적 모델에 기초하여, 텍스트 인식 결과, 예컨대 단어들의 시퀀스를 생성할 수 있다. 본 개시의 일 실시예에 의하면, STT 모듈(304)은, 수신된 음성 입력을 패턴 매칭에 기초하여 텍스트 데이터로 변환할 때, 후술하는 사용자 데이터베이스(310)의 각 사용자 특징적 데이터를 참조할 수 있다.According to an embodiment of the present disclosure, the STT module 304 may receive a voice input among user inputs received through the communication module 302, and convert the received voice input into text data based on pattern matching. have. According to an embodiment of the present disclosure, the STT module 304 may generate a feature vector sequence by extracting features from a user's voice input. According to an embodiment of the present disclosure, the STT module 304 is a DTW (Dynamic Time Warping) method, HMM model (Hidden Markov Model), GMM model (Gaussian-Mixture Mode), deep neural network model, n-gram model, etc. Based on the various statistical models of, it is possible to generate a text recognition result, such as a sequence of words. According to an embodiment of the present disclosure, when converting the received voice input into text data based on pattern matching, the STT module 304 may refer to each user characteristic data of the user database 310 to be described later. .

본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 통신 모듈(302) 또는 STT 모듈(304)로부터 텍스트 입력을 수신할 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)에서 수신되는 텍스트 입력은, 예컨대 통신 모듈(302)에서 통신망(104)을 통하여 사용자 단말(102)로부터 수신되었던 텍스트 입력(예컨대 사용자의 입력 또는 웹페이지의 텍스트 입력) 또는 통신 모듈(302)에서 수신된 음성 입력으로부터 STT 모듈(304)에서 생성된 텍스트 인식 결과, 예컨대 단어들의 시퀀스일 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 텍스트 입력을 수신하는 것과 함께 또는 그 이후에, 해당 사용자 입력과 연관된 상태 정보, 예컨대 해당 사용자 입력 당시의 사용자 단말(102)의 상태 정보 등을 수신할 수 있다. 전술한 바와 같이, 상태 정보는, 예컨대 사용자 단말(102)에서 사용자 음성 입력 및/또는 텍스트 입력 당시의 해당 사용자 단말(102)에 관련된 여러 가지 상태 정보(예컨대, 사용자 단말(102)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(102) 주위의 환경 상태 정보 등)일 수 있다.According to an embodiment of the present disclosure, the NLU module 306 may receive a text input from the communication module 302 or the STT module 304. According to an embodiment of the present disclosure, the text input received from the NLU module 306 is, for example, a text input received from the user terminal 102 through the communication network 104 in the communication module 302 (for example, a user's input or Text input of a web page) or a text recognition result generated in the STT module 304 from a voice input received in the communication module 302, for example, may be a sequence of words. According to an embodiment of the present disclosure, the NLU module 306, together with or after receiving the text input, includes status information associated with the user input, for example, status information of the user terminal 102 at the time of the user input. Etc. can be received. As described above, the state information is, for example, various state information related to the user terminal 102 at the time of the user's voice input and/or text input in the user terminal 102 (e.g., the physical state of the user terminal 102, It may be software and/or hardware status, environmental status information around the user terminal 102, etc.).

본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 후술하는 북마크 지식베이스(308)에 기초하여, 위 수신된 입력을 하나 이상의 엔티티(entity)에 대응시킬 수 있다. 여기서 엔티티 정보란, 예컨대 사용자의 자연어 입력 중에 포함될 수 있는 변수로서 날짜, 이름, 시간, 전화 번호, 주소, 주제 등과 같은 특정 속성 및 형식을 갖는 파라미터 정보 등일 수 있다. According to an embodiment of the present disclosure, the NLU module 306 may associate the received input with one or more entities based on the bookmark knowledge base 308 to be described later. Here, the entity information may be, for example, parameter information having a specific attribute and format such as date, name, time, phone number, address, subject, etc. as a variable that may be included in the user's natural language input.

본 개시의 일 실시예에 의하면, 북마크 지식베이스(308)는, 예컨대 미리 정의된 온톨로지 모델을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 온톨로지 모델은, 예컨대 노드들 간의 계층 구조로 표현될 수 있는데, 각 노드는 엔티티에 대응한 "엔티티" 노드 또는 "엔티티" 노드에 링크된 하위 "속성" 노드("엔티티" 노드에 직접 링크되거나 "엔티티" 노드의 "속성" 노드에 다시 링크된 하위 "속성" 노드) 중 하나일 수 있다. 본 개시의 일 실시예에 의하면, "엔티티" 노드와 그 "엔티티" 노드에 직접 또는 간접 링크된 "속성" 노드들은 하나의 도메인을 구성할 수 있고, 온톨로지는 이러한 도메인들의 집합으로 구성될 수 있다. 본 개시의 일 실시예에 의하면, 북마크 지식베이스(308)는, 예컨대 대화 이해 AI 에이전트 시스템이 이해하고 그에 대응한 동작을 수행할 수 있는 모든 엔티티들에 각각 대응하는 도메인들을 포함하도록 구성될 수 있다. 본 개시의 일 실시예에 의하면, 온톨로지 모델은, 노드의 추가나 삭제, 또는 노드 간의 관계의 수정 등에 의해 동적으로 변경될 수 있음을 알아야 한다.According to an embodiment of the present disclosure, the bookmark knowledge base 308 may include, for example, a predefined ontology model. According to an embodiment of the present disclosure, the ontology model may be expressed as, for example, a hierarchical structure between nodes, each node being a "entity" node corresponding to an entity or a lower "property" node linked to an "entity" node ( It may be one of the subordinate "property" nodes) linked directly to the "entity" node or back to the "property" node of the "entity" node. According to an embodiment of the present disclosure, an “entity” node and “attribute” nodes directly or indirectly linked to the “entity” node may constitute one domain, and an ontology may be constituted by a set of such domains. . According to an embodiment of the present disclosure, the bookmark knowledge base 308 may be configured to include domains respectively corresponding to all entities that, for example, the conversation understanding AI agent system can understand and perform an operation corresponding thereto. . It should be understood that according to an embodiment of the present disclosure, the ontology model may be dynamically changed by adding or deleting nodes, or modifying a relationship between nodes.

본 개시의 일 실시예에 의하면, 온톨로지 모델 내의 각 도메인의 엔티티 노드 및 속성 노드들은, 그에 대응하는 엔티티 또는 속성들에 관련된 단어들 및/또는 구절들과 각각 연관될 수 있다. 본 개시의 일 실시예에 의하면, 북마크 지식베이스(308)은, 온톨로지 모델을, 계층 구조의 노드들과, 각 노드 별로 연관된 단어들 및/또는 구절들의 집합으로 구성된, 예컨대 어휘 사전 형태(구체적으로 도시되지 않음)로 구현할 수 있고, NLU 모듈(306)은 이와 같이 어휘 사전 형태로 구현된 온톨로지 모델에 기초하여 엔티티를 결정할 수 있다. 예컨대, 본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 텍스트 입력 또는 단어들의 시퀀스를 수신하면, 그 시퀀스 내의 각 단어들이 온톨로지 모델 내의 어떤 도메인의 어떤 노드들에 연관되는지 결정할 수 있고, 그러한 결정에 기초하여 대응하는 엔티티를 결정할 수 있다. According to an embodiment of the present disclosure, entity nodes and attribute nodes of each domain in the ontology model may be associated with words and/or phrases related to the corresponding entity or attributes, respectively. According to an embodiment of the present disclosure, the bookmark knowledge base 308 comprises, for example, a vocabulary dictionary form (specifically, the ontology model is composed of nodes of a hierarchical structure, and a set of words and/or phrases associated with each node). Not shown), and the NLU module 306 may determine an entity based on the ontology model implemented in the form of a vocabulary dictionary. For example, according to an embodiment of the present disclosure, upon receiving a text input or a sequence of words, the NLU module 306 may determine which nodes of a domain in an ontology model are associated with each word in the sequence, The corresponding entity can be determined based on such a determination.

본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 북마크 지식베이스(308) 상의 어휘 사전 형태의 온톨로지 모델로부터 적절한 엔티티를 결정하고, 그로부터 실패케이스가 발생하는 경우, 소정의 규칙에 따라, 그 입력에 존재하는 복수의 검색어들을 분석하고 그에 기초하여 적절한 엔티티를 결정할 수 있다. According to an embodiment of the present disclosure, the NLU module 306 determines an appropriate entity from an ontology model in the form of a vocabulary dictionary on the bookmark knowledge base 308, and when a failure case occurs therefrom, according to a predetermined rule, A plurality of search terms present in the input can be analyzed and an appropriate entity can be determined based on them.

본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 수신된 입력 중에 존재하는 복수의 엔티티들의 관계를 분석한 결과와 함께 해당 입력 중에 존재하는 소정의 의미를 갖는 단어를 조합함으로써 엔티티를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 예컨대 쇼핑과 관련한 경우, 수신된 입력 중에, 크기, 색깔, 성능, 가격 등 품질을 나타내는 단어로서 같은 유형이되 다른 값을 갖는 엔티티 정보가 복수 회 나타나는 경우, 그러한 입력은 쇼핑 엔티티에 대응하도록 규칙을 정할 수 있다. According to an embodiment of the present disclosure, the NLU module 306 determines an entity by combining a result of analyzing a relationship between a plurality of entities present in a received input and a word having a predetermined meaning present in the corresponding input. I can. According to an embodiment of the present disclosure, for example, in the case of shopping, when entity information having the same type but different values appears multiple times as a word representing quality such as size, color, performance, price, etc., among received inputs, such The input can be ruled to correspond to the shopping entity.

본 개시의 일 실시예에 의하면, 사용자 데이터베이스(310)는, 각 사용자별 인증 정보를 포함한 각 사용자별 특징적 데이터를 저장 및 관리하는 데이터베이스일 수 있다. 본 개시의 일 실시예에 의하면, 사용자 데이터베이스(310)에 포함되는 각 사용자별 특징적 데이터는, 예컨대 각 사용자별로 해당 사용자의 이전 대화/거동 기록, 사용자의 발음 특징 정보, 사용자 어휘 선호도, 사용자의 소재지, 설정 언어, 연락처/친구 목록, 기타 다양한 사용자 특징적 정보를 포함할 수 있다. According to an embodiment of the present disclosure, the user database 310 may be a database that stores and manages characteristic data for each user including authentication information for each user. According to an embodiment of the present disclosure, the characteristic data for each user included in the user database 310 is, for example, a record of the user's previous conversation/behavior for each user, the user's pronunciation characteristic information, the user's vocabulary preference, and the user's location. , Setting language, contact/friend list, and various other user-specific information.

본 개시의 일 실시예에 의하면, 전술한 바와 같이, STT 모듈(304)은, 음성 입력을 텍스트 데이터로 변환할 때 사용자 데이터베이스(310)의 각 사용자 특징적 데이터, 예컨대 각 사용자별 발음 특징을 참조함으로써, 보다 정확한 텍스트 데이터를 얻을 수 있다. 본 개시의 일 실시예에 의하면, NLU 모듈(306)은, 엔티티를 결정할 때 사용자 데이터베이스(310)의 각 사용자 특징적 데이터, 예컨대 각 사용자별 특징이나 맥락을 참조함으로써, 보다 정확한 엔티티를 결정을 할 수 있다. 본 개시의 일 실시예에 의하면, 후술하는 바와 같이, 대화 생성 모듈(314)은, 대화 응답의 생성시, 사용자 데이터베이스(310)의 사용자 특징적 데이터를 참조할 수 있다.According to an embodiment of the present disclosure, as described above, the STT module 304 refers to each user characteristic data of the user database 310, for example, pronunciation characteristics for each user, when converting a voice input into text data. , More accurate text data can be obtained. According to an embodiment of the present disclosure, when determining an entity, the NLU module 306 refers to each user characteristic data of the user database 310, for example, a characteristic or context for each user, so that a more accurate entity can be determined. have. According to an embodiment of the present disclosure, as will be described later, the conversation generation module 314 may refer to user characteristic data of the user database 310 when generating a conversation response.

본 도면에서는, 각 사용자별 특징적 데이터를 저장 및 관리하는 사용자 데이터베이스(310)가 대화 이해 AI 서비스 서버(106)에 배치되는 것으로 도시되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 각 사용자별 특징적 데이터를 저장 및 관리하는 사용자 데이터베이스(310)는, 예컨대 사용자 단말(102)에 존재할 수도 있고, 사용자 단말(102) 및 대화 이해 AI 서비스 서버(106)에 분산되어 배치될 수도 있음을 알아야 한다.In this drawing, the user database 310 for storing and managing characteristic data for each user is illustrated as being disposed on the conversation understanding AI service server 106, but the present disclosure is not limited thereto. According to another embodiment of the present disclosure, the user database 310 for storing and managing characteristic data for each user may exist, for example, in the user terminal 102, and the user terminal 102 and the conversation understanding AI service server 106 ).

본 개시의 일 실시예에 의하면, 북마크 관리 모듈(312)은, 해당 웹페이지를 검색 정보와 함께 북마크로 저장하고 관리할 수 있다. 본 개시의 일 실시예에 의하면, 북마크 관리 모듈(312)은, 예컨대 NLU 모듈(306)로부터 수신된 엔티티, 검색할 때 사용자로부터 입력받은 검색어, 상기 웹페이지를 요약한 요약어를 포함하여 검색 정보를 생성할 수 있다.According to an embodiment of the present disclosure, the bookmark management module 312 may store and manage a corresponding web page as a bookmark together with search information. According to an embodiment of the present disclosure, the bookmark management module 312 includes, for example, an entity received from the NLU module 306, a search word input from a user when searching, and a summary word summarizing the web page. Can be created.

본 개시의 일 실시예에 의하면, TTS 모듈(316)은, 대화 생성 모듈(314)에 의해 사용자 단말(102)로 전송되도록 생성된 응답을 수신할 수 있다. TTS 모듈(316)에서 수신되는 대화 응답은 텍스트 형태를 갖는 자연어 또는 단어들의 시퀀스일 수 있다. 본 개시의 일 실시예에 의하면, TTS 모듈(316)은, 다양한 형태의 알고리즘에 따라, 위 수신된 텍스트 형태의 입력을 음성 형태로 변환할 수 있다.According to an embodiment of the present disclosure, the TTS module 316 may receive a response generated to be transmitted to the user terminal 102 by the conversation generating module 314. The conversation response received by the TTS module 316 may be a natural language having a text form or a sequence of words. According to an embodiment of the present disclosure, the TTS module 316 may convert the received text input into a speech form according to various types of algorithms.

도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 대화형 AI 에이전트 시스템이 사용자 단말(102)과 대화 이해 AI 서비스 서버(106) 간의 클라이언트-서버 모델, 특히 클라이언트는 오로지 사용자 입출력 기능만을 제공하고 그 외 대화형 AI 에이전트 시스템의 다른 모든 기능들을 서버에 위임된, 소위 "씬 클라이언트-서버 모델"에 기초하여 구현된 것과 같이 설명되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 대화형 AI 에이전트 시스템은 그 기능들이 사용자 단말과 서버 사이에 분배되어 구현될 수 있고, 또는 그와 달리 사용자 단말 상에 설치된 독립형 애플리케이션으로 구현될 수도 있음을 알아야 한다. 또한, 본 개시의 일 실시예에 따라 대화형 AI 에이전트 시스템이 그 기능들을 사용자 단말과 서버 사이에 분배하여 구현하는 경우, 클라이언트와 서버 사이의 대화형 AI 에이전트 시스템의 각 기능의 분배는 실시예마다 달리 구현될 수 있음을 알아야 한다. In the embodiment of the present disclosure described above with reference to FIGS. 1 to 3, the interactive AI agent system is a client-server model between the user terminal 102 and the dialogue understanding AI service server 106, in particular, the client is only a user input/output function. It is described as implemented based on the so-called "thin client-server model", which provides and delegates all other functions of the interactive AI agent system to the server, but the present disclosure is not limited thereto. It should be noted that according to another embodiment of the present disclosure, the interactive AI agent system may be implemented by distributing its functions between the user terminal and the server, or alternatively, may be implemented as a standalone application installed on the user terminal. . In addition, when the interactive AI agent system distributes and implements the functions between the user terminal and the server according to an embodiment of the present disclosure, distribution of each function of the interactive AI agent system between the client and the server is performed for each embodiment. It should be noted that it can be implemented differently.

또한, 도 1 내지 3을 참조하여 전술한 본 개시의 실시예에서는, 편의상 특정 모듈이 소정의 동작들을 수행하는 것처럼 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 위 설명에서 어느 특정 모듈에 의해 수행되는 것과 같이 설명된 동작들이, 그와 다른 별개의 모듈에 의해 각각 수행될 수 있음을 알아야 한다.In addition, in the embodiments of the present disclosure described above with reference to FIGS. 1 to 3, for convenience, a specific module has been described as performing predetermined operations, but the present disclosure is not limited thereto. It should be noted that according to another embodiment of the present disclosure, operations described as being performed by a specific module in the above description may be performed by separate modules different from the operations, respectively.

도 4는, 본 발명의 일 실시예에 따른, 도 3의 대화 이해 AI 서비스 서버(106)에 의해 수행되는 문맥기반 북마크 검색 방법의 예시적 동작 흐름도이다.4 is an exemplary operation flow diagram of a context-based bookmark search method performed by the conversation understanding AI service server 106 of FIG. 3 according to an embodiment of the present invention.

단계(402)에서, 대화 이해 AI 서비스 서버(106)는, 소정의 계층적 구조에 따라, 웹페이지를 상기 웹페이지의 검색 정보와 함께 북마크로 저장할 수 있다. 여기서 검색 정보는 사용자 단말로부터 입력받은 상기 웹페이지에 관련된 태그, 상기 웹페이지를 검색하여 북마크로 저장한 경우, 검색할 때 사용자로부터 입력받은 검색어, 상기 웹페이지를 요약한 요약어 중 적어도 하나를 포함할 수 있다. In step 402, the conversation understanding AI service server 106 may store a web page as a bookmark along with search information of the web page according to a predetermined hierarchical structure. Here, the search information includes at least one of a tag related to the web page input from the user terminal, a search word input from the user when the web page is searched and stored as a bookmark, and a summary word summarizing the web page. can do.

선택적으로, 대화 이해 AI 서비스 서버(106)는 검색 정보 각각에 대해서 관련 엔티티(entity)를 결정하고, 엔티티를 해당 웹페이지와 함께 저장할 수 있다. 본 발명의 일 실시예에서, 대화 이해 AI 서비스 서버(106)는, 북마크 지식베이스(308)를 기초로 대응하는 엔티티를 결정할 수 있다. 본 발명의 일 실시예에 의하면, 소정의 웹페이지와 관련하여 임의의 다양한 방식으로 수집된 검색 정보에 대해, 소정의 기준에 따라, 검색 정보의 각각의 키워드를 미리 정해진 엔티티 그룹들 중 하나로 분류 및 태깅할 수 있다. 본 발명의 일 실시예에 의하면, 엔티티는, 예컨대 사용자 또는 소정의 시스템에 의해 생성 및 제공된 것일 수 있다. 본 발명의 일 실시예에 의하면, 미리 정해진 엔티티 그룹들은, 예컨대 주어진 도메인에 속한 각각의 하위 엔티티 그룹들일 수 있다. 본 발명의 일 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 예컨대 여행 도메인에 속한 비행기 관련, 숙소 관련, 나라 별 자료, 맛집 자료의 하위 엔티티 그룹들 중 어느 하나로 각각의 검색 정보를 분류 및 태깅할 수 있다. 본 발명의 일 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 수집된, 각각의 엔티티 그룹별로 관련된 키워드들을 미리 선정하고 그 선정된 키워드들에 기초하여 검색 정보를 특정 엔티티 그룹으로 분류할 수 있다.Optionally, the conversation understanding AI service server 106 may determine a related entity for each search information, and store the entity together with the corresponding web page. In an embodiment of the present invention, the conversation understanding AI service server 106 may determine a corresponding entity based on the bookmark knowledge base 308. According to an embodiment of the present invention, for search information collected in any of various ways in connection with a predetermined web page, each keyword of the search information is classified into one of predetermined entity groups according to a predetermined criterion, and Can be tagged. According to an embodiment of the present invention, an entity may be created and provided by, for example, a user or a predetermined system. According to an embodiment of the present invention, predetermined entity groups may be, for example, respective sub-entity groups belonging to a given domain. According to an embodiment of the present invention, the conversation understanding AI service server 106 classifies each search information into one of sub-entity groups of, for example, flight-related, accommodation-related, country-specific data, and restaurant data belonging to a travel domain. And tagging. According to an embodiment of the present invention, the conversation understanding AI service server 106 pre-selects the collected, related keywords for each entity group, and classifies the search information into a specific entity group based on the selected keywords. I can.

예컨대, 특정 웹페이지에 대한 사용자의 태그 입력이 "#서초동 #일식집 #추천 #회"이고, 웹페이지를 북마크로 설정한 경우, 대화 이해 AI 서비스 서버(106)는 북마크 지식베이스(308)를 기초로 해당 웹페이지에 대한 엔티티로 “주소”, “맛집”, “메뉴”, “추천” 등을 결정할 수 있고, 해당 웹페이지에 대한 검색 정보는 "#서초동 #일식집 #추천 #회" 및 “서초동, 일식, 추천, 주소, 맛집, 메뉴” 등을 포함할 수 있다.For example, when a user's tag input for a specific web page is "#Seocho-dong #Japanese food restaurant #recommended #time", and the webpage is set as a bookmark, the conversation understanding AI service server 106 is a bookmark knowledge base 308. Based on the entity for the web page, “address”, “restaurant”, “menu”, “recommendation”, etc. can be determined, and the search information for the web page is “#Seocho-dong #Japanese restaurant #recommended #times” and It may include “Seocho-dong, Japanese food, recommendations, addresses, restaurants, and menus”.

본 발명의 일 실시예에 의하면, 대화 이해 AI 서비스 서버(106)는, 사용자의 웹페이지 방문기록의 리스트들 또한 해당 웹페이지와 함께 북마크로 저장할 수 있다. According to an embodiment of the present invention, the conversation understanding AI service server 106 may also store a list of the user's web page visit history as a bookmark along with the corresponding web page.

본 발명의 일 실시예에서, 소정의 계층적 구조는 사용자 또는 소정의 시스템에 의해 생성 및 제공된 것일 수 있다. 예컨대, 사용자는 직접 북마크의 계층적 구조를 설정할 수 있으며, 일부 웹브라우저 프로그램의 경우 기본적인 북마크 계층적 구조가 기 설정되어 있다.In one embodiment of the present invention, the predetermined hierarchical structure may be one created and provided by a user or a predetermined system. For example, a user can directly set a hierarchical structure of bookmarks, and in some web browser programs, a basic bookmark hierarchical structure is previously set.

단계(404)에서, 대화 이해 AI 서비스 서버(106)는 북마크된 웹페이지를 검색하기 위한 사용자의 입력을 수신하고, 사용자의 입력에 대응하는 엔티티를 결정할 수 있다. In step 404, the conversation understanding AI service server 106 may receive a user's input for searching for a bookmarked webpage, and determine an entity corresponding to the user's input.

단계(406)에서, 대화 이해 AI 서비스 서버(106)는 사용자의 입력 및 사용자 입력에 대응하는 엔티티를 사용자의 검색어로 설정할 수 있다. In step 406, the conversation understanding AI service server 106 may set the user's input and the entity corresponding to the user's input as the user's search word.

단계(408)에서, 대화 이해 AI 서비스 서버(106)는, 사용자의 검색어와 북마크된 웹페이지들 간의 유사도를 계산할 수 있다. In step 408, the conversation understanding AI service server 106 may calculate a similarity between the user's search word and the bookmarked web pages.

본 발명의 일 실시예에 따르면, 유사도에 대한 계산은 사용자의 검색어와 해당 웹페이지의 검색 정보를 이용하여 계산할 수 있으나 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따르면, 유사도에 대한 계산은 해당 검색어를 상용화된 검색 페이지에 검색어로 입력하여 얻은 결과 페이지 중 북마크된 웹페이지가 포함되었는지를 기초로 계산할 수 있다. According to an embodiment of the present invention, the similarity may be calculated using a user's search word and search information of a corresponding web page, but is not limited thereto. According to another embodiment of the present invention, the similarity may be calculated based on whether a bookmarked web page is included among result pages obtained by inputting a corresponding search word as a search word on a commercially available search page.

단계(410)에서, 대화 이해 AI 서비스 서버(106)는 소정의 제1 임계값을 초과하는 유사도를 가지는 북마크된 웹페이지의 리스트를 출력할 수 있다. 본 발명의 다른 실시예에 따르면, 대화 이해 AI 서비스 서버(106)는 사용자의 검색어와 사용자의 웹페이지 방문기록의 리스트들 간의 유사도를 계산하여, 소정의 제2 임계값을 초과하는 유사도를 가지는, 사용자의 웹페이지 방문기록에 포함된 웹페이지의 리스트를 출력할 수 있다. In step 410, the conversation understanding AI service server 106 may output a list of bookmarked web pages having a degree of similarity exceeding a predetermined first threshold. According to another embodiment of the present invention, the conversation understanding AI service server 106 calculates the similarity between the user's search word and the list of the user's web page visit history, and has a similarity that exceeds a predetermined second threshold, A list of web pages included in the user's web page visit history can be displayed.

단계(412)에서, 선택적으로, 대화 이해 AI 서비스 서버(106)는 검색창을 표시할 수 있다. 본 발명의 일 실시예에서, 검색결과 북마크된 웹페이지 또는 사용자의 방문기록에 포함된 웹페이지가 임계값을 만족하지 못하는 경우, 대화 이해 AI 서비스 서버(106)는 사용자로 하여금 새로운 검색 결과를 볼 수 있도록 사용자 단말로 검색창을 표시하는 데이터를 전송할 수 있다. In step 412, optionally, the conversation understanding AI service server 106 may display a search box. In one embodiment of the present invention, when a web page bookmarked as a search result or a web page included in the user's visit history does not satisfy the threshold, the conversation understanding AI service server 106 allows the user to view the new search result. Data that displays the search box can be transmitted to the user terminal so that it can be used.

당업자라면 알 수 있듯이, 본 발명이 본 명세서에 기술된 예시에 한정되는 것이 아니라 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 본 명세서에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있음을 알아야 한다.As will be appreciated by those skilled in the art, the present invention is not limited to the examples described herein, and various modifications, reconfigurations, and substitutions can be made without departing from the scope of the present invention. It should be understood that the various techniques described herein may be implemented by hardware or software, or a combination of hardware and software.

본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 있다. 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.A computer program according to an embodiment of the present invention includes a storage medium readable by a computer processor, such as EPROM, EEPROM, nonvolatile memory such as a flash memory device, a magnetic disk such as an internal hard disk and a removable disk, a magneto-optical disk, and It can be implemented in a form stored in various types of storage media, including a CDROM disk. Also, the program code(s) may be implemented in assembly language or machine language. It is intended to cover all modifications and changes belonging to the true spirit and scope of the present invention by the following claims.

Claims

As a method of providing a context-based bookmark search service performed by a dialogue understanding AI service server,
Bookmarking and storing a web page along with search information of the web page according to a predetermined hierarchical structure-The search information is stored as a bookmark by searching for a tag related to the web page and the web page received from a user terminal. In one case, the search includes at least one of a search word input from a user and a summary word summarizing the web page -;
Receiving a user's input for searching for a bookmarked web page from the user terminal;
Determining an entity corresponding to the user's input, and setting the user input and the entity as a search word;
Calculating a similarity between the user's search word and the bookmarked web pages;
Determining whether the highest degree of similarity exceeds a predetermined threshold value; And
Displaying a list of at least one bookmarked webpage from among the bookmarked webpages having a high similarity when the highest similarity exceeds a first threshold;
How to provide a bookmark service comprising a.

The method of claim 1,
The step of calculating the similarity between the user's search word and the bookmarked web pages
Calculating a similarity between the search information of the web page and the user's search word; or
A method of providing a bookmark service comprising at least one of calculating the similarity based on a result of searching for web pages included in a list of web pages bookmarked with the search word.

The method of claim 1,
The calculating of the similarity includes calculating based on whether a bookmarked web page is included among result pages obtained by inputting the search word as a search word into a commercially available search engine.

The method of claim 1,
The above method is
Calculating a similarity between the search word and the lists of the user's webpage visit history, and outputting a list of webpages included in the user's webpage visit record having a similarity that exceeds a predetermined second threshold Method of providing a bookmark service further comprising.

According to claim 4
The above method is
The method of providing a bookmark service further comprising the step of displaying a search box.