KR102370373B1

KR102370373B1 - Method for Providing Information and Device thereof

Info

Publication number: KR102370373B1
Application number: KR1020150044996A
Authority: KR
Inventors: 반대현
Original assignee: 삼성전자주식회사
Priority date: 2014-07-31
Filing date: 2015-03-31
Publication date: 2022-03-04
Also published as: KR20160016545A

Abstract

일 실시예에 따른 커뮤니케이션 중에 검색 서비스를 제공하는 전자기기는, 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 디스플레이부; 및 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 메시지로부터 상기 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 할 수 있다.An electronic device for providing a search service during communication according to an embodiment includes a display unit for displaying a message exchanged between the electronic device and another electronic device through the communication on an execution screen of an application in which the communication is performed; and extracting the at least one keyword from the message based on the type of word, the relationship between the words, and the meaning of the word included in the message displayed on the execution screen of the application, and and a processor for determining a search term of the search service by using location information, wherein the display unit displays a part corresponding to the extracted keyword used to determine the search term from among the displayed messages to be distinguished from other parts. can be characterized.

Description

A method for providing information and an electronic device therefor

본 발명은 정보 제공하는 방법 및 이를 위한 전자기기에 관한 것이다.The present invention relates to a method for providing information and an electronic device therefor.

최근 휴대용 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활 필수품으로 자리매김하게 되었다. 이와 같은 휴대 단말기는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가 서비스도 제공할 수 있게 되어 다양한 기능을 제공하고 있다.With the recent rapid increase in the penetration rate of portable terminals, portable terminals have become a necessity for modern people's lives. Such a mobile terminal is able to provide not only a unique voice call service, but also various data transmission services and various additional services, thereby providing various functions.

특히, 스마트 단말기를 이용하여 사용자간의 커뮤니케이션이 활성화 되어 가고 있다. 이러한 활성화 추세와 함께, 커뮤니케이션에서 보다 편리한 대화 환경을 제공하는 여러가지 기술이 개발되고 있다. In particular, communication between users using smart terminals is becoming active. Along with this trend of activation, various technologies that provide a more convenient conversational environment in communication are being developed.

하지만, 현재까지 상용화된 기술들은 사용자를 일률적으로 고려하고 있을 뿐이고, 사용자의 위치와 같은 정보에 대해서는 맞춤형으로 제공하지 못하고 있다.However, the technologies commercialized so far only consider the user uniformly, and do not provide customized information such as the user's location.

본 발명이 이루고자 하는 기술적 과제는 전자기기에서 사용자의 위치 정보를 고려하여 사용자의 관심 정보 제공하는 방법, 사용자의 관심 정보 획득하는 방법 및 이를 위한 전자기기를 제공하는데 있다. An object of the present invention is to provide a method for providing user's interest information in consideration of user's location information in an electronic device, a method for obtaining user's interest information, and an electronic device for the same.

또한, 본 발명이 이루고자 하는 기술적 과제는 어플리케이션을 사용하는 중에 사용자가 필요로 할 수 있는 검색어(query)를 생성하고, 검색을 수행하여 관심 정보를 획득하는 전자기기를 제공하는데 있다.In addition, the technical problem to be achieved by the present invention is to provide an electronic device that generates information of interest by generating a query that a user may need while using an application, and performing a search.

본 발명의 일 실시예에 따른 커뮤니케이션 중에 검색 서비스를 제공하는 전자기기는 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 디스플레이부; 및 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지로부터 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 한다. An electronic device for providing a search service during communication according to an embodiment of the present invention includes: a display unit for displaying a message exchanged between the electronic device and another electronic device through the communication on an execution screen of an application in which the communication is performed; and a processor extracting at least one keyword from a message displayed on the execution screen of the application, and determining a search term of the search service using the extracted keyword and location information of the electronic device, wherein the display unit It is characterized in that a portion corresponding to the extracted keyword used to determine the search word among the displayed message is displayed to be distinguished from other portions.

예를 들어, 상기 디스플레이부는 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 포함하고, 상기 프로세서는 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하고, 상기 디스플레이부는 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 것을 특징으로 할 수 있다. For example, the display unit includes a graphical user interface (GUI) for receiving a user input for selecting a portion corresponding to the displayed keyword, the processor obtains information based on the search word in response to the user input, , the display unit may be characterized in that the information obtained in response to the user input is displayed.

예를 들어, 상기 프로세서는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득 할 수 있다.For example, the processor may acquire information through at least one of an application service and an Internet search service.

예를 들어, 상기 프로세서는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득 할 수 있다.For example, the processor may execute an application installed on the electronic device in response to the user input, and may acquire the information by inputting the determined search word into the executed application.

예를 들어, 상기 디스플레이부는, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 더 포함하고, 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이 할 수 있다.For example, the display unit may further include a graphic user interface (GUI) for receiving a user input for selecting a portion corresponding to the displayed keyword, and may display a search word editing window in response to the user input.

예를 들어, 상기 디스플레이부는 상기 검색어 편집창을 통하여 상기 프로세서에서 결정된 검색어를 디스플레이하고, 사용자가 편집한 검색어를 수신 할 수 있다.For example, the display unit may display the search word determined by the processor through the search word editing window, and receive the search word edited by the user.

예를 들어, 상기 프로세서는 사용자가 편집한 검색어를 통하여 정보를 획득 할 수 있다.For example, the processor may acquire information through a search word edited by a user.

예를 들어, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출될 수 있다. For example, the location information of the electronic device may be measured through a Global Positioning System (GPS) module included in the electronic device or may be extracted from the message.

예를 들어, 상기 프로세서는 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정 할 수 있다.For example, the processor may determine the search term of the search service by using location information extracted from the message rather than location information measured from the GPS module.

예를 들어, 상기 프로세서는 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정 할 수 있다.For example, the processor may determine the search word based on user-related information included in the electronic device.

예를 들어, 상기 프로세서는 상기 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 적어도 하나의 키워드를 추출 할 수 있다.For example, the processor may extract the at least one keyword based on a type of a word, a relationship between words, and a meaning of a word included in the message.

본 발명의 다른 실시예에 따른 전자기기에서 커뮤니케이션 중에 검색 서비스를 제공하는 방법에 있어서, 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 단계; 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지로부터 적어도 하나의 키워드를 추출하는 단계; 및 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 단계를 포함하며, 상기 디스플레이하는 단계는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 할 수 있다. In the method of providing a search service during communication in an electronic device according to another embodiment of the present invention, a message exchanged between the electronic device and another electronic device through the communication is displayed on an execution screen of an application in which the communication is performed to do; extracting at least one keyword from a message displayed on the execution screen of the application; and determining a search term of the search service by using the extracted keyword and the location information of the electronic device, wherein the displaying includes the extracted keyword used to determine the search term from among the displayed messages. It may be characterized in that the corresponding part is displayed to be distinguished from other parts.

예를 들어, 상기 검색 서비스 제공 방법은, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하는 단계; 및 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 단계를 더 포함 할 수 있다.For example, the search service providing method may include: receiving a user input for selecting a portion corresponding to the displayed keyword; obtaining information based on the search word in response to the user input; and displaying information obtained in response to the user input.

예를 들어, 상기 정보를 획득하는 단계는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득 할 수 있다.For example, the acquiring of the information may include acquiring the information through at least one of an application service and an Internet search service.

예를 들어, 상기 정보를 획득하는 단계는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득 할 수 있다.For example, the acquiring of the information may include executing an application installed on the electronic device in response to the user input, and inputting the determined search word into the executed application to acquire the information.

예를 들어, 상기 검색 서비스 제공 방법은, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이하는 단계를 더 포함 할 수 있다.For example, the search service providing method may include: receiving a user input for selecting a portion corresponding to the displayed keyword; and displaying a search word editing window in response to the user input.

예를 들어, 상기 검색 서비스 제공 방법은, 상기 검색어 편집창을 통하여 상기 결정된 검색어를 디스플레이하는 단계; 및 사용자가 편집한 검색어를 수신하는 단계를 더 포함 할 수 있다.For example, the method of providing the search service may include: displaying the determined search word through the search word editing window; and receiving the search word edited by the user.

예를 들어, 상기 정보를 획득하는 단계는 사용자가 편집한 검색어를 통하여 정보를 획득 할 수 있다.For example, in the acquiring of the information, the information may be acquired through a search word edited by a user.

예를 들어, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출되는 것을 특징으로 할 수 있다.For example, the location information of the electronic device may be measured through a Global Positioning System (GPS) module included in the electronic device or may be extracted from the message.

예를 들어, 상기 검색어를 결정하는 단계는, 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정 할 수 있다.For example, in the determining of the search word, the search word of the search service may be determined by using location information extracted from the message rather than location information measured from the GPS module.

예를 들어, 상기 검색어를 결정하는 단계는, 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정 할 수 있다.For example, the determining of the search word may include determining the search word based on user-related information included in the electronic device.

예를 들어, 상기 키워드를 추출하는 단계는, 상기 프로세서는 상기 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 적어도 하나의 키워드를 추출 할 수 있다.For example, in the extracting of the keyword, the processor may extract the at least one keyword based on a type of a word included in the message, a relationship between words, and a meaning of the word.

본 발명의 다른 실시예에 따른 전자기기는 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 화면에 디스플레이하는 디스플레이부; 및 상기 메시지를 이용하여 적어도 하나의 키워드를 결정하고, 상기 결정된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어 결정에 이용된 상기 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시할 수 있다.An electronic device according to another embodiment of the present invention includes: a display unit for displaying a message received from another electronic device and a message transmitted to another electronic device on a screen in chronological order; and a processor for determining at least one keyword using the message and determining a search term of a search service based on the determined keyword and user context information, wherein the display unit is used to determine the search term from among the displayed messages A part corresponding to the keyword may be displayed to be distinguished from other parts.

상기 프로세서는 상기 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 상기 키워드를 결정할 수 있다. 상기 프로세서는 상기 검색어를 이용하여 검색을 수행하고, 상기 디스플레이부에 표시된 상기 키워드에 대응되는 부분을 선택하는 사용자 입력에 기초하여 상기 검색 결과를 상기 디스플레이부에 표시할 수 있다.The processor may determine the keyword by using the previous message and the current message displayed on the display unit. The processor may perform a search using the search word and display the search result on the display unit based on a user input for selecting a portion corresponding to the keyword displayed on the display unit.

상기 프로세서는 상기 디스플레이부에 표시된 상기 키워드에 대응되는 부분을 선택하는 사용자 입력에 기초하여 상기 키워드에 대응하는 검색어를 이용하여 검색을 수행하고, 상기 검색 결과를 상기 디스플레이부에 표시할 수 있다.The processor may perform a search using a search word corresponding to the keyword based on a user input for selecting a portion corresponding to the keyword displayed on the display unit, and may display the search result on the display unit.

상기 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보 중 적어도 하나를 포함할 수 있다. 상기 프로세서는 상기 검색 결과를 상기 메시지가 표시된 상태에서 상기 디스플레이에 표시할 수 있다. 상기 구별되어 표시된 상기 키워드에 대응되는 부분은 일정 시간 지난 후에 원래 상태로 표시될 수 있다.The context information may include at least one of location information of the user, communication record information of the user, and search history information of the user. The processor may display the search result on the display while the message is displayed. The portion corresponding to the differentiated and displayed keyword may be displayed in its original state after a predetermined period of time has elapsed.

도 1a은 본 발명의 일 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
도 1b은 본 발명의 다른 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 2b는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 2c는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 3 내지 도 7은 메시징 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 8 내지 도 10은 음성 채팅 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 11 내지 도 15은 메일링 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 16 내지 도 19은 소셜 네트워크 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 20은 스케쥴러 서비스를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 21은 문서 편집기 앱(App)를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 22 내지 도 27은 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22a 내지 도 22i는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC 이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23a 내지 도 23e는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24a 내지 도 24F는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 25a 및 도 25b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch) 및 스마트 워치(Smart Watch)와 연동되는 전자기기(101)인 스마트 폰(Smart Phone)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 26a 및 도 26b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 27a 및 도 27b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 28a 및 도 28b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 29a 및 도 29b는 전자기기(100)가 다양한 전자기기(100)이고, 스마트 안경(Smart Glasses)이고, 사용자가 다양한 전자기기(100)을 통하여 음성 채팅 및 텍스트 채팅 중 적어도 하나를 이용하여 커뮤니케이션을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 30 내지 도 31는 본 발명의 일 실시예에 따른 전자기기(100)에서 제공하는 환경 설정 유저 인터페이스를 도시하는 도면이다.
도 32 내지 도 35는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 36은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 도면이다.
도 37은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.
도 38은 도 36에서 도시한 자연어 처리기(1200) 및 도 37에서 도시한 자연어 처리기(3200)의 세부 구성도이다.
도 39는 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블록도이다.
도 40은 본 발명의 일 실시예에 따른 전자기기(100)가 개체 인식하는 동작을 설명하기 위한 블록도이다.
도 41은 본 발명의 일 실시예에 따른 전자기기(100)가 개체 인식하여 작성하는 테이블 차트이다.
도 44에 도시된 사용자 단말 장치(1000)은 도 1의 전자기기(100)의 세부 구성도이다.
도 45a은 본 개시의 일 실시 예에 따른 사용자 단말 장치(1000)의 소프트웨어 구성을 나타내는 블록도이다.
도 45b는 본 발명의 일 실시 예에 따른 전자기기에서 제공하는 사용자 설정화면이다.
도 46은 본 발명의 일 실시예를 설명하기 위한 전자기기(2000)의 유저 인터페이스(UI)를 도시하는 도면이다. 전자기기(2000)는 도 1의 전자기기(100) 일 수 있다.1A is a diagram illustrating a user interface (UI) of an electronic device 100 for explaining an embodiment of the present invention.
1B is a diagram illustrating a user interface (UI) of the electronic device 100 for explaining another embodiment of the present invention.
2A is a flowchart illustrating an information providing method of the electronic device 100 according to an embodiment of the present invention.
2B is a flowchart illustrating an information providing method of the electronic device 100 according to another embodiment of the present invention.
2C is a flowchart illustrating an information providing method of the electronic device 100 according to another embodiment of the present invention.
3 to 7 are diagrams for explaining a specific user interface environment provided in communication through a messaging service.
8 to 10 are diagrams for explaining a specific user interface environment provided in communication through a voice chat service.
11 to 15 are diagrams for explaining a specific user interface environment provided in communication through a mailing service.
16 to 19 are diagrams for explaining a specific user interface environment provided in communication through a social network service.
20 is a diagram for explaining a specific user interface environment provided while using a scheduler service.
21 is a diagram for explaining a specific user interface environment provided while using a text editor App.
22 to 27 are diagrams illustrating a method in which the electronic device 100 provides acquired information to a user through an output interface.
22A to 22I show when the electronic device 100 is a smart phone or a tablet PC and a user is chatting text through a smart phone or a tablet PC, the electronic device It is a diagram illustrating a method in which information 100 is provided to a user through an output interface.
23A to 23E show when the electronic device 100 is a smart phone or a tablet PC and the user is conducting voice chatting through a smart phone or a tablet PC, the electronic device It is a diagram illustrating a method in which information 100 is provided to a user through an output interface.
24A to 24F show information obtained by the electronic device 100 through an output interface when the electronic device 100 is a smart watch and the user is chatting text through the smart watch. It is a diagram showing a method of providing to a user.
25a and 25b show the electronic device 100 is a smart watch, and the user shows a smart watch and a smart phone, which is an electronic device 101 that is interlocked with the smart watch. It is a diagram illustrating a method of providing information obtained by the electronic device 100 to a user through an output interface in the case of text chatting through the interface.
26A and 26B show information obtained by the electronic device 100 through an output interface when the electronic device 100 is a smart watch and the user is conducting voice chatting through the smart watch. It is a diagram showing a method of providing to a user.
27A and 27B show information obtained by the electronic device 100 through an output interface when the electronic device 100 is smart glasses and a user is chatting text through smart glasses. It is a diagram showing a method of providing to a user.
28A and 28B show information obtained by the electronic device 100 through an output interface when the electronic device 100 is smart glasses and the user is having voice chatting through smart glasses. It is a diagram showing a method of providing to a user.
29A and 29B show that the electronic device 100 is a variety of electronic devices 100, smart glasses, and a user communicates using at least one of voice chatting and text chatting through various electronic devices 100. It is a diagram illustrating a method in which the electronic device 100 provides the acquired information to a user through an output interface in the case of doing .
30 to 31 are diagrams illustrating an environment setting user interface provided by the electronic device 100 according to an embodiment of the present invention.
32 to 35 are flowcharts illustrating an information providing method of the electronic device 100 according to an embodiment of the present invention.
36 is a diagram illustrating an electronic device 1000 according to an embodiment of the present invention.
37 is a block diagram illustrating an electronic device 1000 according to an embodiment of the present invention.
38 is a detailed configuration diagram of the natural language processor 1200 shown in FIG. 36 and the natural language processor 3200 shown in FIG. 37 .
39 is a block diagram illustrating a configuration of a user terminal device according to an embodiment of the present disclosure.
40 is a block diagram illustrating an operation of recognizing an object by the electronic device 100 according to an embodiment of the present invention.
41 is a table chart created by recognizing an object by the electronic device 100 according to an embodiment of the present invention.
The user terminal device 1000 shown in FIG. 44 is a detailed configuration diagram of the electronic device 100 of FIG. 1 .
45A is a block diagram illustrating a software configuration of the user terminal device 1000 according to an embodiment of the present disclosure.
45B is a user setting screen provided by an electronic device according to an embodiment of the present invention.
46 is a diagram illustrating a user interface (UI) of an electronic device 2000 for explaining an embodiment of the present invention. The electronic device 2000 may be the electronic device 100 of FIG. 1 .

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, throughout the specification, when a part is "connected" with another part, it is not only "directly connected" but also "electrically connected" with another element interposed therebetween. include In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .

명세서 전체에서 "사용자"는 전자기기의 사용자를 의미할 수 있다. 명세서 전체에서 커뮤니케이션 서비스는 사용자간의 대화와 같이, 사용자들간에 정보를 주고 받는 것을 용이하게 해주는 일대일(one to one), 일대다(one to many), 다대다(many to many) 서비스를 의미할 수 있다. Throughout the specification, "user" may mean a user of an electronic device. Throughout the specification, communication service may refer to one-to-one, one-to-many, and many-to-many services that facilitate exchange of information between users, such as conversations between users. there is.

명세서 전체에서 애플리케이션(Application)은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 애플리케이션(Application)은 앱(App)이라고 표현될 수 있다. Throughout the specification, an application refers to a set of computer programs designed to perform a specific task. The applications described herein may vary. For example, there may be a game application, a video playback application, a map application, a memo application, a calendar application, a phone book application, a broadcast application, an exercise support application, a payment application, a photo folder application, and the like, but is not limited thereto. An application may be expressed as an app.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 명세서에서 메시지는 사용자들 간에 주고 받은 대화의 일부분으로 하나 이상의 단어(word), 하나 이상의 어구(phrase) 및 하나 이상의 문구(clause) 중 적어도 하나를 포함하는 텍스트의 단위 묶음이거나 음성의 단위 묶음을 의미할 수 있다.In the present specification, a message is a part of a conversation exchanged between users, and is a unit bundle of text including at least one of one or more words, one or more phrases, and one or more phrases or a unit bundle of voices. can mean

본 명세서에서 키워드는 메시지에 포함되는 것으로, 메시지를 자연어 해석하여 획득한 메시지의 의미와 관련된 단어(word), 어구(phrase), 및 문구(clause)를 의미할 수 있다.In the present specification, a keyword is included in a message, and may mean a word, a phrase, and a phrase related to the meaning of the message obtained by interpreting the message in natural language.

본 명세서에서 검색어는 검색 조건에 맞는 정보를 찾아내기 위한 기본이 되는 단어(word), 어구(phrase), 및 문구(clause)를 의미할 수 있다. In the present specification, a search word may mean a word, a phrase, and a phrase, which are basic for finding information that meets a search condition.

도 1a은 본 발명의 일 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.1A is a diagram illustrating a user interface (UI) of an electronic device 100 for explaining an embodiment of the present invention.

전자기기(100)는 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 웨어러블 디바이스, PDA(Personal Digital Assistant), 랩탑 컴퓨터(Laptop Computer), 휴대폰(Cell Phone), 이동 전화기(Mobile Phone), EDA (Enterprise Digital Assistant), PMP(Portable Multimedia Player), PND(personal Navigation Device 또는 Portable Navigation Device), 휴대용 게임 콘솔(Handheld Game Console), 모바일 인터넷 장치(Mobile Internet Device(MID)), 또는 e-북(e-Book)으로 구현될 수 있다.The electronic device 100 includes a smart phone, a tablet PC, a wearable device, a personal digital assistant (PDA), a laptop computer, a cell phone, a mobile phone, and an EDA. (Enterprise Digital Assistant), PMP (Portable Multimedia Player), PND (Personal Navigation Device or Portable Navigation Device), Handheld Game Console, Mobile Internet Device (MID), or e-Book ( e-Book) can be implemented.

본 명세서에서 웨어러블 디바이스는 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 `HMD`라 함)를 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 웨어러블 디바이스는, 반지, 목걸이, 팔찌, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수도 있다. In the present specification, the wearable device may include a head mounted display (HMD: Head mounted display, hereinafter referred to as 'HMD') that can be mounted on the head. For example, the head mounted display HMD may include, but is not limited to, glasses, a helmet, a hat, and the like. In the present specification, the wearable device may include a ring, a necklace, a bracelet, shoes, an earring, a hairband, clothes, gloves, a thimble, and the like.

본 발명의 일 실시예에 따른 전자기기(100)는 커뮤니케이션 서비스를 통해서 화면에 메시지(5,6,7,8)가 표시될 수 있다. 본 명세서에서 메시지는 사용자들 간에 주고 받은 대화의 일부분으로 전자기기(100)와 다른 전자기기(미도시) 간에 한 세트의 시퀀스로 송수신되는 텍스트의 단위 묶음이거나 음성의 단위 묶음을 의미할 수 있다. 예를 들어, 도 1a에서 Chris가 Hyunjin에게 2013.8.6 8:28 에 송신한 `What do you want to do?`는 메시지(7)이다. 또한, 예를 들어, 도 1a에서 Hyunjin이 Chris에게 2013.8.6 8:30에 송신한 `I want to eat pizza.`는 메시지(8)이다. 예를 들어, 도 1a에서 Chris와 Hyunjin의 대화에서 각각의 말풍선에 포함된 부분은 하나의 메시지를 의미할 수 있다.In the electronic device 100 according to an embodiment of the present invention, messages 5, 6, 7, and 8 may be displayed on the screen through a communication service. In the present specification, a message is a part of a conversation exchanged between users, and may mean a unit bundle of texts or voice units transmitted and received in a set sequence between the electronic device 100 and another electronic device (not shown). For example, in FIG. 1A , 'What do you want to do?' is the message 7 that Chris sent to Hyunjin on August 28, 2013 at 8:28. Also, for example, in FIG. 1A , 'I want to eat pizza.' that Hyunjin sent to Chris at 8:30 on August 6, 2013 is the message (8). For example, in the conversation between Chris and Hyunjin in FIG. 1A , a portion included in each speech bubble may mean one message.

본 발명의 일 실시예에 따른 전자기기(100)는 메시지에서 키워드를 추출할지 여부를 판단할 수 있다. 본 발명의 일 실시예에 따른 전자기기(100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드를 추출할 수 있다. 키워드는 메시지에 포함되거나 메시지의 내용과 연관되는 것으로, 메시지의 의미와 관련된 단어(word), 어구(phrase) 및 문구(clause) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자기기는 메시지(8)에서 키워드를 `pizza`로 추출할 수 있다. The electronic device 100 according to an embodiment of the present invention may determine whether to extract a keyword from the message. The electronic device 100 according to an embodiment of the present invention may extract at least one keyword from a message displayed on a screen through a communication service. The keyword is included in the message or related to the content of the message, and may include at least one of a word, a phrase, and a clause related to the meaning of the message. For example, the electronic device may extract the keyword from the message 8 as 'pizza'.

본 발명의 일 실시예에 따른 전자기기(100)는 추출된 키워드를 표시할 수 있다. 도 1a에서는 밑줄(Underline)을 통하여 키워드를 표시하는 것으로 도시하였으나, 전자기기(100)는 글자체 변경, 글자 크기 변경, 하이라이트, 굵은 글씨, 밑줄표시, 글자 깜박임, 글씨의 음영처리, 말풍선의 음영처리를 통하여 키워드를 메시지(8)의 다른 부분과 구별하여 표시할 수 있다.The electronic device 100 according to an embodiment of the present invention may display the extracted keyword. 1A, keywords are displayed through an underline, but in the electronic device 100, font change, font size change, highlight, bold text, underline display, text blinking, text shading, and speech bubble shading Through , the keyword can be displayed separately from other parts of the message (8).

본 발명의 일 실시예에 따른 전자기기(100)는 메시지를 통하여 추출된 키워드와 관련된 검색어를 생성하고, 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득 할 수 있다. 검색어는 검색 조건에 맞는 정보를 찾아내기 위하여 기본이 되는 단어(word), 어구(phrase) 및 문구(clause) 중 적어도 하나를 의미할 수 있다. 검색어는 키워드와 관련될 수 있다. 검색어는 하나 이상의 키워드를 기초로 생성될 수 있다. The electronic device 100 according to an embodiment of the present invention may generate a search word related to a keyword extracted through a message, and obtain information based on the search word and location information of the electronic device. The search word may mean at least one of a word, a phrase, and a phrase, which are basic to find information that meets a search condition. A search term may be related to a keyword. A search term may be generated based on one or more keywords.

본 발명의 다른 실시예에 따른 전자기기(100)는 키워드 및 전자기기(100)의 위치정보를 기초로 검색어를 생성할 수 있다. 예를 들어, 전자기기(100)는 키워드 및 전자기기(100)의 위치정보를 기초로 생성된 검색어를 통하여 정보를 획득하고 디스플레이 할 수 있다. The electronic device 100 according to another embodiment of the present invention may generate a search word based on a keyword and location information of the electronic device 100 . For example, the electronic device 100 may acquire and display information through a keyword and a search word generated based on location information of the electronic device 100 .

전자기기(100)는 전자기기 내의 정보를 획득하거나, 서버에서 검색한 정보를 획득할 수 있다. 전자기기(100)는 검색 사이트를 통하여 정보를 획득할 수 있다. The electronic device 100 may acquire information in the electronic device or acquire information searched for in a server. The electronic device 100 may acquire information through a search site.

또한, 전자기기(100)는 프로세서에서 획득된 정보를 제공 할 수 있다. 정보를 제공한다는 것은 정보를 사용자가 인식할 수 있도록 보여주거나 들려주는 것을 의미할 수 있다. 예를 들어, 전자기기(100)는 메시지(8)의 다른 부분과 구분하여 표시된 키워드를 사용자가 터치하는 경우 획득된 정보를 제공할 수 있다. In addition, the electronic device 100 may provide information obtained from the processor. Providing the information may mean showing or telling the information so that the user can recognize it. For example, the electronic device 100 may provide the obtained information when the user touches a keyword displayed separately from other parts of the message 8 .

또한, 전자기기(100)의 프로세서는 메시지(8)의 다른 부분과 구분하여 표시된 키워드와 관련된 정보를 유저의 요청과 무관하게 획득하여 전자기기(100)의 메모리(미도시)에 저장해둘 수 있다. 또한, 전자기기는 유저의 요청과 무관하게 획득하여 전자기기(100)의 메모리(미도시)에 저장해둔 정보를 사용자가 하이라이트 표시된 키워드를 터치하는 경우, 전자기기(100)의 메모리로부터 출력하여 사용자에게 제공할 수 있다.In addition, the processor of the electronic device 100 may obtain information related to the displayed keyword separately from other parts of the message 8 irrespective of the user's request and store it in the memory (not shown) of the electronic device 100 . . In addition, when the user touches the highlighted keyword, the electronic device obtains information irrespective of the user's request and stores it in the memory (not shown) of the electronic device 100 from the memory of the electronic device 100 to output the information to the user. can be provided to

또한, 전자기기(100)의 프로세서는 하이라이트 표시된 키워드를 사용자가 터치하는 경우, 키워드와 관련된 정보를 획득하여 전자기기(100)의 메모리(미도시)에 저장하지 않고 사용자에게 제공할 수 있다. In addition, when the user touches the highlighted keyword, the processor of the electronic device 100 may obtain information related to the keyword and provide it to the user without storing the information in the memory (not shown) of the electronic device 100 .

전자기기(100)가 키워드를 추출하는 방법, 추출된 키워드를 바탕으로 검색어를 생성하는 방법, 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득하는 방법은 도 2a에 대한 설명에서 구체적으로 설명한다.A method for the electronic device 100 to extract a keyword, a method for generating a search word based on the extracted keyword, and a method for obtaining information based on a search word and location information of the electronic device 100 are detailed in the description of FIG. 2A . explained as

도 1b은 본 발명의 다른 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.1B is a diagram illustrating a user interface (UI) of the electronic device 100 for explaining another embodiment of the present invention.

본 발명의 일 실시예에 따른 전자기기(100)는 프로세서에서 생성한 검색어를 제공할 수 있다. 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 편집한 검색어를 수신할 수 있다. 예를 들어, 사용자는 프로세서에서 생성한 제1 검색어를 편집하여 제2 검색어를 작성하고, 전자기기(100)의 그래픽 유저 인터페이스를 통하여 제공되는 검색어 편집창(1)에 제2 검색어를 입력할 수 있다. 한편, 사용자는 프로세서에서 생성한 제1 검색어를 그대로 제2 검색어로 전자기기(100)에 입력할 수 있다. 전자기기(100)는 편집된 제2 검색어를 기초로 정보를 획득할 수 있고, 또한, 편집된 제2 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. The electronic device 100 according to an embodiment of the present invention may provide a search word generated by the processor. The electronic device 100 according to an embodiment of the present invention may receive a search word edited by a user. For example, the user may edit the first search word generated by the processor to write the second search word, and input the second search word into the search word editing window 1 provided through the graphic user interface of the electronic device 100 . there is. Meanwhile, the user may directly input the first search word generated by the processor into the electronic device 100 as the second search word. The electronic device 100 may obtain information based on the edited second search word, and may also obtain information based on the edited second search word and location information of the electronic device 100 .

예를 들어, 도시된 바와 같이, 전자기기(100)는 검색어 편집창(1)을 제공하고, 검색어의 기본값으로 `pizza`를 제공할 수 있다. 또한, 전자기기(100)는 사용자에 의하여 편집된 검색어를 수신하여, 다양한 방법을 통하여 정보를 획득하고, 획득한 정보를 사용자에게 제공할 수 있다. 전자기기의 동작에 대한 구체적인 설명은 도 2a 및 도 2b에 대한 설명을 참조한다. For example, as shown, the electronic device 100 may provide the search word editing window 1 and provide 'pizza' as a default value of the search word. In addition, the electronic device 100 may receive the search word edited by the user, obtain information through various methods, and provide the obtained information to the user. For a detailed description of the operation of the electronic device, refer to the description of FIGS. 2A and 2B .

이하, 전자기기의 동작에 대해서 설명한다.Hereinafter, the operation of the electronic device will be described.

도 2a는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도 1a에 대응하여 설명하기 위한 흐름도이다. FIG. 2A is a flowchart illustrating a method for providing information of the electronic device 100 according to an embodiment of the present invention in response to FIG. 1A .

도 2a를 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 키워드를 추출할 수 있다(S110). 프로세서가 키워드를 추출하는 경우 사용되는 방법은 표 1에서 도시되는 바와 같이 의미론적 분석 및/또는 확률적 분석이다.Referring to FIG. 2A , the processor may extract a keyword from a message displayed on the screen through the communication service ( S110 ). Methods used when the processor extracts keywords are semantic analysis and/or probabilistic analysis as shown in Table 1.

키워드
추출 방법keyword
Extraction method 분석의 근거Basis for analysis 근거의 구체적인 예시Specific examples of evidence 의미론적 분석semantic analysis 사용자간의 대화 내용Conversations between users 커뮤니케이션 상대방과 대화에서 추출된 내용, 사용자의 위치에 대한 대화 내용, 사용자의 심리상태에 대한 대화 내용, 사용자의 과거 경험에 대한 대화 내용Contents extracted from conversations with the communication partner, conversations about the user's location, conversations about the user's psychological state, conversations about the user's past experiences 사용자의 위치 기록history of your location 현재 위치한 장소 또는 특정 장소를 지나간 빈도수, 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 횟수, 현재 위치한 장소 또는 특정 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소 또는 특정 장소에 머문 시간, 사용자가 최초로 현재 장소 또는 특정 장소에 도착한 시간the number of times the user has passed the current location or specific place, the number of times the user has passed the current location or specific location, the total time spent at the current location or specific location, the amount of time the user has been at the current location or a specific location in a specific time interval, the user the first time you arrived at your current place or a specific place 사용자 입력 정보user input information 사용자의 스케쥴, 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향 User's schedule, user's address, user's preference for pizza restaurant, user's menu selection tendency 사용자에 대한
기록 정보about the user
record information 사용자에 대한 기록 정보는 사용자의 현재 위치, 사용자의 결재 기록, 사용자의 누적 기록, 사용자의 통화 기록User record information includes the user's current location, user's payment record, user's cumulative record, and user's call record. 확률적 분석probabilistic analysis 참조 내용들 간의 우선순위 또는
의미론적 분석 결과들 간의 우선순위Priority among references or
Priority among semantic analysis results 사용자간의 대화 내용, 사용자의 위치 기록, 사용자 입력 정보, 사용자에 대한 기록 정보Conversations between users, user location records, user input information, and user history information

[1. 키워드 추출][One. keyword extraction]

예를 들어, 도 1에서 표시된 바와 같이, 화면에 표시되는 메시지는 `What do you want to do?`(제1 메시지) 및 `I want to eat pizza`(제2 메시지)일 수 있다. 프로세서는 제1 메시지 및 제2 메시지의 의미를 분석하여, 제2 메시지에서 키워드를 `pizza`로 추출할 수 있다.For example, as shown in FIG. 1 , the messages displayed on the screen may be 'What do you want to do?' (first message) and 'I want to eat pizza' (second message). The processor may analyze the meaning of the first message and the second message, and extract the keyword from the second message as 'pizza'.

전자기기(100)의 프로세서(processor)는 메시지가 사용된 의미론적 분석(semantic analysis), 확률적 분석(statistical analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)의 프로세서(processor)는 메시지와 관련된 상황을 고려하여 키워드를 추출할 수 있다. 예를 들어, 전자기기(100)의 프로세서(processor)는 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 키워드를 추출할 수 있다. The processor of the electronic device 100 may extract the keyword as 'pizza' through semantic analysis and statistical analysis in which the message is used. A processor of the electronic device 100 may extract a keyword in consideration of a message-related situation. For example, the processor of the electronic device 100 may extract the keyword based on the type of word included in the message, the relationship between the words, and the meaning of the word.

프로세서는 도 36 내지 도 41에서 설명하는 방식을 통하여 각각의 메시지에서 개체를 인식하고, 인식된 각각의 개체들의 사용 빈도를 통하여 키워드를 추출할 수 있다. 프로세서가 개체를 인식하는 구체적인 방식에 대해서는 후술한다. The processor may recognize the entity in each message through the method described with reference to FIGS. 36 to 41 , and extract a keyword through the use frequency of each recognized entity. A specific method for the processor to recognize an object will be described later.

전자기기(100)의 프로세서(processor)는 전자기기(100)의 각종 처리 동작을 제어할 수 있다. A processor of the electronic device 100 may control various processing operations of the electronic device 100 .

[1-1. 의미론적 분석][1-1. semantic analysis]

프로세서는 의미론적 분석(semantic analysis)을 통하여 키워드를 추출할 수 있다.The processor may extract keywords through semantic analysis.

예를 들어, 프로세서는 사용자간의 대화 내용 및 사용자 관련 정보를 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. 여기서, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. 사용자 관련 정보는 일방의 사용자에 대해 관련된 정보만을 의미할 수 있고, 2인 이상의 사용자에 대해 관련된 정보를 의미할 수 있다. For example, the processor may extract the keyword as 'pizza' by additionally considering the conversation content between users and user-related information. Here, the user-related information may include at least one of a location record of the user, information previously input by the user, and record information about the user. The user-related information may mean only information related to one user, or information related to two or more users.

프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 키워드를 추출할 수 있다. The processor may extract a keyword based on at least one of 1) a conversation between users, 2) a location record of the user, 3) information previously input by the user, and 4) record information about the user.

프로세서는 사용자간의 대화 내용을 자연어(Natural Language) 분석하여, 사용자간의 대화 내용을 확인하고, 키워드를 추출할 수 있다. 예를 들어, 도 1a의 실시예에서 프로세서는 커뮤니케이션 상대방과 대화에서 추출된 내용, 사용자의 위치에 대한 대화 내용, 사용자의 심리상태에 대한 대화 내용, 사용자의 과거 경험에 대한 대화 내용을 기초로 키워드를 추출할 수 있다. The processor may analyze the content of conversations between users in a natural language, check the content of conversations between users, and extract keywords. For example, in the embodiment of FIG. 1A , the processor is a keyword based on content extracted from a conversation with a communication counterpart, conversation content about the user's location, conversation content about the user's psychological state, and conversation content about the user's past experiences can be extracted.

예를 들어, 프로세서는 이러한 대화 내용을 기초로 판단하여, 도 1a의 실시예에서 프로세서는 메시지(8)에서 키워드를 `pizza`로 추출할 수 있다. 프로세서는 사용자간의 대화에 포함된 메시지의 의미를 확인하고, 메시지의 의미를 기초로 사용자에게 필요한 정보가 무엇에 대한 것인지 예측 할 수 있다. 예를 들어, 프로세서는 메시지의 의미를 `피자를 먹고 싶어한다`는 것으로 분석하고, 이러한 의미를 기초로 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황) 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)이 필요한 상황이라고 예측할 수 있다. 여기서, 사용자의 상황이란, 사용자와 관련된 환경적인 요소를 의미할 수 있다. For example, the processor may determine based on the conversation content, and in the embodiment of FIG. 1A , the processor may extract the keyword from the message 8 as 'pizza'. The processor may check the meaning of the message included in the conversation between users, and may predict what information the user needs based on the meaning of the message. For example, the processor analyzes the meaning of the message as 'want to eat pizza', and based on this meaning, the user finds a pizza restaurant near the current location (situation 1) or a pizza shop near the current location It can be predicted that the situation in which it is necessary to find the phone number of (the second situation) is necessary. Here, the user's situation may mean an environmental factor related to the user.

또한, 프로세서는 메시지의 의미를 기초로 키워드를 추출하는 경우, 2) 사용자의 위치 기록을 고려할 수 있다. In addition, when extracting a keyword based on the meaning of the message, the processor may consider 2) the user's location record.

예를 들어, 사용자의 위치 기록은 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 빈도수, 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 횟수, 현재 위치한 장소 또는 특정 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소 또는 특정 장소에 머문 시간, 사용자가 최초로 현재 장소 또는 특정 장소에 도착한 시간을 포함할 수 있다. For example, a user's location history may include the number of times the user has passed the current location or specific location, the number of times the user has passed the current location or specific location, the total amount of time the user has been at the current location or a specific location, and the number of times the user has visited the current location or specific location. It may include a time at which the user is currently located or a specific place, and a time when the user first arrives at the current place or a specific place.

전자기기의 사용자의 위치 정보를 확인하고, 키워드를 추출하는데 위치 정보를 이용할 수 있다. 사용자의 위치 정보는 실시간으로 계속적으로 확인될 수 있으며, 전자기기에 저장될 수 있다. The location information may be used to check the location information of the user of the electronic device and to extract a keyword. The user's location information may be continuously checked in real time, and may be stored in an electronic device.

사용자의 위치 정보는 전자기기(100)의 위치 정보에 의하여 측정될 수 있다. 예를 들어, 전자기기(100)의 위치 정보는 GPS 좌표 값, 기지국의 ID, AP(Access Point)의 SSID 및 네트워크 주소를 포함할 수 있다. 또한, 사용자의 위치 정보는 적외선(diffuse-infrared), 초음파, 블루투스, UWB, RFID, WPS 등을 포함하는 다양한 무선 통신 기술을 이용한 측정 방법에 따라 측정될 수 있다.The user's location information may be measured based on the location information of the electronic device 100 . For example, the location information of the electronic device 100 may include a GPS coordinate value, an ID of a base station, an SSID of an access point (AP), and a network address. In addition, the user's location information may be measured according to a measurement method using various wireless communication technologies including infrared (diffuse-infrared), ultrasound, Bluetooth, UWB, RFID, WPS, and the like.

위치 정보는 시간에 따라서 사용자 또는 전자기기가 어느 위치에 있는지에 대한 기록 정보를 의미할 수 있다. 전자기기(100)는 GPS 모듈을 포함할 수 있다. GPS 모듈이 전자기기(100)의 위치를 측정하는 방법은 도 45에 대한 설명에서 상술한다. The location information may refer to recorded information on a location of a user or an electronic device according to time. The electronic device 100 may include a GPS module. A method for the GPS module to measure the position of the electronic device 100 will be described in detail with reference to FIG. 45 .

또한, 프로세서는 메시지의 의미를 기초로 키워드를 추출하는 경우, 사용자가 미리 입력한 정보를 고려할 수 있다.Also, when extracting a keyword based on the meaning of the message, the processor may consider information previously input by the user.

예를 들어, 사용자가 미리 입력한 정보는 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향, 사용자의 예정된 스케쥴을 포함할 수 있다.For example, the information input by the user in advance may include a user address, a user's preference for a pizza restaurant, a user's menu selection tendency, and a user's predetermined schedule.

예를 들어, 프로세서는 사용자의 주소가 현재 위치와 먼 곳이고, 사용자가 현재 장소의 머문 총 시간이 기준 시간(예를 들어, 1시간) 미만인 경우, 사용자의 현재위치가 사용자에게는 익숙하지 않은 장소임을 확인할 수 있다. 이러한 분석을 기초로, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황) 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)이 필요한 상황이라고 예측할 수 있다.For example, if the user's address is far from the current location and the total time the user stayed at the current location is less than a reference time (eg, 1 hour), the user's current location is a location unfamiliar to the user It can be confirmed that Based on this analysis, the processor may predict that the user needs to find a pizza restaurant near the current location (first situation) or the phone number of a pizza restaurant near the current location (second situation).

또한, 프로세서는 메시지의 의미를 기초로 키워드를 예측하는 경우, 사용자에 대한 기록 정보를 고려할 수 있다. In addition, when predicting a keyword based on the meaning of the message, the processor may consider recorded information about the user.

예를 들어, 사용자에 대한 기록 정보는 전자기기 및 서버에 기록된 사용자에 대한 기록을 의미할 수 있다. 또한, 사용자에 대한 기록은 사용자가 전자기기를 이용하면서 기록한 것과 앱 서비스를 이용하면서 서버에 기록한 것을 포함할 수 있다. 또한, 사용자에 대한 기록은 사용자가 직접 기록하지 않았지만, 전자기기나 서버를 이용하면서 간접적으로 기록된 내용을 포함할 수 있다. 예를 들어, 사용자에 대한 기록 정보는 사용자의 현재 위치, 사용자의 결재 기록, 사용자의 누적 기록, 사용자의 통화 기록과 같이 사용자와 관련된 정보를 포함할 수 있다. For example, the record information about the user may mean the record about the user recorded in the electronic device and the server. Also, the record of the user may include a record recorded by the user while using an electronic device and a record recorded in a server while using an app service. In addition, the record of the user may include content that is not directly recorded by the user, but is indirectly recorded while using an electronic device or server. For example, the record information about the user may include information related to the user, such as the user's current location, the user's payment record, the user's cumulative record, and the user's call record.

[1-2. 확률적 분석][1-2. probabilistic analysis]

프로세서는 확률적 분석(statistical analysis)을 통하여 키워드를 추출할 수 있다. The processor may extract keywords through statistical analysis.

프로세서는 참조 내용들간의 우선 순위를 판단할 수 있다. 예를 들어, 프로세서는 사용자간의 대화 내용, 사용자의 위치 기록, 사용자 입력 정보, 사용자에 대한 기록 정보를 기초로 의미론적 분석을 하는 경우, 각각의 분석의 근거들 간에 키워드 추출시 우선적으로 고려해야 하는 근거를 판단할 수 있다. 예를 들어, 전자기기(100)의 GPS 모듈에서 측정된 전자기기의 위치가 사용자간의 대화 내용에서 나타난 위치 정보가 상이한 경우, 프로세서는 사용자간의 대화 내용에서 나타난 위치 정보를 우선적으로 고려하여 키워드를 추출하도록 할 수 있다. The processor may determine the priority among reference contents. For example, when the processor performs a semantic analysis based on conversation content between users, a user's location record, user input information, and user record information, a reason to be considered preferentially when extracting keywords between the reasons for each analysis can be judged For example, when the location of the electronic device measured by the GPS module of the electronic device 100 is different from the location information shown in the conversation between users, the processor preferentially considers the location information shown in the conversation between users and extracts a keyword can make it

또한, 프로세서는 사용자의 예측된 상황들 간의 우선 순위를 판단할 수 있다. 예를 들어, 프로세서는 사용자의 예측된 두 가지 상황 중에서 제1 상황(현재 위치 인근의 피자 레스토랑을 찾는 것) 또는 제2 상황(현재 위치 인근의 피자 가게의 전화번호를 찾는 것) 중에서 어느 하나의 발생 확률이 높다고 판단할 수 있다. In addition, the processor may determine a priority among the predicted situations of the user. For example, the processor may determine which one of two predicted situations of the user: a first situation (finding a pizza restaurant near the current location) or a second situation (finding a phone number of a pizza restaurant near the current location). It can be judged that the probability of occurrence is high.

예를 들어, 사용자의 누적된 위치 정보에 특정 피자 레스토랑을 빈번하게 방문한 경우, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황)을 제1 순위로 판단할 수 있다. For example, when the user frequently visits a specific pizza restaurant based on the user's accumulated location information, the processor may determine that the user searches for a pizza restaurant near the current location (a first situation) as the first priority.

또는, 예를 들어, 사용자가 현재 위치한 장소가 건물의 외부이고, 사용자의 누적된 위치 정보에 사용자가 일정 시간(예를 들어, 30분) 이상 이동하고 있는 것으로 기록되어 있거나, 사용자의 스케쥴러 상에 외출이 기록되어 있다면, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황)을 제1 순위로 판단할 수 있다.Or, for example, the place where the user is currently located is outside the building, and it is recorded in the accumulated location information of the user that the user is moving for a certain time (eg, 30 minutes) or more, or on the user's scheduler If the outing is recorded, the processor may determine that the user finds a pizza restaurant near the current location (first situation) as the first priority.

예를 들어, 사용자의 통화 내역 기록 상에 피자 레스토랑으로 전화를 한 횟수가 소정의 기준 횟수 이상인 경우, 프로세서는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)을 제1 순위로 판단할 수 있다.For example, if the number of calls to a pizza restaurant on the user's call history record is greater than or equal to a predetermined reference number, the processor prioritizes finding the phone number of a pizza restaurant near the current location (second situation) as the first priority. can judge

또는, 예를 들어, 사용자가 현재 위치한 장소가 사용자 친구의 주택이고, 사용자의 스케쥴러 상에 현재 위치한 장소에서 일정 시간(예를 들어, 3시간) 이상 머물 계획을 가지고 있다면, 프로세서는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)을 제1 순위로 판단할 수 있다.Or, for example, if the place where the user is currently located is the house of a friend of the user, and the user plans to stay at the place currently located on the user's scheduler for a certain period of time (for example, 3 hours) or more, the processor may Finding the phone number of the pizza shop (the second situation) may be determined as the first priority.

프로세서는 상술한 방식으로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여, 키워드를 `pizza`로 추출할 수 있다. The processor may extract the keyword as 'pizza' through statistical analysis and semantic analysis in the manner described above.

[1-3. 키워드 추출의 제한][1-3. Restrictions on keyword extraction]

프로세서는 단어의 발생 빈도를 고려하여 키워드를 설정할 수 있다. 예를 들어, 프로세서는 사용자가 대화에서 반복적으로 일정 수준 이상 언급하는 단어를 키워드로 설정할 수 있다. 예를 들어, 프로세서는 사용자가 대화에서 5회 이상 언급하거나, 또는 20% 이상의 빈도로 언급하는 단어를 키워드로 설정할 수 있다.The processor may set the keyword in consideration of the frequency of occurrence of the word. For example, the processor may set as a keyword a word that the user repeatedly mentions at a certain level or more in a conversation. For example, the processor may set as a keyword a word the user mentions 5 or more times in a conversation, or a word that the user mentions with a frequency of 20% or more.

예를 들어, 프로세서는 개체 인식(Named Entity Recognition)을 하고, 각각의 개체에 대하여, 반복 횟수 또는 반복 비율을 측정할 수 있다. 예를 들어, 프로세서는 외부 서버를 통하여 인식된 각각의 개체에 대해서 반복 횟수 또는 반복 비율을 측정할 수 있다. For example, the processor may perform Named Entity Recognition and measure the number of repetitions or a repetition rate for each entity. For example, the processor may measure the number of repetitions or the repetition rate for each entity recognized through the external server.

프로세서 또는 서버를 통하여 개체 인식을 하는 방법에 대해서는 후술한다.A method of recognizing an object through a processor or a server will be described later.

또한, 외부 서버는 개체 인식하여, 각각의 개체에 대해서 반복 횟수 또는 반복 비율을 산출할 수 있고, 프로세서는 각각의 개체에 대하여 반복 횟수 또는 반복 비율에 관한 데이터를 수신하여, 키워드를 설정하는데 참고할 수 있다.In addition, the external server can recognize the object and calculate the repetition number or repetition rate for each object, and the processor receives data about the repetition number or repetition rate for each object, and can be referred to in setting keywords. there is.

예를 들어, 프로세서는 일정 횟수 미만으로 언급되는 개체에 대해서는 키워드로 설정하지 않을 수 있다. 또한, 예를 들어, 프로세서는 일정 비율 미만으로 언급되는 개체에 대해서는 키워드로 설정하지 않을 수 있다. 이상에서 설명한 키워드 추출을 제한하는 알고리즘은 검색어를 생성하는 알고리즘에도 적용될 수 있다. For example, the processor may not set as a keyword for an entity mentioned less than a certain number of times. Also, for example, the processor may not set as a keyword for an entity mentioned in less than a certain percentage. The algorithm for limiting keyword extraction described above can also be applied to an algorithm for generating a search word.

프로세서는 추출된 키워드를 구별하여 메시지의 다른 단어와 구별하여 표시(mark)할 수 있다. 프로세서는 추출된 키워드를 선택하는 사용자 입력을 수신하여, S130 내지 S190을 실행할 수 있다. 본 발명의 다른 실시 예에서 프로세서는 사용자 입력을 수신하지 않고, S130 내지 S190을 실행할 수 있다.
The processor may distinguish the extracted keyword from other words in the message and mark it. The processor may receive a user input for selecting the extracted keyword, and may execute S130 to S190. In another embodiment of the present invention, the processor may execute S130 to S190 without receiving a user input.

또한, 프로세서는 [1-1 의미론적 분석]의 방법을 통하여, 키워드의 추출을 제한할 수 있다. 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보를 기초로 개체를 인식하고, 개체 인식을 제한할 수 있다. Also, the processor may limit the extraction of keywords through the method of [1-1 Semantic Analysis]. The electronic device 100 may recognize an object based on 1) a conversation between users, 2) a record of the user's location, 3) information entered in advance by the user, and 4) recorded information about the user, and limit object recognition. there is.

예를 들어, 전자기기(100)가 [피자집 옆 장례식장으로 오세요]라고 메시지를 받은 경우, 프로세서는 의미론적 분석 방법을 통하여, <피자집 옆 장례식장>을 하나의 개체로 인식하거나, <피자집>을 개체로 인식하되, 키워드로 인식하지 않을 수 있다. For example, when the electronic device 100 receives the message [Come to the funeral home next to the pizza restaurant], the processor recognizes <the funeral home next to the pizza restaurant> as one entity, or the > is recognized as an object, but may not be recognized as a keyword.

예를 들어, 프로세서는 <피자집 옆 장례식장>에서 장소를 표현하는 연결어(예를 들어, 옆, 근처, 뒤)가 사용되고 있음을 파악하고, <피자집 옆 장례식장>를 하나의 개체로 인식할 수 있다.
For example, the processor can recognize that a connective word (for example, next to, near, behind) is used to express a place in <Pizzeria next to a funeral home>, and recognize <Funeral next to a pizza place> as a single entity. there is.

[1-4. 사용자 입력에 의한 키워드 추출][1-4. Keyword extraction by user input]

프로세서는 사용자 입력을 수신하여 키워드를 결정할 수 있다. 사용자는 대화 메시지에서 키워드를 선택할 수 있다. 사용자는 미리 정해진 방식으로 키워드를 선택할 수 있다. 예를 들어, 사용자는 환경 설정을 통하여 미리 정해진 방식으로 키워드를 선택할 수 있다. 예를 들어, 사용자는 Long Press & Drag 방식으로 키워드를 선택할 수 있다. The processor may receive the user input and determine the keyword. The user can select keywords in the chat message. The user may select keywords in a predetermined manner. For example, the user may select a keyword in a predetermined manner through environment setting. For example, the user may select a keyword using a Long Press & Drag method.

프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S130). 프로세서가 검색어를 생성하는 경우 사용되는 방법은 표 2에서 도시되는 바와 같이 의미론적 분석 및/또는 확률적 분석이다.
The processor may generate and provide a search word related to the keyword (S130). Methods used when the processor generates a search term are semantic analysis and/or probabilistic analysis, as shown in Table 2.

검색어 결정 방법How to determine search terms 분석의 근거Basis for analysis 의미론적 분석semantic analysis 사용자간의 대화 내용Conversations between users 사용자의 위치 기록history of your location 사용자 입력 정보user input information 사용자에 대한 기록 정보historical information about users 확률적 분석probabilistic analysis 참조 내용들 간의 우선순위 또는
의미론적 분석 결과들 간의 우선순위Priority among references or
Priority among semantic analysis results

[2. 검색어 생성][2. Generate search terms]

프로세서는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 검색어를 `good day pizza`로 생성할 수 있다. The processor may generate the search word as 'good day pizza' through statistical analysis and semantic analysis based on the extracted keyword. For example, the processor converts the search word into 'good day pizza' based on at least one of 1) conversation content between users, 2) user's location record, 3) information entered in advance by the user, and 4) recorded information about the user. can create

프로세서는 사용자간의 대화 내용을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 사용자간의 대화 내용에서 `good day pizza`를 사용자가 먹고 싶어 한다는 의미를 파악했다면, 검색어를 `good day pizza`로 생성하고 제공할 수 있다. The processor may generate a search term as 'good day pizza' by analyzing the conversation content between users. For example, if the processor understands that the user wants to eat 'good day pizza' in the conversation between users, the processor may generate and provide the search term as 'good day pizza'.

프로세서는 사용자의 위치 기록을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 프로세서는 사용자의 위치 기록을 분석하고, 사용자의 상황에 맞는 검색어를 제공할 수 있다. The processor may analyze the user's location record and generate the search term as 'good day pizza'. The processor may analyze the user's location record and provide a search term suitable for the user's context.

예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것이라고 확인하였고, 사용자 위치의 누적 기록에 사용자가 `good day pizza`를 방문한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza 위치`라고 생성할 수 있다. For example, if the processor confirms that what the user needs is to find a pizza restaurant near the current location, and the user visits 'good day pizza' in the cumulative record of the user's location, the processor converts the search term to 'good day pizza' location' can be created.

또한, 예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 통화 기록에 사용자가 `good day pizza`로 전화를 한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza 전화번호`라고 생성할 수 있다. Also, for example, if the processor confirms that what the user needs is to find the phone number of a pizza shop near the current location, and the user's past call record frequently records a call to 'good day pizza', the processor can create a search term 'good day pizza phone number'.

또한, 예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 기록 중 결재 내역 수신 메시지에서, 사용자가 `good day pizza`에서 결재한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza`라고 생성할 수 있다.Also, for example, the processor confirms that what the user needs is to find a pizza restaurant near the current location or to find the phone number of a pizza shop near the current location, and in the payment history received message among the user's past records, the user If the payment record of `good day pizza' is frequent, the processor may generate the search term as `good day pizza'.

프로세서는 사용자가 미리 입력한 정보을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 프로세서는 전자기기에 입력된 정보에서 `good day pizza`가 사용자가 가장 선호하는 피자 레스토랑으로 확인할 수 있다. The processor may generate a search term as 'good day pizza' by analyzing information entered in advance by the user. The processor can confirm that 'good day pizza' is the pizza restaurant that the user prefers the most from the information entered into the electronic device.

사용자는 전자기기에 `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자는 전자기기에 `good day pizza`에 대한 정보를 다수 기록할 수 있다. 이러한 경우, 프로세서는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인할 수 있다. Users can directly record 'good day pizza' as their favorite pizza restaurant on the electronic device. In addition, the user can record a lot of information about 'good day pizza' in the electronic device. In this case, the processor may identify 'good day pizza' as the most preferred pizza restaurant by the user through a statistical method.

프로세서는 애플리케이션 서비스를 통하여 서버에 입력된 정보에서 `good day pizza`가 사용자가 가장 선호하는 피자 레스토랑인 것으로 판단할 수 있다. 예를 들어, 프로세서는 소셜 네트워크 서비스(SNS)를 통하여 서버에 입력된 정보에서 사용자가 작성한 답글(Comment)를 통하여 사용자가 `good day pizza`를 선호하고 있다고 판단할 수 있다. The processor may determine that 'good day pizza' is the most preferred pizza restaurant by the user from information input to the server through the application service. For example, the processor may determine that the user prefers 'good day pizza' through a comment written by the user from information input to the server through a social network service (SNS).

사용자는 서버의 데이터 베이스에 애플리케이션 서비스를 통하여, `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자는 서버의 데이터 베이스에 애플리케이션 서비스를 통하여, `good day pizza`에 대한 정보를 다수 기록할 수 있다. 이러한 경우, 프로세서는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인할 수 있다. The user can directly record 'good day pizza' as the most preferred pizza restaurant through the application service in the server's database. In addition, the user can record a lot of information about 'good day pizza' in the database of the server through the application service. In this case, the processor may identify 'good day pizza' as the most preferred pizza restaurant by the user through a statistical method.

프로세서는 상술한 방식으로 의미론적 분석(semantic analysis)을 확률적 분석(statistical analysis)과 함께 수행하여, 검색어를 `good day pizza`로 추출할 수 있다.The processor may extract the search word as 'good day pizza' by performing semantic analysis together with statistical analysis in the above-described manner.

전자기기(100)는 사용자로부터 정보 제공 요청을 수신하여 검색어를 추출할 수 있다. 예를 들어, 디스플레이부(도 1의 9)는 사용자가 키워드에 대응되는 부분을 선택하는 입력(예를 들어, 터치)을 수신하고, 검색어를 추출할 수 있다. 예를 들어, 전자기기(100)는 사용자로부터 정보 제공 요청을 수신하기 전에는 키워드 결정하여 키워드를 다른 부분과 구분되도록 표시하여 디스플레이 하고, 사용자로부터 정보 제공 요청을 수신한 후에 검색어를 추출할 수 있다. The electronic device 100 may receive an information provision request from a user and extract a search word. For example, the display unit ( 9 of FIG. 1 ) may receive an input (eg, a touch) for a user to select a part corresponding to a keyword, and may extract a search word. For example, the electronic device 100 may determine a keyword before receiving the information provision request from the user, display the keyword to be distinguished from other parts, and may extract the search word after receiving the information provision request from the user.

본 명세서에서 정보 제공 요청이라는 것은 사용자가 전자기기에 정보의 제공을 요청하기 위하여 입력하는 것을 의미할 수 있다. 예를 들어, 사용자는 정보의 제공을 요청하기 위하여 각종 입력 방법(예를 들어, 터치, 클릭, 더블 클릭)을 통하여 입력을 할 수 있는데, 이러한 사용자의 행위를 정보 제공 요청 이라고 할 수 있다. 또한, 사용자는 정보의 제공을 요청하기 위하여 음성 또는 문자로 구성된 특정 명령어를 입력할 수 있는데, 이러한 사용자의 행위를 정보 제공 요청 또는 정보 제공 요청 입력이라고 할 수 있다. In this specification, the information provision request may mean that the user inputs to request the provision of information to the electronic device. For example, the user may input through various input methods (eg, touch, click, double click) in order to request the provision of information, and this user's action may be referred to as an information provision request. In addition, the user may input a specific command composed of voice or text to request the provision of information, and this user's action may be referred to as an information provision request or information provision request input.

키워드 추출을 제한하는 알고리즘은 검색어를 생성하는 알고리즘에도 적용될 수 있다. Algorithms that limit keyword extraction can also be applied to algorithms that generate search terms.

프로세서는 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S170). 프로세서가 정보를 획득하는 경우 사용되는 방법은 표 3에서 도시되는 바와 같다.
The processor may acquire information based on the search word and location information of the electronic device (S170). A method used when the processor acquires information is as shown in Table 3.

정보 획득 방법How to get information 전자기기
외부로부터 수신Electronics
receive from outside 앱 서비스(예를 들어, 구글 지도)를 통한 정보 획득Obtaining information through app services (eg Google Maps) 인터넷 검색 서비스(예를 들어, 야후)를 통한 정보 획득Obtaining information through Internet search services (eg Yahoo) 전자기기
내부에서 획득Electronics
obtained from within 이미지 파일, 전화번호 목록, 주소 목록,
최근 검색된 정보 목록 등 내부 저장장치로부터 획득image file, phone number list, address list,
Obtained from internal storage such as a list of recently searched information

[3. 정보의 획득][3. Acquisition of information]

전자기기(100)는 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. 전자기기(100)가 획득하는 정보는 2차원 이미지, 3차원 이미지, 2차원 동영상, 3차원 동영상, 다양한 언어로 구성된 텍스트, 다양한 분야의 컨텐츠 및 다양한 서비스를 제공하는 앱(App)을 포함할 수 있다. The electronic device 100 may acquire information by performing various searches based on the search word and location information of the electronic device. The information acquired by the electronic device 100 may include a two-dimensional image, a three-dimensional image, a two-dimensional video, a three-dimensional video, texts in various languages, content in various fields, and apps that provide various services. there is.

전자기기(100)는 키워드를 선택하는 사용자 입력을 수신한 이후에, 그 선택된 키워드에 대응하는 정보 획득 동작을 수행할 수 있다. After receiving a user input for selecting a keyword, the electronic device 100 may perform an information acquisition operation corresponding to the selected keyword.

또한, 전자기기(100)는 키워드를 선택하는 사용자 입력을 수신하기 이전에, 그 선택된 키워드에 대응하는 정보 획득 동작을 수행하고, 획득된 정보를 전자기기의 스토리지에 저장할 수 있다. 전자기기(100)는 키워드를 선택하는 사용자 입력을 수신하여, 스토리지에 저장된 정보를 사용자에게 제공할 수 있다. Also, before receiving a user input for selecting a keyword, the electronic device 100 may perform an information acquisition operation corresponding to the selected keyword and store the acquired information in a storage of the electronic device. The electronic device 100 may receive a user input for selecting a keyword, and may provide information stored in the storage to the user.

이하, 구체적인 정보 획득 동작을 설명한다. Hereinafter, a detailed information acquisition operation will be described.

[3-1. 앱 서비스를 통한 정보 획득] [3-1. Acquisition of information through app service]

전자기기(100)는 외부의 검색 서버로부터 관련 정보를 획득할 수 있다. The electronic device 100 may obtain related information from an external search server.

예를 들어, 전자기기(100)는 앱(App) 서비스를 통하여 정보를 획득할 수 있다. For example, the electronic device 100 may acquire information through an App service.

전자기기(100)는 앱(App)의 현재의 상황에 따라서 서비스를 결정한 후, 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. After determining the service according to the current situation of the App, the electronic device 100 may obtain information by performing various searches based on the search word and location information of the electronic device.

예를 들어, 전자기기(100)는 사용자의 위치 정보를 참조하여, 사용자가 한국에 위치하는 경우, 한국 국적의 서비스 제공자가 제공하는 지도(map) 앱(App) 서비스를 선택하고, 사용자가 일본에 위치하는 경우, 일본 국적의 서비스 제공자가 제공하는 지도(map) 앱(App) 서비스를 선택 할 수 있다.For example, the electronic device 100 refers to the user's location information, and when the user is located in Korea, selects a map app service provided by a service provider of Korean nationality, and the user selects a If you are located in , you can select the map app service provided by a service provider of Japanese nationality.

예를 들어, 전자기기(100)는 사용자의 앱(App) 사용 빈도수를 참조하여, 전자기기(100)의 사용자가 자주 이용하는 지도(map) 앱(app) 서비스를 선택할 수 있다. For example, the electronic device 100 may select a map app service frequently used by the user of the electronic device 100 with reference to the user's frequency of using the app.

전자기기(100)는 사용자에게 선택을 요청하여 사용자의 응답을 수신하여, 사용자의 응답을 기초로 앱(App) 서비스를 선택할 수 있다. The electronic device 100 may receive a response from the user by requesting a selection from the user, and may select an App service based on the response of the user.

예를 들어, 전자기기(100)는 사용자의 상황을 고려하여 사용 후보 앱(제1 앱 내지 제5 앱)을 선정하고, 제1 앱(App) 내지 제5 앱(App) 중에서 어떠한 앱을 선택할 것인지 요청하고, 사용자가 제1 앱(App)을 선택하는 경우, 제1 앱(App)을 통하여 정보를 검색할 수 있다. For example, the electronic device 100 selects a candidate app (apps 1 to 5) to be used in consideration of the user's situation, and selects which app from among the first apps to the fifth apps. request, and when the user selects the first App, information may be retrieved through the first App.

전자기기(100)는 사용자가 미리 선택한 앱(App) 서비스 중에서 현재 상황에 맞는 앱(App) 서비스를 선택할 수 있다.The electronic device 100 may select an App service suitable for the current situation from among the App services previously selected by the user.

예를 들어, 전자기기(100)는 사용자가 미리 선택한 제1 앱(App) 내지 제5 앱(App) 중에서, 사용자의 현재 상황에 맞게 제1 앱(App)을 선택할 수 있다. 예를 들어, 사용자가 미리 선택한 제1 레스토랑 앱(App) 내지 제5 레스토랑 앱(App)이 있는 경우, 사용자의 현재 상황에 맞는 `good day pizza` 레스토랑 앱(App)을 선택할 수 있다. For example, the electronic device 100 may select a first App from among the first App to the fifth App previously selected by the user according to the user's current situation. For example, if there is a first restaurant App to a fifth restaurant App selected by the user in advance, a 'good day pizza' restaurant App suitable for the user's current situation may be selected.

전자기기(100)는 사용자가 미리 선택한 앱(App) 서비스 중에서 사용자에게 선택을 요청하여 사용자의 응답을 수신하여, 사용자의 응답을 기초로 앱(App) 서비스를 선택할 수 있다.The electronic device 100 may receive a response from the user by requesting the user to select from among the App services previously selected by the user, and may select an App service based on the user's response.

예를 들어, 전자기기(100)는 사용자가 미리 선택한 제1 앱(App) 내지 제5 앱(App) 중에서, 제1 앱(App) 내지 제5 앱(App) 중에서 어떠한 앱을 선택할 것인지 요청하고, 사용자가 제1 앱(App)을 선택하는 경우, 제1 앱(App)을 통하여 정보를 검색할 수 있다.For example, the electronic device 100 requests which app to select from among the first App to the fifth App, from among the first App to the fifth App previously selected by the user, and , when the user selects the first App, information may be retrieved through the first App.

[3-2. 인터넷 검색 서비스를 통한 정보 획득][3-2. Acquisition of information through Internet search service]

예를 들어, 전자기기(100)는 인터넷 검색 서비스를 통하여, 정보를 획득할 수 있다. For example, the electronic device 100 may acquire information through an Internet search service.

전자기기(100)는 인터넷 검색 서비스를 결정한 후, 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. 검색어는 자동 추출된 검색어 혹은 유저에 의해 편집된 검색어를 의미할 수 있다. After determining the Internet search service, the electronic device 100 may acquire information by performing various searches based on the search word and location information of the electronic device. The search word may mean an automatically extracted search word or a search word edited by a user.

예를 들어, 인터넷 검색 서비스는 야후(yahoo), 구글(google), 빙(bing), 네이버(naver)와 같은 상용화된 검색 서비스 일 수 있다. 예를 들어, 인터넷 검색 서비스는 대학교 도서관, 논문 검색 싸이트, 연구시설의 데이터 베이스와 같이 특정인만이 접근이 가능한 검색 서비스 일 수 있다. For example, the Internet search service may be a commercialized search service such as yahoo, google, bing, or naver. For example, the Internet search service may be a search service that only a specific person can access, such as a university library, a thesis search site, or a database of a research facility.

전자기기(100)는 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득하고 사용자에게 제공할 수 있다. 보다 구체적인 설명은 각각의 실시예에 대한 설명에서 상술한다.The electronic device 100 may obtain information based on a search word and location information of the electronic device and provide it to the user. A more detailed description will be given in the description of each embodiment.

따라서, 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다. Accordingly, the electronic device 100 according to an embodiment of the present invention can enable a user to receive communication-related information more conveniently while using a communication service.

[3-3. 전자기기 내의 정보 획득][3-3. Acquisition of information in electronic devices]

전자기기(100)는 내부의 저장장치로부터 관심 정보를 획득할 수 있다. The electronic device 100 may acquire interest information from an internal storage device.

예를 들어, 전자기기(100)는 내부 저장장치에 저장된 이미지 파일, 전화번호 목록, 주소 목록, 최근 검색된 정보 목록으로부터 관심 정보를 획득할 수 있다. 전자기기(100)가 웨어러블 디바이스 인 경우, 전자기기(100)와 블루투쓰와 같은 근거리 통신으로 연결된 다른 전자기기에 포함된 저장장치로부터 관심 정보를 획득할 수 있다. For example, the electronic device 100 may acquire interest information from an image file stored in an internal storage device, a phone number list, an address list, and a recently searched information list. When the electronic device 100 is a wearable device, interest information may be acquired from a storage device included in the electronic device 100 and another electronic device connected through short-range communication such as Bluetooth.

출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S190). 프로세서가 정보를 제공하는 경우 사용되는 방법은 표 4에서 도시되는 바와 같다.
The output interface may provide information obtained by the processor (S190). A method used when the processor provides information is shown in Table 4.

전자기기의 종류type of electronic device 커뮤니케이션 방식communication method 정보 제공 방식How information is provided 스마트 폰
(또는 태블릿 PC)Smartphone
(or tablet PC) 텍스트 채팅, 음성 채팅text chat, voice chat 화면 전환, 화면 분할, 음성, 음성 및 화면 분할, 음성 및 화면 전환, 메시징 서비스, e-mail 서비스, SNS 서비스, 애플리케이션 서비스Screen switch, screen split, voice, voice and screen split, voice and screen switch, messaging service, e-mail service, SNS service, application service 웨어러블 디바이스
(스마트 워치, 헤드 마운트 디스플레이)wearable devices
(Smart Watch, Head Mounted Display) 텍스트 채팅, 음성 채팅 text chat, voice chat 주요 정보 요약 제공
(이미지, 텍스트, 음성)Provides a summary of key information
(image, text, voice) 웨어러블 디바이스와 연동하는 스마트 폰(또는 테블릿 PC)A smart phone (or tablet PC) that works with a wearable device 텍스트 채팅, 음성 채팅 text chat, voice chat 웨어러블 디바이스에서 요약 정보 제공하고, 동시에 스마트 폰(또는 태블릿 PC)에서 구체적 정보 제공Provides summary information on the wearable device and at the same time provides specific information on the smart phone (or tablet PC)

[4. 정보의 제공][4. Provision of information]

전자기기(100)는 검색어 및 전자기기의 위치 기록를 기초로 획득한 정보를 다양한 방식으로 사용자에게 제공할 수 있다. The electronic device 100 may provide the user with information obtained based on the search word and the location record of the electronic device in various ways.

예를 들어, 전자기기(100)는 획득한 정보를 음성, 영상 및 텍스트 중 적어도 하나를 통하여 사용자에게 제공할 수 있다. 전자기기(100)가 획득한 정보를 제공하는 방식은 전자기기(100)의 종류에 따라서 다양할 수 있다. 전자기기(100)가 획득한 정보를 제공하는 방식을 도 22 내지 도 29에서 구체적으로 설명한다. For example, the electronic device 100 may provide the acquired information to the user through at least one of a voice, an image, and a text. A method of providing the obtained information by the electronic device 100 may vary depending on the type of the electronic device 100 . A method of providing the obtained information by the electronic device 100 will be described in detail with reference to FIGS. 22 to 29 .

도 2b는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도1b에 대응하여 설명하기 위한 흐름도이다. FIG. 2B is a flowchart for explaining a method for providing information of the electronic device 100 according to another embodiment of the present invention in response to FIG. 1B .

전자기기(100)는 커뮤니케이션에서 사용되는 메시지에서 키워드를 추출하고, 키워드와 관련된 제1 검색어를 생성하고, 생성된 제1 검색어를 사용자에게 제공할 수 있다(S110_a, S130_a). 전자기기(100)는 다양한 방식으로 제1 검색어를 제공할 수 있다. 전자기기(100)는 말풍선 생성, 팝업 윈도우, 화면 전환과 같은 방식을 사용하여 검색어를 제공할 수 있다. The electronic device 100 may extract a keyword from a message used in communication, generate a first search word related to the keyword, and provide the generated first search word to the user (S110_a, S130_a). The electronic device 100 may provide the first search word in various ways. The electronic device 100 may provide a search word by using a method such as generating a speech bubble, a pop-up window, or switching a screen.

전자기기(100)는 사용자가 편집한 제2 검색어를 수신 할 수 있다(S150_a). The electronic device 100 may receive the second search word edited by the user (S150_a).

[5. 검색어 편집][5. Edit search term]

전자기기(100)는 사용자로부터 편집된 제2 검색어를 수신할 수 있다(S150_a). 전자기기(100)는 텍스트, 제스쳐, 음성, 스케치와 같은 방식으로 사용자가 검색어를 편집하도록 할 수 있다. The electronic device 100 may receive the edited second search word from the user (S150_a). The electronic device 100 may allow the user to edit a search term in a manner such as text, gesture, voice, or sketch.

사용자는 전자기기(100)가 생성한 제1 검색어를 보고, 자신의 명확한 의도를 반영하여 검색어를 편집할 것이다. 본 명세서에서 `편집된 검색어`는 사용자가 이러한 방식으로 편집한 검색어를 의미할 수 있다.The user will see the first search word generated by the electronic device 100 and edit the search word to reflect his/her clear intention. In this specification, an 'edited search term' may mean a search term edited by a user in this way.

사용자는 전자기기가 출력 인터페이스를 통하여 제공한 검색어를 편집할 수 있다. 예를 들어, 사용자는 전자기기가 제공한 검색어를 편집하여 편집된 검색어를 입력할 수 있다. 예를 들어, 사용자는 전자기기가 제공한 검색어를 변경하지 않고, 제공된 검색어 그대로 입력할 수 있다. 전자기기는 사용자가 입력한 편집된 검색어를 수신할 수 있다.The user may edit the search term provided by the electronic device through the output interface. For example, the user may input the edited search word by editing the search word provided by the electronic device. For example, the user may input the provided search word as it is, without changing the search word provided by the electronic device. The electronic device may receive the edited search word input by the user.

전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득 할 수 있다(S170_a). 전자기기(100)는 획득한 정보를 제공 다양한 방식으로 제공할 수 있다(S190_a). 전자기기(100)가 획득한 정보를 제공하는 방식을 도 22 내지 도 29에서 설명한다. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device (S170_a). The electronic device 100 may provide the obtained information in various ways (S190_a). A method of providing the obtained information by the electronic device 100 will be described with reference to FIGS. 22 to 29 .

도 2c는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 설명하기 위한 흐름도이다. 2C is a flowchart for explaining a method for providing information of the electronic device 100 according to another embodiment of the present invention.

전자기기(100)는 커뮤니케이션에서 사용되는 메시지에서 키워드를 추출하고, 키워드 및 위치 정보를 기초로 검색어를 생성하고, 생성된 검색어를 사용자에게 제공할 수 있다(S110_b, S130_b). The electronic device 100 may extract a keyword from a message used in communication, generate a search word based on the keyword and location information, and provide the generated search word to the user (S110_b, S130_b).

전자기기(100)는 다양한 방식으로 위치 정보를 파악하고, 검색어를 제공할 수 있다. 예를 들어, 전자기기(100)는 전자기기의 GPS 모듈을 통하여 획득한 전자기기의 위치 정보를 통하여 검색어를 생성할 수 있고, 메시지에 포함된 단어, 단어의 연결관계 및 단어의 의미 등을 통하여 획득한 위치 정보를 통하여 검색어를 생성할 수 있다. The electronic device 100 may determine location information in various ways and provide a search word. For example, the electronic device 100 may generate a search word based on the location information of the electronic device acquired through the GPS module of the electronic device, and may use the words included in the message, the connection relationship between the words, the meaning of the words, etc. A search term can be generated through the obtained location information.

전자기기(100)는 이러한 방식 들로 획득한 위치 정보를 키워드를 생성하는데 사용할 수 있고, 검색어를 생성하는데 사용 할 수 있다. 또한, 전자기기(100)는 위치 정보를 사용자에게 제공되는 정보를 획득하는데 사용할 수 있다. The electronic device 100 may use the location information obtained in these ways to generate keywords and may be used to generate search terms. Also, the electronic device 100 may use the location information to obtain information provided to the user.

전자기기(100)는 검색어를 기초로 정보를 획득 할 수 있다(S170_b). 전자기기(100)는 획득한 정보를 제공 다양한 방식으로 제공할 수 있다(S190_b). 전자기기(100)는 도 22 내지 도 29에서 설명하는 다양한 방식을 통하여 획득한 정보를 제공할 수 있다. The electronic device 100 may acquire information based on the search word (S170_b). The electronic device 100 may provide the obtained information in various ways (S190_b). The electronic device 100 may provide information obtained through various methods described with reference to FIGS. 22 to 29 .

이하, 구체적인 시나리오 별로 설명한다. Hereinafter, each specific scenario will be described.

[시나리오 1 : 메시징 서비스(Messaging Service)][Scenario 1: Messaging Service]

도 3 내지 도 7은 메시징 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 3 to 7 are diagrams for explaining a specific user interface environment provided in communication through a messaging service.

도 3를 참조하면, 전자기기(100)는 도 3와 같이, 사용자간에 메시징 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 3 , the electronic device 100 may display contents of communication between users through a messaging service as shown in FIG. 3 .

전자기기(100)는 백 버튼(back button, 20), 음성 전화 연결 버튼(call button, 30), 유저 이름 박스(user name box, 40) 및 대화창(5, 6, 7, 8)과 같은 인터페이스를 제공할 수 있다. 유저 이름 박스(40)는 백 버튼(20)과 전화 연결 버튼(30)을 포함할 수 있다. The electronic device 100 has an interface such as a back button 20 , a voice call connection button 30 , a user name box 40 , and a chat window 5 , 6 , 7 , 8 . can provide The user name box 40 may include a back button 20 and a call connection button 30 .

사용자는 백 버튼(20)을 터치하거나 더블 탭하여 이전 메뉴로 돌아갈 수 있다. 사용자는 전화 연결 버튼(30)을 터치하거나 더블 탭하여 음성 채팅 할 수 있다. 유저 이름 박스(40)는 대화 상대방의 이름 또는 닉네임을 표시할 수 있다. 또한, 유저 이름 박스(40)는 전자기기(100)의 사용자의 이름 또는 닉네임을 표시할 수 있다. 대화창은 사용자 및 대화 상대방이 주고 받은 메시지(5, 6, 7, 8)를 디스플레이 할 수 있다. The user may return to the previous menu by touching or double-tapping the back button 20 . The user may perform voice chatting by touching or double-tapping the call connection button 30 . The user name box 40 may display the name or nickname of the conversation partner. Also, the user name box 40 may display the user's name or nickname of the electronic device 100 . The chat window may display messages 5, 6, 7, and 8 exchanged between the user and the chat partner.

전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The electronic device 100 may determine whether to extract a keyword for each message through the natural language processor ( 1200 in FIG. 36 ). The electronic device 100 may determine the meaning of each message for each message and determine whether to extract a keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 기초로 키워드를 `pizza`로 추출할 수 있다.Also, the electronic device 100 may extract the keyword as 'pizza' through statistical analysis and semantic analysis. For example, the electronic device 100 may extract the keyword as 'pizza' based on 1) the conversation between users, 2) the location record of the user, and 3) the information entered in advance by the user 4) the record about the user. there is.

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하여, 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)는 사용자간의 대화에 포함된 메시지의 의미를 확인하고, 메시지의 의미를 기초로 사용자에게 필요한 것을 예측 할 수 있다. 예를 들어, 전자기기(100)는 메시지의 의미를 `피자를 먹고 싶어한다`는 것으로 분석하고, 이러한 의미를 기초로 1) 사용자가 피자 레스토랑을 찾거나 2) 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이 필요한 상황이라고 예측하고, 키워드를 `pizza`로 추출할 수 있다.For example, the electronic device 100 may 1) analyze the conversation content between users in a natural language, and extract the keyword as 'pizza'. The electronic device 100 may check the meaning of the message included in the conversation between users, and predict what the user needs based on the meaning of the message. For example, the electronic device 100 analyzes the meaning of the message as 'want to eat pizza', and based on this meaning, 1) the user finds a pizza restaurant, or 2) calls a pizza shop near the current location. Predicting that it is necessary to find a number, you can extract the keyword as `pizza`.

또한, 예를 들어, 전자기기(100)는 대화내용에 대한 자연어(Natural Language) 분석 후, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. In addition, for example, the electronic device 100 additionally considers 2) the user's location record, 3) the user's pre-entered information 4) the user's record, after analyzing the natural language of the conversation content, and can be extracted as `pizza`.

예를 들어, 2) 사용자의 위치 기록은 사용자가 현재 위치한 장소를 지나간 빈도수, 사용자가 현재 위치한 장소를 지나간 횟수, 현재 위치한 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소에 머문 시간, 사용자가 최초로 현재 장소에 도착한 시간을 포함할 수 있다. For example, 2) the user's location record includes the frequency of the user passing the current location, the number of times the user passed the current location, the total time the user stayed at the current location, the time the user stayed at the current location in a specific time period; The time when the user first arrived at the current place may be included.

예를 들어, 3) 사용자가 미리 입력한 정보는 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향, 사용자의 예정된 스케쥴에 따른 장소를 포함할 수 있다.For example, 3) the information input by the user in advance may include a user address, a user's preference for a pizza restaurant, a user's menu selection tendency, and a location according to the user's predetermined schedule.

예를 들어, 4) 사용자에 대한 기록은 전자기기 및 서버에 기록된 사용자에 대한 기록을 의미할 수 있다. 또한, 사용자에 대한 기록은 사용자가 전자기기를 이용하면서 기록한 것과 앱 서비스를 이용하면서 서버에 기록한 것을 포함할 수 있다. 또한, 사용자에 대한 기록은 사용자가 직접 기록하지 않았지만, 전자기기나 서버를 이용하면서 간접적으로 기록된 내용을 포함할 수 있다.For example, 4) the record of the user may mean the record of the user recorded in the electronic device and the server. Also, the record of the user may include a record recorded by the user while using an electronic device and a record recorded in a server while using an app service. In addition, the record of the user may include content that is not directly recorded by the user, but is indirectly recorded while using an electronic device or server.

도 4a 내지 도 4c를 참조하면, 전자기기(100)는 도 4와 같이, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다. 4A to 4C , as shown in FIG. 4 , the electronic device 100 continuously monitors the user's conversation content and generates a separate indication or mark for the keyword included in the message. can do.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 도 4a 과 같이 하이라이트 표시를 하거나, 도 4b와 같이 밑줄 표시를 하거나, 도 4c와 같이 키워드가 포함된 말풍선을 다른 색상으로 표시할 수 있다. For example, the electronic device 100 highlights the keywords included in the message as shown in FIG. 4A, underlines them as shown in FIG. 4B, or displays a speech bubble including the keyword in a different color as shown in FIG. 4C can do.

전자기기(100)는 환경설정을 통하여 사용자가 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)의 지속시간을 조절할 수 있도록 할 수 있다(도 31e 참조).The electronic device 100 may allow the user to adjust the duration of a separate indication or mark for a keyword through environment setting (refer to FIG. 31E ).

도시되지 않았지만, 전자기기(100)는 다른 다양한 방법을 통하여 키워드에 대해서 메시지의 다른 부분과 구별되도록 인디케이션(indication) 또는 표시(mark)를 할 수 있다.Although not shown, the electronic device 100 may indicate or mark the keyword to be distinguished from other parts of the message through various other methods.

예를 들어, 전자기기(100)는For example, the electronic device 100 is

메시지에 포함된 키워드에 대해서, 다른 글씨체로 표시를 하거나, 박스 표시를 할 수 있다. Keywords included in the message can be marked with a different font or boxed.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 하이퍼링크(Hyperlink)를 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in the message by using a hyperlink.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 깜박임을 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in the message by using blinking.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 아바타를 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in a message using an avatar.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 말풍선을 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in the message using a speech bubble.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 윗첨자 또는 아래첨자를 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in the message by using a superscript or a subscript.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 다른 메시지 부분과 다른 색깔을 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in a message using a color different from that of other message parts.

도 5을 참조하면, 전자기기(100)는 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 다양한 수단을 통하여 입력할 수 있다. 전자기기(100)는 정보 제공 요청 입력을 수신할 수 있다. Referring to FIG. 5 , the electronic device 100 may receive a user input corresponding to an indication or display requesting an input. The user may input through various means. The electronic device 100 may receive an information provision request input.

정보 제공 요청 입력이라는 것은 사용자가 전자기기에 정보의 제공을 요청하기 위하여 입력하는 것을 의미할 수 있다. 예를 들어, 사용자는 정보의 제공을 요청하기 위하여 각종 입력 방법(예를 들어, 터치, 클릭, 더블 클릭)을 통하여 입력을 할 수 있다. 또한, 사용자는 정보의 제공을 요청하기 위하여 음성 또는 문자로 구성된 특정 명령어를 입력할 수 있다. The information provision request input may mean that the user inputs to request the provision of information to the electronic device. For example, the user may input through various input methods (eg, touch, click, double click) in order to request the provision of information. In addition, the user may input a specific command composed of voice or text to request the provision of information.

예를 들어, 전자기기(100)는 사용자의 음성을 마이크 또는 음성 인식 모듈을 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 클릭을 마우스, 터치 패널 또는 터치 패드를 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 터치을 터치 패널 또는 터치 패드를 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 미리 정해진 특정 제스처를 센싱 카메라를 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 가상 키보드, 가상 터치 스크린을 통하여 키워드를 선택할 수 있다.For example, the electronic device 100 may select a keyword by receiving a user's voice through a microphone or a voice recognition module. For example, the electronic device 100 may select a keyword by receiving a user's click through a mouse, a touch panel, or a touch pad. For example, the electronic device 100 may select a keyword by receiving a user's touch through a touch panel or a touch pad. For example, the electronic device 100 may select a keyword by receiving a predetermined specific gesture of the user through a sensing camera. For example, the electronic device 100 may select a keyword through a virtual keyboard or a virtual touch screen.

도 6a 내지 도 6c를 참조하면, 전자기기(100)는 키워드와 관련된 검색어를 제공할 수 있다. 6A to 6C , the electronic device 100 may provide a search word related to a keyword.

도 6a는 메인 박스에는 키워드(예를 들어, `pizza`)를 디스플레이하고, 그 하단의 후보 목록 창에는 후보 검색어를 디스플레이하는 화면이다. 예를 들어, 키워드 `pizza`에 대한 후보 검색어는, `Good Day Pizza`, `Good Day Pizza number`, ` Good Day Pizza Location`, `Good Day Pizza Menu`일 수 있다. 6A is a screen for displaying keywords (eg, 'pizza') in the main box and displaying candidate search terms in the candidate list window at the bottom of the screen. For example, candidate search terms for the keyword 'pizza' may be 'Good Day Pizza', 'Good Day Pizza number', 'Good Day Pizza Location', and 'Good Day Pizza Menu'.

전자기기(100)는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 후보 검색어를 생성할 수 있다. 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 후보 검색어를 도시된 바와 같이, `Good Day Pizza`, `Good Day Pizza number`, ` Good Day Pizza Location`, `Good Day Pizza Menu`로 생성할 수 있다.The electronic device 100 may generate a candidate search word through statistical analysis and semantic analysis based on the extracted keyword. As shown in the figure, the electronic device 100 generates a candidate search word based on at least one of 1) conversation content between users, 2) a user's location record, 3) information previously input by the user, and 4) recorded information about the user, It can be created with `Good Day Pizza`, `Good Day Pizza number`, `Good Day Pizza Location`, and `Good Day Pizza Menu`.

전자기기(100)는 1) 사용자 간의 대화 내용을 통하여 후보 검색어를 추가할 수 있다. The electronic device 100 may 1) add a candidate search word through conversation content between users.

예를 들어, 전자기기(100)는 사용자 간의 대화 내용을 모니터링 하면서 계속적으로 자연어 처리를 하여 의미를 파악 할 수 있다. 사용자 간의 대화 내용상에 `pizza`가 주요 토픽으로 사용되고 있고, 사용자 간의 대화 내용상에 사용자가 `pizza`를 주문하려고 한다는 것이 확인되었다면, 전자기기(100)는 사용자가 필요한 것이 피자 레스토랑의 전화번호라고 예측을 할 수 있다. 또한, 사용자 간의 대화 내용 상에 `good day pizza`라는 단어가 사용되었다면, 전자기기(100)는 최종적으로 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다. For example, the electronic device 100 may continuously perform natural language processing while monitoring the content of conversations between users to grasp the meaning. If 'pizza' is used as the main topic in the conversation between users and it is confirmed that the user wants to order 'pizza' in the conversation between users, the electronic device 100 predicts that what the user needs is a phone number of a pizza restaurant can do. Also, if the word 'good day pizza' is used in the conversation between users, the electronic device 100 may finally add 'Good Day Pizza number' to the search word candidate.

예를 들어, 사용자 간의 대화 내용상에 `pizza`가 주요 토픽으로 사용되고 있고, 사용자 간의 대화 내용상에 사용자가 `good day pizza`를 주문하려고 한다는 것이 확인되었고, 전자기기(100)는 사용자가 필요한 것이 피자 레스토랑에 대한 것이라고 예측을 할 수 있다. 또한, 사용자 간의 대화 내용 상에 어떤 종류의 피자를 먹을 것인지에 대한 내용이 포함되어 있다면, 전자기기(100)는 최종적으로 검색어 후보에 `Good Day Pizza Menu`를 추가할 수 있다. For example, it was confirmed that 'pizza' is used as a main topic in the conversation between users, that the user wants to order 'good day pizza' in the conversation between users, and the electronic device 100 requires that the user needs pizza. It can be predicted that it is about a restaurant. Also, if the content of the type of pizza to be eaten is included in the conversation between users, the electronic device 100 may finally add 'Good Day Pizza Menu' to the search word candidate.

전자기기(100)는 2) 사용자의 위치 기록을 통하여 후보 검색어를 추가할 수 있다. The electronic device 100 may add a candidate search word through 2) the user's location record.

예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 기록 중 결재 내역 수신 메시지에서, 사용자가 `Good Day Pizza`에서 결재한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza`를 추가할 수 있다. For example, the electronic device 100 has confirmed that what the user needs is to find a pizza restaurant near the current location or to find the phone number of a pizza shop near the current location, and in the payment history reception message among the user's past records, If the record that the user pays for 'Good Day Pizza' is frequent, the electronic device 100 may add 'Good Day Pizza' to the search word candidate.

예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것이라고 확인하였고, 사용자 위치의 누적 기록에 사용자가 `Good Day Pizza`를 방문한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza Location`이라고 추가할 수 있다. For example, if the electronic device 100 confirms that what the user needs is to find a pizza restaurant near the current location, and the cumulative record of the user's location frequently records that the user visits 'Good Day Pizza', the electronic device 100 ) can be added as 'Good Day Pizza Location' to the search term candidate.

예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 통화 기록에 사용자가 `Good Day Pizza`로 전화를 한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다. For example, if the electronic device 100 confirms that what the user needs is to find the phone number of a pizza shop near the current location, and the user's past call record contains frequent calls to 'Good Day Pizza' , the electronic device 100 may add 'Good Day Pizza number' to the search word candidate.

전자기기(100)는 3) 사용자가 미리 입력한 정보을 분석하여 검색어를 추가할 수 있다. The electronic device 100 may 3) analyze the information previously input by the user to add a search word.

예를 들어, 전자기기는 사용자가 미리 입력된 정보를 검색하여 `good day pizza`가 사용자의 가장 선호하는 피자 레스토랑이라는 사실을 확인할 수 있다. For example, the electronic device may check the fact that 'good day pizza' is the user's most preferred pizza restaurant by searching for information entered in advance by the user.

사용자는 전자기기에 `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자가 전자기기에 `good day pizza`에 대한 간접적인 정보를 다수 기록하였다면, 전자기기는 사용자가 가장 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있다. 전자기기는 원하는 정보에 대해서 직접적인 기록이 없는 경우, 전자기기(100)는 통계적이고 확률적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인하고, 전자기기(100)는 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다. Users can directly record 'good day pizza' as their favorite pizza restaurant on the electronic device. In addition, if the user records a lot of indirect information about 'good day pizza' in the electronic device, the electronic device may determine that the pizza restaurant that the user prefers the most is 'good day pizza'. When there is no direct record of the desired information in the electronic device, the electronic device 100 confirms that 'good day pizza' is the most preferred pizza restaurant by the user through a statistical and probabilistic method, and the electronic device 100 determines the search word You can add a 'Good Day Pizza number' to your candidates.

전자기기(100)는 앱(App) 서비스를 통하여 서버에 입력된 정보에서 `good day pizza`가 사용자의 가장 선호하는 피자 레스토랑으로 판단할 수 있다. 사용자는 서버의 데이터 베이스에 앱(App) 서비스를 통하여, `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자가 서버의 데이터 베이스에 앱(App) 서비스를 통하여, `good day pizza`에 대한 정보를 다수 기록하였다면, 전자기기는 사용자가 가장 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있다. 전자기기는 원하는 정보에 대해서 직접적인 기록이 서버에 기록되어 있지 않은 경우, 전자기기(100)는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인하고, 전자기기(100)는 `Good Day Pizza number`를 검색어 후보에 추가할 수 있다. The electronic device 100 may determine that 'good day pizza' is the user's most preferred pizza restaurant in information input to the server through the App service. The user can directly record 'good day pizza' as the most preferred pizza restaurant through the App service in the server's database. In addition, if the user records a lot of information about 'good day pizza' in the database of the server through the App service, the electronic device may determine that the pizza restaurant that the user prefers the most is 'good day pizza'. there is. When the electronic device does not directly record the desired information in the server, the electronic device 100 confirms that 'good day pizza' is the pizza restaurant that the user prefers the most through a statistical method, and the electronic device 100 ) can add 'Good Day Pizza number' to the search term candidates.

전자기기(100)는 4) 사용자에 대한 기록을 기초로 검색어를 추가할 수 있다. 전자기기(100)는 과거 사용자가 결재 이력을 검토하고, 사용자가 `good day pizza`에서 결재한 이력이 다수 검토되는 경우, 사용자가 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있고, 사용자의 검색 이력을 검토하고, 사용자가 `good day pizza`에 대한 메뉴를 다수 서치 하였다면, `Good Day Pizza Menu`를 검색어 후보에 추가할 수 있다. The electronic device 100 may add a search word based on 4) a user record. The electronic device 100 may determine that the user's preferred pizza restaurant is 'good day pizza', when the past user reviews the payment history, and the user reviews a number of payment histories in 'good day pizza', After reviewing the user's search history, and if the user searches a number of menus for 'good day pizza', 'Good Day Pizza Menu' can be added to the search term candidates.

도 6b는 입력 박스에 기본값으로 키워드(예를 들어, `pizza`)와 동일한 검색어로 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2a 내지 도 2c 에서 설명한 다양한 방법을 통하여 결정될 수 있다. 전자기기(100)는 예를 들어, 키워드와 동일한 검색어를 생성할 수 있고, 검색어는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. FIG. 6B is a diagram illustrating a user interface that is displayed as a keyword (eg, 'pizza') and the same search word as a default in an input box. The keyword may be determined through various methods described with reference to FIGS. 2A to 2C . The electronic device 100 may generate, for example, a search word identical to a keyword, and the search word may be edited through an input interface provided by the electronic device 100 .

도 6c는 입력 박스에 기본값으로 검색어(예를 들어, `good day pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다.6C is a diagram illustrating a user interface for displaying a search word (eg, 'good day pizza') as a default value in an input box.

검색어는 도 2a 내지 도 2c 에서 설명한 다양한 방법을 통하여 결정될 수 있다. 예를 들어, 검색어는 도 2c에서 설명한 바와 같이, 키워드와 위치정보를 기초로 생성될 수 있다. 예를 들어, 키워드가 `pizza`라고 할 때, 메시지 상에 `good day pizza`라는 어구가 다수 나온다면, 전자기기는 검색어를 `good day pizza`라고 생성할 수 있다. The search word may be determined through various methods described with reference to FIGS. 2A to 2C . For example, as described with reference to FIG. 2C , the search word may be generated based on keywords and location information. For example, if the keyword is 'pizza' and the word 'good day pizza' appears in the message, the electronic device can generate the search term as 'good day pizza'.

키워드는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 예를 들어, 사용자는 `good day pizza`라는 검색어를 편집하여, `good day pizza location`, `good day pizza number`,`good day pizza menu`등 으로 편집할 수 있다. 전자기기(100)는 사용자가 편집한 검색어를 기초로 정보를 획득할 수 있다. The keyword may be edited through an input interface provided by the electronic device 100 . For example, the user can edit the search word 'good day pizza' and edit it into 'good day pizza location', 'good day pizza number', 'good day pizza menu', and the like. The electronic device 100 may acquire information based on the search word edited by the user.

도 7을 참조하면, 전자기기(100)는 화면전환을 통하여 검색된 결과를 제공할 수 있다. 또한, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. 전자기기(100)는 메시징 서비스로 화면 복귀하는 유저 이름 박스(user name box, 4)fmf 제공할 수 있다. 또는, 전자기기(100)는 메시징 서비스로 화면 복귀하는 백 버튼(back button, 2)을 제공할 수 있다. Referring to FIG. 7 , the electronic device 100 may provide a search result through screen switching. Also, the electronic device 100 may provide a search result through various methods described with reference to FIGS. 22 to 29 . The electronic device 100 may provide a user name box 4 fmf that returns the screen to the messaging service. Alternatively, the electronic device 100 may provide a back button 2 for returning the screen to the messaging service.

[시나리오 2 : 음성 채팅 서비스(Voice Chatting Service)][Scenario 2: Voice Chatting Service]

도 8 내지 도 10는 음성 채팅 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 본 명세서에서 음성 채팅(voice chatting service)은 보이스 콜(voice call service)를 의미할 수 있다. 8 to 10 are diagrams for explaining a specific user interface environment provided in communication through a voice chat service. In this specification, a voice chatting service may mean a voice call service.

도 8를 참조하면, 전자기기(100)는 도 3와 같이, 사용자간에 음성 채팅 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 8 , the electronic device 100 may display contents of communication between users through a voice chat service, as shown in FIG. 3 .

전자기기(100)의 사용자는 음성 채팅을 통하여, 상대방과 대화를 주고 받고 있다. 사용자 와 상대방의 대화 중에, 사용자는 `I want to eat pizza`라는 내용의 음성 메시지를 전달한다. 사용자의 음성 메시지는 STT(Speech to Text) 모듈을 통하여 텍스트로 변환되어 스크린에 디스플레이 될 수 있다.The user of the electronic device 100 communicates with the other party through voice chatting. During the conversation between the user and the other party, the user delivers a voice message saying 'I want to eat pizza'. The user's voice message may be converted into text through the STT (Speech to Text) module and displayed on the screen.

전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 STT(Speech to Text) 모듈을 통하여 텍스트로 변환된 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The electronic device 100 may determine whether to extract a keyword for each message converted into text through a speech to text (STT) module through a natural language processor (1200 in FIG. 36 ). The electronic device 100 may determine the meaning of each message for each message and determine whether to extract a keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다. Also, the electronic device 100 may extract the keyword as 'pizza' through statistical analysis and semantic analysis. A method for the electronic device 100 to extract a keyword may include the method described with reference to FIG. 3 .

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. For example, the electronic device 100 additionally considers 1) a natural language analysis of conversation content between users, 2) a location record of the user, 3) information previously input by the user 4) a record about the user, You can extract keywords as `pizza`.

또한, 전자기기(100)는 도 4와 유사하게, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 키워드를 추출할 메시지에 포함된 키워드에 대하여 도 4에서 설명한 것과 유사하게, 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다. In addition, similarly to FIG. 4 , the electronic device 100 continuously monitors the user's conversation content, similarly to the keywords included in the message from which the keywords are extracted, similarly to that described in FIG. 4 , separate indications Or you can mark.

또한, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. Also, similar to FIG. 5 , the electronic device 100 may receive a user input corresponding to an indication or display requesting an input. The user may input through various means described with reference to FIG. 5 .

도 9a 및 도 9b를 참조하면, 전자기기(100)는 키워드와 관련된 검색어를 제공할 수 있다. 9A and 9B , the electronic device 100 may provide a search word related to a keyword.

도 9a는 입력 박스에 기본값으로 키워드(예를 들어, `pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2의 단계(S110)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 전자기기(100)는 예를 들어, 키워드와 동일한 검색어를 생성할 수 있고, 검색어는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 9A is a diagram illustrating a user interface for displaying a keyword (eg, 'pizza') as a default value in an input box. The keyword may be determined through various methods described in step S110 of FIG. 2 . The electronic device 100 may generate, for example, a search word identical to a keyword, and the search word may be edited through an input interface provided by the electronic device 100 .

도 9b는 입력 박스에 기본값으로 검색어(예를 들어, `good day pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 검색어는 도 2의 단계(S130)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 키워드는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 또한, 전자기기(100)는 도 9a 및 도 9b의 방법 이외에, 도 6a와 같이 후보 검색어를 제시할 수 있다. 9B is a diagram illustrating a user interface for displaying a search word (eg, 'good day pizza') as a default value in an input box. The search word may be determined through various methods described in step S130 of FIG. 2 . The keyword may be edited through an input interface provided by the electronic device 100 . In addition, the electronic device 100 may present a candidate search word as shown in FIG. 6A in addition to the methods of FIGS. 9A and 9B .

도 10을 참조하면, 전자기기(100)는 화면을 2개의 영역(20, 30)으로 구분하고, 구분된 영역들(20, 30) 중 하나(30)에 검색된 결과를 제공할 수 있다. 전자기기(100)는 화면을 2개의 영역(20, 30)으로 구분하고 상단의 영역(20)에 채팅 앱 화면을 디스플레이하고, 하단의 영역(30)에 서치 엔진 서비스 화면을 디스플레이 할 수 있다. 또한, 사용자는 상단에 채팅 앱 화면을 클릭하여, 채팅 앱 화면을 전자기기(100)의 화면의 전체 영역에 표시할 수 있다. Referring to FIG. 10 , the electronic device 100 may divide the screen into two areas 20 and 30 , and provide a search result to one 30 of the divided areas 20 and 30 . The electronic device 100 may divide the screen into two areas 20 and 30 , display the chatting app screen in the upper area 20 , and display the search engine service screen in the lower area 30 . In addition, the user may click the chat app screen at the top to display the chat app screen in the entire area of the screen of the electronic device 100 .

또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. Also, in addition to the illustrated bar, the electronic device 100 may provide search results through various methods described with reference to FIGS. 22 to 29 .

[시나리오 3 : 메일링 서비스(Mailing Service) ][Scenario 3: Mailing Service]

도 11 내지 도 15은 메일링 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 11 to 15 are diagrams for explaining a specific user interface environment provided in communication through a mailing service.

도 11를 참조하면, 전자기기(100)는 도 11와 같이, 사용자간에 메일링 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 11 , the electronic device 100 may display contents of communication between users through a mailing service as shown in FIG. 11 .

전자기기(100)의 사용자는 e-mail을 통하여, 상대방과 커뮤니케이션을 하고 있다. 사용자의 수신 메일 내용 중, 약속 시간 및 장소에 대한 코멘트가 포함되어 있다. The user of the electronic device 100 communicates with the other party through e-mail. Among the contents of the user's received e-mail, comments on the appointment time and place are included.

전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 문장 별로 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The electronic device 100 may determine whether to extract a keyword for each message for each sentence through the natural language processor ( 1200 in FIG. 36 ). The electronic device 100 may determine the meaning of each message for each message and determine whether to extract a keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다. Also, the electronic device 100 may extract keywords through statistical analysis and semantic analysis. A method for the electronic device 100 to extract a keyword may include the method described with reference to FIG. 3 .

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `샤브미`로 추출할 수 있다. For example, the electronic device 100 additionally considers 1) a natural language analysis of conversation content between users, 2) a location record of the user, 3) information previously input by the user 4) a record about the user, Keywords can be extracted as 'shabume'.

또한, 전자기기(100)는 도 4와 유사하게, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 키워드를 추출할 메시지에 포함된 키워드에 대하여 도 4에서 설명한 것과 유사하게, 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다. In addition, similarly to FIG. 4 , the electronic device 100 continuously monitors the user's conversation content, similarly to the keywords included in the message from which the keyword is extracted, similarly to that described in FIG. 4 , separate indications Or you can mark.

도 12를 참조하면, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. Referring to FIG. 12 , similar to FIG. 5 , the electronic device 100 may receive a user input corresponding to an indication or display requesting an input. The user may input through various means described with reference to FIG. 5 .

도 13를 참조하면, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드의 카테고리를 확인하고 키워드가 장소와 관련된 단어인 경우, 카테고리를 장소라고 파악하고, 지도와 관련된 앱(App) 목록을 제공할 수 있다. Referring to FIG. 13 , the electronic device 100 may provide a list of apps related to keywords. For example, the electronic device 100 may check a category of a keyword, and when the keyword is a word related to a place, identify the category as a place and provide a list of apps related to a map.

본 발명의 다른 실시예에서, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공하지 않고, 미리 지정된 앱을 통하여 정보를 획득할 수 있다. In another embodiment of the present invention, the electronic device 100 may acquire information through a pre-specified app without providing a list of apps related to keywords.

도 14은 입력 박스에 기본값으로 키워드(예를 들어, `샤브미`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2a의 단계(S110)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 예를 들어, 전자기기(100)는 키워드와 동일한 검색어를 생성할 수 있다. 검색어는 도 2a의 단계(S130)에서 설명한 다양한 방법을 통하여 결정될 수 있다.14 is a diagram illustrating a user interface for displaying a keyword (eg, 'shabumi') as a default value in an input box. The keyword may be determined through various methods described in step S110 of FIG. 2A . For example, the electronic device 100 may generate the same search word as the keyword. The search word may be determined through various methods described in step S130 of FIG. 2A .

검색어는 입력 인터페이스를 통하여 편집될 수 있다. 예를 들어, 전자기기(100)는 키워드를 `샤브미`로 추출할 수 있고, 검색어를 이와 동일하게 `샤브미`로 생성할 수 있다. 사용자는 입력 인터페이스를 통해서 검색어를 `샤브미 도곡점`이라고 편집할 수 있다. 또한 검색어를 `샤브미 음식점`으로 자동 생성할 수도 있다. 전자기기(100)는 앱 서비스를 통하여 `샤브미 도곡점`의 위치에 대한 정보를 획득할 수 있다. The search term may be edited through the input interface. For example, the electronic device 100 may extract the keyword as 'shabu-me', and may generate the search word as 'shabu-me' in the same way. The user can edit the search term as 'Shabumi Dogokjeom' through the input interface. You can also automatically create a search term as 'shabu-mi restaurant'. The electronic device 100 may obtain information on the location of the 'Shabumi Dogokjeom' through the app service.

도 15을 참조하면, 전자기기(100)는 화면분할을 통하여 검색된 결과를 제공할 수 있다. 또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. Referring to FIG. 15 , the electronic device 100 may provide a search result through screen division. Also, in addition to the illustrated bar, the electronic device 100 may provide search results through various methods described with reference to FIGS. 22 to 29 .

[시나리오 4 : 소셜 네트워크 서비스(Social Network Service)][Scenario 4: Social Network Service]

도 16 내지 도 19은 소셜 네트워크 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 16 to 19 are diagrams for explaining a specific user interface environment provided in communication through a social network service.

도 16를 참조하면, 전자기기(100)는 도 16와 같이, 소셜 네트워크 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 16 , the electronic device 100 may display contents of communication through a social network service as shown in FIG. 16 .

전자기기(100)의 사용자는 소셜 네트워크 서비스을 통하여, 상대방의 메모 내용을 디스플레이 하고 있다. 사용자의 메모 내용 중, 키워드는 `batman`, `Sumin`, `L.A`로 추출될 수 있다. 전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 문장 별로 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The user of the electronic device 100 is displaying the content of the other party's memo through a social network service. Among the user's memo contents, keywords can be extracted as `batman`, `Sumin`, or `L.A`. The electronic device 100 may determine whether to extract a keyword for each message for each sentence through the natural language processor ( 1200 in FIG. 36 ). The electronic device 100 may determine the meaning of each message for each message and determine whether to extract a keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `batman`, `Sumin`, `L.A`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다. In addition, the electronic device 100 may extract keywords as 'batman', 'Sumin', and 'L.A' through statistical analysis and semantic analysis. A method for the electronic device 100 to extract a keyword may include the method described with reference to FIG. 3 .

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `batman`, `Sumin`, `L.A`로 추출할 수 있다.For example, the electronic device 100 additionally considers 1) a natural language analysis of conversation content between users, 2) a location record of the user, 3) information previously input by the user 4) a record about the user, Keywords can be extracted as `batman`, `Sumin`, or `LA`.

도 17을 참조하면, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. 사용자는 복수의 키워드 중에서 검색어를 선택 할 수 있다. 사용자가 `batman`을 키워드로 선택한 경우, 전자기기(100)는 앱 서비스를 통하여 `batman`에 대한 정보를 획득할 수 있다. Referring to FIG. 17 , similar to FIG. 5 , the electronic device 100 may receive a user input corresponding to an indication or display requesting an input. The user may input through various means described with reference to FIG. 5 . The user may select a search term from among a plurality of keywords. When the user selects 'batman' as a keyword, the electronic device 100 may acquire information about 'batman' through an app service.

도 18를 참조하면, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드의 카테고리를 확인하고 키워드가 영화와 관련된 단어인 경우, 카테고리를 영화라고 파악하고, 영화와 관련된 앱(App) 목록을 제공할 수 있다. Referring to FIG. 18 , the electronic device 100 may provide a list of apps related to keywords. For example, the electronic device 100 may check the category of the keyword, and when the keyword is a word related to a movie, identify the category as a movie, and provide a list of apps related to the movie.

도 19을 참조하면, 전자기기(100)는 화면전환을 통하여 검색된 결과를 제공할 수 있다. 또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. Referring to FIG. 19 , the electronic device 100 may provide a search result through screen switching. Also, in addition to the illustrated bar, the electronic device 100 may provide search results through various methods described with reference to FIGS. 22 to 29 .

[시나리오 5 : 스케쥴러(Scheduler)][Scenario 5: Scheduler]

도 20은 스케쥴러 서비스를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 20 is a diagram for explaining a specific user interface environment provided while using a scheduler service.

도 20를 참조하면, 전자기기(100)는 테블릿 PC일 수 있다. 전자기기(100)는 스케쥴러 앱(App) 서비스를 사용자에게 제공할 수 있다. 사용자는 스케쥴러 앱(App)을 통해서 자신의 시간 일정을 관리할 수 있다. Referring to FIG. 20 , the electronic device 100 may be a tablet PC. The electronic device 100 may provide a scheduler App service to the user. The user can manage his/her time schedule through the scheduler app.

예를 들어, 사용자가 24일에 도시된 바와 같은 일정을 가지고 있다고 가정한다. 도시된 바와 같이, 사용자는 `Kaur`와 만나서 경복궁(Kyung Bok Palace)를 관광하고, `Kaur`와 저녁도 함께 하기로 했다고 가정한다. For example, suppose the user has a schedule as shown on the 24th. As shown, it is assumed that the user meets 'Kaur' to tour Gyeongbokgung Palace, and to have dinner with 'Kaur'.

전자기기(100)는 사용자의 통화 내역에서 사용자가 경복궁 근처에 레스토랑과 연락을 한적이 없다는 것을 파악하고, 사용자의 인터넷 검색 기록에서 사용자가 경복궁 근처에 레스토랑에 대해서 검색한 적이 없다는 것을 파악 할 수 있다. 또한, 전자기기(100)는 사용자가 경복궁 근처는 초행길이라는 것을 전자기기에 포함된 GPS 모듈을 통해서 확인할 수 있다. 이러한 경우, 전자기기(100)는 스케쥴러에 기록된 `Kyung Bok` 또는 `Kyung Bok`의 한글 표현인 `경복궁`을 키워드로 추출하고, `경복궁 근처 맛집`을 검색어로 자동 생성하여, 스케줄러에 기록된 `Kyung Bok`에 하이라이트 인디케이션(indication) 또는 마크(mark)를 제공할 수 있다. The electronic device 100 may determine from the user's call history that the user has never contacted a restaurant near Gyeongbokgung, and may determine that the user has never searched for a restaurant near Gyeongbokgung from the user's Internet search record. In addition, the electronic device 100 can confirm through the GPS module included in the electronic device that the user is on the first road near Gyeongbokgung Palace. In this case, the electronic device 100 extracts 'Gyeongbokgung', a Korean expression of 'Kyung Bok' or 'Kyung Bok' recorded in the scheduler, as a keyword, and automatically generates 'restaurant near Gyeongbokgung' as a search word, and records it in the scheduler You can provide a highlight indication or mark to the 'Kyung Bok'.

유저가 하이라이트된 `Kyung Bok` 텍스트를 선택하면 생성된 `경복궁 근처 맛집`을 검색 서비스에 제공하고 관심 정보를 실시간 획득하여 제공 할 수 있다. 또한, 자동 생성된 `경복궁 근처 맛집`을 미리 검색하여 획득된 관심정보를 디바이스에 저장해두고 유저가 원할 때 언제든지 관심 정보를 제공받을 수 도 있다.When the user selects the highlighted 'Kyung Bok' text, the generated 'restaurants near Gyeongbokgung Palace' can be provided to the search service, and interest information can be obtained and provided in real time. In addition, interest information obtained by searching for automatically generated 'restaurants near Gyeongbokgung Palace' in advance is stored in the device, and the user can receive the information of interest whenever they want.

[시나리오 6 : 문서 편집기(Word Processor)][Scenario 6: Word Processor]

도 21은 문서 편집기 앱(App)를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 21 is a diagram for explaining a specific user interface environment provided while using a text editor App.

도 21를 참조하면, 전자기기(100)는 랩탑 컴퓨터일 수 있다. 전자기기(100)는 문서 편집기 앱(App) 서비스를 사용자에게 제공할 수 있다. 사용자는 문서 편집기 앱(App)을 통해서 문서를 작성하고 편집할 수 있다. Referring to FIG. 21 , the electronic device 100 may be a laptop computer. The electronic device 100 may provide a text editor app (App) service to the user. Users can create and edit documents through a text editor app.

예를 들어, 사용자가 뉴스 기사(Article)를 편집할 수 있다. 전자기기(100)는 사용자의 정보를 파악하여 사용자의 영어 단어 수준을 파악하고, 사용자에게 어려운 단어를 인디케이션(indication) 또는 마크(mark)할 수 있다. For example, a user may edit a news article. The electronic device 100 may determine the user's information to determine the user's English word level, and may indicate or mark difficult words to the user.

도 22 내지 도 27은 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.22 to 27 are diagrams illustrating a method in which the electronic device 100 provides acquired information to a user through an output interface.

전자기기(100)는 표 4에서 설명하는 바와 같은 다양한 방식을 통하여 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공할 수 있다. The electronic device 100 may provide information obtained through various methods as described in Table 4 to the user through the output interface.

도 22a 내지 도 22i는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC 이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.22A to 22I show when the electronic device 100 is a smart phone or a tablet PC and a user is chatting text through a smart phone or a tablet PC, the electronic device It is a diagram illustrating a method in which information 100 is provided to a user through an output interface.

도 22a는 사용자간에 전자기기(100, 105)를 통하여 텍스트 채팅을 하고 있는 상황을 도시하는 도면이다. 22A is a diagram illustrating a situation in which text chatting is performed between users through electronic devices 100 and 105 .

도 22a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기(105)의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. Referring to FIG. 22A , the first user of the electronic device 100 and the second user of the electronic device 105 exchange a conversation through text chatting. During the conversation between the first user and the second user, the first user delivers a message stating 'I want to eat pizza'.

대화창(7)을 참조하면, 대화 상대방인 Chris는 전자기기(100)의 사용자인 Hyunjin에게 `What do you want?`라고 2013년 8월 6일 8시 28분에 질문하였다. 대화창(8)을 참조하면, 전자기기(100)의 사용자인 Hyunjin은 대화 상대방인 Chris에게 `I want to eat pizza`라고 2013년 8월 6일 8시 30분에 대답하였다. 대화가 진행되고 있는 현재 시간은 2013년 8월 6일 8시 30분이다. Referring to the chat window 7 , Chris, the chat partner, asked Hyunjin, the user of the electronic device 100, 'What do you want?' at 8:28 on August 6, 2013. Referring to the chat window 8 , Hyunjin, the user of the electronic device 100 , replied to Chris, the chat partner, at 8:30 on August 6, 2013, saying, 'I want to eat pizza'. The current time of the conversation is 8:30 on August 6, 2013.

전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 22b 내지 도 22i와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. The electronic device 100 may extract a keyword from a message requiring additional acquisition of information while monitoring the conversation, and may provide a search word to the first user. The first user may edit the provided search term. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device 100 . The electronic device 100 may provide information to the first user through the output interface in the same manner as in FIGS. 22B to 22I .

도 22b는 도 22a의 전자기기(100)가 획득한 정보를 화면 전환을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 22B is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to the first user through screen switching.

도 22b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면에서, 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. 사용자는 소정의 입력을 통하여 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. 사용자는 상단에 위치한 유저 이름 박스(4)를 터치하거나 더블 탭하여, 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. As shown in FIG. 22B , the electronic device 100 may switch from the text chatting interface screen displayed on the screen to a screen displaying the acquired information. For example, the electronic device 100 may close the text chatting interface screen displayed on the screen, and display the acquired information and the interface of the search engine providing the acquired information. The user may return to the text chatting interface screen through a predetermined input. The user can return to the text chat interface screen by touching or double-tapping the user name box 4 located at the top.

도 22c는 도 22a의 전자기기(100)가 획득한 정보를 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 22C is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to the first user through screen division.

도 22c에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지의 일부를, 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면의 일부를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. 사용자는 상단에 위치한 백 버튼(Back Button, 2)을 통하여 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. As shown in FIG. 22C , the electronic device 100 may convert a part of the text chatting interface image displayed on the screen to a screen displaying the acquired information. For example, the electronic device 100 may close a part of the text chatting interface screen displayed on the screen, and display the acquired information and the interface of the search engine providing the acquired information. The user may return to the text chatting interface screen through the Back Button 2 located at the top.

도 22d는 도 22a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 22D is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to the first user through voice.

도 22d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성으로 `검색어를 `good day pizz`로 검색한 결과 A, B, C 입니다` 라고 스피커를 통하여 제공할 수 있다.As shown in FIG. 22D , the electronic device 100 may continuously display the text chatting interface image displayed on the screen and provide the obtained information through voice. For example, the electronic device 100 continues to display the chatting interface image that was displayed on the screen, summarizes the acquired information, and 'searches for the search term as 'good day pizz' by voice, and the results are A, B, and C' can be provided through the speaker.

전자기기(100)가 제공하는 언어의 종류는 한국어, 영어, 불어, 독일어, 스페인어, 일어, 중국어 등 다양한 언어로 제공될 수 있다. 예를 들어, 전자기기(100)가 제공하는 언어의 종류는 사용자가 환경설정을 통하여 설정한 언어일 수 있다. 예를 들어, 전자기기(100)가 제공하는 언어의 종류는 전자기기(100)에서 제공하는 언어일 수 있다.The type of language provided by the electronic device 100 may be provided in various languages such as Korean, English, French, German, Spanish, Japanese, and Chinese. For example, the type of language provided by the electronic device 100 may be a language set by the user through environment setting. For example, the type of language provided by the electronic device 100 may be a language provided by the electronic device 100 .

도 22e는 도 22a의 전자기기(100)가 획득한 정보를 음성과 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.22E is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to the first user through voice and screen division.

도 22e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지의 일부를 획득된 정보를 디스플레이 하는 이미지로 전환하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 정보를 디스플레이 하는 이미지로 전환하고, 획득된 정보의 일부를 요약하여 음성으로 제공할지 여부를 사용자에게 물어볼 수 있다. 예를 들어, 전자기기(100)는 `검색어를 `good day pizza`로 검색한 결과를 이미지로 보시겠습니까?` 라고 사용자에게 물어볼 수 있다. As shown in FIG. 22E , the electronic device 100 may convert a part of the text chatting interface image displayed on the screen into an image displaying the acquired information, and provide the acquired information through voice. Also, for example, the electronic device 100 converts a part of the chatting text interface image displayed on the screen into an image for displaying the acquired information, and provides the user with a voice summary of a part of the acquired information. you can ask For example, the electronic device 100 may ask the user, 'Do you want to view the result of searching for the search word as 'good day pizza' as an image?'.

도 22f는 도 22a의 전자기기(100)가 획득한 정보를 메시징 서비스를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다. 22F is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to at least one user through a messaging service.

도 22f에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 메시징 서비스를 통하여 자신의 휴대폰 또는 타인의 휴대폰에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 텍스트 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 메시징 서비스를 통하여 특정 전화번호로 전송 할 수 있다.As shown in FIG. 22F , the electronic device 100 may continuously display the text chatting interface image displayed on the screen and provide the obtained information to one's own mobile phone or another's mobile phone through a messaging service. Also, for example, the electronic device 100 continuously displays the text chatting interface image displayed on the screen so that text chatting between the first user and the second user can be continued, and the obtained information is displayed on the screen. It can be sent to a specific phone number through a messaging service.

도 22g는 도 22a의 전자기기(100)가 획득한 정보를 e-mail 서비스를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다. 22G is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to at least one user through an e-mail service.

도 22g에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 e-mail 서비스를 통하여 자신의 e-mail 주소 또는 타인의 e-mail 주소에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 e-mail 서비스를 통하여 특정 e-mail 계정으로 전송 할 수 있다.As shown in FIG. 22G , the electronic device 100 continuously displays the text chatting interface image displayed on the screen, and transmits the obtained information to one's own e-mail address or another's e-mail through an e-mail service. address can be provided. In addition, for example, the electronic device 100 continuously displays the text chatting interface image that was displayed on the screen so as to continuously chat between the first user and the second user, and displays the obtained information on the screen. -You can send to a specific e-mail account through the mail service.

도 22h는 도 22a의 전자기기(100)가 획득한 정보를 소셜 네트워크 서비스(Social Network Service)를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다. 22H is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to at least one user through a social network service.

도 22h에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 자신의 계정 또는 타인의 계정에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 특정 계정의 게시판으로 전송 할 수 있다.As shown in FIG. 22H , the electronic device 100 may continuously display the text chatting interface image displayed on the screen and provide the obtained information to one's own account or another's account through a social network service. Also, for example, the electronic device 100 continuously displays the text chatting interface image displayed on the screen to display it on the screen so that chatting can be continued between the first user and the second user, and the obtained information is socially displayed. It can be transmitted to the bulletin board of a specific account through the network service.

도 22i는 도 22a의 전자기기(100)가 획득한 정보를 앱(App) 서비스를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 22I is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to a first user through an App service.

도 22i에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 애플리케이션 서비스를 통하여 자신의 계정 또는 타인의 계정에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 특정 계정의 게시판으로 전송 할 수 있다.As shown in FIG. 22I , the electronic device 100 may continuously display the text chatting interface image displayed on the screen and provide the obtained information to the user's own account or the account of another person through the application service. Also, for example, the electronic device 100 continuously displays the text chatting interface image displayed on the screen to display it on the screen so that chatting can be continued between the first user and the second user, and the obtained information is socially displayed. It can be transmitted to the bulletin board of a specific account through the network service.

도 23a 내지 도 23e는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.23A to 23E show when the electronic device 100 is a smart phone or a tablet PC and the user is conducting voice chatting through a smart phone or a tablet PC, the electronic device It is a diagram illustrating a method in which information 100 is provided to a user through an output interface.

도 23a는 사용자간에 전자기기(100, 105)를 통하여 음성 채팅을 하고 있는 상황을 도시하는 도면이다.23A is a diagram illustrating a situation in which voice chatting is performed between users through the electronic devices 100 and 105 .

도 23a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 음성 메시지를 전달한다. 제1 사용자의 음성 메시지는 STT(Speech to Text) 모듈을 통하여 텍스트로 변환되어 스크린에 디스플레이 될 수 있다.Referring to FIG. 23A , the first user of the electronic device 100 and the second user of the electronic device exchange a conversation through voice chatting. During a conversation between the first user and the second user, the first user delivers a voice message stating 'I want to eat pizza'. The first user's voice message may be converted into text through a speech to text (STT) module and displayed on the screen.

전자기기(100)는 대화를 지속적으로 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 4b 내지 도 4e와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.The electronic device 100 may extract a keyword from a message requiring additional acquisition of information while continuously monitoring the conversation, and may provide a search word to the first user. The first user may edit the provided search term. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device 100 . The electronic device 100 may provide information to the first user through the output interface in the same manner as in FIGS. 4B to 4E .

도 23b는 도 23a의 전자기기(100)가 획득한 정보를 화면전환을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23B is a diagram illustrating a method in which the electronic device 100 of FIG. 23A provides the acquired information to the first user through screen switching.

도 23b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 23B , the electronic device 100 may convert the voice chatting interface screen displayed on the screen to a screen displaying the acquired information. For example, the electronic device 100 may close the voice chatting interface screen displayed on the screen, and display the acquired information and the interface of the search engine providing the acquired information.

도 23c는 도 23a의 전자기기(100)가 획득한 정보를 화면분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23C is a diagram illustrating a method in which the electronic device 100 of FIG. 23A provides the acquired information to the first user through screen division.

도 23c에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 23C , the electronic device 100 may convert a part of the voice chatting interface screen displayed on the screen to a screen displaying the acquired information. For example, the electronic device 100 may close a part of the voice chatting interface screen displayed on the screen, and display the acquired information and the interface of the search engine providing the acquired information.

도 23d는 도 23a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23D is a diagram illustrating a method in which the electronic device 100 of FIG. 23A provides the acquired information to the first user through voice.

도 23d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 23D , the electronic device 100 may continuously display the voice chatting interface screen displayed on the screen, and provide the obtained information through voice. For example, the electronic device 100 may continuously display the voice chatting interface screen displayed on the screen, and summarize the obtained information and provide it through voice.

도 23e는 도 23a의 전자기기(100)가 획득한 정보를 음성과 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23E is a diagram illustrating a method in which the electronic device 100 of FIG. 23A provides the acquired information to the first user through voice and screen division.

도 23e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 23E , the electronic device 100 may convert a part of the voice chatting interface screen displayed on the screen to a screen displaying the acquired information, and may provide the acquired information through voice. Also, for example, the electronic device 100 may convert a part of the voice chatting interface screen displayed on the screen to a screen displaying the acquired information, and may summarize a part of the acquired information and provide it through voice.

또한, 음성 채팅의 경우에도 텍스트 채팅의 경우와 같이, 메시징 서비스를 통해서 메시징 서비스를 이용하는 적어도 하나의 사용자에게 전송하거나, e-mail 서비스를 통하여 e-mail 서비스 이용하는 적어도 하나의 사용자에게 제공하거나, 소셜 네트워크 서비스(Social Network Service)를 통하여 소셜 네트워크 서비스(Social Network Service)를 이용하는 적어도 하나의 사용자에게 제공하거나, 기타 앱 서비스를 통하여 앱 서비스를 이용하는 적어도 하나의 사용자에게 제공할 수 있다. In addition, in the case of voice chatting, as in the case of text chatting, it is transmitted to at least one user using the messaging service through the messaging service, provided to at least one user using the e-mail service through the e-mail service, or social It may be provided to at least one user who uses a social network service through a network service (Social Network Service), or may be provided to at least one user who uses an app service through other app services.

여기서, 메시징 서비스를 이용하는 적어도 하나의 사용자, e-mail 서비스를 이용하는 적어도 하나의 사용자, 소셜 네트워크 서비스(Social Network Service)를 이용하는 적어도 하나의 사용자, 앱 서비스를 이용하는 적어도 하나의 사용자는 전자기기(100)의 사용자를 포함 할 수 있다. Here, at least one user using a messaging service, at least one user using an e-mail service, at least one user using a social network service, and at least one user using an app service are the electronic devices 100 ) of users.

도 24a 내지 도 24f는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.24A to 24F show information obtained by the electronic device 100 through an output interface when the electronic device 100 is a smart watch and the user is chatting text through the smart watch. It is a diagram showing a method of providing to a user.

도 24a는 사용자간에 전자기기(100, 105)를 통하여 텍스트 채팅을 하고 있는 상황을 도시하는 도면이다. 24A is a diagram illustrating a situation in which text chatting is performed between users through the electronic devices 100 and 105 .

도 24a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기의 제2 사용자가 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 24b 내지 도 24f와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. Referring to FIG. 24A , a first user of the electronic device 100 and a second user of the electronic device exchange a conversation through text chatting. During the conversation between the first user and the second user, the first user delivers a message stating 'I want to eat pizza'. The electronic device 100 may extract a keyword from a message requiring additional acquisition of information while monitoring the conversation, and may provide a search word to the first user. The first user may edit the provided search term. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device 100 . The electronic device 100 may provide information to the first user through the output interface in the same manner as in FIGS. 24B to 24F .

도 24b는 도 24a의 전자기기(100)가 획득한 정보 중 주요 정보에 대해서 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 24B is a diagram illustrating a method in which the electronic device 100 of FIG. 24A provides main information among the acquired information to the first user.

도 24b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. As shown in FIG. 24B , the electronic device 100 may convert the text chatting interface screen displayed on the screen to a screen displaying main information among the acquired information. For example, the electronic device 100 may display one of main information (eg, each image shown in FIG. 24C ) among the acquired information.

도 24c는 도 24a의 전자기기(100)가 획득한 정보 중 주요 정보에 대해서 제1 사용자에게 제공하는 방식을 설명하기 위하여 도시하는 도면이다. FIG. 24C is a diagram illustrating a method in which the electronic device 100 of FIG. 24A provides main information among the acquired information to the first user.

도 24c에 도시된 바와 같이, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 예를 들어, 제1 사용자는 전자기기(100)에서 제공하는 페이지 이동 버튼(21)을 통하여 다른 주요 정보를 각각 확인할 수 있다. As shown in FIG. 24C , the electronic device 100 may display one of main information (eg, each image) among the acquired information. For example, the first user may check each other main information through the page moving button 21 provided by the electronic device 100 .

도 24d는 도 22a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 24D is a diagram illustrating a method in which the electronic device 100 of FIG. 22A provides the acquired information to the first user through voice.

도 24d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성을 통하여 제공할 수 있다.24D , the electronic device 100 may continuously display the text chatting interface image displayed on the screen and provide the obtained information through voice. For example, the electronic device 100 may continuously display the chatting interface image displayed on the screen, summarize the obtained information, and provide it through voice.

도 24e는 도 24a의 전자기기(100)가 획득한 정보를 음성과 주요 이미지 정보를 제1 사용자에게 제공하는 방식을 도시하는 도면이다.24E is a diagram illustrating a method in which the electronic device 100 of FIG. 24A provides the acquired information with voice and main image information to the first user.

도 24e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 이미지 정보를 디스플레이 하는 화면으로 전환하고, 이와 동시에 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 이미지 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.24E , the electronic device 100 converts the text chat interface screen displayed on the screen to a screen that displays main image information among the acquired information, and at the same time provides the acquired information through voice. . Also, for example, the electronic device 100 may convert a part of the chat text interface image displayed on the screen to a screen displaying the acquired image information, and summarize a part of the acquired information and provide it through voice. .

도 24f는 도 24f의 전자기기(100)가 획득한 정보를 음성과 주요 텍스트 정보를 제1 사용자에게 제공하는 방식을 도시하는 도면이다.24F is a diagram illustrating a method in which the electronic device 100 of FIG. 24F provides the acquired information with voice and main text information to the first user.

도 24f에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 텍스트 정보를 디스플레이 하는 화면으로 전환하고, 이와 동시에 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 텍스트 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 24F , the electronic device 100 converts the text chat interface screen displayed on the screen to a screen that displays main text information among the acquired information, and at the same time provides the acquired information through voice. . Also, for example, the electronic device 100 may convert a part of the chatting text interface image displayed on the screen to a screen displaying the acquired text information, and summarize a part of the acquired information and provide it through voice. .

도 25a 및 도 25b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch) 및 스마트 워치(Smart Watch)와 연동되는 전자기기(101)인 스마트 폰(Smart Phone)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.25a and 25b show the electronic device 100 is a smart watch, and the user shows a smart watch and a smart phone, which is an electronic device 101 that is interlocked with the smart watch. It is a diagram illustrating a method of providing information obtained by the electronic device 100 to a user through an output interface in the case of text chatting through the interface.

도 25a을 참조하면, 스마트 워치(예를 들어, 100)와 스마트 폰(예를 들어, 101)은 연동될 수 있다. 예를 들어, 스마트 워치(100)는 스마트 폰(101)과 근거리 무선 통신을 통하여 연결될 수 있다. 예를 들어, 스마트 워치(100)와 스마트 폰(101)은 디스플레이 화면의 일부를 공유할 수 있다. 예를 들어, 스마트 폰(101)이 서버(미도시)로부터 메시지를 수신하는 경우, 스마트 워치(100)는 진동 과 같은 방식으로 사용자에게 메시지가 수신되었음을 알려 줄 수 있다. 예를 들어, 스마트폰(101)이 서버(미도시)로부터 음성 콜(Voice Call)을 수신하는 경우, 스마트 워치(100)는 진동과 같은 방식으로 사용자에게 메시지가 수신되었음을 알려 줄 수 있다. Referring to FIG. 25A , a smart watch (eg, 100) and a smart phone (eg, 101) may be linked. For example, the smart watch 100 may be connected to the smart phone 101 through short-range wireless communication. For example, the smart watch 100 and the smart phone 101 may share a portion of the display screen. For example, when the smart phone 101 receives a message from a server (not shown), the smart watch 100 may notify the user that the message has been received in a manner such as vibration. For example, when the smart phone 101 receives a voice call from a server (not shown), the smart watch 100 may notify the user that a message has been received in a manner such as vibration.

예를 들어, 전자기기(101)에서 수신된 메시지들 중 일부는 전자기기(100)에 디스플레이 될 수 있다. 전자기기(100)와 전자기기(105)가 계속적으로 송수신한 메시지들은 전자기기(101) 및 전자기기(106)에 디스플레이 될 수 있다. 전자기기(101)의 사용자는 터치 스크린을 통하여 사용자들 간에 송수신한 메시지를 확인할 수 있다. 예를 들어, 전자기기(101)의 사용자는 터치 스크린에 패닝(panning) 또는 플릭(flick)과 같은 터치 입력을 통하여 사용자들 간에 송수신한 메시지를 상하로 스크롤하여 확인할 수 있다.For example, some of the messages received by the electronic device 101 may be displayed on the electronic device 100 . Messages continuously transmitted and received between the electronic device 100 and the electronic device 105 may be displayed on the electronic device 101 and the electronic device 106 . The user of the electronic device 101 may check messages transmitted and received between users through the touch screen. For example, the user of the electronic device 101 may scroll up and down to check messages transmitted and received between users through a touch input such as panning or flicking on the touch screen.

전자기기(100) 및 전자기기(101)의 제1 사용자와 전자기기(105) 및 전자기기(106)의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 이러한 상황에서, 전자기기(100)는 상대적으로 적은 대화 내용을 디스플레이하고, 전자기기(101)는 상대적으로 많은 대화 내용을 디스플레이 할 수 있다.The first user of the electronic device 100 and the electronic device 101 and the second user of the electronic device 105 and the electronic device 106 exchange a conversation through text chatting. During the conversation between the first user and the second user, the first user delivers a message stating 'I want to eat pizza'. In this situation, the electronic device 100 may display a relatively small amount of conversation content, and the electronic device 101 may display a relatively large amount of conversation content.

전자기기(100)는 대화를 모니터링 하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. The electronic device 100 may extract a keyword from a message requiring additional acquisition of information while monitoring the conversation, and may provide a search word to the first user. The first user may edit the provided search term. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device 100 .

또한, 전자기기(100)는 계속적으로 사용자 간의 대화를 분석하면서, 각각의 메시지에 대해서 모니터링 할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대해서 모니터링 하면서, 각각의 메시지에 대해서 질문 메시지 인지 여부를 판단하고, 각각의 메시지에 대해서 정보의 획득이 필요한지 여부를 판단할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대해서 키워드를 추출할 수 있다. 또한, 전자기기(100)는 계속적으로, 각각 메시지에서 추출된 키워드에 대응하는 부분에 대해서 해당 메시지의 다른 부분과 구별이 되도록 표시할 수 있다. 또한, 전자기기(100)는 각각 메시지에 대하여 상기 표시를 일정 시간 유지 할 수 있다. 또한, 전자기기(100)는 각각 메시지에 대한 상기 표시를 환경설정(Setting)에서 미리 정해진 시간 만큼 유지하고, 그 시간이 경과하면, 상기 표시를 해제할 수 있다. (도 30e 참조)In addition, the electronic device 100 may monitor each message while continuously analyzing a conversation between users. In addition, while monitoring each message, the electronic device 100 may determine whether each message is a question message and determine whether information acquisition is required for each message. Also, the electronic device 100 may extract a keyword for each message. Also, the electronic device 100 may continuously display portions corresponding to the keywords extracted from the messages to be distinguished from other portions of the corresponding message. In addition, the electronic device 100 may maintain the display for a predetermined time for each message. In addition, the electronic device 100 maintains the display for each message for a predetermined time in setting, and when the time elapses, the display may be released. (See Fig. 30e)

또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 스크롤을 통하여 확인 할 수 있도록 출력 인터페이스를 통하여 디스플레이할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 터치 입력하는 경우, 각각의 표시에 대한 정보를 획득하여 출력 인터페이스를 통하여 디스플레이 할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 터치 입력하는 경우, 각각의 표시에 대하여 미리 획득된 정보를 출력 인터페이스를 통하여 디스플레이 할 수 있다.In addition, the electronic device 100 may display the display for each message through an output interface so that the user can check the display through scrolling. Also, when the user touch-inputs the display for each message, the electronic device 100 may obtain information on each display and display it through an output interface. Also, when the user touch-inputs the display for each message, the electronic device 100 may display information obtained in advance for each display through an output interface.

전자기기(100)는 출력 인터페이스를 통하여 도 25b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.The electronic device 100 may provide information to the first user in the same manner as in FIG. 25B through the output interface.

도 25b는 도 25a의 전자기기(100)가 획득한 정보를 전자기기(100) 및 전자기기(100)와 연동되어 있는 전자기기(101) 을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.25B is a diagram illustrating a method of providing information obtained by the electronic device 100 of FIG. 25A to the first user through the electronic device 100 and the electronic device 101 interlocked with the electronic device 100 .

도 25b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 이와 동시에 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 이와 동시에, 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 25B , the electronic device 100 may convert the text chatting interface screen displayed on the screen to a screen displaying main information among the acquired information. At the same time, the electronic device 101 may convert the text chatting interface screen displayed on the screen to a screen displaying the acquired information. For example, the electronic device 100 may display one of main information (eg, each image shown in FIG. 24C ) among the acquired information. At the same time, the electronic device 101 may close the text chatting interface screen displayed on the screen, and display the acquired information and the interface of the search engine providing the acquired information.

도 26a 및 도 26b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다. 26A and 26B show information obtained by the electronic device 100 through an output interface when the electronic device 100 is a smart watch and the user is conducting voice chatting through the smart watch. It is a diagram showing a method of providing to a user.

도 26a을 참조하면, 전자기기(100) 및 전자기기(101)의 제1 사용자와 전자기기(105) 및 전자기기(106)의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 이러한 상황에서, 전자기기(100)는 통화 영상을 디스플레이하고, 전자기기(101)는 음성 메시지를 텍스트 메시지로 STT(Speech to Text)전환을 하여 디스플레이 할 수 있다. Referring to FIG. 26A , the first user of the electronic device 100 and the electronic device 101 and the second user of the electronic device 105 and the electronic device 106 exchange a conversation through voice chatting. During the conversation between the first user and the second user, the first user delivers a message stating 'I want to eat pizza'. In this situation, the electronic device 100 may display a call image, and the electronic device 101 may display a voice message by converting the STT (Speech to Text) into a text message.

전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 26b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. The electronic device 100 may extract a keyword from a message requiring additional acquisition of information while monitoring the conversation, and may provide a search word to the first user. The first user may edit the provided search term. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device 100 . The electronic device 100 may provide information to the first user through the output interface in the same manner as in FIG. 26B .

도 26b는 도 26a의 전자기기(100)가 획득한 정보를 전자기기(100) 및 전자기기(100)와 연동되어 있는 전자기기(101) 을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 26B is a diagram illustrating a method of providing information obtained by the electronic device 100 of FIG. 26A to the first user through the electronic device 100 and the electronic device 101 interlocked with the electronic device 100 .

도 26b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 이와 동시에 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 이와 동시에, 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 26B , the electronic device 100 may convert the voice chatting interface screen displayed on the screen to a screen displaying main information among the acquired information. At the same time, the electronic device 101 may convert the text chatting interface screen displayed on the screen to a screen displaying the acquired information. For example, the electronic device 100 may display one of main information (eg, each image shown in FIG. 24C ) among the acquired information. At the same time, the electronic device 101 may close the text chatting interface screen displayed on the screen, and display the acquired information and the interface of the search engine providing the acquired information.

도 27a 및 도 27b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.27A and 27B show information obtained by the electronic device 100 through an output interface when the electronic device 100 is smart glasses and a user is chatting text through smart glasses. It is a diagram showing a method of providing to a user.

도 27a을 참조하면, 전자기기(100) 의 제1 사용자와 전자기기(105) 의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. Referring to FIG. 27A , the first user of the electronic device 100 and the second user of the electronic device 105 exchange a conversation through text chatting. During the conversation between the first user and the second user, the first user delivers a message stating 'I want to eat pizza'.

제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 입력 인터페이스를 이용하여 텍스트 채팅을 할 수 있다. 예를 들어, 입력 인터페이스는 가상 키보드, 가상 터치 스크린 등을 포함할 수 있다. The first user and the second user may have text chatting using the input interfaces of the electronic device 100 and the electronic device 105 , respectively. For example, the input interface may include a virtual keyboard, a virtual touch screen, and the like.

또한, 제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 출력 인터페이스를 이용하여 텍스트 채팅을 할 수 있다. 예를 들어, 출력 인터페이스는 미니 프로젝트 및 프리즘 등을 포함할 수 있다. Also, the first user and the second user may have text chatting using the output interfaces of the electronic device 100 and the electronic device 105 , respectively. For example, the output interface may include a mini project and a prism, and the like.

전자기기(100)는 대화를 모니터링 하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 27b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. The electronic device 100 may extract a keyword from a message requiring additional acquisition of information while monitoring the conversation, and may provide a search word to the first user. The first user may edit the provided search term. The electronic device 100 may acquire information based on the edited search word and location information of the electronic device 100 . The electronic device 100 may provide information to the first user in the same manner as in FIG. 27B through the output interface.

도 27b는 도 27a의 전자기기(100)가 획득한 정보를 전자기기(100)를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 27B is a diagram illustrating a method of providing information obtained by the electronic device 100 of FIG. 27A to a first user through the electronic device 100 .

도 27b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. As shown in FIG. 27B , the electronic device 100 may convert the text chatting interface screen displayed on the screen to a screen displaying the acquired information.

도 28a 및 도 28b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.28A and 28B show information obtained by the electronic device 100 through an output interface when the electronic device 100 is smart glasses and the user is having voice chatting through smart glasses. It is a diagram showing a method of providing to a user.

도 28a을 참조하면, 전자기기(100) 의 제1 사용자와 전자기기(105) 의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. Referring to FIG. 28A , the first user of the electronic device 100 and the second user of the electronic device 105 are communicating through voice chatting. During the conversation between the first user and the second user, the first user delivers a message stating 'I want to eat pizza'.

또한, 제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 출력 인터페이스를 이용하여 음성 채팅을 할 수 있다. 예를 들어, 출력 인터페이스는 미니 프로젝트 및 프리즘 등을 포함할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 28b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. Also, the first user and the second user may have voice chatting using the output interfaces of the electronic device 100 and the electronic device 105 , respectively. For example, the output interface may include a mini project and a prism, and the like. The electronic device 100 may provide information to the first user through the output interface in the same manner as in FIG. 28B .

도 28b는 도 28a의 전자기기(100)가 획득한 정보를 전자기기(100)를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 28B is a diagram illustrating a method of providing information obtained by the electronic device 100 of FIG. 28A to a first user through the electronic device 100 .

도 28b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. As shown in FIG. 28B , the electronic device 100 may convert the voice chatting interface screen displayed on the screen to a screen displaying the acquired information.

도 29a 및 도 29b는 전자기기(100)가 다양한 전자기기(100)이고, 스마트 안경(Smart Glasses)이고, 사용자가 다양한 전자기기(100)을 통하여 음성 채팅 및 텍스트 채팅 중 적어도 하나를 이용하여 커뮤니케이션을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.29A and 29B show that the electronic device 100 is a variety of electronic devices 100, smart glasses, and a user communicates using at least one of voice chatting and text chatting through various electronic devices 100. It is a diagram illustrating a method in which the electronic device 100 provides the acquired information to a user through an output interface in the case of doing .

도 29a와 같이, 복수의 사용자들은 도 22 내지 도 28에서 설명된 다양한 방식의 채팅을 이용하여 커뮤니케이션을 할 수 있고, 도 29b와 같이, 도 22 내지 도 28에서 설명된 다양한 방식의 채팅을 이용하여 전자기기(100)가 획득한 정보를 제공 받을 수 있다. As shown in Fig. 29A, a plurality of users can communicate using the various types of chatting described in Figs. 22 to 28, and as shown in Fig. 29B, using the various types of chatting described in Figs. Information obtained by the electronic device 100 may be provided.

예를 들어, 제1 사용자는 스마트 워치를 통하여 도 25에서 설명된 방식으로 텍스트 채팅을 하고, 제2 사용자는 스마트 안경을 통하여 도 27에서 설명된 방식으로 텍스트 채팅을 할 수 있다. For example, the first user may have text chatting in the manner described in FIG. 25 through the smart watch, and the second user may perform text chatting in the manner described in FIG. 27 through smart glasses.

예를 들어, 제1 사용자는 스마트 워치를 통하여 도 25에서 설명된 방식으로 텍스트 채팅을 하고, 제2 사용자는 스마트 안경을 통하여 도 28에서 설명된 방식으로 음성 채팅을 할 수 있다. 이러한 경우, 제2 사용자가 음성으로 입력한 메시지는 STT(Speech to Text) 방식을 통하여 텍스트로 변환되어 제1 사용자에게 전달될 수 있다. 또한, 다른 실시 예에서 제1 사용자가 텍스트로 입력한 메시지는 음성으로 변환되어 제2 사용자에게 전달될 수 있다. For example, the first user may have text chatting in the manner described in FIG. 25 through the smart watch, and the second user may conduct voice chatting in the manner described in FIG. 28 through smart glasses. In this case, the message input by the second user by voice may be converted into text through a speech to text (STT) method and delivered to the first user. Also, according to another embodiment, the message input by the first user as text may be converted into voice and delivered to the second user.

예를 들어, 이러한 복합적 방법의 채팅은 3명 이상이 화상 회의와 같은 커뮤니케이션을 수행하는데도 사용될 수 있다. For example, this hybrid method of chatting can also be used to conduct communication such as video conferencing of three or more people.

또한, 예를 들어, 이러한 복합적 방법의 채팅은 SNS 서비스와 같이 앱을 통하여 제공되는 각종 커뮤니케이션 서비스, 이메일 서비스와 같이 서버를 통하여 제공되는 각종 커뮤니케이션 서비스에 응용될 수 있다. Also, for example, this complex chatting method may be applied to various communication services provided through an app, such as an SNS service, and various communication services provided through a server, such as an email service.

전자기기(100)는 도 22 내지 도 29에서 설명하는 다양한 방식을 통하여, 사용자에게 정보를 제공할 수 있다.The electronic device 100 may provide information to the user through various methods described with reference to FIGS. 22 to 29 .

도 30 내지 도 31는 본 발명의 일 실시예에 따른 전자기기(100)에서 제공하는 환경 설정 유저 인터페이스를 도시하는 도면이다. 30 to 31 are diagrams illustrating an environment setting user interface provided by the electronic device 100 according to an embodiment of the present invention.

도 30a를 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공할 수 있다. 사용자는 환경 설정 인터페이스를 통하여 본 발명에 따른 정보 제공 방법으로 정보를 받을지 여부를 선택할 수 있다. 사용자는 본 발명에 따른 정보 제공 동작의 온(On) / 오프(Off)를 설정할 수 있다. Referring to FIG. 30A , the electronic device 100 may provide the user with an environment setting interface for on/off of the information providing operation. The user can select whether to receive information through the information providing method according to the present invention through the environment setting interface. The user may set On / Off of the information providing operation according to the present invention.

환경 설정이란 전자기기의 사용환경을 설정하기 위하여 사용자의 설정에 의하여 또는 사용자의 입력에 의히여 전자기기의 동작 순서를 미리 정해 놓는 것을 의미할 수 있다. The environment setting may mean pre-determining the operation order of the electronic device by the user's setting or by the user's input in order to set the use environment of the electronic device.

도 30a에서 검색어 생성(Query Generation)이라고 도시되어 있으나, 자동 검색 엔진(Autonomic Search Engine), 자동 정보 검색(Autonomic Information Search)등과 같이 적용되는 제품에 따라서 다르게 표현할 수 있고, 이는 권리범위를 제한하지 않는다.Although it is shown as Query Generation in FIG. 30A, it can be expressed differently depending on the applied product, such as an Autonomic Search Engine, Autonomic Information Search, etc., which does not limit the scope of rights. .

전자기기(100)는 사용자에게 보다 세부적인 환경 설정 인터페이스를 제공할 수 있다. 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 정보를 어떠한 방법으로 획득할 것인지 선택하도록 할 수 있다. The electronic device 100 may provide a user with a more detailed environment setting interface. For example, when the information providing operation is set to On, the electronic device 100 may select a method for acquiring information.

예를 들어, 전자기기(100)는 앱 서치(App Search)를 통해서 정보 획득을 할 것인지 또는 인터넷 서치(Internet Search)를 통해서 정보 획득을 할 것인지 여부를 선택할 수 있다. 또한, 전자기기(100)는 앱 서치(App Search) 및 인터넷 서치(Internet Search)를 동시에 수행하여 정보를 획득 할 수 있다. For example, the electronic device 100 may select whether to acquire information through an App Search or an Internet Search. Also, the electronic device 100 may acquire information by simultaneously performing an App Search and an Internet Search.

도 30b을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30B , the electronic device 100 may provide a user with a more detailed environment setting interface while providing the user with an environment setting interface for on/off of the information providing operation. .

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 어떠한 방법으로 정보를 제공할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 텍스트로 정보를 제공할지, 음성으로 정보를 제공할지, 이미지로 정보를 제공할지를 선택하도록 할 수 있다. For example, when the information providing operation is set to On, the electronic device 100 may select a method to provide information. For example, the electronic device 100 may select whether to provide information through text, information through voice, or information through images.

또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 어떠한 방법으로 편집된 검색어를 수신할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 텍스트로 편집된 검색어를 수신할지, 음성으로 편집된 검색어를 수신할지 선택하도록 할 수 있다. Alternatively, for example, when the information providing operation is set to On, the electronic device 100 may select how to receive the edited search word. For example, the electronic device 100 may select whether to receive a search word edited as text or a search word edited by voice.

도 30c을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30C , the electronic device 100 may provide a user with another more detailed environment setting interface while providing the user with an environment setting interface for On / Off of the information providing operation. there is.

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 누구의 메시지에 대해서 정보를 제공할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 제1 사용자(User1)의 메시지에 대해서만 키워드를 추출하고 정보를 제공할 것을 선택하도록 할 수 있다. For example, when the information providing operation is set to On, the electronic device 100 may select whose message information is to be provided. For example, the electronic device 100 may extract a keyword from only the message of the first user User1 and select to provide information.

또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 누구에게 정보를 제공할지를 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 제1 사용자(User1) 및 제2 사용자(User2)에게 정보를 제공할 것을 선택하도록 할 수 있다.Or, for example, when the information providing operation is set to On, the electronic device 100 may select who to provide information to. For example, the electronic device 100 may select to provide information to the first user User1 and the second user User2 .

도 30d을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30D , the electronic device 100 may provide a user with an environment setting interface for on / off of the information providing operation, while providing a user with another more detailed environment setting interface. there is.

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 키워드 추출시 어떠한 정보를 참조할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 검색어를 생성할 때, 어떠한 정보를 참조할지 선택 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 정보를 참조할지 선택 할 수 있다.For example, when the information providing operation is set to On, the electronic device 100 may select which information to refer to when extracting a keyword. Or, for example, when the information providing operation is set to On, the electronic device 100 may select which information to refer to when generating a search word. Or, for example, when the information providing operation is set to On, the electronic device 100 may select which information to refer to when acquiring information based on the edited search word and location information of the electronic device. there is.

도 30e을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30E , the electronic device 100 provides the user with an environment setting interface for on / off of the information providing operation, while providing a user with another more detailed environment setting interface. there is.

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 사용자에게 키워드를 표시하는 시간을 설정하도록 할 수 있다. 예를 들어, 사용자는 키워드를 표시하는 시간을 1분으로 설정할 수 있고, 전자기기(100)는 키워드가 하이라이트로 표시된 후 1분이 경과한 경우에, 더 이상 하이라이트 표시를 하지 않을 수 있다. For example, when the information providing operation is set to On, the electronic device 100 may set a time for displaying the keyword to the user. For example, the user may set the keyword display time to 1 minute, and the electronic device 100 may stop highlighting the keyword when 1 minute has elapsed after the keyword is highlighted.

도 30f을 참조하면, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 인터넷 검색 엔진을 이용할지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 구글(Google), 빙(Bing), 야후(Yahoo), 네이버(Naver)와 같은 상용되는 인터넷 검색 엔진을 선택하도록 할 수 있다.Referring to FIG. 30F , the electronic device 100 may select which Internet search engine to use when acquiring information based on the edited search word and location information of the electronic device. For example, when the electronic device 100 acquires information based on the edited search word and location information of the electronic device, commercial products such as Google, Bing, Yahoo, and Naver You can choose which Internet search engine to use.

도 30g을 참조하면, 전자기기(100)는 사용자에게 관심분야를 설정할지 여부에 대한 환경 설정 인터페이스를 제공할 수 있다. 또한, 전자기기(100)는 사용자에게 관심분야를 설정할지 여부에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드 추출시 어떠한 카테고리에 해당하는 키워드를 추출할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 카테고리의 정보를 획득할지 선택하도록 할 수 있다.Referring to FIG. 30G , the electronic device 100 may provide the user with an environment setting interface for determining whether to set an area of interest. In addition, the electronic device 100 may provide the user with another more detailed environment setting interface while providing the user with an environment setting interface for determining whether to set an area of interest to the user. For example, when extracting keywords, the electronic device 100 may select a keyword corresponding to a category to be extracted. Or, for example, when the information providing operation is set to On, the electronic device 100 selects which category of information to acquire when acquiring information based on the edited search word and location information of the electronic device can make it

도 31a를 참조하면, 전자기기(100)는 사용자에게 커뮤니케이션 중에 해당 커뮤니케이션의 인터페이스를 이용하여, 정보 제공 동작의 온(On) / 오프(Off) 에 대한 환경 설정 스위치(10)를 제공할 수 있다. 사용자는 환경 설정 스위치(10)를 이용하여 정보 제공 동작을 활성화 할지 여부에 대해서 결정할 수 있다. 사용자는 환경 설정 스위치(10)를 온(On)으로 설정하여, 전자기기(100)가 본 발명에 따른 정보 제공 동작을 수행하도록 설정 할 수 있다. 사용자는 환경 설정 스위치(10)를 오프(Off)로 설정하여, 전자기기(100)가 본 발명에 따른 정보 제공 동작을 수행하지 않도록 설정할 수 있다. Referring to FIG. 31A , the electronic device 100 may provide the user with the environment setting switch 10 for ON / OFF of the information providing operation by using the interface of the communication during communication. . The user may determine whether to activate the information providing operation by using the environment setting switch 10 . The user may set the environment setting switch 10 to On to set the electronic device 100 to perform the information providing operation according to the present invention. The user may set the environment setting switch 10 to Off, so that the electronic device 100 does not perform the information providing operation according to the present invention.

도 31b를 참조하면, 전자기기(100)는 사용자에게 커뮤니케이션 중에 해당 커뮤니케이션의 인터페이스를 이용하여, 사용자 입력(문자, 그림, 음성)에 대한 설정바(10_a)를 제공할 수 있다. 사용자는 설정바 (10)를 이용하여 사용자 입력을 어떠한 방식으로 수신할지 여부를 선택할 수 있다.Referring to FIG. 31B , the electronic device 100 may provide the user with a setting bar 10_a for a user input (text, picture, voice) using an interface of the corresponding communication during communication. A user may select how to receive a user input by using the setting bar 10 .

예를 들어, 사용자는 설정바(10_a)를 Text로 설정하여, 전자기기(100)가 문자(Text)만을 통하여 검색어를 찾도록 설정 할 수 있다. 또한, 사용자는 설정바(10_a)를 Text+Image로 설정하여, 전자기기(100)가 문자 및 이미지 중 적어도 하나를 통하여 검색어를 찾도록 설정 할 수 있다. 또한, 사용자는 설정바(10_a)를 All로 설정하여, 전자기기(100)가 문자, 이미지, 음성 중 적어도 하나를 통하여 검색어를 찾도록 설정 할 수 있다.For example, the user may set the setting bar 10_a to Text, so that the electronic device 100 searches for a search word only through text. In addition, by setting the setting bar 10_a to Text+Image, the user may set the electronic device 100 to find a search word through at least one of text and images. In addition, the user may set the setting bar 10_a to All, so that the electronic device 100 searches for a search word through at least one of text, image, and voice.

예를 들어, 사용자가 설정바(10_a)를 Text로 설정한 경우, 전자기기(100)는 사용자가 작성한 문자 또는 화면을 통하여 사용자에게 제공된 문자를 통하여 검색어를 생성할 수 있다. 예를 들어, 사용자가 설정바(10_a)를 Text+Image로 설정한 경우, 전자기기(100)는 사용자가 작성한 문자 및 이미지, 그리고 화면을 통하여 사용자에게 제공된 문자 및 이미지 중 적어도 하나를 통하여 검색어를 생성할 수 있다. 이러한 사용자 입력 방식은 커뮤니케이션 인터페이스 이외에 환경 설정을 통하여서도 미리 설정할 수 있다.For example, when the user sets the setting bar 10_a to Text, the electronic device 100 may generate a search word through a text written by the user or a text provided to the user through a screen. For example, when the user sets the setting bar 10_a to Text+Image, the electronic device 100 enters a search word through at least one of texts and images written by the user and texts and images provided to the user through the screen. can create Such a user input method may be preset through environment setting in addition to the communication interface.

도 32 내지 도 35는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다. 32 to 35 are flowcharts illustrating an information providing method of the electronic device 100 according to an embodiment of the present invention.

도 32을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S210). 프로세서는 키워드 간의 우선순위를 결정할 수 있다(S220). 프로세서는 키워드 간의 우선순위를 기초로 검색어를 생성하고 제공할 수 있다(S230). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S240). 프로세서는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S250). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S260).Referring to FIG. 32 , the processor may extract a plurality of keywords from the message displayed on the screen through the communication service ( S210 ). The processor may determine a priority between keywords (S220). The processor may generate and provide a search word based on the priority between keywords (S230). The input interface may receive the edited search word from the user (S240). The processor may acquire information based on the edited search word and location information of the electronic device ( S250 ). The output interface may provide information obtained by the processor (S260).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 복수의 키워드를 추출하여, 복수의 키워드 사이에서 우선순위를 결정하고, 우선순위를 통하여 검색어를 생성할 수 있다. The information providing method of the electronic device 100 according to an embodiment of the present invention may extract a plurality of keywords, determine a priority among the plurality of keywords, and generate a search word through the priority.

예를 들어, 도 17에서와 같이, `batman`, `Sumin`, `L.A.`과 같이, 복수의 키워드를 추출할 수 있다. 예를 들어, 전자기기는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 키워드 사이에 우선순위를 결정할 수 있다. 예를 들어, 검색어는 복수의 키워드에서 우선순위가 가장 높은 키워드를 검색어로 생성할 수 있다. For example, as shown in FIG. 17 , a plurality of keywords may be extracted, such as `batman`, `Sumin`, or `L.A.`. For example, the electronic device determines a priority between keywords based on at least one of 1) conversation content between users, 2) a user's location record, 3) information previously input by the user, and 4) recorded information about the user. can For example, as the search word, a keyword having the highest priority among a plurality of keywords may be generated as a search word.

본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S240)에서 수신된 검색어를 통하여 정보를 획득할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S240)에서 수신된 검색어를 통하여 정보를 획득하여 디스플레이 할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S240)에서 수신된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S250)에서 획득된 정보를 디스플레이 할 수 있다. In the method for providing information of the electronic device 100 according to another embodiment of the present invention, information may be acquired through the search word generated in step S230 . In addition, in the information providing method of the electronic device 100 according to another embodiment of the present invention, information may be obtained through the search word received in step S240 . In addition, in the information providing method of the electronic device 100 according to another embodiment of the present invention, information is obtained through the search word generated in step S230 , and at the same time information is obtained through the search word received in step S240 . can be displayed. In addition, in the information providing method of the electronic device 100 according to another embodiment of the present invention, information is obtained through the search word generated in step S230 , and at the same time information is obtained through the search word received in step S240 . and at the same time, it is possible to display the information obtained in step S250.

도 33을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 키워드를 추출할 수 있다(S310). 프로세서는 키워드와 관련된 검색어를 사용자 관련 정보를 기초로 생성하고 제공할 수 있다(S320). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S330). 프로세서는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S340). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S350).Referring to FIG. 33 , the processor may extract a keyword from a message displayed on the screen through the communication service ( S310 ). The processor may generate and provide a keyword-related search word based on user-related information (S320). The input interface may receive the edited search word from the user (S330). The processor may acquire information based on the edited search word and location information of the electronic device (S340). The output interface may provide information obtained by the processor (S350).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 사용자 관련 정보를 기초로 키워드를 추출하거나, 검색어를 생성할 수 있다. 예를 들어, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. The information providing method of the electronic device 100 according to an embodiment of the present invention may extract a keyword or generate a search word based on user-related information. For example, the user-related information may include at least one of a location record of the user, information previously input by the user, and record information about the user.

도 34을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S410). 프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S420). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S430). 프로세서는 편집된 검색어를 기초로 정보를 획득할 수 있다(S440). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S450).Referring to FIG. 34 , the processor may extract a plurality of keywords from the message displayed on the screen through the communication service (S410). The processor may generate and provide a search word related to the keyword (S420). The input interface may receive the edited search word from the user (S430). The processor may acquire information based on the edited search word (S440). The output interface may provide information obtained by the processor (S450).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 프로세서는 편집된 검색어를 기초로 정보를 획득하여, 획득된 정보 사이에 우선순위를 고려 하여 제공할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 사이에 우선순위를 사용자 관련 정보를 기초로 판단할 수 있다. 예를 들어, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. In the method of providing information of the electronic device 100 according to an embodiment of the present invention, the processor may obtain information based on an edited search word, and provide the information in consideration of priority among the obtained information. For example, the electronic device 100 may determine a priority among the acquired information based on user-related information. For example, the user-related information may include at least one of a location record of the user, information previously input by the user, and record information about the user.

도 35을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S510). 프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S520). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S530). 프로세서는 편집된 검색어 및 현재 시각을 기초로 정보를 획득할 수 있다(S540). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S550).Referring to FIG. 35 , the processor may extract a plurality of keywords from the message displayed on the screen through the communication service ( S510 ). The processor may generate and provide a search term related to the keyword (S520). The input interface may receive the edited search word from the user (S530). The processor may acquire information based on the edited search word and the current time (S540). The output interface may provide information obtained by the processor (S550).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 편집된 검색어 및 현재 시각을 기초로 정보를 획득 할 수 있다. 사용자는 현재 시각이 사용자의 점심시간인 경우, 레스토랑과 관련된 키워드에 우선순위를 두고, 정보를 획득 할 수 있다. The information providing method of the electronic device 100 according to an embodiment of the present invention may acquire information based on an edited search word and a current time. When the current time is the user's lunch time, the user may obtain information by prioritizing keywords related to the restaurant.

도 36은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 도면이다.36 is a diagram illustrating an electronic device 1000 according to an embodiment of the present invention.

도 36을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6, 또는 애플리케이션들이라고 표현할 수 있음)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다. Referring to FIG. 36 , the electronic device 1000 provides communication service apps (which may be referred to as APP1, APP2, APP3, APP4, APP5, APP6, or applications) to the user of the electronic device 1000. can A user may communicate with a user of another electronic device (not shown) by using services provided by various apps APP1 to APP6.

예를 들어, 커뮤니케이션(Communication) 서비스를 제공하는 앱들(APP1 내지 APP6)은 메시징(Messaging) 서비스 앱, 메일링(Mailing) 서비스 앱, 소셜 네트워크 서비스(Social Network Service) 앱을 포함할 수 있다. 예를 들면, 메시징 서비스 앱은 MSN, 야후 메신저, 네이트온, 버디버디, 카카오톡, 카카오스토리, 스카이프 등을 포함할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 페이스북(Facebook), 트윗터(Twitter), 카카오톡(Kakao Talk), 스카이프(Skype)등을 포함할 수 있다. For example, the apps APP1 to APP6 that provide a communication service may include a messaging service app, a mailing service app, and a social network service app. For example, the messaging service app may include MSN, Yahoo Messenger, Nate On, Buddy Buddy, Kakao Talk, Kakao Story, Skype, and the like. For example, the apps APP1 to APP6 that provide the communication service may include Facebook, Twitter, Kakao Talk, Skype, and the like.

예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대일(one to one) 커뮤니케이션 서비스, 일대다(one to many) 커뮤니케이션 서비스 및 다대다(many to many) 커뮤니케이션 서비스 중 적어도 하나를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대일(one to one) 커뮤니케이션 방식의 메신저 서비스 또는 화상 통화 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대다(one to many) 커뮤니케이션 방식의 화상 강의 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 다대다(many to many) 커뮤니케이션 방식의 화상 회의 서비스를 제공할 수 있다. For example, the apps APP1 to APP6 providing communication services may provide at least one of a one-to-one communication service, a one-to-many communication service, and a many-to-many communication service. can For example, the apps APP1 to APP6 that provide the communication service may provide a messenger service or a video call service of a one-to-one communication method. For example, the apps APP1 to APP6 that provide the communication service may provide a video lecture service of a one-to-many communication method. For example, the apps APP1 to APP6 that provide communication services may provide a many-to-many communication type video conference service.

예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 음성 또는 화상 커뮤니케이션 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 3차원 이미지를 통하여 커뮤니케이션 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 3차원 홀로그램을 통하여 커뮤니케이션 서비스를 제공할 수 있다.For example, the apps APP1 to APP6 that provide communication services may provide voice or video communication services. For example, the apps APP1 to APP6 that provide the communication service may provide the communication service through a 3D image. For example, the apps APP1 to APP6 that provide the communication service may provide the communication service through the 3D hologram.

전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다. The electronic device 1000 may include a query generation framework 1100 . The search word generation framework 1100 may exchange information with the apps APP1 to APP6 through an API (Application Programming Interface).

전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여, 사용자가 사용하는 앱의 종류를 구분하지 않고, 검색어를 생성할 수 있다. 예를 들어, 전자기기(1000)에 설치된 앱이 메일링 서비스 앱, 채팅 서비스 앱, 소셜 네트워크 서비스 앱 인지와는 무관하게 검색어를 생성할 수 있다. 본 발명의 일 실시예에 따른 전자기기(1000)는 전자기기(1000)에 설치된 어떠한 앱에서도 검색어 생성 프레임 워크(1100)를 통하여, 검색어를 생성할 수 있다. The electronic device 1000 may generate a search word through the search word generation framework 1100 , regardless of the type of app used by the user. For example, the search term may be generated regardless of whether the app installed in the electronic device 1000 is a mailing service app, a chatting service app, or a social network service app. The electronic device 1000 according to an embodiment of the present invention may generate a search word in any app installed in the electronic device 1000 through the search word generation framework 1100 .

검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다. 검색어 생성 프레임 워크(1100)는 자연어 처리기(Natural Language Processor, 1200)를 통하여 상기 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.The search word generation framework 1100 may extract at least one keyword from a message displayed on a screen through a communication service. The search word generation framework 1100 may extract at least one keyword from the message through a natural language processor 1200 .

검색어 생성 프레임 워크(1100)는 추출된 적어도 하나의 키워드(Keyword)와 관련된 검색어를 제공할 수 있다. 검색어 생성 프레임 워크(1100)는 예를 들어, 검색어 생성 프레임 워크(1100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드와 관련된 검색어를 생성할 수 있다. The search word generation framework 1100 may provide a search word related to at least one extracted keyword. The search word generation framework 1100, for example, may generate a keyword-related search word through probabilistic analysis and semantic analysis.

예를 들어, 검색어 생성 프레임 워크(1100)는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록을 기초로 검색어를 `good day pizza`로 생성할 수 있다. For example, the search word generation framework 1100 may generate the search word as 'good day pizza' through statistical analysis and semantic analysis based on the extracted keyword. For example, the processor may generate the search word as 'good day pizza' based on 1) the conversation between users, 2) the location record of the user, 3) the information entered in advance by the user, and 4) the record about the user. .

검색어 생성 프레임 워크(1100)은 자연어 처리기(Natural Language Processor, 1200)를 포함할 수 있다. 자연어 처리기(Natural Language Processor, 1200)는 메시지와 관련된 상황 요소를 고려하여 의미를 파악할 수 있다. 예를 들어, 전자기기(1000)의 프로세서(processor)는 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 의미를 파악할 수 있다. 자연어 처리기(Natural Language Processor, 1200)는 파악된 의미를 통하여 검색의 카테고리를 정할 수 있다. The search word generation framework 1100 may include a natural language processor 1200 . The natural language processor 1200 may determine the meaning in consideration of context factors related to the message. For example, the processor of the electronic device 1000 may determine the meaning based on the type of the word included in the message, the relationship between the words, and the meaning of the word. The natural language processor ( 1200 ) may determine the category of the search based on the grasped meaning.

전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 사용자에게 제공할 수 있다. 예를 들어, 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 화면을 통하여 이미지로 사용자에게 제공할 수 있다. 예를 들어, 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 스피커를 통하여 음성으로 사용자에게 제공할 수 있다.The electronic device 1000 may provide a search word generated through the search word generation framework 1100 to the user. For example, the electronic device 1000 may provide the search word generated through the search word generation framework 1100 to the user as an image through the screen. For example, the electronic device 1000 may provide a search word generated through the search word generation framework 1100 to the user by voice through a speaker.

전자기기(1000)는 사용자로부터 편집된 검색어를 수신할 수 있다. 예를 들어, 전자기기(1000)는 사용자에게 생성된 검색어를 제공하고, 사용자 인터페이스를 통해서 사용자가 편집한 검색어를 수신할 수 있다.The electronic device 1000 may receive the edited search word from the user. For example, the electronic device 1000 may provide the user with the generated search word and receive the search word edited by the user through the user interface.

전자기기(1000)는 사용자가 편집한 검색어 및 사용자의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(1000)는 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. 예를 들어, 전자기기(1000)는 앱(App) 서비스를 통하여 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. 예를 들어, 전자기기(1000)는 인터넷 싸이트를 통하여 제공되는 검색 서비스를 통하여 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. The electronic device 1000 may acquire information based on a search word edited by the user and location information of the user. The electronic device 1000 may obtain information from an external search server (Search Server 2000). For example, the electronic device 1000 may acquire information from an external search server (Search Server, 2000) through an App service. For example, the electronic device 1000 may acquire information from an external search server (Search Server 2000) through a search service provided through an Internet site.

따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 사용자가 커뮤니케이션 서비스를 사용하면서, 진행되고 있는 커뮤니케이션 관련 정보를 보다 편리하게 제공받을 수 있도록 할 수 있다. Accordingly, the electronic device 1000 according to an embodiment of the present invention can enable a user to more conveniently receive information related to ongoing communication while using a communication service.

도 37은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.37 is a block diagram illustrating an electronic device 1000 according to an embodiment of the present invention.

도 37을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.Referring to FIG. 37 , the electronic device 1000 may provide communication service apps APP1 , APP2 , APP3 , APP4 , APP5 , and APP6 to the user of the electronic device 1000 . A user may communicate with a user of another electronic device (not shown) by using services provided by various apps APP1 to APP6.

전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다. 검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다. The electronic device 1000 may include a query generation framework 1100 . The search word generation framework 1100 may exchange information with the apps APP1 to APP6 through an API (Application Programming Interface). The search word generation framework 1100 may extract at least one keyword from a message displayed on a screen through a communication service.

검색어 생성 프레임 워크(1100)는 클라우드 서버에 포함된 자연어 처리기(Natural Language Processor, 3200)를 통하여 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.The search word generating framework 1100 may extract at least one keyword from the message through a Natural Language Processor 3200 included in the cloud server.

검색어 생성 프레임 워크(1100)은 외부의 클라우드 서버에 포함된 자연어 처리기(3200)와 정보를 교환하면서 해당 메시지의 의미를 파악할 수 있다. 자연어 처리기(3200)는 해당 메시지의 상황에 맞는 의미를 파악할 수 있다. 자연어 처리기(3200)는 파악된 의미를 통하여 검색의 카테고리를 정할 수 있다. 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 사용자에게 제공할 수 있다. 전자기기(1000)는 사용자가 편집한 검색어 및 사용자의 위치 정보를 기초로 정보를 획득할 수 있다. The search word generation framework 1100 may grasp the meaning of the message while exchanging information with the natural language processor 3200 included in the external cloud server. The natural language processor 3200 may determine the meaning appropriate to the context of the corresponding message. The natural language processor 3200 may determine the category of the search through the grasped meaning. The electronic device 1000 may provide a search word generated through the search word generation framework 1100 to the user. The electronic device 1000 may acquire information based on a search word edited by the user and location information of the user.

따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 외부의 자연어 처리기(3200)을 이용하여 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다. Therefore, the electronic device 1000 according to an embodiment of the present invention can use the external natural language processor 3200 so that the user can receive communication-related information more conveniently while using the communication service. there is.

도 38은 도 36에서 도시한 자연어 처리기(1200) 및 도 37에서 도시한 자연어 처리기(3200)의 세부 구성도이다. 38 is a detailed configuration diagram of the natural language processor 1200 shown in FIG. 36 and the natural language processor 3200 shown in FIG. 37 .

자연어 처리기(1200, 3200)는 개체 인식부(1210) 및 카테고리 구분부(1230)을 포함할 수 있다. 개체 인식부(1210)는 커뮤니케이션에 사용된 메시지에 포함된 각각의 단어에 대해서 어떠한 의미로 사용되었는지 인식할 수 있다. 또한, 개체 인식부(1210)는 메시지 각각의 의미에 대해서 인식할 수 있다. 카테고리 구분부(1230)는 각각의 메시지가 어떠한 카테고리에 속하는지 구분할 수 있다. 즉, 각각의 메시지의 내용을 분석하여, 각각의 메시지의 키워드를 확인하고 메시지를 어떠한 카테고리에 속할지 구분할 수 있다. The natural language processors 1200 and 3200 may include an entity recognizer 1210 and a category divider 1230 . The entity recognition unit 1210 may recognize the meaning of each word included in the message used for communication. Also, the entity recognition unit 1210 may recognize the meaning of each message. The category dividing unit 1230 may classify which category each message belongs to. That is, by analyzing the contents of each message, keywords of each message can be identified and the message can be classified into which category.

도 39은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.39 is a block diagram illustrating an electronic device 1000 according to an embodiment of the present invention.

도 39을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.Referring to FIG. 39 , the electronic device 1000 may provide communication service apps APP1 , APP2 , APP3 , APP4 , APP5 , and APP6 to the user of the electronic device 1000 . A user may communicate with a user of another electronic device (not shown) by using services provided by various apps APP1 to APP6.

전자기기(1000)는 GPS 데이터 베이스(1400)를 더 포함할 수 있다. GPS 모듈(1100)은 전자기기(1000)에 포함된 위치 추적 엔진을 통하여 전자기기(1000)의 위치를 지속적으로 추적할 수 있다. GPS 데이터 베이스(1400)는 GPS 모듈(1100)에서 추적된 위치 데이터를 계속적으로 축적하여 전자기기(1000)의 위치에 대한 정보를 계속적으로 저장할 수 있다. The electronic device 1000 may further include a GPS database 1400 . The GPS module 1100 may continuously track the location of the electronic device 1000 through a location tracking engine included in the electronic device 1000 . The GPS database 1400 may continuously store information on the location of the electronic device 1000 by continuously accumulating location data tracked by the GPS module 1100 .

GPS 모듈(1100)은 GPS 인공위성으로부터 GPS 신호를 수신하여 전자기기(1000)의 위치를 측위하고 위치 정보를 생성하며, 이를 위해 GPS 안테나 및 GPS 수신기를 포함할 수 있다.The GPS module 1100 receives a GPS signal from a GPS satellite to position the location of the electronic device 1000 and generates location information. For this, a GPS antenna and a GPS receiver may be included.

GPS 모듈(1100)은 GPS 신호에 포함된 항법 데이터를 분석하여 전자기기(1000)의 위경도 데이터, 시간 정보 등을 추출한다. GPS 신호에는 GPS 인공위성의 식별 코드(ID Code), 궤도 위치, 시간 정보가 포함되어 있으며, GPS 모듈(1100)은 다수의 GPS 인공위성으로부터 발사되는 전파간 도달 속도의 차이를 연산하여 전자기기(1000)의 위치 좌표를 연산한다. 전술한 동작은 GPS 모듈(1100)에 내장된 GPS 측위 프로그램에 의해 수행될 수 있다.The GPS module 1100 extracts latitude and longitude data and time information of the electronic device 1000 by analyzing navigation data included in the GPS signal. The GPS signal includes the identification code (ID Code), orbital position, and time information of the GPS satellites, and the GPS module 1100 calculates the difference in arrival speed between radio waves emitted from a plurality of GPS satellites to calculate the electronic device 1000. Calculate the position coordinates of The above-described operation may be performed by a GPS positioning program embedded in the GPS module 1100 .

여기서, 전술한 GPS 측위 프로그램은 C-GPS(Conventional GPS)에 의한 측위 방식, DGPS(Differential GPS)에 의한 측위 방식, A-GPS(Assisted GPS)에 의한 측위 방식, 이중차분 방식에 의한 측위방식(Double Differential GPS) 중 하나 이상의 방식을 이용하여 전자기기(1000)의 위치를 측위할 수 있다. 또한, GPS 측위 프로그램은 A-GPS, DGPS, 이중차분 GPS 등에 따라 더 정밀한 측위를 하기 위하여 외부의 기지국 등으로부터 오차 보정과 관련된 신호를 수신하고, 그에 따라 측정된 위치를 보정할 수 있다.Here, the aforementioned GPS positioning program is a positioning method by C-GPS (Conventional GPS), a positioning method by DGPS (Differential GPS), a positioning method by A-GPS (Assisted GPS), a positioning method by a dual differential method ( The location of the electronic device 1000 may be determined using one or more of the double differential GPS) methods. In addition, the GPS positioning program may receive a signal related to error correction from an external base station in order to perform more precise positioning according to A-GPS, DGPS, dual differential GPS, etc., and correct the measured position accordingly.

물론, 전자기기(1000)가 GPS 모듈(130)을 구비하지 않은 단말기인 경우에는 GPS 안테나, GPS 수신기 등을 구비한 별도의 GPS Kit를 전자기기(1000)에 연결하여 GPS Kit에서 측위한 위치 정보를 제공받을 수 있다.Of course, when the electronic device 1000 is a terminal not provided with the GPS module 130, a separate GPS kit having a GPS antenna, a GPS receiver, etc. is connected to the electronic device 1000 to measure location information from the GPS kit. can be provided.

따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 전자기기(1000)의 위치를 지속적으로 추적하고, 위치 데이터를 지속적으로 저장하여 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다. Therefore, the electronic device 1000 according to an embodiment of the present invention continuously tracks the location of the electronic device 1000 and continuously stores the location data so that the user can use the communication service more conveniently. Communication-related information can be provided.

도 40은 본 발명의 일 실시예에 따른 전자기기(1000)가 개체 인식하는 동작을 설명하기 위한 블록도이다.40 is a block diagram for explaining an operation of recognizing an object by the electronic device 1000 according to an embodiment of the present invention.

도 40을 참조하면, 전자기기(1000)에 포함된 자연어 처리기(1200)는 개체 인식부(1210) 및 빈도 측정부(1250)을 포함할 수 있다. Referring to FIG. 40 , the natural language processor 1200 included in the electronic device 1000 may include an object recognition unit 1210 and a frequency measurement unit 1250 .

빈도 측정부(1250)는 인식된 각각의 개체에 대해서 대화에 사용된 빈도를 측정할 수 있다. 예를 들어, 개체 인식부(1210)는 [Who is Peter Higgs?]라는 문장에서 <Peter Higgs>를 개체로 인식할 수 있다. 빈도 측정부(1250)는 개체 인식부(1210)에 인식한 <Peter Higgs>라는 개체가 사용자간의 대화에 나오는 횟수를 카운트 할 수 있다. The frequency measuring unit 1250 may measure the frequency used in conversation for each recognized entity. For example, the object recognition unit 1210 may recognize <Peter Higgs> as an object in the sentence [Who is Peter Higgs?]. The frequency measurement unit 1250 may count the number of times the object <Peter Higgs> recognized by the object recognition unit 1210 appears in a conversation between users.

빈도 측정부(1250)는 <Peter Higgs>라는 개체가 사용자간의 대화에 나오는 빈도의 비율을 계산할 수 있다. 예를 들어, 개체 인식부(1210)는 <Nobel Prize>라는 개체도 인식할 수 있다. 빈도 측정부(1250)는 <Nobel Prize>가 대화에서 7회 사용되고, <Peter Higgs>라는 개체가 14회 사용되는 경우, <Peter Higgs>의 빈도를 0.67로 계산할 수 있다. 빈도 측정부(1250)는 <해당 개체 사용 회수>를 인식된 <각각의 개체 사용 회수의 합>으로 나누어서 사용빈도를 계산할 수 있다. The frequency measuring unit 1250 may calculate a ratio of the frequency at which the object <Peter Higgs> appears in conversations between users. For example, the object recognition unit 1210 may also recognize an object called <Nobel Prize>. The frequency measuring unit 1250 may calculate the frequency of <Peter Higgs> as 0.67 when <Nobel Prize> is used 7 times in a conversation and the object <Peter Higgs> is used 14 times in a conversation. The frequency measuring unit 1250 may calculate the frequency of use by dividing <the number of times of using the object> by the recognized <sum of the number of times of using each individual>.

개체 인식부(1210)는 각각의 개체에 대한 정보를 서버(3000)로부터 수신할 수 있다. The entity recognizer 1210 may receive information on each entity from the server 3000 .

서버(3000)는 데이터 산출부(3400)을 포함할 수 있다. 데이터 산출부(3400)는 텍스트 수집부(3410) 및 데이터 스토리지(3430)을 포함할 수 있다. 데이터 스토리지(3430)는 각종 데이터 베이스들(3431, 3433)을 포함할 수 있다.The server 3000 may include a data calculator 3400 . The data calculating unit 3400 may include a text collecting unit 3410 and a data storage 3430 . The data storage 3430 may include various databases 3431 and 3433 .

텍스트 수집부(3410)는 데이터 스토리지(3430)에 저장된 각종 지식(Knowledge) 데이터베이스(3433)에서 텍스트를 수집할 수 있다. 텍스트 수집부(3410)는 수집된 데이터를 서버의 개체 인식 데이터 베이스(3431)에 저장할 수 있다. 데이터 산출부(3400)는 개체 인식된 데이터 베이스(3431)에 대한 정보를 도 41에 도시된 테이블 차트와 같이 정리하여 데이터 스토리지(3430)에 저장할 수 있다. The text collection unit 3410 may collect texts from various knowledge databases 3433 stored in the data storage 3430 . The text collection unit 3410 may store the collected data in the object recognition database 3431 of the server. The data calculator 3400 may organize information on the object-recognized database 3431 as in the table chart shown in FIG. 41 and store it in the data storage 3430 .

본 발명의 일 실시예에 따른 전자기기(1000)는 개체 인식부(1210)을 포함하여, 사용자 간의 메시지에 포함된 각각의 개체들을 인식하고, 개체들이 사용된 빈도를 측정할 수 있다. 그리하여, 전자기기(1000)는 각각의 개체가 대화에 사용된 빈도와 같은 개체에 대한 정보를 활용하여 키워드를 추출하거나 검색어를 생성할 수 있고, 또는 키워드를 추출을 제한 하거나 검색어 추출을 제한할 수 있다. The electronic device 1000 according to an embodiment of the present invention may include the object recognition unit 1210 to recognize each object included in a message between users and measure the frequency at which the objects are used. Thus, the electronic device 1000 may extract a keyword or generate a search term by utilizing information about the entity, such as the frequency with which each entity is used in a conversation, or may limit keyword extraction or search term extraction. there is.

도 41은 본 발명의 일 실시예에 따른 개체 인식부(1210)가 개체 인식하여 작성하는 테이블 차트이다.41 is a table chart created by the object recognition unit 1210 recognizing an object according to an embodiment of the present invention.

도 41을 참조하면, 도 40의 개체 인식부(1210)는 <Peter Higgs>, <European Center for Nuclear Research>, <United States>, <Switzerland>를 개체로 인식할 수 있다. 개체 인식부(1210)는 서버(3000)에 포함된 데이터 스토리지(3430)에서 각각의 개체에 대한 정보를 추출할 수 있다. 예를 들어, 개체 정보는 관련도(Relevance), 어감(Sentiment), 형태(Type), 링크된 데이터(Linked Data)를 포함할 수 있다. Referring to FIG. 41 , the entity recognition unit 1210 of FIG. 40 may recognize <Peter Higgs>, <European Center for Nuclear Research>, <United States>, and <Switzerland> as entities. The entity recognizer 1210 may extract information on each entity from the data storage 3430 included in the server 3000 . For example, the entity information may include Relevance, Sentiment, Type, and Linked Data.

전자기기(100)는 추출된 개체 정보를 통하여 키워드를 추출하거나 검색어를 생성하는데 사용할 수 있다. 따라서, 전자기기(100)는 개체 정보를 자연어 분석에 활용하여 메시지에 포함된 사용자의 의도를 보다 명확하게 확인할 수 있다. The electronic device 100 may be used to extract a keyword or generate a search word through the extracted entity information. Accordingly, the electronic device 100 may more clearly identify the intention of the user included in the message by utilizing the entity information for natural language analysis.

도 42은 본 발명의 일 실시예에 따른 전자기기(1000)가 사용자 입력을 획득하는 동작을 설명하기 위한 블록도이다.42 is a block diagram illustrating an operation in which the electronic device 1000 obtains a user input according to an embodiment of the present invention.

도 42을 참조하면, 전자기기(1000)에 포함된 사용자 문맥 인식 프레임 워크(1500)는 텍스트 지원부(Text Assistance Unit, 1510), 이미지 지원부(Image Assistance Unit, 1520) 및 음성 지원부(Voice Assistance Unit, 1530)을 포함할 수 있다. 또한, 사용자 문맥 인식 프레임 워크(1500)는 서비스 바인딩부(1550)을 포함할 수 있다. 또한, 텍스트 지원부(1510)는 문맥 인식 텍스트 마이닝부(Context Aware Text Mining Unit, 1513) 및 쿼리 생성부(Query Generation Unit, 1515)를 포함할 수 있다.Referring to Figure 42, the user context recognition framework 1500 included in the electronic device 1000 is a text support unit (Text Assistance Unit, 1510), an image support unit (Image Assistance Unit, 1520) and a voice support unit (Voice Assistance Unit, 1530) may be included. Also, the user context aware framework 1500 may include a service binding unit 1550 . In addition, the text support unit 1510 may include a context aware text mining unit (Context Aware Text Mining Unit, 1513) and a query generation unit (Query Generation Unit, 1515).

서비스 바인딩부(1550)는 사용자 입력을 수신하여 입력 형태에 대응하여 텍스트 지원부(1510), 이미지 지원부(1520), 음성 지원부(1530)에 사용자 입력을 전달 할 수 있다. 또한, 서비스 바인딩부(1550)는 생성된 검색어를 텍스트 지원부(1510)로부터 수신하여 사용자에게 전달할 수 있다. The service binding unit 1550 may receive a user input and transmit the user input to the text support unit 1510 , the image support unit 1520 , and the voice support unit 1530 in response to the input type. Also, the service binding unit 1550 may receive the generated search word from the text support unit 1510 and transmit it to the user.

텍스트 지원부(1510)는 서비스 바인딩부(1550)을 통하여 수신된 텍스트 형식의 사용자 입력에 대해서 검색어(Query)를 생성할 수 있다. 텍스트 지원부(1510)는 문맥 인식 텍스트 마이닝부(1513)를 통하여 지속적으로 텍스트 마이닝을 수행하고, 쿼리 생성부(Query Generation Unit, 1515)를 통하여 검색어를 생성할 수 있다. 생성된 검색어는 서버(2000) 또는 클라우드(3000)와 연결되어 서치 엔진(3500), 이미지 분석 엔진(3600) 또는 음성 지원 엔진(3700)과 연결될 수 있다. The text support unit 1510 may generate a query with respect to a user input in a text format received through the service binding unit 1550 . The text support unit 1510 may continuously perform text mining through the context-aware text mining unit 1513 and generate a search word through the query generation unit 1515 . The generated search word may be connected to the server 2000 or the cloud 3000 to be connected to the search engine 3500 , the image analysis engine 3600 , or the voice support engine 3700 .

이미지 지원부(1520)는 수신된 이미지를 통하여 수신된 음성에 대응하는 텍스트를 생성할 수 있다. 생성된 텍스트는 쿼리 생성부(1515)로 전송될 수 있고, 쿼리 생성부(1515)는 텍스트 입력과 동일한 방식으로 검색어를 생성할 수 있다. The image support unit 1520 may generate text corresponding to the received voice through the received image. The generated text may be transmitted to the query generator 1515 , and the query generator 1515 may generate a search word in the same way as text input.

음성 지원부(1530)는 수신된 음성을 통하여 수신된 음성에 대응하는 텍스트를 생성할 수 있다. 생성된 텍스트는 쿼리 생성부(1515)로 전송될 수 있고, 쿼리 생성부(1515)는 텍스트 입력과 동일한 방식으로 검색어를 생성할 수 있다.The voice support unit 1530 may generate text corresponding to the received voice through the received voice. The generated text may be transmitted to the query generator 1515 , and the query generator 1515 may generate a search word in the same way as text input.

텍스트 지원부(1510), 이미지 지원부(1520) 및 음성 지원부(1530)는 도 31b와 같은 인터페이스를 통하여 활성화 되거나 비활성화 될 수 있다. 예를 들어, 사용자가 도 31b의 인터페이스를 이용하여 설정부(10_a)를 Text로 설정하는 경우, 이미지 지원부(1520) 및 음성 지원부(1530)는 불활성화 될 수 있고, 전자기기(100)는 이미지 입력 또는 음성 입력에도 불구하고, 입력에 대응하는 검색어를 생성하지 않을 수 있다. The text support unit 1510 , the image support unit 1520 , and the voice support unit 1530 may be activated or deactivated through an interface as shown in FIG. 31B . For example, when the user sets the setting unit 10_a to Text using the interface of FIG. 31B , the image supporting unit 1520 and the voice supporting unit 1530 may be inactivated, and the electronic device 100 may display an image Despite the input or voice input, a search word corresponding to the input may not be generated.

도 43은 본 발명의 일 실시예에 따른 전자기기(1000)가 사용자 입력을 획득하는 동작을 설명하기 위한 블록도이다.43 is a block diagram illustrating an operation in which the electronic device 1000 obtains a user input according to an embodiment of the present invention.

도 43을 참조하면, 전자기기(1000)는 전자기기(1000)는 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)을 포함할 수 있다. 즉, 도 42의 경우와 달리, 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)는 전자기기(100) 내에서 포함 될 수 있다. 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)은 검색어를 수신하여 정보를 획득하는데 사용될 수 있다. Referring to FIG. 43 , the electronic device 1000 may include a search engine 1850 , an image analysis engine 1860 , or a voice support engine 1870 . That is, unlike the case of FIG. 42 , the search engine 1850 , the image analysis engine 1860 , or the voice support engine 1870 may be included in the electronic device 100 . The search engine 1850 , the image analysis engine 1860 , or the voice support engine 1870 may be used to receive a search word and obtain information.

도 44는 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블록도이며, 도 44에 도시된 사용자 단말 장치(1000)은 도 1의 전자기기(100) 일 수 있다. 44 is a block diagram illustrating a configuration of a user terminal device according to an embodiment of the present disclosure, and the user terminal device 1000 shown in FIG. 44 may be the electronic device 100 of FIG. 1 .

도 44에 도시된 바와 같이, 사용자 단말 장치(1000)의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다. As shown in FIG. 44 , the configuration of the user terminal device 1000 is, for example, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic picture frame, a navigation device, a digital TV, a wrist watch, or It may be applied to various types of devices, such as a wearable device such as a head-mounted display (HMD).

도 44에 따르면, 사용자 단말 장치(1000)는 디스플레이부(1100), 제어부(1700), 메모리(1200), GPS 칩(1250), 통신부(1300), 비디오 프로세서(1350), 오디오 프로세서(1400), 사용자 입력부(1450), 마이크부(1500), 촬상부(1550), 스피커부(1600), 움직임 감지부(1650) 중 적어도 하나를 포함 할 수 있다. Referring to FIG. 44 , the user terminal device 1000 includes a display unit 1100 , a control unit 1700 , a memory 1200 , a GPS chip 1250 , a communication unit 1300 , a video processor 1350 , and an audio processor 1400 . , a user input unit 1450 , a microphone unit 1500 , an imaging unit 1550 , a speaker unit 1600 , and at least one of a motion sensing unit 1650 .

디스플레이부(1100)는 표시패널(1110) 및 표시 패널(1110)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(1110)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(1110)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(1100)는 사용자 입력부(1450)의 터치 패널(1470)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(1110)과 터치 패널(1470)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.The display unit 1100 may include a display panel 1110 and a controller (not shown) for controlling the display panel 1110 . The display panel 1110 includes various types of displays, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, an active-matrix organic light-emitting diode (AM-OLED), and a plasma display panel (PDP). can be The display panel 1110 may be implemented to be flexible, transparent, or wearable. The display unit 1100 may be coupled to the touch panel 1470 of the user input unit 1450 and provided as a touch screen (not shown). For example, the touch screen (not shown) may include an integrated module in which the display panel 1110 and the touch panel 1470 are coupled in a stacked structure.

메모리(1200)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. The memory 1200 may include at least one of an internal memory (not shown) and an external memory (not shown).

내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(1700)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(1700)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.The internal memory includes, for example, a volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.), a non-volatile memory (eg, One Time Programmable ROM (OTPROM)). ), Programmable ROM (PROM), Erasable and Programmable ROM (EPROM), Electrically Erasable and Programmable ROM (EEPROM), Mask ROM, Flash ROM, etc.), hard disk drive (HDD), or solid state drive (SSD). may include According to an embodiment, the controller 1700 may load a command or data received from at least one of the non-volatile memory or other components into the volatile memory and process it. Also, the controller 1700 may store data received or generated from other components in a nonvolatile memory.

외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.The external memory includes, for example, at least one of CF (Compact Flash), SD (Secure Digital), Micro-SD (Micro Secure Digital), Mini-SD (Mini Secure Digital), xD (extreme Digital), and Memory Stick. may include

메모리(1200)는 사용자 단말 장치(1000)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 메모리(1200)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.The memory 1200 may store various programs and data used for the operation of the user terminal device 1000 . For example, the memory 1200 may temporarily or semi-permanently store at least a portion of content to be displayed on the lock screen.

제어부(1700)는 메모리(1200)에 저장된 컨텐츠의 일부가 디스플레이부(1100)에 표시되도록 디스플레이부(1100)를 제어할 수 있다. 다시 말하자면, 제어부(1700)는 메모리(1200)에 저장된 컨텐츠의 일부를 디스플레이부(1100)에 표시할 수 있다. 또는, 제어부(1700)는 디스플레이부(11000)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다. The controller 1700 may control the display unit 1100 so that a part of the content stored in the memory 1200 is displayed on the display unit 1100 . In other words, the controller 1700 may display a part of the content stored in the memory 1200 on the display unit 1100 . Alternatively, when a user gesture is made in one area of the display unit 11000 , the controller 1700 may perform a control operation corresponding to the user's gesture.

제어부(1700)는 RAM(1710), ROM(1720), CPU(1730), GPU(Graphic Processing Unit)(1740) 및 버스(1750) 중 적어도 하나를 포함 할 수 있다. RAM(1710), ROM(1720), CPU(1730) 및 GPU(1740) 등은 버스(1750)를 통해 서로 연결될 수 있다. The controller 1700 may include at least one of a RAM 1710 , a ROM 1720 , a CPU 1730 , a graphic processing unit (GPU) 1740 , and a bus 1750 . The RAM 1710 , the ROM 1720 , the CPU 1730 , and the GPU 1740 may be connected to each other through the bus 1750 .

CPU(1730)는 메모리(1200)에 액세스하여, 메모리(1200)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(1200)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The CPU 1730 accesses the memory 1200 and performs booting using the O/S stored in the memory 1200 . Then, various operations are performed using various programs, contents, data, etc. stored in the memory 1200 .

ROM(1720)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(1000)는 턴온 명령이 입력되어 전원이 공급되면, CPU(1730)가 ROM(1720)에 저장된 명령어에 따라 메모리(1200)에 저장된 O/S를 RAM(1710)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(1730)는 메모리(1200)에 저장된 각종 프로그램을 RAM(1710)에 복사하고, RAM(1710)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(1740)는 사용자 단말 장치(1000)의 부팅이 완료되면, 디스플레이부(1100)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(1740)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(1740)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(1740)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(1740)에서 생성된 화면은 디스플레이부(1100)로 제공되어, 디스플레이부(1100)의 각 영역에 각각 표시될 수 있다. The ROM 1720 stores an instruction set for system booting, and the like. For example, in the mobile terminal 1000, when a turn-on command is input and power is supplied, the CPU 1730 copies the O/S stored in the memory 1200 to the RAM 1710 according to the command stored in the ROM 1720, You can boot the system by running O/S. When booting is completed, the CPU 1730 copies various programs stored in the memory 1200 to the RAM 1710 and executes the programs copied to the RAM 1710 to perform various operations. When the booting of the user terminal device 1000 is completed, the GPU 1740 displays a UI screen on the area of the display unit 1100 . Specifically, the GPU 1740 may generate a screen on which an electronic document including various objects such as content, icons, and menus is displayed. The GPU 1740 calculates property values such as coordinate values, shape, size, color, etc., at which each object is to be displayed according to the layout of the screen. Also, the GPU 1740 may generate screens of various layouts including objects based on the calculated attribute values. The screen generated by the GPU 1740 may be provided to the display unit 1100 and displayed on each area of the display unit 1100 .

GPS 칩(1250)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(1000)의 현재 위치를 산출할 수 있다. 제어부(1700)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(1250)을 이용하여 사용자 위치를 산출할 수 있다.The GPS chip 1250 may receive a GPS signal from a Global Positioning System (GPS) satellite and calculate the current location of the user terminal device 1000 . The controller 1700 may calculate the user's location by using the GPS chip 1250 when using a navigation program or when the user's current location is required otherwise.

통신부(1300)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(1310), 블루투스 칩(1320), 무선 통신 칩(1330), NFC 칩(1340) 중 적어도 하나를 포함할 수 있다. 제어부(1700)는 통신부(1300)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.The communication unit 1300 may communicate with various types of external devices according to various types of communication methods. The communication unit 130 may include at least one of a Wi-Fi chip 1310 , a Bluetooth chip 1320 , a wireless communication chip 1330 , and an NFC chip 1340 . The control unit 1700 may communicate with various external devices using the communication unit 1300 .

와이파이 칩(1310), 블루투스 칩(1320)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(1310)이나 블루투스 칩(1320)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(1330)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.The Wi-Fi chip 1310 and the Bluetooth chip 1320 may perform communication using a WiFi method and a Bluetooth method, respectively. In the case of using the Wi-Fi chip 1310 or the Bluetooth chip 1320, various connection information such as an SSID and a session key are first transmitted and received, and then various types of information can be transmitted and received after communication connection using the same. The wireless communication chip 1330 refers to a chip that performs communication according to various communication standards, such as IEEE, ZigBee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evoloution (LTE). The NFC chip 134 refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz, and 2.45 GHz.

비디오 프로세서(1350)는 통신부(1300)를 통해 수신된 컨텐츠 또는, 메모리(1200)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(1350)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. The video processor 1350 may process video data included in content received through the communication unit 1300 or content stored in the memory 1200 . The video processor 1350 may perform various image processing, such as decoding, scaling, noise filtering, frame rate conversion, and resolution conversion, on video data.

오디오 프로세서(1400)는 통신부(1300)를 통해 수신된 컨텐츠 또는, 메모리(1200)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(1400)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.The audio processor 1400 may process audio data included in content received through the communication unit 1300 or content stored in the memory 1200 . In the audio processor 1400 , various processes such as decoding, amplification, and noise filtering on audio data may be performed.

제어부(1700)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(1350) 및 오디오 프로세서(1400)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(1600)는 오디오 프로세서(1400)에서 생성한 오디오 데이터를 출력할 수 있다.When a playback program for multimedia content is executed, the controller 1700 drives the video processor 1350 and the audio processor 1400 to play the corresponding content. The speaker unit 1600 may output audio data generated by the audio processor 1400 .

사용자 입력부(1450)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(1450)는 키(1460), 터치 패널(1470) 및 펜 인식 패널(1480) 중 적어도 하나를 포함할 수 있다. The user input unit 1450 may receive various commands from the user. The user input unit 1450 may include at least one of a key 1460 , a touch panel 1470 , and a pen recognition panel 1480 .

키(1460)는 사용자 단말 장치(1000)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.The key 1460 may include various types of keys, such as mechanical buttons and wheels, which are formed in various areas such as the front, side, or rear of the main body of the user terminal device 1000 .

터치 패널(1470)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1470)이 표시 패널(1110)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.The touch panel 1470 may detect a user's touch input and output a touch event value corresponding to the sensed touch signal. When the touch panel 1470 is combined with the display panel 1110 to form a touch screen (not shown), the touch screen may be implemented with various types of touch sensors such as capacitive type, pressure sensitive type, and piezoelectric type. The capacitive type is a method of calculating touch coordinates by sensing micro-electricity generated by the user's body when a part of the user's body is touched on the touch screen surface using a dielectric coated on the touch screen surface. The decompression type includes two electrode plates built into the touch screen, and when the user touches the screen, the touch coordinates are calculated by detecting that the upper and lower plates of the touched point come into contact and current flows. A touch event occurring on a touch screen may be mainly generated by a human finger, but may also be generated by an object made of a conductive material capable of applying a change in capacitance.

펜 인식 패널(1480)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(1480)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(1480)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(1480)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(1480)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(1480)은 표시 패널(1110)의 하부에 일정 면적, 예를 들어, 표시 패널(1110)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다. The pen recognition panel 1480 detects a proximity input or touch input of a pen according to the operation of a user's touch pen (eg, a stylus pen or a digitizer pen), and detects a detected pen proximity event or pen A touch event can be output. The pen recognition panel 1480 may be implemented by, for example, an EMR method, and may detect a touch or proximity input according to the proximity of the pen or a change in the intensity of an electromagnetic field due to the touch. In detail, the pen recognition panel 1480 includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processing unit (not shown) that sequentially provides an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor. ) may be included. When a pen having a built-in resonance circuit exists near the loop coil of the pen recognition panel 1480, a magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonance circuit in the pen. Based on this current, an induced magnetic field is generated from the coil constituting the resonance circuit in the pen, and the pen recognition panel 1480 detects the induced magnetic field from the loop coil in the signal receiving state, so that the pen approaches the position or A touch position may be sensed. The pen recognition panel 1480 may be provided with a predetermined area under the display panel 1110 , for example, an area capable of covering the display area of the display panel 1110 .

마이크부(1500)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(1700)는 마이크 부(1500)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(1200)에 저장할 수 있다.The microphone unit 1500 may receive a user's voice or other sound and convert it into audio data. The control unit 1700 may use the user's voice input through the microphone unit 1500 in a call operation, or convert it into audio data and store it in the memory 1200 .

촬상부(1550)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(1550)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다. The imaging unit 1550 may capture a still image or a moving image according to a user's control. The imaging unit 1550 may be implemented in plurality, such as a front camera or a rear camera.

촬상부(1550) 및 마이크부(1500)가 마련된 경우, 제어부(1700)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(1550)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 사용자 단말 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(1700)는 촬상부(1550)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(1700)는 마이크부(1500)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다. When the imaging unit 1550 and the microphone unit 1500 are provided, the control unit 1700 performs a control operation according to a user voice input through the microphone unit 150 or a user motion recognized by the imaging unit 1550 . may be For example, the user terminal device 100 may operate in a motion control mode or a voice control mode. When operating in the motion control mode, the controller 1700 may activate the imaging unit 1550 to capture an image of a user, track a change in the user's motion, and perform a control operation corresponding thereto. When operating in the voice control mode, the controller 1700 may operate in a voice recognition mode in which a user voice input through the microphone unit 1500 is analyzed and a control operation is performed according to the analyzed user voice.

움직임 감지부(1650)는 사용자 단말 장치(1000)의 본체 움직임을 감지할 수 있다. 사용자 단말 장치(1000)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(1650)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다. The motion detection unit 1650 may detect a movement of the body of the user terminal device 1000 . The user terminal device 1000 may be rotated or tilted in various directions. In this case, the motion detection unit 1650 may detect motion characteristics such as a rotation direction, an angle, and a tilt using at least one of various sensors such as a geomagnetic sensor, a gyro sensor, and an acceleration sensor.

그 밖에, 사용자 단말 장치(1000) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다. In addition, a USB port to which a USB connector can be connected in the user terminal device 1000, various external input ports for connecting to various external terminals such as a headset, a mouse, and a LAN, and a Digital Multimedia Broadcasting (DMB) signal are received and processed It may further include a DMB chip, various sensors, and the like.

전술한 사용자 단말 장치(1000)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 사용자 단말 장치(1000)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.Names of components of the aforementioned user terminal device 1000 may be different. Also, the user terminal device 1000 according to the present disclosure may be configured to include at least one of the above-described components, and some components may be omitted or may further include additional other components.

도 45a은 본 개시의 일 실시 예에 따른 사용자 단말 장치(1000)의 소프트웨어 구성을 나타내는 블록도이다.45A is a block diagram illustrating a software configuration of the user terminal device 1000 according to an embodiment of the present disclosure.

도 45a에 따르면, 메모리(1200)는 사용자 단말 장치(1000)의 자원을 제어하는 운영체제 및 어플리케이션의 동작을 위한 응용 프로그램 등을 저장할 수 있다. 운영체제는 커널, 미들웨어, API 등을 포함할 수 있다. 운영체제로는, 예를 들어, 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 운영 체제 등이 있을 수 있다.Referring to FIG. 45A , the memory 1200 may store an operating system that controls resources of the user terminal device 1000 and an application program for operating the application. The operating system may include a kernel, middleware, API, and the like. The operating system may include, for example, Android, iOS, Windows, Symbian, Tizen, or Bada operating systems.

커널(1210)은 자원을 관리할 수 있는 디바이스 드라이버(1210-1) 또는 시스템 리소스 매니저(1210-2) 중 적어도 하나를 포함할 수 있다. 디바이스 드라이버(1210-1)는 사용자 단말 장치(1000)의 하드웨어들을 소프트웨어적으로 접근하여 제어하도록 할 수 있다. 이를 위하여, 디바이스 드라이버(1210-1)는, 인터페이스와 각 하드웨어 업체가 제공하는 개별 드라이버 모듈로 구분될 수 있다. 디바이스 드라이버(1210-1)는, 예로, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버 또는 IPC (inter-process communication) 드라이버 중 적어도 하나를 포함할 수 있다. 시스템 리소스 매니저(1210-2)는 프로세스 관리부, 메모리 관리부 또는 파일 시스템 관리부 중 적어도 하나를 포함할 수 있다. 시스템 리소스 메니저(1210-2)는 시스템 리소스의 제어, 할당 또는 회수 등의 기능을 수행할 수 있다. The kernel 1210 may include at least one of a device driver 1210 - 1 and a system resource manager 1210 - 2 capable of managing resources. The device driver 1210-1 may control hardware of the user terminal apparatus 1000 by software access. To this end, the device driver 1210-1 may be divided into an interface and an individual driver module provided by each hardware company. The device driver 1210-1 may include, for example, at least one of a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, and an IPC (inter-process communication) driver. can The system resource manager 1210 - 2 may include at least one of a process manager, a memory manager, and a file system manager. The system resource manager 1210 - 2 may perform functions such as controlling, allocating, or recovering system resources.

미들웨어(1220)는 다양한 어플리케이션들에서 공통적으로 요구되는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 미들웨어(1220)는 어플리케이션(1240)이 사용자 단말 장치 내부의 자원을 효율적으로 사용할 수 있도록 API(1230)를 통해 기능을 제공할 수 있다. 미들웨어(1220)는, 예컨대, 어플리케이션 매니저(1220-1), 윈도우 매니저(1220-2), 멀티미디어 매니저(1220-3), 리소스 매니저(1220-4), 파워 매니저(1220-5), 데이터베이스 매니저(1220-6), 패키지 매니저(1220-7), 연결 매니저(1220-8), 통지 매니저(1220-9), 위치 매니저(1220-10), 그래픽 매니저(1220-11) 또는 보안 매니저(1220-12) 등의 복수의 모듈들 중 적어도 하나 이상을 포함할 수 있다.The middleware 1220 may include a plurality of modules implemented in advance to provide functions commonly required in various applications. The middleware 1220 may provide a function through the API 1230 so that the application 1240 can efficiently use resources inside the user terminal device. The middleware 1220 includes, for example, an application manager 1220-1, a window manager 1220-2, a multimedia manager 1220-3, a resource manager 1220-4, a power manager 1220-5, and a database manager. 1220-6, package manager 1220-7, connection manager 1220-8, notification manager 1220-9, location manager 1220-10, graphics manager 1220-11, or security manager 1220 -12) may include at least one or more of a plurality of modules.

어플리케이션 매니저(1220-1)는 어플리케이션(1240) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(1220-2)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1220-3)는 다양한 미디어 파일들의 재생에 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(1220-4)는 어플리케이션(1240) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다. 파워 매니저(1220-5)는 바이오스(BIOS) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(1220-6)는 어플리케이션(1240) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 패키지 매니저(1220-7)은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다. 연결 매니저(1220-8)는, 예로, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(122-9)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(1220-10)는 사용자 단말 장치(1000)의 위치 정보를 관리할 수 있다. 그래픽 매니저(1220-11)는 사용자에게 제공될 그래픽 효과 및 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1220-12)는 시스템 보안 또는 사용자 인증 등에 요구되는 제반 보안 기능을 제공할 수 있다. 사용자 사용자 단말 장치(1000)가 전화 기능을 구비한 경우에는, 미들웨어(1220)는 사용자의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(미도시)를 더 포함할 수 있다. The application manager 1220 - 1 may manage a life cycle of at least one application among the applications 1240 . The window manager 1220 - 2 may manage GUI resources used in the screen. The multimedia manager 1220 - 3 may identify a format for playing various media files, and may encode or decode the media files using a codec suitable for the format. The resource manager 1220 - 4 may manage resources such as a source code, memory, or storage space of at least one of the applications 1240 . The power manager 1220 - 5 may operate together with a BIOS or the like to manage a battery or power, and may provide power information and the like for operation. The database manager 1220 - 6 may manage to create, search, or change a database to be used by at least one of the applications 1240 . The package manager 1220 - 7 may manage installation or update of applications distributed in the form of package files. The connection manager 1220 - 8 may manage a wireless connection such as WiFi or Bluetooth, for example. The notification manager 122 - 9 may display or notify an event such as an arrival message, an appointment, or a proximity notification in a non-obstructive manner to the user. The location manager 1220 - 10 may manage location information of the user terminal device 1000 . The graphic manager 1220-11 may manage graphic effects to be provided to the user and a user interface related thereto. The security manager 1220 - 12 may provide various security functions required for system security or user authentication. When the user user terminal device 1000 has a phone function, the middleware 1220 may further include a call manager (not shown) for managing the user's voice or video call function.

미들웨어(1220)는 런타임 라이브러리(1220-13) 또는 다른 라이브러리 모듈들(미도시)를 더 포함할 수 있다. 런타임 라이브러리(1220-13)는 어플리케이션이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈이다. 예컨대, 런타임 라이브러리(1220-13)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다. 미들웨어(1220)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 미들웨어(1220)는 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 미들웨어(1220)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 본 개시의 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나, 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.The middleware 1220 may further include a runtime library 1220-13 or other library modules (not shown). The runtime library 1220-13 is a library module used by the compiler to add a new function through a programming language while an application is being executed. For example, the runtime library 1220-13 may perform functions for input/output, memory management, or arithmetic functions. The middleware 1220 may generate and use a new middleware module through various function combinations of the aforementioned internal component modules. The middleware 1220 may provide a module specialized for each type of operating system in order to provide a differentiated function. The middleware 1220 may dynamically delete some existing components or add new components. Some of the components described in the embodiment of the present disclosure may be omitted, further provided with other components, or replaced with components having other names that perform similar functions.

API(1230)는 API 프로그래밍 함수들의 집합으로써 운영체제에 따라 다른 구성으로 제공될 수 있다. 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.The API 1230 is a set of API programming functions and may be provided in different configurations depending on the operating system. In the case of Android or iOS, for example, one API set may be provided for each platform, and in the case of Tizen, for example, two or more API sets may be provided.

어플리케이션(1240)은, 디폴트로 설치되어 있는 프리로드 어플리케이션(preloaded Application) 또는 사용자가 사용 과정에서 설치하여 사용할 수 있는 제 3자 어플리케이션(third party application)을 포함할 수 있다. 어플리케이션(1240)은, 예를 들어, 홈 화면으로 돌아가기 위한 홈 어플리케이션(1240-1), 상대방과 전화 통화를 할 수 있는 다이얼러(dialer) 어플리케이션(1240-2), 전화번호로 식별되는 상대방으로부터 메시지를 수신하는 문자 메시지 어플리케이션(1240-3), IM(Instant Message) 어플리케이션(1240-4), 브라우저(Browser) 어플리케이션(1240-5), 카메라 어플리케이션(1240-6), 알람 어플리케이션(1240-7), 상대방의 전화번호 또는 주소를 관리하는 폰 북(Phone-Book) 어플리케이션(1240-8), 사용자의 통화 로그, 문자 메시지의 수/발신 로그 또는 부재 중 전화 로그 등을 관리하는 콜 로그 어플리케이션(1240-9), 이메일(E-mail)로 식별되는 상대방으로부터 메시지를 수신하는 이메일 어플리케이션(1240-10), 달력 어플리케이션(1240-11), 미디어 플레이어(Media Player) 어플리케이션(1240-12), 앨범 어플리케이션(1240-13) 또는 시계 어플리케이션(1240-14) 중 적어도 하나를 포함할 수 있다. 본 개시에 따른 소프트웨어의 전술한 구성요소들의 명칭은 운영체제의 종류에 달라질 수 있다. 또한, 본 개시에 따른 소프트웨어는 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. The application 1240 may include a preloaded application installed by default or a third party application that a user can install and use in the course of use. The application 1240 includes, for example, a home application 1240-1 for returning to a home screen, a dialer application 1240-2 capable of making a phone call with a counterpart, and a counterpart identified by a phone number. Text message application that receives messages (1240-3), IM (Instant Message) application (1240-4), browser application (1240-5), camera application (1240-6), alarm application (1240-7) ), a phone-book application (1240-8) that manages the other party's phone number or address, a call log application ( 1240-9), an email application (1240-10) that receives a message from a counterpart identified by an email (E-mail), a calendar application (1240-11), a media player application (1240-12), an album At least one of an application 1240-13 and a watch application 1240-14 may be included. The names of the above-described components of the software according to the present disclosure may vary depending on the type of the operating system. In addition, the software according to the present disclosure may include at least one or more of the above-described components, some may be omitted, or may further include additional other components.

어플리케이션(1240)은 미들웨어(1220) 및 API(1230)를 통해 검색어를 제공받을 수 있다. 전자기기(100)는 어플리케이션 실행중에 자연어 분석을 통해 키워드가 추출되면, API(1230) 및 미들웨어(1220)를 통해 상기 키워드에 대응하는 검색어를 결정할 수 있다. 예를 들면 사용자가 문자메시지 어플리케이션(1240-3) 실행 중에 “수월6일” 이라는 키워드가 추출되면, 전자기기(100)는 API(1230) 및 미들웨어(1220)를 통해 달력 어플리케이션(1240-11)에서 생성된 일정 데이터를 검색하고, 검색결과를 문자메시지(1240-3) 실행 창에 표시될 수 있다.The application 1240 may receive a search word through the middleware 1220 and the API 1230 . When a keyword is extracted through natural language analysis while the application is running, the electronic device 100 may determine a search word corresponding to the keyword through the API 1230 and the middleware 1220 . For example, when the keyword “June 6th” is extracted while the user is executing the text message application 1240-3, the electronic device 100 performs the calendar application 1240-11 through the API 1230 and the middleware 1220. The schedule data generated in . may be searched, and the search result may be displayed in the text message 1240-3 execution window.

또한 사용자가 문자메시지 어플리케이션(1240-3) 실행 중에 “-3) 실행 라는 키워드가 추출되면 전자기기(100)는 API(1230) 및 미들웨어(1220)를 통해 달력 어플리케이션(1240-11) , 폰북 어플리케이션(1240-8) 및 이메일 어플리케이션(1240-10)중에서 서플리케이션(에 대응하는 데이터를 검색하고 검색 결과를 문자메시지(1240-3) 실행 창에 표시될 수 있다.In addition, when the keyword “-3) execution is extracted while the user is executing the text message application 1240-3, the electronic device 100 performs the calendar application 1240-11 and the phonebook application through the API 1230 and the middleware 1220.” Data corresponding to the application ( 1240 - 8 ) and the email application ( 1240 - 10 ) may be searched and the search result may be displayed in the text message ( 1240 - 3 ) execution window.

전자기기(100)는 추출된 키워드를 전용 API를 통해 미들웨어단으로 전달하고, 미들웨어의 데이터베이스 매니저(1240-6)를 통해 다른 어플리케이션에서 생성된 데이터를 액세스(access)하고 상기 데이터를 고려하여 검색결과를 제공할 수 있다.The electronic device 100 transmits the extracted keyword to the middleware stage through a dedicated API, accesses data generated in other applications through the database manager 1240-6 of the middleware, and considers the data to find a search result can provide

데이터베이스(미도시)에는 각각의 어플리케이션에서 생성된 데이터가 저장될 수 있으며, 전자기기(100)는 어플리케이션 실행중 키워드가 추출되면 API(1230) 및 미들웨어(1220)를 통해 데이터베이스에 액세스 하고 데이터베이스에 저장된 데이터를 고려하여 검색결과를 제공할 수 있다.
Data generated by each application may be stored in a database (not shown), and when a keyword is extracted during application execution, the electronic device 100 accesses the database through the API 1230 and middleware 1220 and stores the data in the database. Search results can be provided in consideration of data.

도 45b는 본 발명의 일 실시 예에 따른 전자기기(100)에서 제공하는 사용자 설정 화면이다.45B is a user setting screen provided by the electronic device 100 according to an embodiment of the present invention.

도 45b를 참조하면 전자기기(100)는 사용자에게 정보 제공 동작에 대한 설정 화면(4501)을 제공할 수 있다. 사용자는 설정 화면을 통해 정보 제공 방법을 선택할 수 있다. 도 45b에서 검색어 생성(Query Generation)이라고 도시되어 있으나 제품에 따라서 다르게 표현할 수 있고, 이는 권리범위를 제한하지 않는다.Referring to FIG. 45B , the electronic device 100 may provide a setting screen 4501 for an information providing operation to the user. The user can select the information provision method through the setting screen. Although it is illustrated as Query Generation in FIG. 45B, it can be expressed differently depending on the product, and this does not limit the scope of rights.

검색어 생성은 3가지(4503, 4505, 4507)가 제공될 수 있다. 사용자가 화면에 표시된 “App(4503)”을 선택하면 실행중인 어플리케이션만 고려하여 검색어를 생성하고 검색결과를 제공할 수 있다. 예를 들면 사용자가 설정 화면(4501)에서 “화pp(4503))에을 선택하고, 문자메시지 어플리케이션(1240-3)을 실행하면 전자기기(100)는 자연어 분석을 통해 키워드를 추출하고, 문자메시지 어플리케이션(1240-3)만을 고려하여 검색어를 결정하고 검색을 수행할 수 있다.Three types of search word generation 4503, 4505, and 4507 may be provided. When the user selects “App 4503” displayed on the screen, it is possible to generate a search term in consideration of only the running application and provide a search result. For example, if the user selects “on pp (4503)) on the setting screen 4501 and executes the text message application 1240-3, the electronic device 100 extracts keywords through natural language analysis, A search word may be determined and a search may be performed in consideration of only the application 1240 - 3 .

사용자가 설정 화면(4501)에서 “Device(4505)”를 선택하면 전자기기(100)는 실행중인 어플리케이션 및 데이터베이스(미도시)에 저장된 다른 어플리케이션으로부터 생성된 데이터를 고려하여 검색어를 결정하고 검색을 수행할 수 있다. 예를 들면 사용자가 설정 화면(4501)에서 “Device(4505)”를 선택하고 문자메시지 어플리케이션(1240-3)을 실행하면 전자기기(100)는 자연어 분석을 통해 키워드를 추출하고 API(1230) 및 미들웨어(1220)를 통해 달력 어플리케이션(1240-11) , 폰북 어플리케이션(1240-8) 및 이메일 어플리케이션(1240-10)을 고려하여 키워드에 대응하는 검색어를 결정하여 검색을 수행하고 검색 결과를 문자메시지(1240-3) 실행 창에 표시될 수 있다.When the user selects “Device 4505” on the setting screen 4501, the electronic device 100 determines a search term in consideration of the data generated from the running application and other applications stored in the database (not shown) and performs the search. can do. For example, when the user selects “Device (4505)” on the setting screen 4501 and executes the text message application 1240-3, the electronic device 100 extracts keywords through natural language analysis, and the API 1230 and Through the middleware 1220, a search is performed by determining a search word corresponding to a keyword in consideration of the calendar application 1240-11, the phonebook application 1240-8, and the email application 1240-10, and the search result is sent to a text message ( 1240-3) can be displayed in the execution window.

데이터베이스(미도시)에는 각각의 어플리케이션에서 생성된 데이터가 저장될 수 있으며, 전자기기(100)는 어플리케이션 실행 중에 키워드가 추출되면 API(1230) 및 미들웨어(1220)를 통해 데이터베이스에 액세스 하고 데이터베이스에 저장된 데이터를 고려하여 검색결과를 제공할 수 있다.Data generated by each application may be stored in a database (not shown), and when a keyword is extracted during application execution, the electronic device 100 accesses the database through the API 1230 and middleware 1220 and stores the data in the database. Search results can be provided in consideration of data.

사용자가 설정 화면(4501)에서 “ALL(4507)4을 선택하면 전자기기(100)는 “선택하면 전자기기(1선택 및 “선택하면 전자기기(1선택를 선택 모두를 고려하여 검색을 수행할 수 있다.
If the user selects “ALL(4507)4” on the setting screen 4501, the electronic device 100 may perform a search considering both “Selecting electronic device (select 1 and “Select electronic device (select 1 selection)”) there is.

도 46은 본 발명의 일 실시예를 설명하기 위한 전자기기(2000)의 유저 인터페이스(UI)를 도시하는 도면이다. 전자기기(2000)는 도 1의 전자기기(100) 일 수 있다. 46 is a diagram illustrating a user interface (UI) of the electronic device 2000 for explaining an embodiment of the present invention. The electronic device 2000 may be the electronic device 100 of FIG. 1 .

전자기기(2000)는 프로세서(2700), 입력 인터페이스(2400), 출력 인터페이스(2100)를 포함할 수 있다. The electronic device 2000 may include a processor 2700 , an input interface 2400 , and an output interface 2100 .

프로세서 프로세서(2700)는 모바일 애플리케이션 프로세서(Mobile Application Processor) 또는 중앙 처리 장치(Central Processor Unit)을 포함할 수 있다. 프로세서는 제어기(Controller), 제어부(Control Unit) 등으로 표현될 수 있다. 또한, 프로세서는 코어(Core), 디스플레이 제어기(Display controller), ISP(Image Signal Processor)를 포함하는 의미로 사용될 수 있다.Processor The processor 2700 may include a mobile application processor or a central processor unit. The processor may be expressed as a controller, a control unit, or the like. In addition, the processor may be used to include a core, a display controller, and an image signal processor (ISP).

본 발명의 일 실시예에 따른 프로세서(2700)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드를 추출할 수 있다. 또한, 본 발명의 일 실시예에 따른 프로세서(2700)는 키워드와 관련된 검색어를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따른 프로세서(2700)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득하는 할 수 있다. The processor 2700 according to an embodiment of the present invention may extract at least one keyword from a message displayed on a screen through a communication service. In addition, the processor 2700 according to an embodiment of the present invention may generate a search word related to a keyword. In addition, the processor 2700 according to an embodiment of the present invention may acquire information based on the edited search word and location information of the electronic device.

입력 인터페이스(2400)는 사용자가 전자기기(100)의 제어를 위해 데이터를 입력하기 위한 수단을 의미할 수 있다. 예를 들어, 입력 인터페이스(2400)는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드 (접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 또한, 입력 인터페이스는 터치 스크린(Touch Screen), 터치 패널(Touch Panel), 마이크, 키보드를 포함할 수 있다.The input interface 2400 may mean a means for a user to input data to control the electronic device 100 . For example, the input interface 2400 may include a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type) Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, etc. may be configured. Also, the input interface may include a touch screen, a touch panel, a microphone, and a keyboard.

또한, 입력 인터페이스(2400)는 사용자로부터 데이터를 입력받기 위한 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 입력 인터페이스(2400)는, 모션 인식 모듈, 터치 인식 모듈, 음성 인식 모듈 등을 포함할 수 있다. Also, the input interface 2400 may include at least one module for receiving data from a user. For example, the input interface 2400 may include a motion recognition module, a touch recognition module, a voice recognition module, and the like.

터치 인식 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서로 전달할 수 있다. 음성 인식 모듈은 음성 인식 엔진을 이용하여 사용자의 음성을 인식하고, 인식된 음성을 프로세서로 전달할 수 있다. 모션 인식 모듈은 피사체(Object)의 움직임을 인식하고, 피사체(Object)의 움직임에 관한 정보를 프로세서로 전달할 수 있다. The touch recognition module may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor. The voice recognition module may recognize the user's voice using a voice recognition engine and transmit the recognized voice to the processor. The motion recognition module may recognize a movement of an object and transmit information about the movement of the object to the processor.

명세서 전체에서 사용자가 전자기기(2000)의 입력 인터페이스(2400)를 통해서 하는 `입력`은, 터치 입력, 벤딩 입력, 음성 입력, 키 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. Throughout the specification, the 'input' that the user makes through the input interface 2400 of the electronic device 2000 may include at least one of a touch input, a bending input, a voice input, a key input, and a multimodal input, The present invention is not limited thereto.

"터치 입력"이란 사용자가 전자기기(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다."Touch input" refers to a gesture, etc. performed by a user on a touch screen to control the electronic device 100 . For example, the touch input described herein may include a tap, a touch & hold, a double tap, a drag, a panning, a flick, a drag and drop, and the like.

"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다. A “tap” refers to an action of a user touching a screen using a finger or a touch tool (eg, an electronic pen) and then immediately lifting it off the screen without moving.

"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다. "Touch & hold" refers to an operation in which a user touches a screen using a finger or a touch tool (eg, an electronic pen) and then maintains a touch input for a threshold time (eg, 2 seconds) or longer. For example, it means a case in which the time difference between the touch-in time and the touch-out time is equal to or greater than a threshold time (eg, 2 seconds). In order to make the user recognize whether the touch input is a tap or touch & hold, if the touch input is maintained for a threshold time or longer, a feedback signal may be provided visually, auditory or tactile. The threshold time may be changed according to an implementation example.

"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다. "Double tap" refers to an action in which a user double-touches a screen using a finger or a touch tool (stylus).

"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.“Drag” refers to an operation in which a user touches a finger or a touch tool on the screen and then moves the finger or the touch tool to another location on the screen while maintaining the touch. An object is moved due to the drag operation or a panning operation, which will be described later, is performed.

"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다. “Panning” refers to a case in which a user performs a drag operation without selecting an object. Because panning does not select a specific object, the page itself moves within the screen rather than the object moving within the page, or a group of objects moves within the page.

"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다. A “flick” refers to an action in which a user drags with a finger or a touch tool at a threshold speed (eg, 100 pixel/s) or more. Drag (or panning) and flick may be distinguished based on whether the moving speed of the finger or the touch tool is equal to or greater than a threshold speed (eg, 100 pixel/s).

"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다. "Drag & drop" refers to an action in which a user drags an object to a predetermined position on the screen using a finger or a touch tool and then drops the object.

"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정된다."Pinch" refers to a motion of a user moving in different directions while touching the screen with two fingers. It is a gesture to enlarge (Pinch Open) or Reduce (Pinch Close) an object or page, and the enlargement or reduction value is determined according to the distance between two fingers.

"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.A “swipe” is an operation of moving a predetermined distance in a horizontal or vertical direction while touching an object on the screen with a finger or a touch tool. A movement in an oblique direction may not be recognized as a swipe event.

"모션 입력"은, 사용자가 전자기기(100)를 제어하기 위해 전자기기(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 전자기기(100)를 회전시키거나, 전자기기(100)를 기울이거나, 전자기기(2000)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 전자기기(2000)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다. “Motion input” refers to a motion that a user applies to the electronic device 100 to control the electronic device 100 . For example, the motion input may include an input in which a user rotates the electronic device 100 , tilts the electronic device 100 , or moves the electronic device 2000 up, down, left and right. The electronic device 2000 receives a motion input preset by the user by using an acceleration sensor, a tilt sensor, a gyro sensor, a magnetic field sensor, and the like. can detect

명세서 전체에서 "벤딩 입력"은, 전자기기(100)가 플렉서블 디스플레이 장치인 경우, 사용자가 전자기기(2000)를 제어하기 위해 전자기기(2000)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 전자기기(2000)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다. Throughout the specification, when the electronic device 100 is a flexible display device, the term “bending input” refers to an input in which a user bends all or a portion of the electronic device 2000 in order to control the electronic device 2000 . According to an embodiment of the present invention, the electronic device 2000 uses a bending sensor, such as a bending position (coordinate value), a bending direction, a bending angle, a bending speed, the number of times of bending, a time of occurrence of a bending operation, a bending operation maintenance time, etc. can detect

명세서 전체에서 "키 입력"은 사용자가 전자기기(2000)에 부착된 물리적인 키 또는 전자기기(2000)가 제공하는 가상적인 키를 이용하여, 전자기기(2000)를 제어하는 입력을 의미한다. Throughout the specification, “key input” refers to an input for controlling the electronic device 2000 by a user using a physical key attached to the electronic device 2000 or a virtual key provided by the electronic device 2000 .

명세서 전체에서 "다중 입력"은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 전자기기(2000)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 전자기기(2000)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 전자기기(2000)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다. Throughout the specification, "multiple input" means that at least two or more input methods are combined. For example, the electronic device 2000 may receive a user's touch input and motion input, or may receive a user's touch input and voice input. Also, the electronic device 2000 may receive a user's touch input and eyeball input. The eyeball input refers to an input through which the user adjusts eye blinking, gaze position, eye movement speed, and the like in order to control the electronic device 2000 .

본 발명의 일 실시예에 따른 입력 인터페이스는 사용자로부터 편집된 검색어 를 수신할 수 있다. The input interface according to an embodiment of the present invention may receive the edited search word from the user.

출력 인터페이스는 오디오 신호 또는 비디오 신호 또는 알람(Alarm) 신호의 출력을 위한 것으로, 출력 인터페이스는 디스플레이 모듈과 음향 출력 모듈 등을 포함할 수 있다. 또한, 출력 인터페이스는 2차원 영상을 디스플레이 할 수 있는 평판 디스플레이, 3차원 영상을 디스플레이 할 수 있는 평판 디스플레이를 포함할 수 있다. 출력 인터페이스는 3차원 홀로그램을 출력할 수 있는 장치를 포함할 수 있다. The output interface is for outputting an audio signal, a video signal, or an alarm signal, and the output interface may include a display module, a sound output module, and the like. Also, the output interface may include a flat panel display capable of displaying a 2D image and a flat panel display capable of displaying a 3D image. The output interface may include a device capable of outputting a 3D hologram.

본 발명의 일 실시예에 따른 출력 인터페이스는 프로세서에서 생성한 검색어를 제공할 수 있다. 본 발명의 일 실시예에 따른 출력 인터페이스는 프로세서에서 획득된 정보를 제공 할 수 있다. The output interface according to an embodiment of the present invention may provide a search term generated by the processor. The output interface according to an embodiment of the present invention may provide information obtained from the processor.

전자기기(2000)는 검색 서버와 통신을 통하여 정보를 송수신할 수 있다. 예를 들어, 전자기기(2000)은 적어도 하나의 프로토콜을 통하여 검색 서버와 통신할 수 있다. 예를 들어, 전자기기(2000)은 TFTP(Trivial File Transfer Protocol), SNMP(Simple Network Mangement Protocol), SMTP(Simple Mail Transfer Protocol), POP(Post Office Protocol), ICMP(Internet Control Message Protocol), SLIP(Serial Line Interface Protocol), PPP(Point to Point Protocol), DHCP(Dynamic Host Control Protocol), NETBIOS(Network Basic Input Output System), IPX/SPX(Internetwork Packet eXcharge), ICMP(Internet Control Manage Protocol), IP(Internet Protocol), ARP(Address Resolusion Protocol), TCP(Transmission Control Protocol), UDP(User Datagram Protocol), winsock, DHCP(Dynamic Host Configulatin Protocol), RIP(Routing Informaion Protocol) 및 NetBIOS 중 적어도 하나의 프로토콜을 통하여 검색 서버와 통신할 수 있으나, 이에 한정되는 것은 아니다.The electronic device 2000 may transmit and receive information through communication with the search server. For example, the electronic device 2000 may communicate with the search server through at least one protocol. For example, the electronic device 2000 includes Trivial File Transfer Protocol (TFTP), Simple Network Management Protocol (SNMP), Simple Mail Transfer Protocol (SMTP), Post Office Protocol (POP), Internet Control Message Protocol (ICMP), SLIP (Serial Line Interface Protocol), Point to Point Protocol (PPP), Dynamic Host Control Protocol (DHCP), Network Basic Input Output System (NETBIOS), Internetwork Packet eXcharge (IPX/SPX), Internet Control Manage Protocol (ICMP), IP (Internet Protocol), ARP (Address Resolusion Protocol), TCP (Transmission Control Protocol), UDP (User Datagram Protocol), winsock, DHCP (Dynamic Host Configuration Protocol), RIP (Routing Information Protocol) and at least one protocol of NetBIOS It may communicate with the search server through, but is not limited thereto.

전자기기(2000)는 근거리 통신 모듈을 통하여 근거리 통신을 수행할 수 있다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
The electronic device 2000 may perform short-range communication through the short-range communication module. Short-distance communication technologies may include wireless LAN (Wi-Fi), Bluetooth, Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), infrared data association (IrDA), etc., but are limited thereto. not.

도 47 내지 도 50은 메시징 서비스를 통한 커뮤니케이션을 위하여 전자기기(100)에 의해 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.47 to 50 are diagrams for explaining a specific user interface environment provided by the electronic device 100 for communication through a messaging service.

도 47을 참조하면, 전자기기(100)는 디스플레이부(4701)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 도 47의 우측 도면(4703)은 디스플레이부(4701)에 표시되는 메시지를 확대해서 도시한 가상 화면이다. 디스플레이부(4701)에는 우측 도면(4703)의 일 부분만 표시된다. 즉 전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 디스플레이부(4701)의 상단에 표시할 수 있으며, 시간순으로 표시된 메시지는 스크롤되면서 디스플레이부(4701)에 디스플레이될 수 있다. Referring to FIG. 47 , the electronic device 100 may display messages received from other electronic devices and messages transmitted to other electronic devices in chronological order on the display unit 4701 . A right diagram 4703 of FIG. 47 is an enlarged virtual screen illustrating a message displayed on the display unit 4701 . Only a portion of the right figure 4703 is displayed on the display unit 4701 . That is, when the electronic device 100 displays messages in chronological order, the first displayed message may be displayed on the top of the display unit 4701 , and the messages displayed in chronological order may be displayed on the display unit 4701 while being scrolled.

전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이하고 일정 시간 동안 디스플레이된 인디케이션(indication) 또는 표시(mark)를 유지할 수 있다. 전자기기(100)는 메시지로부터 적어도 하나의 키워드를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드를 추출할 수 있다. 전자기기(100)는 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드를 추출할 수 있다. 또한, 전자기기(100)는 추출된 키워드를 검색 서비스의 검색어로 이용하거나, 추출된 키워드로부터 다른 키워드를 추론하고 추론된 키워드를 검색 서비스의 검색어로 이용할 수도 있다. The electronic device 100 displays a separate indication or mark for a keyword included in the message while continuously monitoring the user's conversation content, and displays the indication or mark for a predetermined time. (mark) can be maintained. The electronic device 100 may extract at least one keyword from the message, and determine a search term of the search service based on the extracted keyword and the user's context information. The electronic device 100 may extract a keyword by analyzing the content of the message in natural language. The electronic device 100 may extract a keyword by using the previous message and the current message displayed on the display unit. Also, the electronic device 100 may use the extracted keyword as a search term of the search service, or may infer another keyword from the extracted keyword and use the inferred keyword as a search term of the search service.

디스플레이부는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드를 다른 부분과 구별되도록 표시할 수 있다.The display unit may display a keyword used to determine a search word from among the displayed messages to be distinguished from other parts.

도 47의 우측도면(4703)에는 대화 메시지중에서 키워드(4711, 4713, 4715, 4717, 4719)가 메시지의 다른 부분과는 다르게 구별되어 표시되어 있다. 키워드는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 즉, 구별되어 표시된 키워드는 일정 시간 지난 후에 원래 상태로 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다. 또는 키워드가 다른 부분과 구별되게 표시되는 시간은 사용자 입력에 따라 결정될 수 있다. 예컨대, 사용자가 메시지중에서 키워드를 다른 부분과 구별되게 표시되는 시간을 2시간으로 설정하면 키워드는 2시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 2시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다.
In the right diagram 4703 of FIG. 47, keywords 4711, 4713, 4715, 4717, and 4719 in the conversation message are displayed differently from other parts of the message. The keyword may be displayed to be distinguished from other parts for a certain period of time, for example, one hour. That is, the differentiated and displayed keywords may be displayed in their original state after a certain period of time has elapsed. The keyword returns to its original state after one hour, and may be displayed the same as other parts. Alternatively, a time for which the keyword is displayed to be distinguished from other parts may be determined according to a user input. For example, if the user sets the time for displaying the keyword to be distinguished from other parts of the message as 2 hours, the keyword may be displayed to be distinguished from other parts for 2 hours. The keyword returns to its original state after 2 hours, and can be displayed the same as other parts.

도 48을 참조하면, 전자기기(100)는 디스플레이부(4801)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 도 48의 우측 도면(4803)은 디스플레이부(4801)에 표시되는 메시지를 확대해서 도시한 가상화면 이다. 디스플레이부(4801)에는 우측 도면(4803)의 일 부분이 표시될 수 있다. 즉 전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 디스플레이부(4801)의 상단에 표시할 수 있으며, 시간순으로 표시된 메시지는 스크롤되면서 디스플레이부(4801)에 표시될 수 있다. Referring to FIG. 48 , the electronic device 100 may display messages received from other electronic devices and messages transmitted to other electronic devices in chronological order on the display 4801 . The right diagram 4803 of FIG. 48 is an enlarged virtual screen illustrating a message displayed on the display unit 4801 . A portion of the right drawing 4803 may be displayed on the display 4801 . That is, when the electronic device 100 displays messages in chronological order, the first displayed message may be displayed on the upper part of the display unit 4801 , and the messages displayed in chronological order may be displayed on the display unit 4801 while being scrolled.

전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이부(4801)에 표시하고, 표시된 인디케이션(indication) 또는 표시(mark)를 일정 시간 동안 유지할 수 있다. 전자기기(100)는 메시지에 포함된 키워드를 이용하여 적어도 하나의 키워드를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드를 추출할 수 있다. 전자기기(100)는 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드를 추출할 수 있다. 또한, 전자기기(100)는 추출된 키워드를 검색 서비스의 검색어로 이용하거나, 추출된 키워드로부터 다른 키워드를 추론하고 추론된 키워드를 검색 서비스의 검색어로 이용할 수도 있다. The electronic device 100 displays a separate indication or mark on the display 4801 for a keyword included in the message while continuously monitoring the user's conversation content, and displays the displayed indication (indication). ) or mark can be maintained for a certain period of time. The electronic device 100 may extract at least one keyword by using a keyword included in the message, and may determine a search term of the search service based on the extracted keyword and the user's context information. The electronic device 100 may extract a keyword by analyzing the content of the message in natural language. The electronic device 100 may extract a keyword by using the previous message and the current message displayed on the display unit. Also, the electronic device 100 may use the extracted keyword as a search term of the search service, or may infer another keyword from the extracted keyword and use the inferred keyword as a search term of the search service.

디스플레이부는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드를 다른 부분과 구별되도록 표시할 수 있다. The display unit may display a keyword used to determine a search word from among the displayed messages to be distinguished from other parts.

도 48 의 우측도면(4803)에는 대화 메시지중에서 키워드(4811, 4813, 4815, 4817, 4819)가 메시지의 다른 부분과는 다르게 구별되어 표시되어 있다. 키워드는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다. 키워드(4807)는 도 47에서는 다른 부분과 구분되어 표시되었으나 1시간이 지남에 따라 원래 상태로 복귀하면서 다른 부분과 동일하게 표시된다. 반면 도 47과 비교해서 새롭게 추가된 키워드(4817, 4819)는 다른 부분과 구분되어 표시될 수 있다.
In the right diagram 4803 of FIG. 48, keywords 4811, 4813, 4815, 4817, and 4819 in the conversation message are displayed differently from other parts of the message. The keyword may be displayed to be distinguished from other parts for a certain period of time, for example, one hour. The keyword returns to its original state after one hour, and may be displayed the same as other parts. The keyword 4807 is displayed separately from other parts in FIG. 47 , but returns to the original state as one hour elapses and is displayed the same as other parts. On the other hand, as compared with FIG. 47 , the newly added keywords 4817 and 4819 may be displayed separately from other parts.

도 49 를 참조하면, 전자기기(100)는 디스플레이부(4901)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 도 49의 우측 도면(4903)은 디스플레이부(4901)에 표시되는 메시지를 확대해서 도시한 것이다. 디스플레이부(4901)에는 우측 도면(4903)의 일 부분이 표시될 수 있다. 즉 전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 디스플레이부(4901)의 상단에 표시할 수 있으며, 시간순으로 표시된 메시지는 스크롤되면서 디스플레이부(4901)에 표시될 수 있다. 49 , the electronic device 100 may display messages received from other electronic devices and messages transmitted to other electronic devices in chronological order on the display unit 4901 . A right diagram 4903 of FIG. 49 is an enlarged view of a message displayed on the display unit 4901 . A portion of the right figure 4903 may be displayed on the display unit 4901 . That is, when the electronic device 100 displays messages in chronological order, the first displayed message may be displayed on the upper portion of the display unit 4901 , and the messages displayed in chronological order may be displayed on the display unit 4901 while being scrolled.

전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이부(4901)에 표시하고, 표시된 인디케이션(indication) 또는 표시(mark)를 일정 시간 동안 유지할 수 있다. 전자기기(100)는 메시지에 포함된 키워드를 이용하여 적어도 하나의 키워드를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드를 추출할 수 있다. 전자기기(100)는 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드를 추출할 수 있다. 또한, 전자기기(100)는 추출된 키워드를 검색 서비스의 검색어로 이용하거나, 추출된 키워드로부터 다른 키워드를 추론하고 추론된 키워드를 검색 서비스의 검색어로 이용할 수도 있다. The electronic device 100 displays a separate indication or mark on the display unit 4901 for a keyword included in the message while continuously monitoring the user's conversation content, and displays the displayed indication (indication). ) or mark can be maintained for a certain period of time. The electronic device 100 may extract at least one keyword by using a keyword included in the message, and may determine a search term of the search service based on the extracted keyword and the user's context information. The electronic device 100 may extract a keyword by analyzing the content of the message in natural language. The electronic device 100 may extract a keyword by using the previous message and the current message displayed on the display unit. Also, the electronic device 100 may use the extracted keyword as a search term of the search service, or may infer another keyword from the extracted keyword and use the inferred keyword as a search term of the search service.

도 49 의 우측도면(4903)에는 대화 메시지중에서 키워드(4911, 4913, 4915, 4917, 4919)가 메시지의 다른 부분과는 다르게 구별되어 표시되어 있다. 키워드는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다.In the right figure 4903 of FIG. 49, keywords 4911, 4913, 4915, 4917, and 4919 in the conversation message are displayed differently from other parts of the message. The keyword may be displayed to be distinguished from other parts for a certain period of time, for example, one hour. The keyword returns to its original state after one hour, and may be displayed the same as other parts.

전자기기(100)는 추출 또는 추론된 키워드 및 사용자의 컨텍스트 정보를 이용하여 검색어를 결정하고 검색을 수행할 수 있다. 사용자의 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보를 포함할 수 있다. 또한, 사용자의 컨텍스트 정보는, 사용자의 전자 기기(100)의 주변 환경 정보, 사용자의 전자 기기(100)의 상태 정보, 사용자의 상태 정보, 및 사용자의 일정 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. The electronic device 100 may use the extracted or inferred keyword and the user's context information to determine a search word and perform the search. The user's context information may include the user's location information, the user's communication record information, and the user's search history information. In addition, the user's context information may include at least one of surrounding environment information of the user's electronic device 100, state information of the user's electronic device 100, user's state information, and user's schedule information, The present invention is not limited thereto.

전자 기기(100)의 주변 환경 정보는, 전자 기기(100)로부터 소정 반경 내의 환경 정보를 의미하는 것으로서, 예를 들어, 날씨 정보, 온도 정보, 습도 정보, 조도 정보, 소음 정보, 소리 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The surrounding environment information of the electronic device 100 refers to environmental information within a predetermined radius from the electronic device 100, and includes, for example, weather information, temperature information, humidity information, illuminance information, noise information, sound information, and the like. may be included, but is not limited thereto.

전자 기기(100)의 상태 정보는, 전자 기기(100)의 모드 정보(예컨대, 소리 모드, 진동 모드, 무음 모드, 절전 모드, 차단 모드, 멀티 윈도우 모드, 자동 회전 모드 등), 전자 기기(100)의 위치 정보, 시간 정보, 통신 모듈의 활성화 정보(예컨대, Wi-Fi ON / Bluetooth OFF / GPS ON/ NFC ON 등), 전자 기기(100)의 네트워크 접속 상태 정보, 전자 기기(100)에서 실행되는 애플리케이션 정보(예컨대, 애플리케이션의 식별 정보, 애플리케이션 종류, 애플리케이션 이용 시간, 애플리케이션 이용 주기) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The state information of the electronic device 100 includes mode information of the electronic device 100 (eg, sound mode, vibration mode, silent mode, power saving mode, cut-off mode, multi-window mode, automatic rotation mode, etc.), the electronic device 100 ) location information, time information, activation information of the communication module (eg, Wi-Fi ON / Bluetooth OFF / GPS ON / NFC ON, etc.), network connection status information of the electronic device 100, execution in the electronic device 100 It may include, but is not limited to, application information (eg, application identification information, application type, application use time, application use period) and the like.

사용자의 상태 정보는 사용자의 움직임, 생활 패턴 등에 관한 정보로서, 사용자의 걷는 상태, 운동하는 상태, 운전 중인 상태, 수면 상태, 사용자의 기분 상태 등에 관한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.The user's state information is information about the user's movement, life pattern, etc., and may include information about the user's walking state, exercise state, driving state, sleep state, user's mood state, etc., but is not limited thereto. .

전자기기(100)는 사용자의 입력이 없어도 검색어가 결정되면 검색을 수행하고 검색결과를 메모리에 일시적 또는 영구적으로 저장할 수 있다. 검색결과는 사용자 요청에 의해 디스플레이부(4901)에 표시되거나 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.The electronic device 100 may perform a search when a search word is determined even without a user's input and temporarily or permanently store the search result in a memory. The search result may be displayed on the display unit 4901 according to a user's request or may be displayed on a predetermined area of the display unit 4901 irrespective of the user's request.

전자기기(100)는 키워드(4911, 4913, 4915, 4917, 4919)를 추출하고 추출된 키워드 및 사용자의 컨텍스트 정보를 활용하여 검색을 수행하고 검색 결과(4921, 4923, 4925, 4927, 4929)를 메모리에 일시적 또는 영구적으로 저장할 수 있다. 예를 들면 전자기기(100)는 추출된 키워드(4911) 및 사용자의 위치정보에 기초하여 검색을 수행하고 검색결과(4921)를 메모리에 저장할 수 있다. 이 때 검색결과(4921)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 입력에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 입력과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.The electronic device 100 extracts the keywords 4911, 4913, 4915, 4917, and 4919, performs a search using the extracted keyword and the user's context information, and displays the search results 4921, 4923, 4925, 4927, and 4929. It can be stored temporarily or permanently in memory. For example, the electronic device 100 may perform a search based on the extracted keyword 4911 and the user's location information and store the search result 4921 in the memory. In this case, the search result 4921 may not be displayed on the display unit 4901 . Alternatively, it may be displayed on the display unit 4901 by a user input. Alternatively, the display may be displayed on a predetermined area of the display unit 4901 irrespective of a user input.

전자기기(100)는 추출된 키워드(4911) 및 사용자의 위치정보에 기초하여 검색을 수행하고 검색결과(4921)를 메모리에 저장할 수 있다. 이 때 검색결과(4921)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 요청에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다. The electronic device 100 may perform a search based on the extracted keyword 4911 and the user's location information and store the search result 4921 in the memory. In this case, the search result 4921 may not be displayed on the display unit 4901 . Alternatively, it may be displayed on the display unit 4901 according to a user's request. Alternatively, it may be displayed on a predetermined area of the display unit 4901 irrespective of a user's request.

전자기기(100)는 추출된 키워드(4913), 사용자의 위치 및 시간정보에 기초하여 검색을 수행하고 검색결과(4923)를 메모리에 저장할 수 있다. 검색결과(4923)는 사용자의 현재 위치에 근접된 위치 및 현재 시간을 고려하여 필터링 될 수 있다. 이 때 검색결과(4923)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 요청에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.The electronic device 100 may perform a search based on the extracted keyword 4913 and the user's location and time information and store the search result 4923 in the memory. The search result 4923 may be filtered in consideration of a location close to the user's current location and a current time. In this case, the search result 4923 may not be displayed on the display unit 4901 . Alternatively, it may be displayed on the display unit 4901 according to a user's request. Alternatively, it may be displayed on a predetermined area of the display unit 4901 irrespective of a user's request.

전자기기(100)는 추출된 키워드(4915, 4917, 4919), 사용자의 위치 및 사용자의 과거 이력 정보에 기초하여 검색을 수행하고 검색결과(4925, 4927, 4929)를 메모리에 저장할 수 있다. 검색결과(4925, 4927, 4929)는 사용자의 현재 위치에 근접된 위치 및 과거 이력 정보(예컨대 자주 갔었던 식당, 쇼핑몰, 지하철역)를 고려하여 필터링 될 수 있다. 이 때 검색결과(4925, 4927, 4929)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 요청에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.
The electronic device 100 may perform a search based on the extracted keywords 4915 , 4917 , and 4919 , the user's location, and the user's past history information, and store the search results 4925 , 4927 , and 4929 in the memory. The search results 4925 , 4927 , and 4929 may be filtered in consideration of a location close to the user's current location and past history information (eg, a restaurant, a shopping mall, and a subway station that the user has frequently visited). In this case, the search results 4925 , 4927 , and 4929 may not be displayed on the display unit 4901 . Alternatively, it may be displayed on the display unit 4901 according to a user's request. Alternatively, it may be displayed on a predetermined area of the display unit 4901 irrespective of a user's request.

도 50 을 참조하면, 전자기기(100)는 디스플레이부(5001)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 또한 전자기기(100)는 검색 결과(5005)를 메시지가 표시된 상태에서 디스플레이부(5001)에 표시할 수 있다.Referring to FIG. 50 , the electronic device 100 may display messages received from other electronic devices and messages transmitted to other electronic devices in chronological order on the display unit 5001 . Also, the electronic device 100 may display the search result 5005 on the display unit 5001 in a state in which a message is displayed.

전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 상단으로 스크롤하면서 메시지를 표시할 수 있다. When displaying the messages in chronological order, the electronic device 100 may display the messages while scrolling the first displayed message to the top.

전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이하고 디스플레이된 인디케이션(indication) 또는 표시(mark)를 일정 시간 동안 유지할 수 있다. 전자기기(100)는 메시지를 이용하여 적어도 하나의 키워드(5003)를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 사용자의 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보를 포함할 수 있다. The electronic device 100 displays a separate indication or mark for a keyword included in the message while continuously monitoring the user's conversation content, and displays the displayed indication or mark. can be maintained for a certain period of time. The electronic device 100 may extract at least one keyword 5003 using the message, and determine a search term of the search service based on the extracted keyword and the user's context information. The user's context information may include the user's location information, the user's communication record information, and the user's search history information.

전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드(5003)를 추출할 수 있다. 전자기기(100)는 디스플레이부(5001)에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드(5003)를 추출할 수 있다.The electronic device 100 may extract the keyword 5003 by analyzing the content of the message in natural language. The electronic device 100 may extract the keyword 5003 by using the previous message and the current message displayed on the display unit 5001 .

디스플레이부(5001)는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드(5003)를 다른 부분과 구별되도록 표시할 수 있다. 키워드(5003)는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다.The display unit 5001 may display the keyword 5003 used to determine the search word among the displayed messages to be distinguished from other parts. The keyword 5003 may be displayed to be distinguished from other parts for a certain period of time, for example, one hour. The keyword returns to its original state after one hour, and may be displayed the same as other parts.

전자기기(100)는 추출된 키워드(5003) 및 사용자의 컨텍스트 정보를 이용하여 검색어를 결정하고 검색을 수행할 수 있다. 사용자의 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보, 사용자의 검색 기록 정보 및 상기 전자기기의 센싱 정보를 포함할 수 있다.The electronic device 100 may determine a search word using the extracted keyword 5003 and the user's context information and perform a search. The user's context information may include user's location information, user's communication record information, user's search record information, and sensing information of the electronic device.

전자기기(100)는 사용자의 입력이 없어도 검색어가 결정되면 검색을 수행하고 검색결과를 메모리에 일시적 또는 영구적으로 저장할 수 있다. 검색결과는 사용자 요청에 의해 디스플레이부(5001)의 특정 영역(5005)에 표시되거나 또는 사용자 요청과 무관하게 디스플레이부(5001)의 특정 영역(5005)에 표시될 수 있다.The electronic device 100 may perform a search when a search word is determined even without a user's input and temporarily or permanently store the search result in a memory. The search result may be displayed on the specific area 5005 of the display unit 5001 according to a user's request or may be displayed on the specific area 5005 of the display unit 5001 regardless of the user's request.

검색결과에는 사용자의 현재 위치로부터의 거리 및 추천순위가 포함될 수 있다.The search result may include a distance from the user's current location and a recommendation ranking.

전자기기(100)는 키워드를 선택하는 사용자 입력에 기초해서 검색을 수행하고 검색결과를 디스플레이부(5001)의 특정 영역(5005)에 표시할 수 있다.
The electronic device 100 may perform a search based on a user input for selecting a keyword and display the search result on a specific area 5005 of the display unit 5001 .

본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.A person of ordinary skill in the art related to the embodiments of the present invention will understand that it can be implemented in a modified form within a range that does not deviate from the essential characteristics of the description. Therefore, the disclosed methods are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the detailed description of the invention, and all differences within the scope of equivalents thereto should be construed as being included in the scope of the present invention.

Claims

An electronic device that provides a search service during communication,
display;
a memory for storing instructions; and
a processor executing the instructions;
includes,
The processor displays one or more text messages exchanged between the electronic device and the external electronic device through the communication on the screen of the display by executing the instructions,
extracting keywords for a search query from the one or more text messages;
extracting location information from the one or more text messages;
generating a search query based on the keyword and location information extracted from the one or more text messages;
displaying the keyword visually distinct from other words in the one or more text messages on the display;
displaying a GUI for receiving a user input for the keyword;
based on the user input for the keyword, transmit a search request based on the search query to a search server,
Displaying the search results received from the search server together with the one or more text messages,
the search query includes the keyword and other keywords;
The search result, a GUI of a search engine providing the search result, and a part of the one or more text messages are displayed together on the display.

delete

The electronic device of claim 1, wherein the processor obtains the search result through at least one of an application service and an Internet search service.

The electronic device of claim 3, wherein the processor executes an application installed in the electronic device in response to the user input, and inputs the search query into the executed application to obtain the search result.

The method of claim 1, wherein the processor comprises:
By controlling the display, an editing window for editing the search query in response to the user input is displayed.

The method of claim 5, wherein the processor comprises:
The electronic device of claim 1, wherein the search query is displayed through the editing window, and a user input for editing the search query is received.

The electronic device of claim 6, wherein the processor obtains the search result based on the edited search query.

The electronic device of claim 1, wherein the processor acquires location information of the electronic device measured through a Global Positioning System (GPS) module included in the electronic device.

The electronic device of claim 8, wherein the processor generates the search query by using location information extracted from the text message rather than location information measured from the GPS module.

The electronic device of claim 1, wherein the processor determines the search query based on user-related information included in the electronic device.

In the method of providing a search service during communication in an electronic device,
displaying one or more text messages exchanged between the electronic device and an external electronic device through the communication on a screen of the electronic device;
extracting keywords for a search query from the one or more text messages; and
extracting location information from the one or more text messages;
generating a search query based on the keyword and location information extracted from the one or more text messages;
displaying the keyword on the screen to be visually distinct from other words in the one or more text messages;
displaying a GUI for receiving a user input for the keyword;
transmitting a search request based on the search query to a search server based on a user input for the keyword;
displaying the search results received from the search server together with the one or more text messages;
includes,
the search query includes the keyword and other keywords;
The search service providing method, characterized in that the search result, a GUI of a search engine providing the search result, and a part of the one or more text messages are displayed together on the screen.

delete

The method of claim 11, wherein the search result is obtained through at least one of an application service and an Internet search service.

The method of claim 13 , wherein the search result is obtained by executing an application installed on the electronic device in response to the user input, and inputting the search query into the executed application.

The method of claim 11, wherein the search service providing method comprises:
and displaying an editing window for editing the search query in response to the user input.

The method of claim 15, wherein the search service providing method comprises:
displaying the search query through the editing window; and
and receiving a user input for editing the search query through the editing window.

The method of claim 16, wherein the search result is obtained based on the edited search query.

The method of claim 11 , further comprising: acquiring location information of the electronic device through a Global Positioning System (GPS) module included in the electronic device;
Search service providing method, characterized in that it further comprises.

19. The method of claim 18, wherein generating the search query comprises:
and generating the search query by using the location information extracted from the message in preference to location information measured from the GPS module.

12. The method of claim 11, wherein generating the search query comprises:
and generating the search query based on user-related information included in the electronic device.

delete

A computer-readable recording medium recording a program for executing the invention of claim 11 on a computer.