KR20160016545A - 정보 제공하는 방법 및 이를 위한 전자기기 - Google Patents

정보 제공하는 방법 및 이를 위한 전자기기 Download PDF

Info

Publication number
KR20160016545A
KR20160016545A KR1020150044996A KR20150044996A KR20160016545A KR 20160016545 A KR20160016545 A KR 20160016545A KR 1020150044996 A KR1020150044996 A KR 1020150044996A KR 20150044996 A KR20150044996 A KR 20150044996A KR 20160016545 A KR20160016545 A KR 20160016545A
Authority
KR
South Korea
Prior art keywords
electronic device
user
information
search
keyword
Prior art date
Application number
KR1020150044996A
Other languages
English (en)
Other versions
KR102370373B1 (ko
Inventor
반대현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150022720A external-priority patent/KR20160016526A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2015/007866 priority Critical patent/WO2016018039A1/en
Priority to TW104124449A priority patent/TWI554900B/zh
Priority to US14/813,673 priority patent/US10097494B2/en
Priority to CN201910495471.7A priority patent/CN110276007B/zh
Priority to EP15179391.6A priority patent/EP2981104B1/en
Priority to CN201510463539.5A priority patent/CN105320736B/zh
Publication of KR20160016545A publication Critical patent/KR20160016545A/ko
Priority to US16/138,198 priority patent/US10841265B2/en
Application granted granted Critical
Publication of KR102370373B1 publication Critical patent/KR102370373B1/ko

Links

Images

Classifications

    • G06F17/3087—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G06F17/30976—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Abstract

일 실시예에 따른 커뮤니케이션 중에 검색 서비스를 제공하는 전자기기는, 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 디스플레이부; 및 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 메시지로부터 상기 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 할 수 있다.

Description

정보 제공하는 방법 및 이를 위한 전자기기 {Method for Providing Information and Device thereof}
본 발명은 정보 제공하는 방법 및 이를 위한 전자기기에 관한 것이다.
최근 휴대용 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활 필수품으로 자리매김하게 되었다. 이와 같은 휴대 단말기는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가 서비스도 제공할 수 있게 되어 다양한 기능을 제공하고 있다.
특히, 스마트 단말기를 이용하여 사용자간의 커뮤니케이션이 활성화 되어 가고 있다. 이러한 활성화 추세와 함께, 커뮤니케이션에서 보다 편리한 대화 환경을 제공하는 여러가지 기술이 개발되고 있다.
하지만, 현재까지 상용화된 기술들은 사용자를 일률적으로 고려하고 있을 뿐이고, 사용자의 위치와 같은 정보에 대해서는 맞춤형으로 제공하지 못하고 있다.
본 발명이 이루고자 하는 기술적 과제는 전자기기에서 사용자의 위치 정보를 고려하여 사용자의 관심 정보 제공하는 방법, 사용자의 관심 정보 획득하는 방법 및 이를 위한 전자기기를 제공하는데 있다.
또한, 본 발명이 이루고자 하는 기술적 과제는 어플리케이션을 사용하는 중에 사용자가 필요로 할 수 있는 검색어(query)를 생성하고, 검색을 수행하여 관심 정보를 획득하는 전자기기를 제공하는데 있다.
본 발명의 일 실시예에 따른 커뮤니케이션 중에 검색 서비스를 제공하는 전자기기는 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 디스플레이부; 및 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지로부터 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 한다.
예를 들어, 상기 디스플레이부는 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 포함하고, 상기 프로세서는 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하고, 상기 디스플레이부는 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 것을 특징으로 할 수 있다.
예를 들어, 상기 프로세서는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득 할 수 있다.
예를 들어, 상기 프로세서는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득 할 수 있다.
예를 들어, 상기 디스플레이부는, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 더 포함하고, 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이 할 수 있다.
예를 들어, 상기 디스플레이부는 상기 검색어 편집창을 통하여 상기 프로세서에서 결정된 검색어를 디스플레이하고, 사용자가 편집한 검색어를 수신 할 수 있다.
예를 들어, 상기 프로세서는 사용자가 편집한 검색어를 통하여 정보를 획득 할 수 있다.
예를 들어, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출될 수 있다.
예를 들어, 상기 프로세서는 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정 할 수 있다.
예를 들어, 상기 프로세서는 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정 할 수 있다.
예를 들어, 상기 프로세서는 상기 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 적어도 하나의 키워드를 추출 할 수 있다.
본 발명의 다른 실시예에 따른 전자기기에서 커뮤니케이션 중에 검색 서비스를 제공하는 방법에 있어서, 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 단계; 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지로부터 적어도 하나의 키워드를 추출하는 단계; 및 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 단계를 포함하며, 상기 디스플레이하는 단계는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 할 수 있다.
예를 들어, 상기 검색 서비스 제공 방법은, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하는 단계; 및 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 단계를 더 포함 할 수 있다.
예를 들어, 상기 정보를 획득하는 단계는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득 할 수 있다.
예를 들어, 상기 정보를 획득하는 단계는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득 할 수 있다.
예를 들어, 상기 검색 서비스 제공 방법은, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이하는 단계를 더 포함 할 수 있다.
예를 들어, 상기 검색 서비스 제공 방법은, 상기 검색어 편집창을 통하여 상기 결정된 검색어를 디스플레이하는 단계; 및 사용자가 편집한 검색어를 수신하는 단계를 더 포함 할 수 있다.
예를 들어, 상기 정보를 획득하는 단계는 사용자가 편집한 검색어를 통하여 정보를 획득 할 수 있다.
예를 들어, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출되는 것을 특징으로 할 수 있다.
예를 들어, 상기 검색어를 결정하는 단계는, 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정 할 수 있다.
예를 들어, 상기 검색어를 결정하는 단계는, 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정 할 수 있다.
예를 들어, 상기 키워드를 추출하는 단계는, 상기 프로세서는 상기 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 적어도 하나의 키워드를 추출 할 수 있다.
본 발명의 다른 실시예에 따른 전자기기는 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 화면에 디스플레이하는 디스플레이부; 및 상기 메시지를 이용하여 적어도 하나의 키워드를 결정하고, 상기 결정된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어 결정에 이용된 상기 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시할 수 있다.
상기 프로세서는 상기 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 상기 키워드를 결정할 수 있다. 상기 프로세서는 상기 검색어를 이용하여 검색을 수행하고, 상기 디스플레이부에 표시된 상기 키워드에 대응되는 부분을 선택하는 사용자 입력에 기초하여 상기 검색 결과를 상기 디스플레이부에 표시할 수 있다.
상기 프로세서는 상기 디스플레이부에 표시된 상기 키워드에 대응되는 부분을 선택하는 사용자 입력에 기초하여 상기 키워드에 대응하는 검색어를 이용하여 검색을 수행하고, 상기 검색 결과를 상기 디스플레이부에 표시할 수 있다.
상기 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보 중 적어도 하나를 포함할 수 있다. 상기 프로세서는 상기 검색 결과를 상기 메시지가 표시된 상태에서 상기 디스플레이에 표시할 수 있다. 상기 구별되어 표시된 상기 키워드에 대응되는 부분은 일정 시간 지난 후에 원래 상태로 표시될 수 있다.
도 1a은 본 발명의 일 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
도 1b은 본 발명의 다른 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 2b는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 2c는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 3 내지 도 7은 메시징 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 8 내지 도 10은 음성 채팅 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 11 내지 도 15은 메일링 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 16 내지 도 19은 소셜 네트워크 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 20은 스케쥴러 서비스를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 21은 문서 편집기 앱(App)를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 22 내지 도 27은 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22a 내지 도 22i는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC 이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23a 내지 도 23e는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24a 내지 도 24F는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 25a 및 도 25b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch) 및 스마트 워치(Smart Watch)와 연동되는 전자기기(101)인 스마트 폰(Smart Phone)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 26a 및 도 26b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 27a 및 도 27b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 28a 및 도 28b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 29a 및 도 29b는 전자기기(100)가 다양한 전자기기(100)이고, 스마트 안경(Smart Glasses)이고, 사용자가 다양한 전자기기(100)을 통하여 음성 채팅 및 텍스트 채팅 중 적어도 하나를 이용하여 커뮤니케이션을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 30 내지 도 31는 본 발명의 일 실시예에 따른 전자기기(100)에서 제공하는 환경 설정 유저 인터페이스를 도시하는 도면이다.
도 32 내지 도 35는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 36은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 도면이다.
도 37은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.
도 38은 도 36에서 도시한 자연어 처리기(1200) 및 도 37에서 도시한 자연어 처리기(3200)의 세부 구성도이다.
도 39는 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블록도이다.
도 40은 본 발명의 일 실시예에 따른 전자기기(100)가 개체 인식하는 동작을 설명하기 위한 블록도이다.
도 41은 본 발명의 일 실시예에 따른 전자기기(100)가 개체 인식하여 작성하는 테이블 차트이다.
도 44에 도시된 사용자 단말 장치(1000)은 도 1의 전자기기(100)의 세부 구성도이다.
도 45a은 본 개시의 일 실시 예에 따른 사용자 단말 장치(1000)의 소프트웨어 구성을 나타내는 블록도이다.
도 45b는 본 발명의 일 실시 예에 따른 전자기기에서 제공하는 사용자 설정화면이다.
도 46은 본 발명의 일 실시예를 설명하기 위한 전자기기(2000)의 유저 인터페이스(UI)를 도시하는 도면이다. 전자기기(2000)는 도 1의 전자기기(100) 일 수 있다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "사용자"는 전자기기의 사용자를 의미할 수 있다. 명세서 전체에서 커뮤니케이션 서비스는 사용자간의 대화와 같이, 사용자들간에 정보를 주고 받는 것을 용이하게 해주는 일대일(one to one), 일대다(one to many), 다대다(many to many) 서비스를 의미할 수 있다.
명세서 전체에서 애플리케이션(Application)은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 애플리케이션(Application)은 앱(App)이라고 표현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 메시지는 사용자들 간에 주고 받은 대화의 일부분으로 하나 이상의 단어(word), 하나 이상의 어구(phrase) 및 하나 이상의 문구(clause) 중 적어도 하나를 포함하는 텍스트의 단위 묶음이거나 음성의 단위 묶음을 의미할 수 있다.
본 명세서에서 키워드는 메시지에 포함되는 것으로, 메시지를 자연어 해석하여 획득한 메시지의 의미와 관련된 단어(word), 어구(phrase), 및 문구(clause)를 의미할 수 있다.
본 명세서에서 검색어는 검색 조건에 맞는 정보를 찾아내기 위한 기본이 되는 단어(word), 어구(phrase), 및 문구(clause)를 의미할 수 있다.
도 1a은 본 발명의 일 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
전자기기(100)는 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 웨어러블 디바이스, PDA(Personal Digital Assistant), 랩탑 컴퓨터(Laptop Computer), 휴대폰(Cell Phone), 이동 전화기(Mobile Phone), EDA (Enterprise Digital Assistant), PMP(Portable Multimedia Player), PND(personal Navigation Device 또는 Portable Navigation Device), 휴대용 게임 콘솔(Handheld Game Console), 모바일 인터넷 장치(Mobile Internet Device(MID)), 또는 e-북(e-Book)으로 구현될 수 있다.
본 명세서에서 웨어러블 디바이스는 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 `HMD`라 함)를 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 웨어러블 디바이스는, 반지, 목걸이, 팔찌, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수도 있다.
본 발명의 일 실시예에 따른 전자기기(100)는 커뮤니케이션 서비스를 통해서 화면에 메시지(5,6,7,8)가 표시될 수 있다. 본 명세서에서 메시지는 사용자들 간에 주고 받은 대화의 일부분으로 전자기기(100)와 다른 전자기기(미도시) 간에 한 세트의 시퀀스로 송수신되는 텍스트의 단위 묶음이거나 음성의 단위 묶음을 의미할 수 있다. 예를 들어, 도 1a에서 Chris가 Hyunjin에게 2013.8.6 8:28 에 송신한 `What do you want to do?`는 메시지(7)이다. 또한, 예를 들어, 도 1a에서 Hyunjin이 Chris에게 2013.8.6 8:30에 송신한 `I want to eat pizza.`는 메시지(8)이다. 예를 들어, 도 1a에서 Chris와 Hyunjin의 대화에서 각각의 말풍선에 포함된 부분은 하나의 메시지를 의미할 수 있다.
본 발명의 일 실시예에 따른 전자기기(100)는 메시지에서 키워드를 추출할지 여부를 판단할 수 있다. 본 발명의 일 실시예에 따른 전자기기(100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드를 추출할 수 있다. 키워드는 메시지에 포함되거나 메시지의 내용과 연관되는 것으로, 메시지의 의미와 관련된 단어(word), 어구(phrase) 및 문구(clause) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자기기는 메시지(8)에서 키워드를 `pizza`로 추출할 수 있다.
본 발명의 일 실시예에 따른 전자기기(100)는 추출된 키워드를 표시할 수 있다. 도 1a에서는 밑줄(Underline)을 통하여 키워드를 표시하는 것으로 도시하였으나, 전자기기(100)는 글자체 변경, 글자 크기 변경, 하이라이트, 굵은 글씨, 밑줄표시, 글자 깜박임, 글씨의 음영처리, 말풍선의 음영처리를 통하여 키워드를 메시지(8)의 다른 부분과 구별하여 표시할 수 있다.
본 발명의 일 실시예에 따른 전자기기(100)는 메시지를 통하여 추출된 키워드와 관련된 검색어를 생성하고, 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득 할 수 있다. 검색어는 검색 조건에 맞는 정보를 찾아내기 위하여 기본이 되는 단어(word), 어구(phrase) 및 문구(clause) 중 적어도 하나를 의미할 수 있다. 검색어는 키워드와 관련될 수 있다. 검색어는 하나 이상의 키워드를 기초로 생성될 수 있다.
본 발명의 다른 실시예에 따른 전자기기(100)는 키워드 및 전자기기(100)의 위치정보를 기초로 검색어를 생성할 수 있다. 예를 들어, 전자기기(100)는 키워드 및 전자기기(100)의 위치정보를 기초로 생성된 검색어를 통하여 정보를 획득하고 디스플레이 할 수 있다.
전자기기(100)는 전자기기 내의 정보를 획득하거나, 서버에서 검색한 정보를 획득할 수 있다. 전자기기(100)는 검색 사이트를 통하여 정보를 획득할 수 있다.
또한, 전자기기(100)는 프로세서에서 획득된 정보를 제공 할 수 있다. 정보를 제공한다는 것은 정보를 사용자가 인식할 수 있도록 보여주거나 들려주는 것을 의미할 수 있다. 예를 들어, 전자기기(100)는 메시지(8)의 다른 부분과 구분하여 표시된 키워드를 사용자가 터치하는 경우 획득된 정보를 제공할 수 있다.
또한, 전자기기(100)의 프로세서는 메시지(8)의 다른 부분과 구분하여 표시된 키워드와 관련된 정보를 유저의 요청과 무관하게 획득하여 전자기기(100)의 메모리(미도시)에 저장해둘 수 있다. 또한, 전자기기는 유저의 요청과 무관하게 획득하여 전자기기(100)의 메모리(미도시)에 저장해둔 정보를 사용자가 하이라이트 표시된 키워드를 터치하는 경우, 전자기기(100)의 메모리로부터 출력하여 사용자에게 제공할 수 있다.
또한, 전자기기(100)의 프로세서는 하이라이트 표시된 키워드를 사용자가 터치하는 경우, 키워드와 관련된 정보를 획득하여 전자기기(100)의 메모리(미도시)에 저장하지 않고 사용자에게 제공할 수 있다.
전자기기(100)가 키워드를 추출하는 방법, 추출된 키워드를 바탕으로 검색어를 생성하는 방법, 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득하는 방법은 도 2a에 대한 설명에서 구체적으로 설명한다.
도 1b은 본 발명의 다른 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
본 발명의 일 실시예에 따른 전자기기(100)는 프로세서에서 생성한 검색어를 제공할 수 있다. 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 편집한 검색어를 수신할 수 있다. 예를 들어, 사용자는 프로세서에서 생성한 제1 검색어를 편집하여 제2 검색어를 작성하고, 전자기기(100)의 그래픽 유저 인터페이스를 통하여 제공되는 검색어 편집창(1)에 제2 검색어를 입력할 수 있다. 한편, 사용자는 프로세서에서 생성한 제1 검색어를 그대로 제2 검색어로 전자기기(100)에 입력할 수 있다. 전자기기(100)는 편집된 제2 검색어를 기초로 정보를 획득할 수 있고, 또한, 편집된 제2 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다.
예를 들어, 도시된 바와 같이, 전자기기(100)는 검색어 편집창(1)을 제공하고, 검색어의 기본값으로 `pizza`를 제공할 수 있다. 또한, 전자기기(100)는 사용자에 의하여 편집된 검색어를 수신하여, 다양한 방법을 통하여 정보를 획득하고, 획득한 정보를 사용자에게 제공할 수 있다. 전자기기의 동작에 대한 구체적인 설명은 도 2a 및 도 2b에 대한 설명을 참조한다.
이하, 전자기기의 동작에 대해서 설명한다.
도 2a는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도 1a에 대응하여 설명하기 위한 흐름도이다.
도 2a를 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 키워드를 추출할 수 있다(S110). 프로세서가 키워드를 추출하는 경우 사용되는 방법은 표 1에서 도시되는 바와 같이 의미론적 분석 및/또는 확률적 분석이다.
키워드
추출 방법		 분석의 근거 근거의 구체적인 예시
의미론적 분석 사용자간의 대화 내용 커뮤니케이션 상대방과 대화에서 추출된 내용, 사용자의 위치에 대한 대화 내용, 사용자의 심리상태에 대한 대화 내용, 사용자의 과거 경험에 대한 대화 내용
사용자의 위치 기록 현재 위치한 장소 또는 특정 장소를 지나간 빈도수, 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 횟수, 현재 위치한 장소 또는 특정 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소 또는 특정 장소에 머문 시간, 사용자가 최초로 현재 장소 또는 특정 장소에 도착한 시간
사용자 입력 정보 사용자의 스케쥴, 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향
사용자에 대한
기록 정보		 사용자에 대한 기록 정보는 사용자의 현재 위치, 사용자의 결재 기록, 사용자의 누적 기록, 사용자의 통화 기록
확률적 분석 참조 내용들 간의 우선순위 또는
의미론적 분석 결과들 간의 우선순위		 사용자간의 대화 내용, 사용자의 위치 기록, 사용자 입력 정보, 사용자에 대한 기록 정보
[1. 키워드 추출]
예를 들어, 도 1에서 표시된 바와 같이, 화면에 표시되는 메시지는 `What do you want to do?`(제1 메시지) 및 `I want to eat pizza`(제2 메시지)일 수 있다. 프로세서는 제1 메시지 및 제2 메시지의 의미를 분석하여, 제2 메시지에서 키워드를 `pizza`로 추출할 수 있다.
전자기기(100)의 프로세서(processor)는 메시지가 사용된 의미론적 분석(semantic analysis), 확률적 분석(statistical analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)의 프로세서(processor)는 메시지와 관련된 상황을 고려하여 키워드를 추출할 수 있다. 예를 들어, 전자기기(100)의 프로세서(processor)는 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 키워드를 추출할 수 있다.
프로세서는 도 36 내지 도 41에서 설명하는 방식을 통하여 각각의 메시지에서 개체를 인식하고, 인식된 각각의 개체들의 사용 빈도를 통하여 키워드를 추출할 수 있다. 프로세서가 개체를 인식하는 구체적인 방식에 대해서는 후술한다.
전자기기(100)의 프로세서(processor)는 전자기기(100)의 각종 처리 동작을 제어할 수 있다.
[1-1. 의미론적 분석]
프로세서는 의미론적 분석(semantic analysis)을 통하여 키워드를 추출할 수 있다.
예를 들어, 프로세서는 사용자간의 대화 내용 및 사용자 관련 정보를 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. 여기서, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. 사용자 관련 정보는 일방의 사용자에 대해 관련된 정보만을 의미할 수 있고, 2인 이상의 사용자에 대해 관련된 정보를 의미할 수 있다.
프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 키워드를 추출할 수 있다.
프로세서는 사용자간의 대화 내용을 자연어(Natural Language) 분석하여, 사용자간의 대화 내용을 확인하고, 키워드를 추출할 수 있다. 예를 들어, 도 1a의 실시예에서 프로세서는 커뮤니케이션 상대방과 대화에서 추출된 내용, 사용자의 위치에 대한 대화 내용, 사용자의 심리상태에 대한 대화 내용, 사용자의 과거 경험에 대한 대화 내용을 기초로 키워드를 추출할 수 있다.
예를 들어, 프로세서는 이러한 대화 내용을 기초로 판단하여, 도 1a의 실시예에서 프로세서는 메시지(8)에서 키워드를 `pizza`로 추출할 수 있다. 프로세서는 사용자간의 대화에 포함된 메시지의 의미를 확인하고, 메시지의 의미를 기초로 사용자에게 필요한 정보가 무엇에 대한 것인지 예측 할 수 있다. 예를 들어, 프로세서는 메시지의 의미를 `피자를 먹고 싶어한다`는 것으로 분석하고, 이러한 의미를 기초로 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황) 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)이 필요한 상황이라고 예측할 수 있다. 여기서, 사용자의 상황이란, 사용자와 관련된 환경적인 요소를 의미할 수 있다.
또한, 프로세서는 메시지의 의미를 기초로 키워드를 추출하는 경우, 2) 사용자의 위치 기록을 고려할 수 있다.
예를 들어, 사용자의 위치 기록은 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 빈도수, 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 횟수, 현재 위치한 장소 또는 특정 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소 또는 특정 장소에 머문 시간, 사용자가 최초로 현재 장소 또는 특정 장소에 도착한 시간을 포함할 수 있다.
전자기기의 사용자의 위치 정보를 확인하고, 키워드를 추출하는데 위치 정보를 이용할 수 있다. 사용자의 위치 정보는 실시간으로 계속적으로 확인될 수 있으며, 전자기기에 저장될 수 있다.
사용자의 위치 정보는 전자기기(100)의 위치 정보에 의하여 측정될 수 있다. 예를 들어, 전자기기(100)의 위치 정보는 GPS 좌표 값, 기지국의 ID, AP(Access Point)의 SSID 및 네트워크 주소를 포함할 수 있다. 또한, 사용자의 위치 정보는 적외선(diffuse-infrared), 초음파, 블루투스, UWB, RFID, WPS 등을 포함하는 다양한 무선 통신 기술을 이용한 측정 방법에 따라 측정될 수 있다.
위치 정보는 시간에 따라서 사용자 또는 전자기기가 어느 위치에 있는지에 대한 기록 정보를 의미할 수 있다. 전자기기(100)는 GPS 모듈을 포함할 수 있다. GPS 모듈이 전자기기(100)의 위치를 측정하는 방법은 도 45에 대한 설명에서 상술한다.
또한, 프로세서는 메시지의 의미를 기초로 키워드를 추출하는 경우, 사용자가 미리 입력한 정보를 고려할 수 있다.
예를 들어, 사용자가 미리 입력한 정보는 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향, 사용자의 예정된 스케쥴을 포함할 수 있다.
예를 들어, 프로세서는 사용자의 주소가 현재 위치와 먼 곳이고, 사용자가 현재 장소의 머문 총 시간이 기준 시간(예를 들어, 1시간) 미만인 경우, 사용자의 현재위치가 사용자에게는 익숙하지 않은 장소임을 확인할 수 있다. 이러한 분석을 기초로, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황) 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)이 필요한 상황이라고 예측할 수 있다.
또한, 프로세서는 메시지의 의미를 기초로 키워드를 예측하는 경우, 사용자에 대한 기록 정보를 고려할 수 있다.
예를 들어, 사용자에 대한 기록 정보는 전자기기 및 서버에 기록된 사용자에 대한 기록을 의미할 수 있다. 또한, 사용자에 대한 기록은 사용자가 전자기기를 이용하면서 기록한 것과 앱 서비스를 이용하면서 서버에 기록한 것을 포함할 수 있다. 또한, 사용자에 대한 기록은 사용자가 직접 기록하지 않았지만, 전자기기나 서버를 이용하면서 간접적으로 기록된 내용을 포함할 수 있다. 예를 들어, 사용자에 대한 기록 정보는 사용자의 현재 위치, 사용자의 결재 기록, 사용자의 누적 기록, 사용자의 통화 기록과 같이 사용자와 관련된 정보를 포함할 수 있다.
[1-2. 확률적 분석]
프로세서는 확률적 분석(statistical analysis)을 통하여 키워드를 추출할 수 있다.
프로세서는 참조 내용들간의 우선 순위를 판단할 수 있다. 예를 들어, 프로세서는 사용자간의 대화 내용, 사용자의 위치 기록, 사용자 입력 정보, 사용자에 대한 기록 정보를 기초로 의미론적 분석을 하는 경우, 각각의 분석의 근거들 간에 키워드 추출시 우선적으로 고려해야 하는 근거를 판단할 수 있다. 예를 들어, 전자기기(100)의 GPS 모듈에서 측정된 전자기기의 위치가 사용자간의 대화 내용에서 나타난 위치 정보가 상이한 경우, 프로세서는 사용자간의 대화 내용에서 나타난 위치 정보를 우선적으로 고려하여 키워드를 추출하도록 할 수 있다.
또한, 프로세서는 사용자의 예측된 상황들 간의 우선 순위를 판단할 수 있다. 예를 들어, 프로세서는 사용자의 예측된 두 가지 상황 중에서 제1 상황(현재 위치 인근의 피자 레스토랑을 찾는 것) 또는 제2 상황(현재 위치 인근의 피자 가게의 전화번호를 찾는 것) 중에서 어느 하나의 발생 확률이 높다고 판단할 수 있다.
예를 들어, 사용자의 누적된 위치 정보에 특정 피자 레스토랑을 빈번하게 방문한 경우, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황)을 제1 순위로 판단할 수 있다.
또는, 예를 들어, 사용자가 현재 위치한 장소가 건물의 외부이고, 사용자의 누적된 위치 정보에 사용자가 일정 시간(예를 들어, 30분) 이상 이동하고 있는 것으로 기록되어 있거나, 사용자의 스케쥴러 상에 외출이 기록되어 있다면, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황)을 제1 순위로 판단할 수 있다.
예를 들어, 사용자의 통화 내역 기록 상에 피자 레스토랑으로 전화를 한 횟수가 소정의 기준 횟수 이상인 경우, 프로세서는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)을 제1 순위로 판단할 수 있다.
또는, 예를 들어, 사용자가 현재 위치한 장소가 사용자 친구의 주택이고, 사용자의 스케쥴러 상에 현재 위치한 장소에서 일정 시간(예를 들어, 3시간) 이상 머물 계획을 가지고 있다면, 프로세서는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)을 제1 순위로 판단할 수 있다.
프로세서는 상술한 방식으로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여, 키워드를 `pizza`로 추출할 수 있다.
[1-3. 키워드 추출의 제한]
프로세서는 단어의 발생 빈도를 고려하여 키워드를 설정할 수 있다. 예를 들어, 프로세서는 사용자가 대화에서 반복적으로 일정 수준 이상 언급하는 단어를 키워드로 설정할 수 있다. 예를 들어, 프로세서는 사용자가 대화에서 5회 이상 언급하거나, 또는 20% 이상의 빈도로 언급하는 단어를 키워드로 설정할 수 있다.
예를 들어, 프로세서는 개체 인식(Named Entity Recognition)을 하고, 각각의 개체에 대하여, 반복 횟수 또는 반복 비율을 측정할 수 있다. 예를 들어, 프로세서는 외부 서버를 통하여 인식된 각각의 개체에 대해서 반복 횟수 또는 반복 비율을 측정할 수 있다.
프로세서 또는 서버를 통하여 개체 인식을 하는 방법에 대해서는 후술한다.
또한, 외부 서버는 개체 인식하여, 각각의 개체에 대해서 반복 횟수 또는 반복 비율을 산출할 수 있고, 프로세서는 각각의 개체에 대하여 반복 횟수 또는 반복 비율에 관한 데이터를 수신하여, 키워드를 설정하는데 참고할 수 있다.
예를 들어, 프로세서는 일정 횟수 미만으로 언급되는 개체에 대해서는 키워드로 설정하지 않을 수 있다. 또한, 예를 들어, 프로세서는 일정 비율 미만으로 언급되는 개체에 대해서는 키워드로 설정하지 않을 수 있다. 이상에서 설명한 키워드 추출을 제한하는 알고리즘은 검색어를 생성하는 알고리즘에도 적용될 수 있다.
프로세서는 추출된 키워드를 구별하여 메시지의 다른 단어와 구별하여 표시(mark)할 수 있다. 프로세서는 추출된 키워드를 선택하는 사용자 입력을 수신하여, S130 내지 S190을 실행할 수 있다. 본 발명의 다른 실시 예에서 프로세서는 사용자 입력을 수신하지 않고, S130 내지 S190을 실행할 수 있다.
또한, 프로세서는 [1-1 의미론적 분석]의 방법을 통하여, 키워드의 추출을 제한할 수 있다. 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보를 기초로 개체를 인식하고, 개체 인식을 제한할 수 있다.
예를 들어, 전자기기(100)가 [피자집 옆 장례식장으로 오세요]라고 메시지를 받은 경우, 프로세서는 의미론적 분석 방법을 통하여, <피자집 옆 장례식장>을 하나의 개체로 인식하거나, <피자집>을 개체로 인식하되, 키워드로 인식하지 않을 수 있다.
예를 들어, 프로세서는 <피자집 옆 장례식장>에서 장소를 표현하는 연결어(예를 들어, 옆, 근처, 뒤)가 사용되고 있음을 파악하고, <피자집 옆 장례식장>를 하나의 개체로 인식할 수 있다.
[1-4. 사용자 입력에 의한 키워드 추출]
프로세서는 사용자 입력을 수신하여 키워드를 결정할 수 있다. 사용자는 대화 메시지에서 키워드를 선택할 수 있다. 사용자는 미리 정해진 방식으로 키워드를 선택할 수 있다. 예를 들어, 사용자는 환경 설정을 통하여 미리 정해진 방식으로 키워드를 선택할 수 있다. 예를 들어, 사용자는 Long Press & Drag 방식으로 키워드를 선택할 수 있다.
프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S130). 프로세서가 검색어를 생성하는 경우 사용되는 방법은 표 2에서 도시되는 바와 같이 의미론적 분석 및/또는 확률적 분석이다.
검색어 결정 방법 분석의 근거
의미론적 분석 사용자간의 대화 내용
사용자의 위치 기록
사용자 입력 정보
사용자에 대한 기록 정보
확률적 분석 참조 내용들 간의 우선순위 또는
의미론적 분석 결과들 간의 우선순위
[2. 검색어 생성]
프로세서는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 검색어를 `good day pizza`로 생성할 수 있다.
프로세서는 사용자간의 대화 내용을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 사용자간의 대화 내용에서 `good day pizza`를 사용자가 먹고 싶어 한다는 의미를 파악했다면, 검색어를 `good day pizza`로 생성하고 제공할 수 있다.
프로세서는 사용자의 위치 기록을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 프로세서는 사용자의 위치 기록을 분석하고, 사용자의 상황에 맞는 검색어를 제공할 수 있다.
예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것이라고 확인하였고, 사용자 위치의 누적 기록에 사용자가 `good day pizza`를 방문한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza 위치`라고 생성할 수 있다.
또한, 예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 통화 기록에 사용자가 `good day pizza`로 전화를 한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza 전화번호`라고 생성할 수 있다.
또한, 예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 기록 중 결재 내역 수신 메시지에서, 사용자가 `good day pizza`에서 결재한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza`라고 생성할 수 있다.
프로세서는 사용자가 미리 입력한 정보을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 프로세서는 전자기기에 입력된 정보에서 `good day pizza`가 사용자가 가장 선호하는 피자 레스토랑으로 확인할 수 있다.
사용자는 전자기기에 `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자는 전자기기에 `good day pizza`에 대한 정보를 다수 기록할 수 있다. 이러한 경우, 프로세서는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인할 수 있다.
프로세서는 애플리케이션 서비스를 통하여 서버에 입력된 정보에서 `good day pizza`가 사용자가 가장 선호하는 피자 레스토랑인 것으로 판단할 수 있다. 예를 들어, 프로세서는 소셜 네트워크 서비스(SNS)를 통하여 서버에 입력된 정보에서 사용자가 작성한 답글(Comment)를 통하여 사용자가 `good day pizza`를 선호하고 있다고 판단할 수 있다.
사용자는 서버의 데이터 베이스에 애플리케이션 서비스를 통하여, `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자는 서버의 데이터 베이스에 애플리케이션 서비스를 통하여, `good day pizza`에 대한 정보를 다수 기록할 수 있다. 이러한 경우, 프로세서는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인할 수 있다.
프로세서는 상술한 방식으로 의미론적 분석(semantic analysis)을 확률적 분석(statistical analysis)과 함께 수행하여, 검색어를 `good day pizza`로 추출할 수 있다.
전자기기(100)는 사용자로부터 정보 제공 요청을 수신하여 검색어를 추출할 수 있다. 예를 들어, 디스플레이부(도 1의 9)는 사용자가 키워드에 대응되는 부분을 선택하는 입력(예를 들어, 터치)을 수신하고, 검색어를 추출할 수 있다. 예를 들어, 전자기기(100)는 사용자로부터 정보 제공 요청을 수신하기 전에는 키워드 결정하여 키워드를 다른 부분과 구분되도록 표시하여 디스플레이 하고, 사용자로부터 정보 제공 요청을 수신한 후에 검색어를 추출할 수 있다.
본 명세서에서 정보 제공 요청이라는 것은 사용자가 전자기기에 정보의 제공을 요청하기 위하여 입력하는 것을 의미할 수 있다. 예를 들어, 사용자는 정보의 제공을 요청하기 위하여 각종 입력 방법(예를 들어, 터치, 클릭, 더블 클릭)을 통하여 입력을 할 수 있는데, 이러한 사용자의 행위를 정보 제공 요청 이라고 할 수 있다. 또한, 사용자는 정보의 제공을 요청하기 위하여 음성 또는 문자로 구성된 특정 명령어를 입력할 수 있는데, 이러한 사용자의 행위를 정보 제공 요청 또는 정보 제공 요청 입력이라고 할 수 있다.
키워드 추출을 제한하는 알고리즘은 검색어를 생성하는 알고리즘에도 적용될 수 있다.
프로세서는 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S170). 프로세서가 정보를 획득하는 경우 사용되는 방법은 표 3에서 도시되는 바와 같다.
정보 획득 방법
전자기기
외부로부터 수신		 앱 서비스(예를 들어, 구글 지도)를 통한 정보 획득
인터넷 검색 서비스(예를 들어, 야후)를 통한 정보 획득
전자기기
내부에서 획득		 이미지 파일, 전화번호 목록, 주소 목록,
최근 검색된 정보 목록 등 내부 저장장치로부터 획득
[3. 정보의 획득]
전자기기(100)는 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. 전자기기(100)가 획득하는 정보는 2차원 이미지, 3차원 이미지, 2차원 동영상, 3차원 동영상, 다양한 언어로 구성된 텍스트, 다양한 분야의 컨텐츠 및 다양한 서비스를 제공하는 앱(App)을 포함할 수 있다.
전자기기(100)는 키워드를 선택하는 사용자 입력을 수신한 이후에, 그 선택된 키워드에 대응하는 정보 획득 동작을 수행할 수 있다.
또한, 전자기기(100)는 키워드를 선택하는 사용자 입력을 수신하기 이전에, 그 선택된 키워드에 대응하는 정보 획득 동작을 수행하고, 획득된 정보를 전자기기의 스토리지에 저장할 수 있다. 전자기기(100)는 키워드를 선택하는 사용자 입력을 수신하여, 스토리지에 저장된 정보를 사용자에게 제공할 수 있다.
이하, 구체적인 정보 획득 동작을 설명한다.
[3-1. 앱 서비스를 통한 정보 획득]
전자기기(100)는 외부의 검색 서버로부터 관련 정보를 획득할 수 있다.
예를 들어, 전자기기(100)는 앱(App) 서비스를 통하여 정보를 획득할 수 있다.
전자기기(100)는 앱(App)의 현재의 상황에 따라서 서비스를 결정한 후, 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다.
예를 들어, 전자기기(100)는 사용자의 위치 정보를 참조하여, 사용자가 한국에 위치하는 경우, 한국 국적의 서비스 제공자가 제공하는 지도(map) 앱(App) 서비스를 선택하고, 사용자가 일본에 위치하는 경우, 일본 국적의 서비스 제공자가 제공하는 지도(map) 앱(App) 서비스를 선택 할 수 있다.
예를 들어, 전자기기(100)는 사용자의 앱(App) 사용 빈도수를 참조하여, 전자기기(100)의 사용자가 자주 이용하는 지도(map) 앱(app) 서비스를 선택할 수 있다.
전자기기(100)는 사용자에게 선택을 요청하여 사용자의 응답을 수신하여, 사용자의 응답을 기초로 앱(App) 서비스를 선택할 수 있다.
예를 들어, 전자기기(100)는 사용자의 상황을 고려하여 사용 후보 앱(제1 앱 내지 제5 앱)을 선정하고, 제1 앱(App) 내지 제5 앱(App) 중에서 어떠한 앱을 선택할 것인지 요청하고, 사용자가 제1 앱(App)을 선택하는 경우, 제1 앱(App)을 통하여 정보를 검색할 수 있다.
전자기기(100)는 사용자가 미리 선택한 앱(App) 서비스 중에서 현재 상황에 맞는 앱(App) 서비스를 선택할 수 있다.
예를 들어, 전자기기(100)는 사용자가 미리 선택한 제1 앱(App) 내지 제5 앱(App) 중에서, 사용자의 현재 상황에 맞게 제1 앱(App)을 선택할 수 있다. 예를 들어, 사용자가 미리 선택한 제1 레스토랑 앱(App) 내지 제5 레스토랑 앱(App)이 있는 경우, 사용자의 현재 상황에 맞는 `good day pizza` 레스토랑 앱(App)을 선택할 수 있다.
전자기기(100)는 사용자가 미리 선택한 앱(App) 서비스 중에서 사용자에게 선택을 요청하여 사용자의 응답을 수신하여, 사용자의 응답을 기초로 앱(App) 서비스를 선택할 수 있다.
예를 들어, 전자기기(100)는 사용자가 미리 선택한 제1 앱(App) 내지 제5 앱(App) 중에서, 제1 앱(App) 내지 제5 앱(App) 중에서 어떠한 앱을 선택할 것인지 요청하고, 사용자가 제1 앱(App)을 선택하는 경우, 제1 앱(App)을 통하여 정보를 검색할 수 있다.
[3-2. 인터넷 검색 서비스를 통한 정보 획득]
전자기기(100)는 외부의 검색 서버로부터 관련 정보를 획득할 수 있다.
예를 들어, 전자기기(100)는 인터넷 검색 서비스를 통하여, 정보를 획득할 수 있다.
전자기기(100)는 인터넷 검색 서비스를 결정한 후, 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. 검색어는 자동 추출된 검색어 혹은 유저에 의해 편집된 검색어를 의미할 수 있다.
예를 들어, 인터넷 검색 서비스는 야후(yahoo), 구글(google), 빙(bing), 네이버(naver)와 같은 상용화된 검색 서비스 일 수 있다. 예를 들어, 인터넷 검색 서비스는 대학교 도서관, 논문 검색 싸이트, 연구시설의 데이터 베이스와 같이 특정인만이 접근이 가능한 검색 서비스 일 수 있다.
전자기기(100)는 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득하고 사용자에게 제공할 수 있다. 보다 구체적인 설명은 각각의 실시예에 대한 설명에서 상술한다.
따라서, 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다.
[3-3. 전자기기 내의 정보 획득]
전자기기(100)는 내부의 저장장치로부터 관심 정보를 획득할 수 있다.
예를 들어, 전자기기(100)는 내부 저장장치에 저장된 이미지 파일, 전화번호 목록, 주소 목록, 최근 검색된 정보 목록으로부터 관심 정보를 획득할 수 있다. 전자기기(100)가 웨어러블 디바이스 인 경우, 전자기기(100)와 블루투쓰와 같은 근거리 통신으로 연결된 다른 전자기기에 포함된 저장장치로부터 관심 정보를 획득할 수 있다.
따라서, 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다.
출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S190). 프로세서가 정보를 제공하는 경우 사용되는 방법은 표 4에서 도시되는 바와 같다.
전자기기의 종류 커뮤니케이션 방식 정보 제공 방식
스마트 폰
(또는 태블릿 PC)		 텍스트 채팅, 음성 채팅 화면 전환, 화면 분할, 음성, 음성 및 화면 분할, 음성 및 화면 전환, 메시징 서비스, e-mail 서비스, SNS 서비스, 애플리케이션 서비스
웨어러블 디바이스
(스마트 워치, 헤드 마운트 디스플레이)		 텍스트 채팅, 음성 채팅 주요 정보 요약 제공
(이미지, 텍스트, 음성)
웨어러블 디바이스와 연동하는 스마트 폰(또는 테블릿 PC) 텍스트 채팅, 음성 채팅 웨어러블 디바이스에서 요약 정보 제공하고, 동시에 스마트 폰(또는 태블릿 PC)에서 구체적 정보 제공
[4. 정보의 제공]
전자기기(100)는 검색어 및 전자기기의 위치 기록를 기초로 획득한 정보를 다양한 방식으로 사용자에게 제공할 수 있다.
예를 들어, 전자기기(100)는 획득한 정보를 음성, 영상 및 텍스트 중 적어도 하나를 통하여 사용자에게 제공할 수 있다. 전자기기(100)가 획득한 정보를 제공하는 방식은 전자기기(100)의 종류에 따라서 다양할 수 있다. 전자기기(100)가 획득한 정보를 제공하는 방식을 도 22 내지 도 29에서 구체적으로 설명한다.
도 2b는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도1b에 대응하여 설명하기 위한 흐름도이다.
전자기기(100)는 커뮤니케이션에서 사용되는 메시지에서 키워드를 추출하고, 키워드와 관련된 제1 검색어를 생성하고, 생성된 제1 검색어를 사용자에게 제공할 수 있다(S110_a, S130_a). 전자기기(100)는 다양한 방식으로 제1 검색어를 제공할 수 있다. 전자기기(100)는 말풍선 생성, 팝업 윈도우, 화면 전환과 같은 방식을 사용하여 검색어를 제공할 수 있다.
전자기기(100)는 사용자가 편집한 제2 검색어를 수신 할 수 있다(S150_a).
[5. 검색어 편집]
전자기기(100)는 사용자로부터 편집된 제2 검색어를 수신할 수 있다(S150_a). 전자기기(100)는 텍스트, 제스쳐, 음성, 스케치와 같은 방식으로 사용자가 검색어를 편집하도록 할 수 있다.
사용자는 전자기기(100)가 생성한 제1 검색어를 보고, 자신의 명확한 의도를 반영하여 검색어를 편집할 것이다. 본 명세서에서 `편집된 검색어`는 사용자가 이러한 방식으로 편집한 검색어를 의미할 수 있다.
사용자는 전자기기가 출력 인터페이스를 통하여 제공한 검색어를 편집할 수 있다. 예를 들어, 사용자는 전자기기가 제공한 검색어를 편집하여 편집된 검색어를 입력할 수 있다. 예를 들어, 사용자는 전자기기가 제공한 검색어를 변경하지 않고, 제공된 검색어 그대로 입력할 수 있다. 전자기기는 사용자가 입력한 편집된 검색어를 수신할 수 있다.
전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득 할 수 있다(S170_a). 전자기기(100)는 획득한 정보를 제공 다양한 방식으로 제공할 수 있다(S190_a). 전자기기(100)가 획득한 정보를 제공하는 방식을 도 22 내지 도 29에서 설명한다.
도 2c는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 설명하기 위한 흐름도이다.
전자기기(100)는 커뮤니케이션에서 사용되는 메시지에서 키워드를 추출하고, 키워드 및 위치 정보를 기초로 검색어를 생성하고, 생성된 검색어를 사용자에게 제공할 수 있다(S110_b, S130_b).
전자기기(100)는 다양한 방식으로 위치 정보를 파악하고, 검색어를 제공할 수 있다. 예를 들어, 전자기기(100)는 전자기기의 GPS 모듈을 통하여 획득한 전자기기의 위치 정보를 통하여 검색어를 생성할 수 있고, 메시지에 포함된 단어, 단어의 연결관계 및 단어의 의미 등을 통하여 획득한 위치 정보를 통하여 검색어를 생성할 수 있다.
전자기기(100)는 이러한 방식 들로 획득한 위치 정보를 키워드를 생성하는데 사용할 수 있고, 검색어를 생성하는데 사용 할 수 있다. 또한, 전자기기(100)는 위치 정보를 사용자에게 제공되는 정보를 획득하는데 사용할 수 있다.
전자기기(100)는 검색어를 기초로 정보를 획득 할 수 있다(S170_b). 전자기기(100)는 획득한 정보를 제공 다양한 방식으로 제공할 수 있다(S190_b). 전자기기(100)는 도 22 내지 도 29에서 설명하는 다양한 방식을 통하여 획득한 정보를 제공할 수 있다.
이하, 구체적인 시나리오 별로 설명한다.
[시나리오 1 : 메시징 서비스(Messaging Service)]
도 3 내지 도 7은 메시징 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 3를 참조하면, 전자기기(100)는 도 3와 같이, 사용자간에 메시징 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다.
전자기기(100)는 백 버튼(back button, 20), 음성 전화 연결 버튼(call button, 30), 유저 이름 박스(user name box, 40) 및 대화창(5, 6, 7, 8)과 같은 인터페이스를 제공할 수 있다. 유저 이름 박스(40)는 백 버튼(20)과 전화 연결 버튼(30)을 포함할 수 있다.
사용자는 백 버튼(20)을 터치하거나 더블 탭하여 이전 메뉴로 돌아갈 수 있다. 사용자는 전화 연결 버튼(30)을 터치하거나 더블 탭하여 음성 채팅 할 수 있다. 유저 이름 박스(40)는 대화 상대방의 이름 또는 닉네임을 표시할 수 있다. 또한, 유저 이름 박스(40)는 전자기기(100)의 사용자의 이름 또는 닉네임을 표시할 수 있다. 대화창은 사용자 및 대화 상대방이 주고 받은 메시지(5, 6, 7, 8)를 디스플레이 할 수 있다.
전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.
또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 기초로 키워드를 `pizza`로 추출할 수 있다.
예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하여, 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)는 사용자간의 대화에 포함된 메시지의 의미를 확인하고, 메시지의 의미를 기초로 사용자에게 필요한 것을 예측 할 수 있다. 예를 들어, 전자기기(100)는 메시지의 의미를 `피자를 먹고 싶어한다`는 것으로 분석하고, 이러한 의미를 기초로 1) 사용자가 피자 레스토랑을 찾거나 2) 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이 필요한 상황이라고 예측하고, 키워드를 `pizza`로 추출할 수 있다.
또한, 예를 들어, 전자기기(100)는 대화내용에 대한 자연어(Natural Language) 분석 후, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다.
예를 들어, 2) 사용자의 위치 기록은 사용자가 현재 위치한 장소를 지나간 빈도수, 사용자가 현재 위치한 장소를 지나간 횟수, 현재 위치한 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소에 머문 시간, 사용자가 최초로 현재 장소에 도착한 시간을 포함할 수 있다.
예를 들어, 3) 사용자가 미리 입력한 정보는 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향, 사용자의 예정된 스케쥴에 따른 장소를 포함할 수 있다.
예를 들어, 4) 사용자에 대한 기록은 전자기기 및 서버에 기록된 사용자에 대한 기록을 의미할 수 있다. 또한, 사용자에 대한 기록은 사용자가 전자기기를 이용하면서 기록한 것과 앱 서비스를 이용하면서 서버에 기록한 것을 포함할 수 있다. 또한, 사용자에 대한 기록은 사용자가 직접 기록하지 않았지만, 전자기기나 서버를 이용하면서 간접적으로 기록된 내용을 포함할 수 있다.
도 4a 내지 도 4c를 참조하면, 전자기기(100)는 도 4와 같이, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 도 4a 과 같이 하이라이트 표시를 하거나, 도 4b와 같이 밑줄 표시를 하거나, 도 4c와 같이 키워드가 포함된 말풍선을 다른 색상으로 표시할 수 있다.
전자기기(100)는 환경설정을 통하여 사용자가 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)의 지속시간을 조절할 수 있도록 할 수 있다(도 31e 참조).
도시되지 않았지만, 전자기기(100)는 다른 다양한 방법을 통하여 키워드에 대해서 메시지의 다른 부분과 구별되도록 인디케이션(indication) 또는 표시(mark)를 할 수 있다.
예를 들어, 전자기기(100)는
메시지에 포함된 키워드에 대해서, 다른 글씨체로 표시를 하거나, 박스 표시를 할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 하이퍼링크(Hyperlink)를 사용하여 표시할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 깜박임을 사용하여 표시할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 아바타를 사용하여 표시할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 말풍선을 사용하여 표시할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 윗첨자 또는 아래첨자를 사용하여 표시할 수 있다.
예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 다른 메시지 부분과 다른 색깔을 사용하여 표시할 수 있다.
도 5을 참조하면, 전자기기(100)는 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 다양한 수단을 통하여 입력할 수 있다. 전자기기(100)는 정보 제공 요청 입력을 수신할 수 있다.
정보 제공 요청 입력이라는 것은 사용자가 전자기기에 정보의 제공을 요청하기 위하여 입력하는 것을 의미할 수 있다. 예를 들어, 사용자는 정보의 제공을 요청하기 위하여 각종 입력 방법(예를 들어, 터치, 클릭, 더블 클릭)을 통하여 입력을 할 수 있다. 또한, 사용자는 정보의 제공을 요청하기 위하여 음성 또는 문자로 구성된 특정 명령어를 입력할 수 있다.
예를 들어, 전자기기(100)는 사용자의 음성을 마이크 또는 음성 인식 모듈을 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 클릭을 마우스, 터치 패널 또는 터치 패드를 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 터치을 터치 패널 또는 터치 패드를 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 미리 정해진 특정 제스처를 센싱 카메라를 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 가상 키보드, 가상 터치 스크린을 통하여 키워드를 선택할 수 있다.
도 6a 내지 도 6c를 참조하면, 전자기기(100)는 키워드와 관련된 검색어를 제공할 수 있다.
도 6a는 메인 박스에는 키워드(예를 들어, `pizza`)를 디스플레이하고, 그 하단의 후보 목록 창에는 후보 검색어를 디스플레이하는 화면이다. 예를 들어, 키워드 `pizza`에 대한 후보 검색어는, `Good Day Pizza`, `Good Day Pizza number`, ` Good Day Pizza Location`, `Good Day Pizza Menu`일 수 있다.
전자기기(100)는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 후보 검색어를 생성할 수 있다. 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 후보 검색어를 도시된 바와 같이, `Good Day Pizza`, `Good Day Pizza number`, ` Good Day Pizza Location`, `Good Day Pizza Menu`로 생성할 수 있다.
전자기기(100)는 1) 사용자 간의 대화 내용을 통하여 후보 검색어를 추가할 수 있다.
예를 들어, 전자기기(100)는 사용자 간의 대화 내용을 모니터링 하면서 계속적으로 자연어 처리를 하여 의미를 파악 할 수 있다. 사용자 간의 대화 내용상에 `pizza`가 주요 토픽으로 사용되고 있고, 사용자 간의 대화 내용상에 사용자가 `pizza`를 주문하려고 한다는 것이 확인되었다면, 전자기기(100)는 사용자가 필요한 것이 피자 레스토랑의 전화번호라고 예측을 할 수 있다. 또한, 사용자 간의 대화 내용 상에 `good day pizza`라는 단어가 사용되었다면, 전자기기(100)는 최종적으로 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다.
예를 들어, 사용자 간의 대화 내용상에 `pizza`가 주요 토픽으로 사용되고 있고, 사용자 간의 대화 내용상에 사용자가 `good day pizza`를 주문하려고 한다는 것이 확인되었고, 전자기기(100)는 사용자가 필요한 것이 피자 레스토랑에 대한 것이라고 예측을 할 수 있다. 또한, 사용자 간의 대화 내용 상에 어떤 종류의 피자를 먹을 것인지에 대한 내용이 포함되어 있다면, 전자기기(100)는 최종적으로 검색어 후보에 `Good Day Pizza Menu`를 추가할 수 있다.
전자기기(100)는 2) 사용자의 위치 기록을 통하여 후보 검색어를 추가할 수 있다.
예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 기록 중 결재 내역 수신 메시지에서, 사용자가 `Good Day Pizza`에서 결재한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza`를 추가할 수 있다.
예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것이라고 확인하였고, 사용자 위치의 누적 기록에 사용자가 `Good Day Pizza`를 방문한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza Location`이라고 추가할 수 있다.
예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 통화 기록에 사용자가 `Good Day Pizza`로 전화를 한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다.
전자기기(100)는 3) 사용자가 미리 입력한 정보을 분석하여 검색어를 추가할 수 있다.
예를 들어, 전자기기는 사용자가 미리 입력된 정보를 검색하여 `good day pizza`가 사용자의 가장 선호하는 피자 레스토랑이라는 사실을 확인할 수 있다.
사용자는 전자기기에 `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자가 전자기기에 `good day pizza`에 대한 간접적인 정보를 다수 기록하였다면, 전자기기는 사용자가 가장 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있다. 전자기기는 원하는 정보에 대해서 직접적인 기록이 없는 경우, 전자기기(100)는 통계적이고 확률적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인하고, 전자기기(100)는 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다.
전자기기(100)는 앱(App) 서비스를 통하여 서버에 입력된 정보에서 `good day pizza`가 사용자의 가장 선호하는 피자 레스토랑으로 판단할 수 있다. 사용자는 서버의 데이터 베이스에 앱(App) 서비스를 통하여, `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자가 서버의 데이터 베이스에 앱(App) 서비스를 통하여, `good day pizza`에 대한 정보를 다수 기록하였다면, 전자기기는 사용자가 가장 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있다. 전자기기는 원하는 정보에 대해서 직접적인 기록이 서버에 기록되어 있지 않은 경우, 전자기기(100)는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인하고, 전자기기(100)는 `Good Day Pizza number`를 검색어 후보에 추가할 수 있다.
전자기기(100)는 4) 사용자에 대한 기록을 기초로 검색어를 추가할 수 있다. 전자기기(100)는 과거 사용자가 결재 이력을 검토하고, 사용자가 `good day pizza`에서 결재한 이력이 다수 검토되는 경우, 사용자가 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있고, 사용자의 검색 이력을 검토하고, 사용자가 `good day pizza`에 대한 메뉴를 다수 서치 하였다면, `Good Day Pizza Menu`를 검색어 후보에 추가할 수 있다.
도 6b는 입력 박스에 기본값으로 키워드(예를 들어, `pizza`)와 동일한 검색어로 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2a 내지 도 2c 에서 설명한 다양한 방법을 통하여 결정될 수 있다. 전자기기(100)는 예를 들어, 키워드와 동일한 검색어를 생성할 수 있고, 검색어는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다.
도 6c는 입력 박스에 기본값으로 검색어(예를 들어, `good day pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다.
검색어는 도 2a 내지 도 2c 에서 설명한 다양한 방법을 통하여 결정될 수 있다. 예를 들어, 검색어는 도 2c에서 설명한 바와 같이, 키워드와 위치정보를 기초로 생성될 수 있다. 예를 들어, 키워드가 `pizza`라고 할 때, 메시지 상에 `good day pizza`라는 어구가 다수 나온다면, 전자기기는 검색어를 `good day pizza`라고 생성할 수 있다.
키워드는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 예를 들어, 사용자는 `good day pizza`라는 검색어를 편집하여, `good day pizza location`, `good day pizza number`,`good day pizza menu`등 으로 편집할 수 있다. 전자기기(100)는 사용자가 편집한 검색어를 기초로 정보를 획득할 수 있다.
도 7을 참조하면, 전자기기(100)는 화면전환을 통하여 검색된 결과를 제공할 수 있다. 또한, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. 전자기기(100)는 메시징 서비스로 화면 복귀하는 유저 이름 박스(user name box, 4)fmf 제공할 수 있다. 또는, 전자기기(100)는 메시징 서비스로 화면 복귀하는 백 버튼(back button, 2)을 제공할 수 있다.
[시나리오 2 : 음성 채팅 서비스(Voice Chatting Service)]
도 8 내지 도 10는 음성 채팅 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 본 명세서에서 음성 채팅(voice chatting service)은 보이스 콜(voice call service)를 의미할 수 있다.
도 8를 참조하면, 전자기기(100)는 도 3와 같이, 사용자간에 음성 채팅 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다.
전자기기(100)의 사용자는 음성 채팅을 통하여, 상대방과 대화를 주고 받고 있다. 사용자 와 상대방의 대화 중에, 사용자는 `I want to eat pizza`라는 내용의 음성 메시지를 전달한다. 사용자의 음성 메시지는 STT(Speech to Text) 모듈을 통하여 텍스트로 변환되어 스크린에 디스플레이 될 수 있다.
전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 STT(Speech to Text) 모듈을 통하여 텍스트로 변환된 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.
또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다.
예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다.
또한, 전자기기(100)는 도 4와 유사하게, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 키워드를 추출할 메시지에 포함된 키워드에 대하여 도 4에서 설명한 것과 유사하게, 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다.
또한, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다.
도 9a 및 도 9b를 참조하면, 전자기기(100)는 키워드와 관련된 검색어를 제공할 수 있다.
도 9a는 입력 박스에 기본값으로 키워드(예를 들어, `pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2의 단계(S110)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 전자기기(100)는 예를 들어, 키워드와 동일한 검색어를 생성할 수 있고, 검색어는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다.
도 9b는 입력 박스에 기본값으로 검색어(예를 들어, `good day pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 검색어는 도 2의 단계(S130)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 키워드는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 또한, 전자기기(100)는 도 9a 및 도 9b의 방법 이외에, 도 6a와 같이 후보 검색어를 제시할 수 있다.
도 10을 참조하면, 전자기기(100)는 화면을 2개의 영역(20, 30)으로 구분하고, 구분된 영역들(20, 30) 중 하나(30)에 검색된 결과를 제공할 수 있다. 전자기기(100)는 화면을 2개의 영역(20, 30)으로 구분하고 상단의 영역(20)에 채팅 앱 화면을 디스플레이하고, 하단의 영역(30)에 서치 엔진 서비스 화면을 디스플레이 할 수 있다. 또한, 사용자는 상단에 채팅 앱 화면을 클릭하여, 채팅 앱 화면을 전자기기(100)의 화면의 전체 영역에 표시할 수 있다.
또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다.
[시나리오 3 : 메일링 서비스(Mailing Service) ]
도 11 내지 도 15은 메일링 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 11를 참조하면, 전자기기(100)는 도 11와 같이, 사용자간에 메일링 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다.
전자기기(100)의 사용자는 e-mail을 통하여, 상대방과 커뮤니케이션을 하고 있다. 사용자의 수신 메일 내용 중, 약속 시간 및 장소에 대한 코멘트가 포함되어 있다.
전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 문장 별로 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.
또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다.
예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `샤브미`로 추출할 수 있다.
또한, 전자기기(100)는 도 4와 유사하게, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 키워드를 추출할 메시지에 포함된 키워드에 대하여 도 4에서 설명한 것과 유사하게, 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다.
도 12를 참조하면, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다.
도 13를 참조하면, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드의 카테고리를 확인하고 키워드가 장소와 관련된 단어인 경우, 카테고리를 장소라고 파악하고, 지도와 관련된 앱(App) 목록을 제공할 수 있다.
본 발명의 다른 실시예에서, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공하지 않고, 미리 지정된 앱을 통하여 정보를 획득할 수 있다.
도 14은 입력 박스에 기본값으로 키워드(예를 들어, `샤브미`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2a의 단계(S110)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 예를 들어, 전자기기(100)는 키워드와 동일한 검색어를 생성할 수 있다. 검색어는 도 2a의 단계(S130)에서 설명한 다양한 방법을 통하여 결정될 수 있다.
검색어는 입력 인터페이스를 통하여 편집될 수 있다. 예를 들어, 전자기기(100)는 키워드를 `샤브미`로 추출할 수 있고, 검색어를 이와 동일하게 `샤브미`로 생성할 수 있다. 사용자는 입력 인터페이스를 통해서 검색어를 `샤브미 도곡점`이라고 편집할 수 있다. 또한 검색어를 `샤브미 음식점`으로 자동 생성할 수도 있다. 전자기기(100)는 앱 서비스를 통하여 `샤브미 도곡점`의 위치에 대한 정보를 획득할 수 있다.
도 15을 참조하면, 전자기기(100)는 화면분할을 통하여 검색된 결과를 제공할 수 있다. 또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다.
[시나리오 4 : 소셜 네트워크 서비스(Social Network Service)]
도 16 내지 도 19은 소셜 네트워크 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 16를 참조하면, 전자기기(100)는 도 16와 같이, 소셜 네트워크 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다.
전자기기(100)의 사용자는 소셜 네트워크 서비스을 통하여, 상대방의 메모 내용을 디스플레이 하고 있다. 사용자의 메모 내용 중, 키워드는 `batman`, `Sumin`, `L.A`로 추출될 수 있다. 전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 문장 별로 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.
또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `batman`, `Sumin`, `L.A`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다.
예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `batman`, `Sumin`, `L.A`로 추출할 수 있다.
또한, 전자기기(100)는 도 4와 유사하게, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 키워드를 추출할 메시지에 포함된 키워드에 대하여 도 4에서 설명한 것과 유사하게, 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다.
도 17을 참조하면, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. 사용자는 복수의 키워드 중에서 검색어를 선택 할 수 있다. 사용자가 `batman`을 키워드로 선택한 경우, 전자기기(100)는 앱 서비스를 통하여 `batman`에 대한 정보를 획득할 수 있다.
도 18를 참조하면, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드의 카테고리를 확인하고 키워드가 영화와 관련된 단어인 경우, 카테고리를 영화라고 파악하고, 영화와 관련된 앱(App) 목록을 제공할 수 있다.
도 19을 참조하면, 전자기기(100)는 화면전환을 통하여 검색된 결과를 제공할 수 있다. 또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다.
[시나리오 5 : 스케쥴러(Scheduler)]
도 20은 스케쥴러 서비스를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 20를 참조하면, 전자기기(100)는 테블릿 PC일 수 있다. 전자기기(100)는 스케쥴러 앱(App) 서비스를 사용자에게 제공할 수 있다. 사용자는 스케쥴러 앱(App)을 통해서 자신의 시간 일정을 관리할 수 있다.
예를 들어, 사용자가 24일에 도시된 바와 같은 일정을 가지고 있다고 가정한다. 도시된 바와 같이, 사용자는 `Kaur`와 만나서 경복궁(Kyung Bok Palace)를 관광하고, `Kaur`와 저녁도 함께 하기로 했다고 가정한다.
전자기기(100)는 사용자의 통화 내역에서 사용자가 경복궁 근처에 레스토랑과 연락을 한적이 없다는 것을 파악하고, 사용자의 인터넷 검색 기록에서 사용자가 경복궁 근처에 레스토랑에 대해서 검색한 적이 없다는 것을 파악 할 수 있다. 또한, 전자기기(100)는 사용자가 경복궁 근처는 초행길이라는 것을 전자기기에 포함된 GPS 모듈을 통해서 확인할 수 있다. 이러한 경우, 전자기기(100)는 스케쥴러에 기록된 `Kyung Bok` 또는 `Kyung Bok`의 한글 표현인 `경복궁`을 키워드로 추출하고, `경복궁 근처 맛집`을 검색어로 자동 생성하여, 스케줄러에 기록된 `Kyung Bok`에 하이라이트 인디케이션(indication) 또는 마크(mark)를 제공할 수 있다.
유저가 하이라이트된 `Kyung Bok` 텍스트를 선택하면 생성된 `경복궁 근처 맛집`을 검색 서비스에 제공하고 관심 정보를 실시간 획득하여 제공 할 수 있다. 또한, 자동 생성된 `경복궁 근처 맛집`을 미리 검색하여 획득된 관심정보를 디바이스에 저장해두고 유저가 원할 때 언제든지 관심 정보를 제공받을 수 도 있다.
[시나리오 6 : 문서 편집기(Word Processor)]
도 21은 문서 편집기 앱(App)를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 21를 참조하면, 전자기기(100)는 랩탑 컴퓨터일 수 있다. 전자기기(100)는 문서 편집기 앱(App) 서비스를 사용자에게 제공할 수 있다. 사용자는 문서 편집기 앱(App)을 통해서 문서를 작성하고 편집할 수 있다.
예를 들어, 사용자가 뉴스 기사(Article)를 편집할 수 있다. 전자기기(100)는 사용자의 정보를 파악하여 사용자의 영어 단어 수준을 파악하고, 사용자에게 어려운 단어를 인디케이션(indication) 또는 마크(mark)할 수 있다.
도 22 내지 도 27은 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
전자기기(100)는 표 4에서 설명하는 바와 같은 다양한 방식을 통하여 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공할 수 있다.
도 22a 내지 도 22i는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC 이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22a는 사용자간에 전자기기(100, 105)를 통하여 텍스트 채팅을 하고 있는 상황을 도시하는 도면이다.
도 22a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기(105)의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다.
대화창(7)을 참조하면, 대화 상대방인 Chris는 전자기기(100)의 사용자인 Hyunjin에게 `What do you want?`라고 2013년 8월 6일 8시 28분에 질문하였다. 대화창(8)을 참조하면, 전자기기(100)의 사용자인 Hyunjin은 대화 상대방인 Chris에게 `I want to eat pizza`라고 2013년 8월 6일 8시 30분에 대답하였다. 대화가 진행되고 있는 현재 시간은 2013년 8월 6일 8시 30분이다.
전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 22b 내지 도 22i와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 22b는 도 22a의 전자기기(100)가 획득한 정보를 화면 전환을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면에서, 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. 사용자는 소정의 입력을 통하여 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. 사용자는 상단에 위치한 유저 이름 박스(4)를 터치하거나 더블 탭하여, 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다.
도 22c는 도 22a의 전자기기(100)가 획득한 정보를 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22c에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지의 일부를, 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면의 일부를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. 사용자는 상단에 위치한 백 버튼(Back Button, 2)을 통하여 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다.
도 22d는 도 22a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성으로 `검색어를 `good day pizz`로 검색한 결과 A, B, C 입니다` 라고 스피커를 통하여 제공할 수 있다.
전자기기(100)가 제공하는 언어의 종류는 한국어, 영어, 불어, 독일어, 스페인어, 일어, 중국어 등 다양한 언어로 제공될 수 있다. 예를 들어, 전자기기(100)가 제공하는 언어의 종류는 사용자가 환경설정을 통하여 설정한 언어일 수 있다. 예를 들어, 전자기기(100)가 제공하는 언어의 종류는 전자기기(100)에서 제공하는 언어일 수 있다.
도 22e는 도 22a의 전자기기(100)가 획득한 정보를 음성과 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지의 일부를 획득된 정보를 디스플레이 하는 이미지로 전환하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 정보를 디스플레이 하는 이미지로 전환하고, 획득된 정보의 일부를 요약하여 음성으로 제공할지 여부를 사용자에게 물어볼 수 있다. 예를 들어, 전자기기(100)는 `검색어를 `good day pizza`로 검색한 결과를 이미지로 보시겠습니까?` 라고 사용자에게 물어볼 수 있다.
도 22f는 도 22a의 전자기기(100)가 획득한 정보를 메시징 서비스를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22f에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 메시징 서비스를 통하여 자신의 휴대폰 또는 타인의 휴대폰에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 텍스트 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 메시징 서비스를 통하여 특정 전화번호로 전송 할 수 있다.
도 22g는 도 22a의 전자기기(100)가 획득한 정보를 e-mail 서비스를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22g에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 e-mail 서비스를 통하여 자신의 e-mail 주소 또는 타인의 e-mail 주소에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 e-mail 서비스를 통하여 특정 e-mail 계정으로 전송 할 수 있다.
도 22h는 도 22a의 전자기기(100)가 획득한 정보를 소셜 네트워크 서비스(Social Network Service)를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22h에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 자신의 계정 또는 타인의 계정에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 특정 계정의 게시판으로 전송 할 수 있다.
도 22i는 도 22a의 전자기기(100)가 획득한 정보를 앱(App) 서비스를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22i에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 애플리케이션 서비스를 통하여 자신의 계정 또는 타인의 계정에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 특정 계정의 게시판으로 전송 할 수 있다.
도 23a 내지 도 23e는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23a는 사용자간에 전자기기(100, 105)를 통하여 음성 채팅을 하고 있는 상황을 도시하는 도면이다.
도 23a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 음성 메시지를 전달한다. 제1 사용자의 음성 메시지는 STT(Speech to Text) 모듈을 통하여 텍스트로 변환되어 스크린에 디스플레이 될 수 있다.
전자기기(100)는 대화를 지속적으로 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 4b 내지 도 4e와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 23b는 도 23a의 전자기기(100)가 획득한 정보를 화면전환을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다.
도 23c는 도 23a의 전자기기(100)가 획득한 정보를 화면분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23c에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다.
도 23d는 도 23a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성을 통하여 제공할 수 있다.
도 23e는 도 23a의 전자기기(100)가 획득한 정보를 음성과 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.
또한, 음성 채팅의 경우에도 텍스트 채팅의 경우와 같이, 메시징 서비스를 통해서 메시징 서비스를 이용하는 적어도 하나의 사용자에게 전송하거나, e-mail 서비스를 통하여 e-mail 서비스 이용하는 적어도 하나의 사용자에게 제공하거나, 소셜 네트워크 서비스(Social Network Service)를 통하여 소셜 네트워크 서비스(Social Network Service)를 이용하는 적어도 하나의 사용자에게 제공하거나, 기타 앱 서비스를 통하여 앱 서비스를 이용하는 적어도 하나의 사용자에게 제공할 수 있다.
여기서, 메시징 서비스를 이용하는 적어도 하나의 사용자, e-mail 서비스를 이용하는 적어도 하나의 사용자, 소셜 네트워크 서비스(Social Network Service)를 이용하는 적어도 하나의 사용자, 앱 서비스를 이용하는 적어도 하나의 사용자는 전자기기(100)의 사용자를 포함 할 수 있다.
도 24a 내지 도 24f는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24a는 사용자간에 전자기기(100, 105)를 통하여 텍스트 채팅을 하고 있는 상황을 도시하는 도면이다.
도 24a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기의 제2 사용자가 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 24b 내지 도 24f와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 24b는 도 24a의 전자기기(100)가 획득한 정보 중 주요 정보에 대해서 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다.
도 24c는 도 24a의 전자기기(100)가 획득한 정보 중 주요 정보에 대해서 제1 사용자에게 제공하는 방식을 설명하기 위하여 도시하는 도면이다.
도 24c에 도시된 바와 같이, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 예를 들어, 제1 사용자는 전자기기(100)에서 제공하는 페이지 이동 버튼(21)을 통하여 다른 주요 정보를 각각 확인할 수 있다.
도 24d는 도 22a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성을 통하여 제공할 수 있다.
도 24e는 도 24a의 전자기기(100)가 획득한 정보를 음성과 주요 이미지 정보를 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 이미지 정보를 디스플레이 하는 화면으로 전환하고, 이와 동시에 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 이미지 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.
도 24f는 도 24f의 전자기기(100)가 획득한 정보를 음성과 주요 텍스트 정보를 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24f에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 텍스트 정보를 디스플레이 하는 화면으로 전환하고, 이와 동시에 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 텍스트 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.
도 25a 및 도 25b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch) 및 스마트 워치(Smart Watch)와 연동되는 전자기기(101)인 스마트 폰(Smart Phone)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 25a을 참조하면, 스마트 워치(예를 들어, 100)와 스마트 폰(예를 들어, 101)은 연동될 수 있다. 예를 들어, 스마트 워치(100)는 스마트 폰(101)과 근거리 무선 통신을 통하여 연결될 수 있다. 예를 들어, 스마트 워치(100)와 스마트 폰(101)은 디스플레이 화면의 일부를 공유할 수 있다. 예를 들어, 스마트 폰(101)이 서버(미도시)로부터 메시지를 수신하는 경우, 스마트 워치(100)는 진동 과 같은 방식으로 사용자에게 메시지가 수신되었음을 알려 줄 수 있다. 예를 들어, 스마트폰(101)이 서버(미도시)로부터 음성 콜(Voice Call)을 수신하는 경우, 스마트 워치(100)는 진동과 같은 방식으로 사용자에게 메시지가 수신되었음을 알려 줄 수 있다.
예를 들어, 전자기기(101)에서 수신된 메시지들 중 일부는 전자기기(100)에 디스플레이 될 수 있다. 전자기기(100)와 전자기기(105)가 계속적으로 송수신한 메시지들은 전자기기(101) 및 전자기기(106)에 디스플레이 될 수 있다. 전자기기(101)의 사용자는 터치 스크린을 통하여 사용자들 간에 송수신한 메시지를 확인할 수 있다. 예를 들어, 전자기기(101)의 사용자는 터치 스크린에 패닝(panning) 또는 플릭(flick)과 같은 터치 입력을 통하여 사용자들 간에 송수신한 메시지를 상하로 스크롤하여 확인할 수 있다.
전자기기(100) 및 전자기기(101)의 제1 사용자와 전자기기(105) 및 전자기기(106)의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 이러한 상황에서, 전자기기(100)는 상대적으로 적은 대화 내용을 디스플레이하고, 전자기기(101)는 상대적으로 많은 대화 내용을 디스플레이 할 수 있다.
전자기기(100)는 대화를 모니터링 하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다.
또한, 전자기기(100)는 계속적으로 사용자 간의 대화를 분석하면서, 각각의 메시지에 대해서 모니터링 할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대해서 모니터링 하면서, 각각의 메시지에 대해서 질문 메시지 인지 여부를 판단하고, 각각의 메시지에 대해서 정보의 획득이 필요한지 여부를 판단할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대해서 키워드를 추출할 수 있다. 또한, 전자기기(100)는 계속적으로, 각각 메시지에서 추출된 키워드에 대응하는 부분에 대해서 해당 메시지의 다른 부분과 구별이 되도록 표시할 수 있다. 또한, 전자기기(100)는 각각 메시지에 대하여 상기 표시를 일정 시간 유지 할 수 있다. 또한, 전자기기(100)는 각각 메시지에 대한 상기 표시를 환경설정(Setting)에서 미리 정해진 시간 만큼 유지하고, 그 시간이 경과하면, 상기 표시를 해제할 수 있다. (도 30e 참조)
또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 스크롤을 통하여 확인 할 수 있도록 출력 인터페이스를 통하여 디스플레이할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 터치 입력하는 경우, 각각의 표시에 대한 정보를 획득하여 출력 인터페이스를 통하여 디스플레이 할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 터치 입력하는 경우, 각각의 표시에 대하여 미리 획득된 정보를 출력 인터페이스를 통하여 디스플레이 할 수 있다.
전자기기(100)는 출력 인터페이스를 통하여 도 25b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 25b는 도 25a의 전자기기(100)가 획득한 정보를 전자기기(100) 및 전자기기(100)와 연동되어 있는 전자기기(101) 을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 25b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 이와 동시에 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 이와 동시에, 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다.
도 26a 및 도 26b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 26a을 참조하면, 전자기기(100) 및 전자기기(101)의 제1 사용자와 전자기기(105) 및 전자기기(106)의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 이러한 상황에서, 전자기기(100)는 통화 영상을 디스플레이하고, 전자기기(101)는 음성 메시지를 텍스트 메시지로 STT(Speech to Text)전환을 하여 디스플레이 할 수 있다.
전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 26b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 26b는 도 26a의 전자기기(100)가 획득한 정보를 전자기기(100) 및 전자기기(100)와 연동되어 있는 전자기기(101) 을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 26b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 이와 동시에 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 이와 동시에, 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다.
도 27a 및 도 27b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 27a을 참조하면, 전자기기(100) 의 제1 사용자와 전자기기(105) 의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다.
제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 입력 인터페이스를 이용하여 텍스트 채팅을 할 수 있다. 예를 들어, 입력 인터페이스는 가상 키보드, 가상 터치 스크린 등을 포함할 수 있다.
또한, 제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 출력 인터페이스를 이용하여 텍스트 채팅을 할 수 있다. 예를 들어, 출력 인터페이스는 미니 프로젝트 및 프리즘 등을 포함할 수 있다.
전자기기(100)는 대화를 모니터링 하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 27b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 27b는 도 27a의 전자기기(100)가 획득한 정보를 전자기기(100)를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 27b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다.
도 28a 및 도 28b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 28a을 참조하면, 전자기기(100) 의 제1 사용자와 전자기기(105) 의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다.
또한, 제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 출력 인터페이스를 이용하여 음성 채팅을 할 수 있다. 예를 들어, 출력 인터페이스는 미니 프로젝트 및 프리즘 등을 포함할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 28b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.
도 28b는 도 28a의 전자기기(100)가 획득한 정보를 전자기기(100)를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.
도 28b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다.
도 29a 및 도 29b는 전자기기(100)가 다양한 전자기기(100)이고, 스마트 안경(Smart Glasses)이고, 사용자가 다양한 전자기기(100)을 통하여 음성 채팅 및 텍스트 채팅 중 적어도 하나를 이용하여 커뮤니케이션을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 29a와 같이, 복수의 사용자들은 도 22 내지 도 28에서 설명된 다양한 방식의 채팅을 이용하여 커뮤니케이션을 할 수 있고, 도 29b와 같이, 도 22 내지 도 28에서 설명된 다양한 방식의 채팅을 이용하여 전자기기(100)가 획득한 정보를 제공 받을 수 있다.
예를 들어, 제1 사용자는 스마트 워치를 통하여 도 25에서 설명된 방식으로 텍스트 채팅을 하고, 제2 사용자는 스마트 안경을 통하여 도 27에서 설명된 방식으로 텍스트 채팅을 할 수 있다.
예를 들어, 제1 사용자는 스마트 워치를 통하여 도 25에서 설명된 방식으로 텍스트 채팅을 하고, 제2 사용자는 스마트 안경을 통하여 도 28에서 설명된 방식으로 음성 채팅을 할 수 있다. 이러한 경우, 제2 사용자가 음성으로 입력한 메시지는 STT(Speech to Text) 방식을 통하여 텍스트로 변환되어 제1 사용자에게 전달될 수 있다. 또한, 다른 실시 예에서 제1 사용자가 텍스트로 입력한 메시지는 음성으로 변환되어 제2 사용자에게 전달될 수 있다.
예를 들어, 이러한 복합적 방법의 채팅은 3명 이상이 화상 회의와 같은 커뮤니케이션을 수행하는데도 사용될 수 있다.
또한, 예를 들어, 이러한 복합적 방법의 채팅은 SNS 서비스와 같이 앱을 통하여 제공되는 각종 커뮤니케이션 서비스, 이메일 서비스와 같이 서버를 통하여 제공되는 각종 커뮤니케이션 서비스에 응용될 수 있다.
전자기기(100)는 도 22 내지 도 29에서 설명하는 다양한 방식을 통하여, 사용자에게 정보를 제공할 수 있다.
도 30 내지 도 31는 본 발명의 일 실시예에 따른 전자기기(100)에서 제공하는 환경 설정 유저 인터페이스를 도시하는 도면이다.
도 30a를 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공할 수 있다. 사용자는 환경 설정 인터페이스를 통하여 본 발명에 따른 정보 제공 방법으로 정보를 받을지 여부를 선택할 수 있다. 사용자는 본 발명에 따른 정보 제공 동작의 온(On) / 오프(Off)를 설정할 수 있다.
환경 설정이란 전자기기의 사용환경을 설정하기 위하여 사용자의 설정에 의하여 또는 사용자의 입력에 의히여 전자기기의 동작 순서를 미리 정해 놓는 것을 의미할 수 있다.
도 30a에서 검색어 생성(Query Generation)이라고 도시되어 있으나, 자동 검색 엔진(Autonomic Search Engine), 자동 정보 검색(Autonomic Information Search)등과 같이 적용되는 제품에 따라서 다르게 표현할 수 있고, 이는 권리범위를 제한하지 않는다.
전자기기(100)는 사용자에게 보다 세부적인 환경 설정 인터페이스를 제공할 수 있다. 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 정보를 어떠한 방법으로 획득할 것인지 선택하도록 할 수 있다.
예를 들어, 전자기기(100)는 앱 서치(App Search)를 통해서 정보 획득을 할 것인지 또는 인터넷 서치(Internet Search)를 통해서 정보 획득을 할 것인지 여부를 선택할 수 있다. 또한, 전자기기(100)는 앱 서치(App Search) 및 인터넷 서치(Internet Search)를 동시에 수행하여 정보를 획득 할 수 있다.
도 30b을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다.
예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 어떠한 방법으로 정보를 제공할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 텍스트로 정보를 제공할지, 음성으로 정보를 제공할지, 이미지로 정보를 제공할지를 선택하도록 할 수 있다.
또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 어떠한 방법으로 편집된 검색어를 수신할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 텍스트로 편집된 검색어를 수신할지, 음성으로 편집된 검색어를 수신할지 선택하도록 할 수 있다.
도 30c을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다.
예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 누구의 메시지에 대해서 정보를 제공할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 제1 사용자(User1)의 메시지에 대해서만 키워드를 추출하고 정보를 제공할 것을 선택하도록 할 수 있다.
또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 누구에게 정보를 제공할지를 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 제1 사용자(User1) 및 제2 사용자(User2)에게 정보를 제공할 것을 선택하도록 할 수 있다.
도 30d을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다.
예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 키워드 추출시 어떠한 정보를 참조할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 검색어를 생성할 때, 어떠한 정보를 참조할지 선택 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 정보를 참조할지 선택 할 수 있다.
도 30e을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다.
예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 사용자에게 키워드를 표시하는 시간을 설정하도록 할 수 있다. 예를 들어, 사용자는 키워드를 표시하는 시간을 1분으로 설정할 수 있고, 전자기기(100)는 키워드가 하이라이트로 표시된 후 1분이 경과한 경우에, 더 이상 하이라이트 표시를 하지 않을 수 있다.
도 30f을 참조하면, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 인터넷 검색 엔진을 이용할지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 구글(Google), 빙(Bing), 야후(Yahoo), 네이버(Naver)와 같은 상용되는 인터넷 검색 엔진을 선택하도록 할 수 있다.
도 30g을 참조하면, 전자기기(100)는 사용자에게 관심분야를 설정할지 여부에 대한 환경 설정 인터페이스를 제공할 수 있다. 또한, 전자기기(100)는 사용자에게 관심분야를 설정할지 여부에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드 추출시 어떠한 카테고리에 해당하는 키워드를 추출할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 카테고리의 정보를 획득할지 선택하도록 할 수 있다.
도 31a를 참조하면, 전자기기(100)는 사용자에게 커뮤니케이션 중에 해당 커뮤니케이션의 인터페이스를 이용하여, 정보 제공 동작의 온(On) / 오프(Off) 에 대한 환경 설정 스위치(10)를 제공할 수 있다. 사용자는 환경 설정 스위치(10)를 이용하여 정보 제공 동작을 활성화 할지 여부에 대해서 결정할 수 있다. 사용자는 환경 설정 스위치(10)를 온(On)으로 설정하여, 전자기기(100)가 본 발명에 따른 정보 제공 동작을 수행하도록 설정 할 수 있다. 사용자는 환경 설정 스위치(10)를 오프(Off)로 설정하여, 전자기기(100)가 본 발명에 따른 정보 제공 동작을 수행하지 않도록 설정할 수 있다.
도 31b를 참조하면, 전자기기(100)는 사용자에게 커뮤니케이션 중에 해당 커뮤니케이션의 인터페이스를 이용하여, 사용자 입력(문자, 그림, 음성)에 대한 설정바(10_a)를 제공할 수 있다. 사용자는 설정바 (10)를 이용하여 사용자 입력을 어떠한 방식으로 수신할지 여부를 선택할 수 있다.
예를 들어, 사용자는 설정바(10_a)를 Text로 설정하여, 전자기기(100)가 문자(Text)만을 통하여 검색어를 찾도록 설정 할 수 있다. 또한, 사용자는 설정바(10_a)를 Text+Image로 설정하여, 전자기기(100)가 문자 및 이미지 중 적어도 하나를 통하여 검색어를 찾도록 설정 할 수 있다. 또한, 사용자는 설정바(10_a)를 All로 설정하여, 전자기기(100)가 문자, 이미지, 음성 중 적어도 하나를 통하여 검색어를 찾도록 설정 할 수 있다.
예를 들어, 사용자가 설정바(10_a)를 Text로 설정한 경우, 전자기기(100)는 사용자가 작성한 문자 또는 화면을 통하여 사용자에게 제공된 문자를 통하여 검색어를 생성할 수 있다. 예를 들어, 사용자가 설정바(10_a)를 Text+Image로 설정한 경우, 전자기기(100)는 사용자가 작성한 문자 및 이미지, 그리고 화면을 통하여 사용자에게 제공된 문자 및 이미지 중 적어도 하나를 통하여 검색어를 생성할 수 있다. 이러한 사용자 입력 방식은 커뮤니케이션 인터페이스 이외에 환경 설정을 통하여서도 미리 설정할 수 있다.
도 32 내지 도 35는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 32을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S210). 프로세서는 키워드 간의 우선순위를 결정할 수 있다(S220). 프로세서는 키워드 간의 우선순위를 기초로 검색어를 생성하고 제공할 수 있다(S230). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S240). 프로세서는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S250). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S260).
본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 복수의 키워드를 추출하여, 복수의 키워드 사이에서 우선순위를 결정하고, 우선순위를 통하여 검색어를 생성할 수 있다.
예를 들어, 도 17에서와 같이, `batman`, `Sumin`, `L.A.`과 같이, 복수의 키워드를 추출할 수 있다. 예를 들어, 전자기기는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 키워드 사이에 우선순위를 결정할 수 있다. 예를 들어, 검색어는 복수의 키워드에서 우선순위가 가장 높은 키워드를 검색어로 생성할 수 있다.
본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S240)에서 수신된 검색어를 통하여 정보를 획득할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S240)에서 수신된 검색어를 통하여 정보를 획득하여 디스플레이 할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S240)에서 수신된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S250)에서 획득된 정보를 디스플레이 할 수 있다.
도 33을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 키워드를 추출할 수 있다(S310). 프로세서는 키워드와 관련된 검색어를 사용자 관련 정보를 기초로 생성하고 제공할 수 있다(S320). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S330). 프로세서는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S340). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S350).
본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 사용자 관련 정보를 기초로 키워드를 추출하거나, 검색어를 생성할 수 있다. 예를 들어, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다.
도 34을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S410). 프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S420). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S430). 프로세서는 편집된 검색어를 기초로 정보를 획득할 수 있다(S440). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S450).
본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 프로세서는 편집된 검색어를 기초로 정보를 획득하여, 획득된 정보 사이에 우선순위를 고려 하여 제공할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 사이에 우선순위를 사용자 관련 정보를 기초로 판단할 수 있다. 예를 들어, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다.
도 35을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S510). 프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S520). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S530). 프로세서는 편집된 검색어 및 현재 시각을 기초로 정보를 획득할 수 있다(S540). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S550).
본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 편집된 검색어 및 현재 시각을 기초로 정보를 획득 할 수 있다. 사용자는 현재 시각이 사용자의 점심시간인 경우, 레스토랑과 관련된 키워드에 우선순위를 두고, 정보를 획득 할 수 있다.
도 36은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 도면이다.
도 36을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6, 또는 애플리케이션들이라고 표현할 수 있음)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.
예를 들어, 커뮤니케이션(Communication) 서비스를 제공하는 앱들(APP1 내지 APP6)은 메시징(Messaging) 서비스 앱, 메일링(Mailing) 서비스 앱, 소셜 네트워크 서비스(Social Network Service) 앱을 포함할 수 있다. 예를 들면, 메시징 서비스 앱은 MSN, 야후 메신저, 네이트온, 버디버디, 카카오톡, 카카오스토리, 스카이프 등을 포함할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 페이스북(Facebook), 트윗터(Twitter), 카카오톡(Kakao Talk), 스카이프(Skype)등을 포함할 수 있다.
예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대일(one to one) 커뮤니케이션 서비스, 일대다(one to many) 커뮤니케이션 서비스 및 다대다(many to many) 커뮤니케이션 서비스 중 적어도 하나를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대일(one to one) 커뮤니케이션 방식의 메신저 서비스 또는 화상 통화 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대다(one to many) 커뮤니케이션 방식의 화상 강의 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 다대다(many to many) 커뮤니케이션 방식의 화상 회의 서비스를 제공할 수 있다.
예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 음성 또는 화상 커뮤니케이션 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 3차원 이미지를 통하여 커뮤니케이션 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 3차원 홀로그램을 통하여 커뮤니케이션 서비스를 제공할 수 있다.
전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다.
전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여, 사용자가 사용하는 앱의 종류를 구분하지 않고, 검색어를 생성할 수 있다. 예를 들어, 전자기기(1000)에 설치된 앱이 메일링 서비스 앱, 채팅 서비스 앱, 소셜 네트워크 서비스 앱 인지와는 무관하게 검색어를 생성할 수 있다. 본 발명의 일 실시예에 따른 전자기기(1000)는 전자기기(1000)에 설치된 어떠한 앱에서도 검색어 생성 프레임 워크(1100)를 통하여, 검색어를 생성할 수 있다.
검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다. 검색어 생성 프레임 워크(1100)는 자연어 처리기(Natural Language Processor, 1200)를 통하여 상기 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.
검색어 생성 프레임 워크(1100)는 추출된 적어도 하나의 키워드(Keyword)와 관련된 검색어를 제공할 수 있다. 검색어 생성 프레임 워크(1100)는 예를 들어, 검색어 생성 프레임 워크(1100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드와 관련된 검색어를 생성할 수 있다.
예를 들어, 검색어 생성 프레임 워크(1100)는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록을 기초로 검색어를 `good day pizza`로 생성할 수 있다.
검색어 생성 프레임 워크(1100)은 자연어 처리기(Natural Language Processor, 1200)를 포함할 수 있다. 자연어 처리기(Natural Language Processor, 1200)는 메시지와 관련된 상황 요소를 고려하여 의미를 파악할 수 있다. 예를 들어, 전자기기(1000)의 프로세서(processor)는 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 의미를 파악할 수 있다. 자연어 처리기(Natural Language Processor, 1200)는 파악된 의미를 통하여 검색의 카테고리를 정할 수 있다.
전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 사용자에게 제공할 수 있다. 예를 들어, 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 화면을 통하여 이미지로 사용자에게 제공할 수 있다. 예를 들어, 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 스피커를 통하여 음성으로 사용자에게 제공할 수 있다.
전자기기(1000)는 사용자로부터 편집된 검색어를 수신할 수 있다. 예를 들어, 전자기기(1000)는 사용자에게 생성된 검색어를 제공하고, 사용자 인터페이스를 통해서 사용자가 편집한 검색어를 수신할 수 있다.
전자기기(1000)는 사용자가 편집한 검색어 및 사용자의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(1000)는 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. 예를 들어, 전자기기(1000)는 앱(App) 서비스를 통하여 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. 예를 들어, 전자기기(1000)는 인터넷 싸이트를 통하여 제공되는 검색 서비스를 통하여 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다.
따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 사용자가 커뮤니케이션 서비스를 사용하면서, 진행되고 있는 커뮤니케이션 관련 정보를 보다 편리하게 제공받을 수 있도록 할 수 있다.
도 37은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.
도 37을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.
전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다. 검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.
검색어 생성 프레임 워크(1100)는 클라우드 서버에 포함된 자연어 처리기(Natural Language Processor, 3200)를 통하여 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.
검색어 생성 프레임 워크(1100)는 추출된 적어도 하나의 키워드(Keyword)와 관련된 검색어를 제공할 수 있다. 검색어 생성 프레임 워크(1100)는 예를 들어, 검색어 생성 프레임 워크(1100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드와 관련된 검색어를 생성할 수 있다.
검색어 생성 프레임 워크(1100)은 외부의 클라우드 서버에 포함된 자연어 처리기(3200)와 정보를 교환하면서 해당 메시지의 의미를 파악할 수 있다. 자연어 처리기(3200)는 해당 메시지의 상황에 맞는 의미를 파악할 수 있다. 자연어 처리기(3200)는 파악된 의미를 통하여 검색의 카테고리를 정할 수 있다. 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 사용자에게 제공할 수 있다. 전자기기(1000)는 사용자가 편집한 검색어 및 사용자의 위치 정보를 기초로 정보를 획득할 수 있다.
따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 외부의 자연어 처리기(3200)을 이용하여 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다.
도 38은 도 36에서 도시한 자연어 처리기(1200) 및 도 37에서 도시한 자연어 처리기(3200)의 세부 구성도이다.
자연어 처리기(1200, 3200)는 개체 인식부(1210) 및 카테고리 구분부(1230)을 포함할 수 있다. 개체 인식부(1210)는 커뮤니케이션에 사용된 메시지에 포함된 각각의 단어에 대해서 어떠한 의미로 사용되었는지 인식할 수 있다. 또한, 개체 인식부(1210)는 메시지 각각의 의미에 대해서 인식할 수 있다. 카테고리 구분부(1230)는 각각의 메시지가 어떠한 카테고리에 속하는지 구분할 수 있다. 즉, 각각의 메시지의 내용을 분석하여, 각각의 메시지의 키워드를 확인하고 메시지를 어떠한 카테고리에 속할지 구분할 수 있다.
도 39은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.
도 39을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.
전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다. 검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.
전자기기(1000)는 GPS 데이터 베이스(1400)를 더 포함할 수 있다. GPS 모듈(1100)은 전자기기(1000)에 포함된 위치 추적 엔진을 통하여 전자기기(1000)의 위치를 지속적으로 추적할 수 있다. GPS 데이터 베이스(1400)는 GPS 모듈(1100)에서 추적된 위치 데이터를 계속적으로 축적하여 전자기기(1000)의 위치에 대한 정보를 계속적으로 저장할 수 있다.
GPS 모듈(1100)은 GPS 인공위성으로부터 GPS 신호를 수신하여 전자기기(1000)의 위치를 측위하고 위치 정보를 생성하며, 이를 위해 GPS 안테나 및 GPS 수신기를 포함할 수 있다.
GPS 모듈(1100)은 GPS 신호에 포함된 항법 데이터를 분석하여 전자기기(1000)의 위경도 데이터, 시간 정보 등을 추출한다. GPS 신호에는 GPS 인공위성의 식별 코드(ID Code), 궤도 위치, 시간 정보가 포함되어 있으며, GPS 모듈(1100)은 다수의 GPS 인공위성으로부터 발사되는 전파간 도달 속도의 차이를 연산하여 전자기기(1000)의 위치 좌표를 연산한다. 전술한 동작은 GPS 모듈(1100)에 내장된 GPS 측위 프로그램에 의해 수행될 수 있다.
여기서, 전술한 GPS 측위 프로그램은 C-GPS(Conventional GPS)에 의한 측위 방식, DGPS(Differential GPS)에 의한 측위 방식, A-GPS(Assisted GPS)에 의한 측위 방식, 이중차분 방식에 의한 측위방식(Double Differential GPS) 중 하나 이상의 방식을 이용하여 전자기기(1000)의 위치를 측위할 수 있다. 또한, GPS 측위 프로그램은 A-GPS, DGPS, 이중차분 GPS 등에 따라 더 정밀한 측위를 하기 위하여 외부의 기지국 등으로부터 오차 보정과 관련된 신호를 수신하고, 그에 따라 측정된 위치를 보정할 수 있다.
물론, 전자기기(1000)가 GPS 모듈(130)을 구비하지 않은 단말기인 경우에는 GPS 안테나, GPS 수신기 등을 구비한 별도의 GPS Kit를 전자기기(1000)에 연결하여 GPS Kit에서 측위한 위치 정보를 제공받을 수 있다.
따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 전자기기(1000)의 위치를 지속적으로 추적하고, 위치 데이터를 지속적으로 저장하여 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다.
도 40은 본 발명의 일 실시예에 따른 전자기기(1000)가 개체 인식하는 동작을 설명하기 위한 블록도이다.
도 40을 참조하면, 전자기기(1000)에 포함된 자연어 처리기(1200)는 개체 인식부(1210) 및 빈도 측정부(1250)을 포함할 수 있다.
빈도 측정부(1250)는 인식된 각각의 개체에 대해서 대화에 사용된 빈도를 측정할 수 있다. 예를 들어, 개체 인식부(1210)는 [Who is Peter Higgs?]라는 문장에서 <Peter Higgs>를 개체로 인식할 수 있다. 빈도 측정부(1250)는 개체 인식부(1210)에 인식한 <Peter Higgs>라는 개체가 사용자간의 대화에 나오는 횟수를 카운트 할 수 있다.
빈도 측정부(1250)는 <Peter Higgs>라는 개체가 사용자간의 대화에 나오는 빈도의 비율을 계산할 수 있다. 예를 들어, 개체 인식부(1210)는 <Nobel Prize>라는 개체도 인식할 수 있다. 빈도 측정부(1250)는 <Nobel Prize>가 대화에서 7회 사용되고, <Peter Higgs>라는 개체가 14회 사용되는 경우, <Peter Higgs>의 빈도를 0.67로 계산할 수 있다. 빈도 측정부(1250)는 <해당 개체 사용 회수>를 인식된 <각각의 개체 사용 회수의 합>으로 나누어서 사용빈도를 계산할 수 있다.
개체 인식부(1210)는 각각의 개체에 대한 정보를 서버(3000)로부터 수신할 수 있다.
서버(3000)는 데이터 산출부(3400)을 포함할 수 있다. 데이터 산출부(3400)는 텍스트 수집부(3410) 및 데이터 스토리지(3430)을 포함할 수 있다. 데이터 스토리지(3430)는 각종 데이터 베이스들(3431, 3433)을 포함할 수 있다.
텍스트 수집부(3410)는 데이터 스토리지(3430)에 저장된 각종 지식(Knowledge) 데이터베이스(3433)에서 텍스트를 수집할 수 있다. 텍스트 수집부(3410)는 수집된 데이터를 서버의 개체 인식 데이터 베이스(3431)에 저장할 수 있다. 데이터 산출부(3400)는 개체 인식된 데이터 베이스(3431)에 대한 정보를 도 41에 도시된 테이블 차트와 같이 정리하여 데이터 스토리지(3430)에 저장할 수 있다.
본 발명의 일 실시예에 따른 전자기기(1000)는 개체 인식부(1210)을 포함하여, 사용자 간의 메시지에 포함된 각각의 개체들을 인식하고, 개체들이 사용된 빈도를 측정할 수 있다. 그리하여, 전자기기(1000)는 각각의 개체가 대화에 사용된 빈도와 같은 개체에 대한 정보를 활용하여 키워드를 추출하거나 검색어를 생성할 수 있고, 또는 키워드를 추출을 제한 하거나 검색어 추출을 제한할 수 있다.
도 41은 본 발명의 일 실시예에 따른 개체 인식부(1210)가 개체 인식하여 작성하는 테이블 차트이다.
도 41을 참조하면, 도 40의 개체 인식부(1210)는 <Peter Higgs>, <European Center for Nuclear Research>, <United States>, <Switzerland>를 개체로 인식할 수 있다. 개체 인식부(1210)는 서버(3000)에 포함된 데이터 스토리지(3430)에서 각각의 개체에 대한 정보를 추출할 수 있다. 예를 들어, 개체 정보는 관련도(Relevance), 어감(Sentiment), 형태(Type), 링크된 데이터(Linked Data)를 포함할 수 있다.
전자기기(100)는 추출된 개체 정보를 통하여 키워드를 추출하거나 검색어를 생성하는데 사용할 수 있다. 따라서, 전자기기(100)는 개체 정보를 자연어 분석에 활용하여 메시지에 포함된 사용자의 의도를 보다 명확하게 확인할 수 있다.
도 42은 본 발명의 일 실시예에 따른 전자기기(1000)가 사용자 입력을 획득하는 동작을 설명하기 위한 블록도이다.
도 42을 참조하면, 전자기기(1000)에 포함된 사용자 문맥 인식 프레임 워크(1500)는 텍스트 지원부(Text Assistance Unit, 1510), 이미지 지원부(Image Assistance Unit, 1520) 및 음성 지원부(Voice Assistance Unit, 1530)을 포함할 수 있다. 또한, 사용자 문맥 인식 프레임 워크(1500)는 서비스 바인딩부(1550)을 포함할 수 있다. 또한, 텍스트 지원부(1510)는 문맥 인식 텍스트 마이닝부(Context Aware Text Mining Unit, 1513) 및 쿼리 생성부(Query Generation Unit, 1515)를 포함할 수 있다.
서비스 바인딩부(1550)는 사용자 입력을 수신하여 입력 형태에 대응하여 텍스트 지원부(1510), 이미지 지원부(1520), 음성 지원부(1530)에 사용자 입력을 전달 할 수 있다. 또한, 서비스 바인딩부(1550)는 생성된 검색어를 텍스트 지원부(1510)로부터 수신하여 사용자에게 전달할 수 있다.
텍스트 지원부(1510)는 서비스 바인딩부(1550)을 통하여 수신된 텍스트 형식의 사용자 입력에 대해서 검색어(Query)를 생성할 수 있다. 텍스트 지원부(1510)는 문맥 인식 텍스트 마이닝부(1513)를 통하여 지속적으로 텍스트 마이닝을 수행하고, 쿼리 생성부(Query Generation Unit, 1515)를 통하여 검색어를 생성할 수 있다. 생성된 검색어는 서버(2000) 또는 클라우드(3000)와 연결되어 서치 엔진(3500), 이미지 분석 엔진(3600) 또는 음성 지원 엔진(3700)과 연결될 수 있다.
이미지 지원부(1520)는 수신된 이미지를 통하여 수신된 음성에 대응하는 텍스트를 생성할 수 있다. 생성된 텍스트는 쿼리 생성부(1515)로 전송될 수 있고, 쿼리 생성부(1515)는 텍스트 입력과 동일한 방식으로 검색어를 생성할 수 있다.
음성 지원부(1530)는 수신된 음성을 통하여 수신된 음성에 대응하는 텍스트를 생성할 수 있다. 생성된 텍스트는 쿼리 생성부(1515)로 전송될 수 있고, 쿼리 생성부(1515)는 텍스트 입력과 동일한 방식으로 검색어를 생성할 수 있다.
텍스트 지원부(1510), 이미지 지원부(1520) 및 음성 지원부(1530)는 도 31b와 같은 인터페이스를 통하여 활성화 되거나 비활성화 될 수 있다. 예를 들어, 사용자가 도 31b의 인터페이스를 이용하여 설정부(10_a)를 Text로 설정하는 경우, 이미지 지원부(1520) 및 음성 지원부(1530)는 불활성화 될 수 있고, 전자기기(100)는 이미지 입력 또는 음성 입력에도 불구하고, 입력에 대응하는 검색어를 생성하지 않을 수 있다.
도 43은 본 발명의 일 실시예에 따른 전자기기(1000)가 사용자 입력을 획득하는 동작을 설명하기 위한 블록도이다.
도 43을 참조하면, 전자기기(1000)는 전자기기(1000)는 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)을 포함할 수 있다. 즉, 도 42의 경우와 달리, 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)는 전자기기(100) 내에서 포함 될 수 있다. 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)은 검색어를 수신하여 정보를 획득하는데 사용될 수 있다.
도 44는 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블록도이며, 도 44에 도시된 사용자 단말 장치(1000)은 도 1의 전자기기(100) 일 수 있다.
도 44에 도시된 바와 같이, 사용자 단말 장치(1000)의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다.
도 44에 따르면, 사용자 단말 장치(1000)는 디스플레이부(1100), 제어부(1700), 메모리(1200), GPS 칩(1250), 통신부(1300), 비디오 프로세서(1350), 오디오 프로세서(1400), 사용자 입력부(1450), 마이크부(1500), 촬상부(1550), 스피커부(1600), 움직임 감지부(1650) 중 적어도 하나를 포함 할 수 있다.
디스플레이부(1100)는 표시패널(1110) 및 표시 패널(1110)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(1110)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(1110)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(1100)는 사용자 입력부(1450)의 터치 패널(1470)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(1110)과 터치 패널(1470)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
메모리(1200)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(1700)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(1700)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(1200)는 사용자 단말 장치(1000)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 메모리(1200)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.
제어부(1700)는 메모리(1200)에 저장된 컨텐츠의 일부가 디스플레이부(1100)에 표시되도록 디스플레이부(1100)를 제어할 수 있다. 다시 말하자면, 제어부(1700)는 메모리(1200)에 저장된 컨텐츠의 일부를 디스플레이부(1100)에 표시할 수 있다. 또는, 제어부(1700)는 디스플레이부(11000)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(1700)는 RAM(1710), ROM(1720), CPU(1730), GPU(Graphic Processing Unit)(1740) 및 버스(1750) 중 적어도 하나를 포함 할 수 있다. RAM(1710), ROM(1720), CPU(1730) 및 GPU(1740) 등은 버스(1750)를 통해 서로 연결될 수 있다.
CPU(1730)는 메모리(1200)에 액세스하여, 메모리(1200)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(1200)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(1720)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(1000)는 턴온 명령이 입력되어 전원이 공급되면, CPU(1730)가 ROM(1720)에 저장된 명령어에 따라 메모리(1200)에 저장된 O/S를 RAM(1710)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(1730)는 메모리(1200)에 저장된 각종 프로그램을 RAM(1710)에 복사하고, RAM(1710)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(1740)는 사용자 단말 장치(1000)의 부팅이 완료되면, 디스플레이부(1100)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(1740)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(1740)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(1740)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(1740)에서 생성된 화면은 디스플레이부(1100)로 제공되어, 디스플레이부(1100)의 각 영역에 각각 표시될 수 있다.
GPS 칩(1250)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(1000)의 현재 위치를 산출할 수 있다. 제어부(1700)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(1250)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(1300)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(1310), 블루투스 칩(1320), 무선 통신 칩(1330), NFC 칩(1340) 중 적어도 하나를 포함할 수 있다. 제어부(1700)는 통신부(1300)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.
와이파이 칩(1310), 블루투스 칩(1320)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(1310)이나 블루투스 칩(1320)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(1330)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(1350)는 통신부(1300)를 통해 수신된 컨텐츠 또는, 메모리(1200)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(1350)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(1400)는 통신부(1300)를 통해 수신된 컨텐츠 또는, 메모리(1200)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(1400)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(1700)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(1350) 및 오디오 프로세서(1400)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(1600)는 오디오 프로세서(1400)에서 생성한 오디오 데이터를 출력할 수 있다.
사용자 입력부(1450)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(1450)는 키(1460), 터치 패널(1470) 및 펜 인식 패널(1480) 중 적어도 하나를 포함할 수 있다.
키(1460)는 사용자 단말 장치(1000)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(1470)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1470)이 표시 패널(1110)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(1480)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(1480)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(1480)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(1480)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(1480)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(1480)은 표시 패널(1110)의 하부에 일정 면적, 예를 들어, 표시 패널(1110)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
마이크부(1500)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(1700)는 마이크 부(1500)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(1200)에 저장할 수 있다.
촬상부(1550)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(1550)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
촬상부(1550) 및 마이크부(1500)가 마련된 경우, 제어부(1700)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(1550)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 사용자 단말 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(1700)는 촬상부(1550)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(1700)는 마이크부(1500)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(1650)는 사용자 단말 장치(1000)의 본체 움직임을 감지할 수 있다. 사용자 단말 장치(1000)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(1650)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 사용자 단말 장치(1000) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 사용자 단말 장치(1000)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 사용자 단말 장치(1000)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
도 45a은 본 개시의 일 실시 예에 따른 사용자 단말 장치(1000)의 소프트웨어 구성을 나타내는 블록도이다.
도 45a에 따르면, 메모리(1200)는 사용자 단말 장치(1000)의 자원을 제어하는 운영체제 및 어플리케이션의 동작을 위한 응용 프로그램 등을 저장할 수 있다. 운영체제는 커널, 미들웨어, API 등을 포함할 수 있다. 운영체제로는, 예를 들어, 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 운영 체제 등이 있을 수 있다.
커널(1210)은 자원을 관리할 수 있는 디바이스 드라이버(1210-1) 또는 시스템 리소스 매니저(1210-2) 중 적어도 하나를 포함할 수 있다. 디바이스 드라이버(1210-1)는 사용자 단말 장치(1000)의 하드웨어들을 소프트웨어적으로 접근하여 제어하도록 할 수 있다. 이를 위하여, 디바이스 드라이버(1210-1)는, 인터페이스와 각 하드웨어 업체가 제공하는 개별 드라이버 모듈로 구분될 수 있다. 디바이스 드라이버(1210-1)는, 예로, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버 또는 IPC (inter-process communication) 드라이버 중 적어도 하나를 포함할 수 있다. 시스템 리소스 매니저(1210-2)는 프로세스 관리부, 메모리 관리부 또는 파일 시스템 관리부 중 적어도 하나를 포함할 수 있다. 시스템 리소스 메니저(1210-2)는 시스템 리소스의 제어, 할당 또는 회수 등의 기능을 수행할 수 있다.
미들웨어(1220)는 다양한 어플리케이션들에서 공통적으로 요구되는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 미들웨어(1220)는 어플리케이션(1240)이 사용자 단말 장치 내부의 자원을 효율적으로 사용할 수 있도록 API(1230)를 통해 기능을 제공할 수 있다. 미들웨어(1220)는, 예컨대, 어플리케이션 매니저(1220-1), 윈도우 매니저(1220-2), 멀티미디어 매니저(1220-3), 리소스 매니저(1220-4), 파워 매니저(1220-5), 데이터베이스 매니저(1220-6), 패키지 매니저(1220-7), 연결 매니저(1220-8), 통지 매니저(1220-9), 위치 매니저(1220-10), 그래픽 매니저(1220-11) 또는 보안 매니저(1220-12) 등의 복수의 모듈들 중 적어도 하나 이상을 포함할 수 있다.
어플리케이션 매니저(1220-1)는 어플리케이션(1240) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(1220-2)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1220-3)는 다양한 미디어 파일들의 재생에 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(1220-4)는 어플리케이션(1240) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다. 파워 매니저(1220-5)는 바이오스(BIOS) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(1220-6)는 어플리케이션(1240) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 패키지 매니저(1220-7)은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다. 연결 매니저(1220-8)는, 예로, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(122-9)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(1220-10)는 사용자 단말 장치(1000)의 위치 정보를 관리할 수 있다. 그래픽 매니저(1220-11)는 사용자에게 제공될 그래픽 효과 및 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1220-12)는 시스템 보안 또는 사용자 인증 등에 요구되는 제반 보안 기능을 제공할 수 있다. 사용자 사용자 단말 장치(1000)가 전화 기능을 구비한 경우에는, 미들웨어(1220)는 사용자의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(미도시)를 더 포함할 수 있다.
미들웨어(1220)는 런타임 라이브러리(1220-13) 또는 다른 라이브러리 모듈들(미도시)를 더 포함할 수 있다. 런타임 라이브러리(1220-13)는 어플리케이션이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈이다. 예컨대, 런타임 라이브러리(1220-13)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다. 미들웨어(1220)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 미들웨어(1220)는 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 미들웨어(1220)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 본 개시의 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나, 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
API(1230)는 API 프로그래밍 함수들의 집합으로써 운영체제에 따라 다른 구성으로 제공될 수 있다. 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(1240)은, 디폴트로 설치되어 있는 프리로드 어플리케이션(preloaded Application) 또는 사용자가 사용 과정에서 설치하여 사용할 수 있는 제 3자 어플리케이션(third party application)을 포함할 수 있다. 어플리케이션(1240)은, 예를 들어, 홈 화면으로 돌아가기 위한 홈 어플리케이션(1240-1), 상대방과 전화 통화를 할 수 있는 다이얼러(dialer) 어플리케이션(1240-2), 전화번호로 식별되는 상대방으로부터 메시지를 수신하는 문자 메시지 어플리케이션(1240-3), IM(Instant Message) 어플리케이션(1240-4), 브라우저(Browser) 어플리케이션(1240-5), 카메라 어플리케이션(1240-6), 알람 어플리케이션(1240-7), 상대방의 전화번호 또는 주소를 관리하는 폰 북(Phone-Book) 어플리케이션(1240-8), 사용자의 통화 로그, 문자 메시지의 수/발신 로그 또는 부재 중 전화 로그 등을 관리하는 콜 로그 어플리케이션(1240-9), 이메일(E-mail)로 식별되는 상대방으로부터 메시지를 수신하는 이메일 어플리케이션(1240-10), 달력 어플리케이션(1240-11), 미디어 플레이어(Media Player) 어플리케이션(1240-12), 앨범 어플리케이션(1240-13) 또는 시계 어플리케이션(1240-14) 중 적어도 하나를 포함할 수 있다. 본 개시에 따른 소프트웨어의 전술한 구성요소들의 명칭은 운영체제의 종류에 달라질 수 있다. 또한, 본 개시에 따른 소프트웨어는 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
어플리케이션(1240)은 미들웨어(1220) 및 API(1230)를 통해 검색어를 제공받을 수 있다. 전자기기(100)는 어플리케이션 실행중에 자연어 분석을 통해 키워드가 추출되면, API(1230) 및 미들웨어(1220)를 통해 상기 키워드에 대응하는 검색어를 결정할 수 있다. 예를 들면 사용자가 문자메시지 어플리케이션(1240-3) 실행 중에 “수월6일” 이라는 키워드가 추출되면, 전자기기(100)는 API(1230) 및 미들웨어(1220)를 통해 달력 어플리케이션(1240-11)에서 생성된 일정 데이터를 검색하고, 검색결과를 문자메시지(1240-3) 실행 창에 표시될 수 있다.
또한 사용자가 문자메시지 어플리케이션(1240-3) 실행 중에 “-3) 실행 라는 키워드가 추출되면 전자기기(100)는 API(1230) 및 미들웨어(1220)를 통해 달력 어플리케이션(1240-11) , 폰북 어플리케이션(1240-8) 및 이메일 어플리케이션(1240-10)중에서 서플리케이션(에 대응하는 데이터를 검색하고 검색 결과를 문자메시지(1240-3) 실행 창에 표시될 수 있다.
전자기기(100)는 추출된 키워드를 전용 API를 통해 미들웨어단으로 전달하고, 미들웨어의 데이터베이스 매니저(1240-6)를 통해 다른 어플리케이션에서 생성된 데이터를 액세스(access)하고 상기 데이터를 고려하여 검색결과를 제공할 수 있다.
데이터베이스(미도시)에는 각각의 어플리케이션에서 생성된 데이터가 저장될 수 있으며, 전자기기(100)는 어플리케이션 실행중 키워드가 추출되면 API(1230) 및 미들웨어(1220)를 통해 데이터베이스에 액세스 하고 데이터베이스에 저장된 데이터를 고려하여 검색결과를 제공할 수 있다.
도 45b는 본 발명의 일 실시 예에 따른 전자기기(100)에서 제공하는 사용자 설정 화면이다.
도 45b를 참조하면 전자기기(100)는 사용자에게 정보 제공 동작에 대한 설정 화면(4501)을 제공할 수 있다. 사용자는 설정 화면을 통해 정보 제공 방법을 선택할 수 있다. 도 45b에서 검색어 생성(Query Generation)이라고 도시되어 있으나 제품에 따라서 다르게 표현할 수 있고, 이는 권리범위를 제한하지 않는다.
검색어 생성은 3가지(4503, 4505, 4507)가 제공될 수 있다. 사용자가 화면에 표시된 “App(4503)”을 선택하면 실행중인 어플리케이션만 고려하여 검색어를 생성하고 검색결과를 제공할 수 있다. 예를 들면 사용자가 설정 화면(4501)에서 “화pp(4503))에을 선택하고, 문자메시지 어플리케이션(1240-3)을 실행하면 전자기기(100)는 자연어 분석을 통해 키워드를 추출하고, 문자메시지 어플리케이션(1240-3)만을 고려하여 검색어를 결정하고 검색을 수행할 수 있다.
사용자가 설정 화면(4501)에서 “Device(4505)”를 선택하면 전자기기(100)는 실행중인 어플리케이션 및 데이터베이스(미도시)에 저장된 다른 어플리케이션으로부터 생성된 데이터를 고려하여 검색어를 결정하고 검색을 수행할 수 있다. 예를 들면 사용자가 설정 화면(4501)에서 “Device(4505)”를 선택하고 문자메시지 어플리케이션(1240-3)을 실행하면 전자기기(100)는 자연어 분석을 통해 키워드를 추출하고 API(1230) 및 미들웨어(1220)를 통해 달력 어플리케이션(1240-11) , 폰북 어플리케이션(1240-8) 및 이메일 어플리케이션(1240-10)을 고려하여 키워드에 대응하는 검색어를 결정하여 검색을 수행하고 검색 결과를 문자메시지(1240-3) 실행 창에 표시될 수 있다.
전자기기(100)는 추출된 키워드를 전용 API를 통해 미들웨어단으로 전달하고, 미들웨어의 데이터베이스 매니저(1240-6)를 통해 다른 어플리케이션에서 생성된 데이터를 액세스(access)하고 상기 데이터를 고려하여 검색결과를 제공할 수 있다.
데이터베이스(미도시)에는 각각의 어플리케이션에서 생성된 데이터가 저장될 수 있으며, 전자기기(100)는 어플리케이션 실행 중에 키워드가 추출되면 API(1230) 및 미들웨어(1220)를 통해 데이터베이스에 액세스 하고 데이터베이스에 저장된 데이터를 고려하여 검색결과를 제공할 수 있다.
사용자가 설정 화면(4501)에서 “ALL(4507)4을 선택하면 전자기기(100)는 “선택하면 전자기기(1선택 및 “선택하면 전자기기(1선택를 선택 모두를 고려하여 검색을 수행할 수 있다.
도 46은 본 발명의 일 실시예를 설명하기 위한 전자기기(2000)의 유저 인터페이스(UI)를 도시하는 도면이다. 전자기기(2000)는 도 1의 전자기기(100) 일 수 있다.
전자기기(2000)는 프로세서(2700), 입력 인터페이스(2400), 출력 인터페이스(2100)를 포함할 수 있다.
프로세서 프로세서(2700)는 모바일 애플리케이션 프로세서(Mobile Application Processor) 또는 중앙 처리 장치(Central Processor Unit)을 포함할 수 있다. 프로세서는 제어기(Controller), 제어부(Control Unit) 등으로 표현될 수 있다. 또한, 프로세서는 코어(Core), 디스플레이 제어기(Display controller), ISP(Image Signal Processor)를 포함하는 의미로 사용될 수 있다.
본 발명의 일 실시예에 따른 프로세서(2700)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드를 추출할 수 있다. 또한, 본 발명의 일 실시예에 따른 프로세서(2700)는 키워드와 관련된 검색어를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따른 프로세서(2700)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득하는 할 수 있다.
입력 인터페이스(2400)는 사용자가 전자기기(100)의 제어를 위해 데이터를 입력하기 위한 수단을 의미할 수 있다. 예를 들어, 입력 인터페이스(2400)는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드 (접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 또한, 입력 인터페이스는 터치 스크린(Touch Screen), 터치 패널(Touch Panel), 마이크, 키보드를 포함할 수 있다.
또한, 입력 인터페이스(2400)는 사용자로부터 데이터를 입력받기 위한 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 입력 인터페이스(2400)는, 모션 인식 모듈, 터치 인식 모듈, 음성 인식 모듈 등을 포함할 수 있다.
터치 인식 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서로 전달할 수 있다. 음성 인식 모듈은 음성 인식 엔진을 이용하여 사용자의 음성을 인식하고, 인식된 음성을 프로세서로 전달할 수 있다. 모션 인식 모듈은 피사체(Object)의 움직임을 인식하고, 피사체(Object)의 움직임에 관한 정보를 프로세서로 전달할 수 있다.
명세서 전체에서 사용자가 전자기기(2000)의 입력 인터페이스(2400)를 통해서 하는 `입력`은, 터치 입력, 벤딩 입력, 음성 입력, 키 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
"터치 입력"이란 사용자가 전자기기(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정된다.
"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
"모션 입력"은, 사용자가 전자기기(100)를 제어하기 위해 전자기기(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 전자기기(100)를 회전시키거나, 전자기기(100)를 기울이거나, 전자기기(2000)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 전자기기(2000)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다.
명세서 전체에서 "벤딩 입력"은, 전자기기(100)가 플렉서블 디스플레이 장치인 경우, 사용자가 전자기기(2000)를 제어하기 위해 전자기기(2000)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 전자기기(2000)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다.
명세서 전체에서 "키 입력"은 사용자가 전자기기(2000)에 부착된 물리적인 키 또는 전자기기(2000)가 제공하는 가상적인 키를 이용하여, 전자기기(2000)를 제어하는 입력을 의미한다.
명세서 전체에서 "다중 입력"은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 전자기기(2000)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 전자기기(2000)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 전자기기(2000)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다.
본 발명의 일 실시예에 따른 입력 인터페이스는 사용자로부터 편집된 검색어 를 수신할 수 있다.
출력 인터페이스는 오디오 신호 또는 비디오 신호 또는 알람(Alarm) 신호의 출력을 위한 것으로, 출력 인터페이스는 디스플레이 모듈과 음향 출력 모듈 등을 포함할 수 있다. 또한, 출력 인터페이스는 2차원 영상을 디스플레이 할 수 있는 평판 디스플레이, 3차원 영상을 디스플레이 할 수 있는 평판 디스플레이를 포함할 수 있다. 출력 인터페이스는 3차원 홀로그램을 출력할 수 있는 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른 출력 인터페이스는 프로세서에서 생성한 검색어를 제공할 수 있다. 본 발명의 일 실시예에 따른 출력 인터페이스는 프로세서에서 획득된 정보를 제공 할 수 있다.
전자기기(2000)는 검색 서버와 통신을 통하여 정보를 송수신할 수 있다. 예를 들어, 전자기기(2000)은 적어도 하나의 프로토콜을 통하여 검색 서버와 통신할 수 있다. 예를 들어, 전자기기(2000)은 TFTP(Trivial File Transfer Protocol), SNMP(Simple Network Mangement Protocol), SMTP(Simple Mail Transfer Protocol), POP(Post Office Protocol), ICMP(Internet Control Message Protocol), SLIP(Serial Line Interface Protocol), PPP(Point to Point Protocol), DHCP(Dynamic Host Control Protocol), NETBIOS(Network Basic Input Output System), IPX/SPX(Internetwork Packet eXcharge), ICMP(Internet Control Manage Protocol), IP(Internet Protocol), ARP(Address Resolusion Protocol), TCP(Transmission Control Protocol), UDP(User Datagram Protocol), winsock, DHCP(Dynamic Host Configulatin Protocol), RIP(Routing Informaion Protocol) 및 NetBIOS 중 적어도 하나의 프로토콜을 통하여 검색 서버와 통신할 수 있으나, 이에 한정되는 것은 아니다.
전자기기(2000)는 근거리 통신 모듈을 통하여 근거리 통신을 수행할 수 있다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 47 내지 도 50은 메시징 서비스를 통한 커뮤니케이션을 위하여 전자기기(100)에 의해 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 47을 참조하면, 전자기기(100)는 디스플레이부(4701)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 도 47의 우측 도면(4703)은 디스플레이부(4701)에 표시되는 메시지를 확대해서 도시한 가상 화면이다. 디스플레이부(4701)에는 우측 도면(4703)의 일 부분만 표시된다. 즉 전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 디스플레이부(4701)의 상단에 표시할 수 있으며, 시간순으로 표시된 메시지는 스크롤되면서 디스플레이부(4701)에 디스플레이될 수 있다.
전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이하고 일정 시간 동안 디스플레이된 인디케이션(indication) 또는 표시(mark)를 유지할 수 있다. 전자기기(100)는 메시지로부터 적어도 하나의 키워드를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드를 추출할 수 있다. 전자기기(100)는 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드를 추출할 수 있다. 또한, 전자기기(100)는 추출된 키워드를 검색 서비스의 검색어로 이용하거나, 추출된 키워드로부터 다른 키워드를 추론하고 추론된 키워드를 검색 서비스의 검색어로 이용할 수도 있다.
디스플레이부는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드를 다른 부분과 구별되도록 표시할 수 있다.
도 47의 우측도면(4703)에는 대화 메시지중에서 키워드(4711, 4713, 4715, 4717, 4719)가 메시지의 다른 부분과는 다르게 구별되어 표시되어 있다. 키워드는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 즉, 구별되어 표시된 키워드는 일정 시간 지난 후에 원래 상태로 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다. 또는 키워드가 다른 부분과 구별되게 표시되는 시간은 사용자 입력에 따라 결정될 수 있다. 예컨대, 사용자가 메시지중에서 키워드를 다른 부분과 구별되게 표시되는 시간을 2시간으로 설정하면 키워드는 2시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 2시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다.
도 48을 참조하면, 전자기기(100)는 디스플레이부(4801)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 도 48의 우측 도면(4803)은 디스플레이부(4801)에 표시되는 메시지를 확대해서 도시한 가상화면 이다. 디스플레이부(4801)에는 우측 도면(4803)의 일 부분이 표시될 수 있다. 즉 전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 디스플레이부(4801)의 상단에 표시할 수 있으며, 시간순으로 표시된 메시지는 스크롤되면서 디스플레이부(4801)에 표시될 수 있다.
전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이부(4801)에 표시하고, 표시된 인디케이션(indication) 또는 표시(mark)를 일정 시간 동안 유지할 수 있다. 전자기기(100)는 메시지에 포함된 키워드를 이용하여 적어도 하나의 키워드를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드를 추출할 수 있다. 전자기기(100)는 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드를 추출할 수 있다. 또한, 전자기기(100)는 추출된 키워드를 검색 서비스의 검색어로 이용하거나, 추출된 키워드로부터 다른 키워드를 추론하고 추론된 키워드를 검색 서비스의 검색어로 이용할 수도 있다.
디스플레이부는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드를 다른 부분과 구별되도록 표시할 수 있다.
도 48 의 우측도면(4803)에는 대화 메시지중에서 키워드(4811, 4813, 4815, 4817, 4819)가 메시지의 다른 부분과는 다르게 구별되어 표시되어 있다. 키워드는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다. 키워드(4807)는 도 47에서는 다른 부분과 구분되어 표시되었으나 1시간이 지남에 따라 원래 상태로 복귀하면서 다른 부분과 동일하게 표시된다. 반면 도 47과 비교해서 새롭게 추가된 키워드(4817, 4819)는 다른 부분과 구분되어 표시될 수 있다.
도 49 를 참조하면, 전자기기(100)는 디스플레이부(4901)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 도 49의 우측 도면(4903)은 디스플레이부(4901)에 표시되는 메시지를 확대해서 도시한 것이다. 디스플레이부(4901)에는 우측 도면(4903)의 일 부분이 표시될 수 있다. 즉 전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 디스플레이부(4901)의 상단에 표시할 수 있으며, 시간순으로 표시된 메시지는 스크롤되면서 디스플레이부(4901)에 표시될 수 있다.
전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이부(4901)에 표시하고, 표시된 인디케이션(indication) 또는 표시(mark)를 일정 시간 동안 유지할 수 있다. 전자기기(100)는 메시지에 포함된 키워드를 이용하여 적어도 하나의 키워드를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드를 추출할 수 있다. 전자기기(100)는 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드를 추출할 수 있다. 또한, 전자기기(100)는 추출된 키워드를 검색 서비스의 검색어로 이용하거나, 추출된 키워드로부터 다른 키워드를 추론하고 추론된 키워드를 검색 서비스의 검색어로 이용할 수도 있다.
디스플레이부는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드를 다른 부분과 구별되도록 표시할 수 있다.
도 49 의 우측도면(4903)에는 대화 메시지중에서 키워드(4911, 4913, 4915, 4917, 4919)가 메시지의 다른 부분과는 다르게 구별되어 표시되어 있다. 키워드는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다.
전자기기(100)는 추출 또는 추론된 키워드 및 사용자의 컨텍스트 정보를 이용하여 검색어를 결정하고 검색을 수행할 수 있다. 사용자의 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보를 포함할 수 있다. 또한, 사용자의 컨텍스트 정보는, 사용자의 전자 기기(100)의 주변 환경 정보, 사용자의 전자 기기(100)의 상태 정보, 사용자의 상태 정보, 및 사용자의 일정 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
전자 기기(100)의 주변 환경 정보는, 전자 기기(100)로부터 소정 반경 내의 환경 정보를 의미하는 것으로서, 예를 들어, 날씨 정보, 온도 정보, 습도 정보, 조도 정보, 소음 정보, 소리 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
전자 기기(100)의 상태 정보는, 전자 기기(100)의 모드 정보(예컨대, 소리 모드, 진동 모드, 무음 모드, 절전 모드, 차단 모드, 멀티 윈도우 모드, 자동 회전 모드 등), 전자 기기(100)의 위치 정보, 시간 정보, 통신 모듈의 활성화 정보(예컨대, Wi-Fi ON / Bluetooth OFF / GPS ON/ NFC ON 등), 전자 기기(100)의 네트워크 접속 상태 정보, 전자 기기(100)에서 실행되는 애플리케이션 정보(예컨대, 애플리케이션의 식별 정보, 애플리케이션 종류, 애플리케이션 이용 시간, 애플리케이션 이용 주기) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자의 상태 정보는 사용자의 움직임, 생활 패턴 등에 관한 정보로서, 사용자의 걷는 상태, 운동하는 상태, 운전 중인 상태, 수면 상태, 사용자의 기분 상태 등에 관한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.
전자기기(100)는 사용자의 입력이 없어도 검색어가 결정되면 검색을 수행하고 검색결과를 메모리에 일시적 또는 영구적으로 저장할 수 있다. 검색결과는 사용자 요청에 의해 디스플레이부(4901)에 표시되거나 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.
전자기기(100)는 키워드(4911, 4913, 4915, 4917, 4919)를 추출하고 추출된 키워드 및 사용자의 컨텍스트 정보를 활용하여 검색을 수행하고 검색 결과(4921, 4923, 4925, 4927, 4929)를 메모리에 일시적 또는 영구적으로 저장할 수 있다. 예를 들면 전자기기(100)는 추출된 키워드(4911) 및 사용자의 위치정보에 기초하여 검색을 수행하고 검색결과(4921)를 메모리에 저장할 수 있다. 이 때 검색결과(4921)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 입력에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 입력과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.
전자기기(100)는 추출된 키워드(4911) 및 사용자의 위치정보에 기초하여 검색을 수행하고 검색결과(4921)를 메모리에 저장할 수 있다. 이 때 검색결과(4921)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 요청에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.
전자기기(100)는 추출된 키워드(4913), 사용자의 위치 및 시간정보에 기초하여 검색을 수행하고 검색결과(4923)를 메모리에 저장할 수 있다. 검색결과(4923)는 사용자의 현재 위치에 근접된 위치 및 현재 시간을 고려하여 필터링 될 수 있다. 이 때 검색결과(4923)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 요청에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.
전자기기(100)는 추출된 키워드(4915, 4917, 4919), 사용자의 위치 및 사용자의 과거 이력 정보에 기초하여 검색을 수행하고 검색결과(4925, 4927, 4929)를 메모리에 저장할 수 있다. 검색결과(4925, 4927, 4929)는 사용자의 현재 위치에 근접된 위치 및 과거 이력 정보(예컨대 자주 갔었던 식당, 쇼핑몰, 지하철역)를 고려하여 필터링 될 수 있다. 이 때 검색결과(4925, 4927, 4929)는 디스플레이부(4901)에 표시되지 않을 수 있다. 또는 사용자 요청에 의해 디스플레이부(4901)에 표시될 수 있다. 또는 사용자 요청과 무관하게 디스플레이부(4901)의 미리 결정된 영역에 표시될 수 있다.
도 50 을 참조하면, 전자기기(100)는 디스플레이부(5001)에 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 표시할 수 있다. 또한 전자기기(100)는 검색 결과(5005)를 메시지가 표시된 상태에서 디스플레이부(5001)에 표시할 수 있다.
전자기기(100)는 메시지를 시간순으로 표시할 경우, 먼저 표시된 메시지를 상단으로 스크롤하면서 메시지를 표시할 수 있다.
전자기기(100)는 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 디스플레이하고 디스플레이된 인디케이션(indication) 또는 표시(mark)를 일정 시간 동안 유지할 수 있다. 전자기기(100)는 메시지를 이용하여 적어도 하나의 키워드(5003)를 추출하고, 추출된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정할 수 있다. 사용자의 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보를 포함할 수 있다.
전자기기(100)는 메시지의 내용을 자연어 분석하여 키워드(5003)를 추출할 수 있다. 전자기기(100)는 디스플레이부(5001)에 표시된 이전 메시지 및 현재 메시지를 이용하여 키워드(5003)를 추출할 수 있다.
디스플레이부(5001)는 디스플레이된 메시지 중에서 검색어 결정에 이용된 키워드(5003)를 다른 부분과 구별되도록 표시할 수 있다. 키워드(5003)는 일정시간 동안, 예컨대 1시간 동안 다른 부분과 구별되게 표시될 수 있다. 키워드는 1시간이 지나면 원래 상태로 복귀되고, 다른 부분과 동일하게 표시될 수 있다.
전자기기(100)는 추출된 키워드(5003) 및 사용자의 컨텍스트 정보를 이용하여 검색어를 결정하고 검색을 수행할 수 있다. 사용자의 컨텍스트 정보는 사용자의 위치정보, 사용자의 통신 기록 정보, 사용자의 검색 기록 정보 및 상기 전자기기의 센싱 정보를 포함할 수 있다.
전자기기(100)는 사용자의 입력이 없어도 검색어가 결정되면 검색을 수행하고 검색결과를 메모리에 일시적 또는 영구적으로 저장할 수 있다. 검색결과는 사용자 요청에 의해 디스플레이부(5001)의 특정 영역(5005)에 표시되거나 또는 사용자 요청과 무관하게 디스플레이부(5001)의 특정 영역(5005)에 표시될 수 있다.
검색결과에는 사용자의 현재 위치로부터의 거리 및 추천순위가 포함될 수 있다.
전자기기(100)는 키워드를 선택하는 사용자 입력에 기초해서 검색을 수행하고 검색결과를 디스플레이부(5001)의 특정 영역(5005)에 표시할 수 있다.
본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (27)

  1. 커뮤니케이션 중에 검색 서비스를 제공하는 전자기기에 있어서,
    상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 디스플레이부; 및
    상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 메시지로부터 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 프로세서를 포함하며,
    상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 하는 전자기기.
  2. 제1항에 있어서,
    상기 디스플레이부는 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 포함하고,
    상기 프로세서는 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하고,
    상기 디스플레이부는 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 것을 특징으로 하는 전자기기.
  3. 제2항에 있어서, 상기 프로세서는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득하는 것을 특징으로 하는 전자기기.
  4. 제3항에 있어서, 상기 프로세서는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득하는 것을 특징으로 하는 전자기기.
  5. 제1항에 있어서, 상기 디스플레이부는,
    상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 더 포함하고, 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이하는 것을 특징으로 하는 전자기기.
  6. 제5항에 있어서, 상기 디스플레이부는,
    상기 검색어 편집창을 통하여 상기 프로세서에서 결정된 검색어를 디스플레이하고, 사용자가 편집한 검색어를 수신하는 것을 특징으로 하는 전자기기.
  7. 제6항에 있어서, 상기 프로세서는 사용자가 편집한 검색어를 통하여 정보를 획득하는 것을 특징으로 하는 전자기기.
  8. 제1항에 있어서, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출되는 것을 특징으로 하는 전자기기.
  9. 제8항에 있어서, 상기 프로세서는 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정하는 것을 특징으로 하는 전자기기
  10. 제1항에 있어서, 상기 프로세서는 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정하는 것을 특징으로 하는 전자기기.
  11. 전자기기에서 커뮤니케이션 중에 검색 서비스를 제공하는 방법에 있어서,
    상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 단계;
    상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 메시지로부터 적어도 하나의 키워드를 추출하는 단계; 및
    상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 단계를 포함하며,
    상기 디스플레이하는 단계는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 하는 검색 서비스 제공 방법.
  12. 제11항에 있어서, 상기 검색 서비스 제공 방법은,
    상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하는 단계; 및
    상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 검색 서비스 제공 방법.
  13. 제12항에 있어서, 상기 정보를 획득하는 단계는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득하는 것을 특징으로 하는 검색 서비스 제공 방법.
  14. 제13항에 있어서, 상기 정보를 획득하는 단계는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득하는 것을 특징으로 하는 검색 서비스 제공 방법.
  15. 제11항에 있어서, 상기 검색 서비스 제공 방법은,
    상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 검색 서비스 제공 방법.
  16. 제15항에 있어서, 상기 검색 서비스 제공 방법은,
    상기 검색어 편집창을 통하여 상기 결정된 검색어를 디스플레이하는 단계; 및
    사용자가 편집한 검색어를 수신하는 단계를 더 포함하는 것을 특징으로 하는 검색 서비스 제공 방법.
  17. 제16항에 있어서, 상기 정보를 획득하는 단계는 사용자가 편집한 검색어를 통하여 정보를 획득하는 것을 특징으로 하는 검색 서비스 제공 방법.
  18. 제11항에 있어서, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출되는 것을 특징으로 하는 검색 서비스 제공 방법.
  19. 제18항에 있어서, 상기 검색어를 결정하는 단계는,
    상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정하는 것을 특징으로 하는 검색 서비스 제공 방법.
  20. 제11항에 있어서, 상기 검색어를 결정하는 단계는,
    상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정하는 것을 특징으로 하는 검색 서비스 제공 방법.
  21. 다른 전자기기로부터 수신한 메시지 및 다른 전자기기로 송신한 메시지를 시간순으로 화면에 디스플레이하는 디스플레이부; 및
    적어도 하나의 키워드를 결정하고, 상기 결정된 키워드 및 사용자의 컨텍스트 정보에 기초하여 검색 서비스의 검색어를 결정하는 프로세서를 포함하며,
    상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어 결정에 이용된 상기 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 하는 전자기기.
  22. 제 21 항에 있어서,
    상기 프로세서는 상기 디스플레이부에 표시된 이전 메시지 및 현재 메시지를 이용하여 상기 키워드를 결정하는 것을 특징으로 하는 전자기기.
  23. 제 21 항에 있어서,
    상기 프로세서는 상기 검색어를 이용하여 검색을 수행하고, 상기 디스플레이부에 표시된 상기 키워드에 대응되는 부분을 선택하는 사용자 입력에 기초하여 상기 검색 결과를 상기 디스플레이부에 표시하는 것을 특징으로 하는 전자기기.
  24. 제 21 항에 있어서,
    상기 프로세서는 상기 디스플레이부에 표시된 상기 키워드에 대응되는 부분을 선택하는 사용자 입력에 기초하여 상기 키워드에 대응하는 검색어를 이용하여 검색을 수행하고, 상기 검색 결과를 상기 디스플레이부에 표시하는 것을 특징으로 하는 전자기기.
  25. 제 21 항에 있어서,
    상기 컨텍스트 정보는 사용자의 위치 정보, 사용자의 통신 기록 정보 및 사용자의 검색 기록 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자기기.
  26. 제 24 항에 있어서,
    상기 프로세서는 상기 검색 결과를 상기 메시지가 표시된 상태에서 상기 디스플레이에 표시하는 것을 특징으로 하는 전자기기.
  27. 제 21 항에 있어서,
    상기 구별되어 표시된 상기 키워드에 대응되는 부분은 일정 시간 지난 후에 원래 상태로 표시되는 것을 특징으로 하는 전자기기.
KR1020150044996A 2014-07-31 2015-03-31 정보 제공하는 방법 및 이를 위한 전자기기 KR102370373B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
PCT/KR2015/007866 WO2016018039A1 (en) 2014-07-31 2015-07-28 Apparatus and method for providing information
TW104124449A TWI554900B (zh) 2014-07-31 2015-07-29 提供資訊的裝置與方法
US14/813,673 US10097494B2 (en) 2014-07-31 2015-07-30 Apparatus and method for providing information
CN201910495471.7A CN110276007B (zh) 2014-07-31 2015-07-31 用于提供信息的装置和方法
EP15179391.6A EP2981104B1 (en) 2014-07-31 2015-07-31 Apparatus and method for providing information
CN201510463539.5A CN105320736B (zh) 2014-07-31 2015-07-31 用于提供信息的装置和方法
US16/138,198 US10841265B2 (en) 2014-07-31 2018-09-21 Apparatus and method for providing information

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140098633 2014-07-31
KR1020140098633 2014-07-31
KR1020150022720 2015-02-13
KR1020150022720A KR20160016526A (ko) 2014-07-31 2015-02-13 정보 제공하는 방법 및 이를 위한 전자기기

Publications (2)

Publication Number Publication Date
KR20160016545A true KR20160016545A (ko) 2016-02-15
KR102370373B1 KR102370373B1 (ko) 2022-03-04

Family

ID=80813600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150044996A KR102370373B1 (ko) 2014-07-31 2015-03-31 정보 제공하는 방법 및 이를 위한 전자기기

Country Status (1)

Country Link
KR (1) KR102370373B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019074244A1 (en) * 2017-10-09 2019-04-18 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR AUTOMATICALLY MANAGING THE ACTIVITIES OF AN APPLICATION
KR102087314B1 (ko) * 2018-11-05 2020-03-10 인천국제공항공사 관제상황 모니터링 서비스 제공 서버 및 실시간 관제상황 모니터링 서비스 제공 방법
KR20200066582A (ko) * 2018-11-30 2020-06-10 엘지전자 주식회사 차량 제어장치 및 차량 제어방법
KR20210131666A (ko) * 2020-04-24 2021-11-03 (주)창쿠글로벌 정보제공 시스템 및 정보제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239761A1 (en) * 2011-03-15 2012-09-20 HDmessaging Inc. Linking context-based information to text messages

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239761A1 (en) * 2011-03-15 2012-09-20 HDmessaging Inc. Linking context-based information to text messages

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019074244A1 (en) * 2017-10-09 2019-04-18 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR AUTOMATICALLY MANAGING THE ACTIVITIES OF AN APPLICATION
US11237850B2 (en) 2017-10-09 2022-02-01 Samsung Electronics Co., Ltd. Method and electronic device for automatically managing activities of application
KR102087314B1 (ko) * 2018-11-05 2020-03-10 인천국제공항공사 관제상황 모니터링 서비스 제공 서버 및 실시간 관제상황 모니터링 서비스 제공 방법
KR20200066582A (ko) * 2018-11-30 2020-06-10 엘지전자 주식회사 차량 제어장치 및 차량 제어방법
KR20210131666A (ko) * 2020-04-24 2021-11-03 (주)창쿠글로벌 정보제공 시스템 및 정보제공 방법

Also Published As

Publication number Publication date
KR102370373B1 (ko) 2022-03-04

Similar Documents

Publication Publication Date Title
US10841265B2 (en) Apparatus and method for providing information
KR102378513B1 (ko) 메시지 서비스를 제공하는 전자기기 및 그 전자기기가 컨텐트 제공하는 방법
KR102447503B1 (ko) 메시지 서비스를 제공하는 전자기기 및 그 전자기기가 컨텐트 제공하는 방법
US11861159B2 (en) Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
US11816325B2 (en) Application shortcuts for carplay
US11231942B2 (en) Customizable gestures for mobile devices
US11880561B2 (en) Systems and methods for generating and providing intelligent time to leave reminders
CN107924313B (zh) 分布式个人助理
US9652145B2 (en) Method and apparatus for providing user interface of portable device
CN110837275A (zh) 从使用一个设备转换到使用另一个设备
KR20160016526A (ko) 정보 제공하는 방법 및 이를 위한 전자기기
KR102370373B1 (ko) 정보 제공하는 방법 및 이를 위한 전자기기
US20170371535A1 (en) Device, method and graphic user interface used to move application interface element
JP2023539020A (ja) オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant