KR102306542B1 - 정보 처리 방법 및 디바이스 - Google Patents

정보 처리 방법 및 디바이스 Download PDF

Info

Publication number
KR102306542B1
KR102306542B1 KR1020190062592A KR20190062592A KR102306542B1 KR 102306542 B1 KR102306542 B1 KR 102306542B1 KR 1020190062592 A KR1020190062592 A KR 1020190062592A KR 20190062592 A KR20190062592 A KR 20190062592A KR 102306542 B1 KR102306542 B1 KR 102306542B1
Authority
KR
South Korea
Prior art keywords
iot device
web search
iot
information processing
search query
Prior art date
Application number
KR1020190062592A
Other languages
English (en)
Other versions
KR20190138584A (ko
Inventor
마이낙 슈드후리
아비셱 샤르마
아비™r 샤르마
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190062592A priority Critical patent/KR102306542B1/ko
Priority to PCT/KR2019/006655 priority patent/WO2019235791A1/ko
Priority to US15/734,928 priority patent/US11651042B2/en
Publication of KR20190138584A publication Critical patent/KR20190138584A/ko
Application granted granted Critical
Publication of KR102306542B1 publication Critical patent/KR102306542B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

정보 처리 디바이스가 IoT(the internet of Things) 디바이스를 이용하여 정보를 처리하는 방법에 있어서, 사용자로부터 웹 검색 쿼리를 수신하는 단계, 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 불러오는 단계, 웹 검색 쿼리 및 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성하는 단계 및 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계를 포함하는 정보 처리 방법이 제공된다.

Description

정보 처리 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING INFORMATION}
본 개시의 실시예들은 정보 처리 방법 및 디바이스에 관한 것, 구체적으로 사용자로부터 수신한 쿼리에 IoT 디바이스 관련 컨텍스트 정보를 부가하여 합성 웹 검색 쿼리를 생성하고, 합성 웹 검색 쿼리에 대한 웹 검색 결과를 기초로 IoT 디바이스에 대한 제어를 생성하는 방법 및 그 방법을 실행하는 디바이스에 관한 것이다.
인터넷의 발달로 인터넷을 통하여 정보를 검색하고, 검색된 정보를 이용하는 일이 증가하였다.
그러나, 검색된 정보를 이해하고, 실생활에 적용하는 데에는 적지 않은 노력이 필요하다.
웹 검색 결과의 적용을 용이하게 하기 위해서, 사용자 주변의 IoT 디바이스 정보를 이용하여 정보를 검색하고, 검색된 결과를 IoT 디바이스에 적용할 수 있는 기술에 대한 연구가 필요하다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예에 따르면, 정보 처리 디바이스가 IoT(the internet of Things) 디바이스를 이용하여 정보를 처리하는 방법에 있어서, 사용자로부터 웹 검색 쿼리를 수신하는 단계, 상기 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 불러오는 단계, 상기 웹 검색 쿼리 및 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성하는 단계 및 상기 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계를 포함하는 정보 처리 방법이 제공된다.
상기 정보 처리 방법에 있어서, 상기 IoT 디바이스의 컨텍스트 정보는 상기 IoT 디바이스의 유형, 상기 IoT 디바이스의 모델명, 기본 설정, 상기 IoT 디바이스의 위치 및 상기 IoT 디바이스에 포함된 적어도 하나의 센서가 측정한 상태 정보 중 적어도 하나를 포함할 수 있다.
정보 처리 방법에 있어서, 상기 합성 웹 검색 쿼리를 자동으로 생성하는 단계는, 상기 웹 검색 쿼리로부터 제1 키워드를 추출하는 단계, 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보로부터 상기 적어도 하나의 IoT 디바이스와 관련된 제2 키워드를 생성하는 단계 및 상기 제1 키워드 및 상기 제2 키워드를 결합시키는 단계를 포함할 수 있다.
정보 처리 방법에 있어서, 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계는, 상기 검색 결과로부터 상기 적어도 하나의 IoT 디바이스와 관련된 하나 혹은 그 이상의 인스트럭션(instruction)을 식별하는 단계, 상기 식별된 인스트럭션을 수행하는 상기 적어도 하나의 IoT 디바이스에 대한 제어를 결정하는 단계 및 상기 적어도 하나의 IoT 디바이스에 대한 제어를 최적화하는 단계를 포함할 수 있다.
상기 정보 처리 방법은 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 상기 사용자에게 표시하는 단계를 더 포함할 수 있다.
상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어가 버튼으로 표시되고, 상기 버튼에 대한 사용자 입력을 수신하는 것으로, 상기 합성 웹 검색 쿼리에 대한 검색 결과를 상기 적어도 하나의 IoT 디바이스에 대하여 적용하는 단계를 더 포함하는 정보 처리 방법이 제공될 수 있다.
상기 정보 처리 방법은 상기 적어도 하나의 IoT 디바이스에 대하여 상기 결정된 제어를 자동으로 수행하는 단계를 더 포함할 수 있다.
상기 정보 처리 방법은 상기 검색 결과와 관련된 상기 사용자의 필요를 예측하는 단계 및 상기 예측된 사용자 필요를 충족시키기 위하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계를 더 포함할 수 있다.
상기 정보 처리 방법에 있어서, 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계는, 상기 사용자의 선호에 대한 정보를 획득하는 단계 및 상기 획득된 사용자의 선호에 대한 정보를 이용하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계를 포함할 수 있다.
본 개시 일 실시예의 또 다른 측면에 따르면, 메모리 및 사용자로부터 웹 검색 쿼리를 수신하는 단계, 상기 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 불러오는 단계, 상기 웹 검색 쿼리 및 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성하는 단계 및 상기 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계를 실행하는 하나 혹은 그 이상의 프로세서를 포함하는 정보 처리 디바이스가 제공될 수 있다.
상기 정보 처리 디바이스에 있어서, 상기 IoT 디바이스의 컨텍스트 정보는 상기 IoT 디바이스의 유형, 상기 IoT 디바이스의 모델명, 기본 설정, 상기 IoT 디바이스의 위치 및 상기 IoT 디바이스에 포함된 적어도 하나의 센서가 측정한 상태 정보 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 상기 웹 검색 쿼리로부터 제1 키워드를 추출하고, 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보로부터 상기 적어도 하나의 IoT 디바이스와 관련된 제2 키워드를 생성하고, 상기 제1 키워드 및 상기 제2 키워드를 결합시킴으로써 상기 합성 웹 검색 쿼리를 자동으로 생성할 수 있다.
상기 프로세서는, 상기 검색 결과로부터 상기 적어도 하나의 IoT 디바이스와 관련된 하나 혹은 그 이상의 인스트럭션(instruction)을 식별하고, 상기 식별된 인스트럭션을 수행하는 상기 적어도 하나의 IoT 디바이스에 대한 제어를 결정하고, 상기 적어도 하나의 IoT 디바이스에 대한 제어를 최적화함으로써 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정할 수 있다.
상기 정보 처리 디바이스는 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 상기 사용자에게 표시하는 디스플레이를 더 포함할 수 있다.
상기 프로세서는, 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 버튼으로 표시하고, 상기 버튼에 대한 사용자 입력을 수신하는 것에 대한 응답으로, 상기 합성 웹 검색 쿼리에 대한 검색 결과를 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 수 있다.
상기 프로세서는, 상기 적어도 하나의 IoT 디바이스에 대하여 상기 결정된 제어를 자동으로 수행할 수 있다.
상기 프로세서는, 상기 검색 결과와 관련된 상기 사용자의 필요를 예측하고, 상기 예측된 사용자 필요를 충족시키기 위하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정할 수 있다.
상기 프로세서는, 상기 사용자의 선호에 대한 정보를 획득하고, 상기 획득된 사용자의 선호에 대한 정보를 이용하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정할 수 있다.
본 개시 일 실시예의 또 다른 측면에 따르면, 상기 정보 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 개시 일 실시예의 또 다른 측면에 따르면, 메모리 및 전자 디바이스를 통하여 사용자로부터 웹 검색 쿼리를 수신하는 단계, 상기 전자 디바이스를 통하여 상기 전자 디바이스와 연결되고 상기 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 불러오는 단계, 상기 웹 검색 쿼리 및 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성하는 단계 및 상기 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 상기 적어도 하나의 IoT 디바이스를 제어하는 단계를 실행하는 하나 혹은 그 이상의 프로세서를 포함하는 정보 처리 디바이스가 제공될 수 있다.
도1은 본 개시의 일 실시예에 따른 정보 처리 디바이스의 구조도이다.
도2는 본 개시의 일 실시예에 따른 정보 처리 방법의 흐름도이다.
도3은 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법을 도시한다.
도4는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 정보 처리 디바이스의 프로세서의 구조도이다.
도5는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법에 포함된 단계들을 도시하는 구성도이다.
도6은 본 개시의 일 실시예에 따라, IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 흐름도를 도시한다.
도7은 본 개시의 일 실시예에 따른 메시지 흐름의 예시를 도시한다.
도8은 본 개시의 일 실시예에 따른 정보 처리 방법의 흐름도이다.
도9는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법에 포함된 단계들을 도시하는 구성도이다.
도10은 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법의 예시이다.
도11은 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법의 예시이다.
도12는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법의 예시이다.
　　　본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
　　　본 명세서에서 사용되는 용어에 대해 간략히 설명하고 본 개시에 대해 구체적으로 설명하기로 한다.
　　　본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
　　　명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도1은 본 개시의 일 실시예에 따른 정보 처리 디바이스의 구조도이다.
본 개시의 일 실시예에 따른 정보 처리 디바이스(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
본 개시에서 정보 처리 디바이스(100)는 태블릿 PC, 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 한정되지 않는다. 또한, 정보 처리 디바이스(100)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다.
프로세서(120)는 정보 처리 디바이스(100)의 전반적인 동작을 제어한다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 적어도 하나의 인스트럭션을 처리하도록 구성될 수 있다. 상술된 인스트럭션은 메모리(110)로부터 프로세서(120)에 제공될 수 있다. 즉, 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 인스트럭션을 실행하도록 구성될 수 있다. 혹은 인스트럭션은 통신 인터페이스(미도시)를 통해 정보 처리 디바이스(100)로 수신되어 프로세서(120)로 제공될 수도 있다.
프로세서(120)는 사용자로부터 웹 검색 쿼리가 수신되면, 정보 처리 디바이스(100)와 연결되고 수신된 웹 검색 쿼리와 관련된 IoT(the internet of Things) 디바이스의 컨텍스트 정보를 불러올 수 있다.
본 개시에서 IoT 디바이스의 컨텍스트 정보는 IoT 디바이스의 유형, IoT 디바이스의 모델명, 기본 설정, IoT 디바이스의 위치 및 IoT 디바이스에 포함된 적어도 하나의 센서가 측정한 상태 정보 중 적어도 하나를 포함할 수 있다. 그러나, IoT 디바이스의 컨텍스트 정보가 상술한 예시로 한정되는 것은 아니고, IoT 디바이스에 대한 모든 정보가 IoT 디바이스의 컨텍스트 정보에 해당할 수 있다.
또한, 프로세서(120)는 사용자로부터 수신된 웹 검색 쿼리 및 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성할 수 있다. 즉, 합성 웹 검색 쿼리는 사용자로부터 수신된 웹 검색 쿼리에, 사용자로부터 수신된 웹 검색 쿼리와 관련이 있고 정보 처리 디바이스(100)와 통신 연결된, IoT 디바이스에 대한 컨텍스트 정보를 부가하여 생성된 웹 검색 쿼리를 의미할 수 있다.
또한, 프로세서(120)는 합성 웹 검색 쿼리를 이용하여 웹 검색을 실행하고, 검색 결과를 이용하여 IoT 디바이스를 실행하기 위한 제어를 결정할 수 있다.
일 실시예에서, 정보 처리 디바이스(100)는 결정된 제어를 사용자에게 표시하는 디스플레이를 더 포함할 수 있다. 이 경우, 정보 처리 디바이스(100)는 사용자로부터 결정된 제어를 실행할지 여부에 대한 입력을 수신할 수 있다.
일 실시예에서, 정보 처리 디바이스(100)는 검색 결과만을 제공하지 않고, 간단한 버튼으로 검색 결과를 적용할 수 있는 IoT 디바이스에 대한 제어를 표시할 수 있다. 사용자는 버튼에 대한 입력을 통하여, 복잡한 과정을 이해할 필요 없이, 검색 결과를 주변의 IoT 디바이스에 대하여 적용할 수 있다.
일 실시예에서, 프로세서(120)는 결정된 제어를 IoT 디바이스에 적용할 수 있다.
메모리(110)는 프로세서(120)의 실행을 야기하는 프로그램 인스트럭션 등을 저장할 수 있다.
일부 실시예에서 정보 처리 디바이스(100)는 복수의 메모리를 포함할 수 있다.
본 실시예에서 메모리(110) 및 프로세서(120)는 별도의 구성 단위로 표현되어 있으나, 일부 실시예에서는 메모리(110) 및 프로세서(120)가 합쳐져 동일한 구성 단위로 구현될 수도 있다.
또한 본 실시예에서 메모리(110) 및 프로세서(120)는 정보 처리 디바이스(100) 내부에 인접하여 위치한 구성 단위로 표현되었지만, 메모리(110) 및 프로세서(120)의 각 기능을 담당하는 장치는 반드시 물리적으로 인접할 필요는 없으므로, 실시 예에 따라 메모리(110) 및 프로세서(120)가 분산되어 있을 수 있다.
또한, 정보 처리 디바이스(100)는 물리적 장치에 한정되지 않으므로, 정보 처리 디바이스(100)의 기능 중 일부는 하드웨어가 아닌 소프트웨어로 구현될 수도 있다.
일부 실시예에 따르면 정보 처리 디바이스(100)는 입력 디바이스, 통신 인터페이스 등을 더 포함할 수 있다.
본 명세서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 디바이스의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 디바이스는 본 명세서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 디바이스의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도2는 본 개시의 일 실시예에 따른 정보 처리 방법의 흐름도이다.
단계 S210에서 정보 처리 디바이스(100)는 사용자로부터 웹 검색 쿼리를 수신할 수 있다.
정보 처리 디바이스(100)가 사용자로부터 웹 검색 쿼리를 수신하는 방법은 다양할 수 있다. 예를 들어, 정보 처리 디바이스(100)는 사용자로부터 음성 형태로 쿼리를 수신할 수 있고, 애플리케이션이나 브라우저 등의 프로그램을 통하여 텍스트 형태로 쿼리를 수신할 수 있으며, 제스춰 형태 또는 이미지 형태로도 쿼리를 수신할 수 있다.
단계 S220에서 정보 처리 디바이스(100)는 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 불러올 수 있다. 정보 처리 디바이스(100)와 적어도 하나의 IoT 디바이스는 서로 연결되어 있을 수 있다.
일 실시예에서 정보 처리 디바이스(100)와 적어도 하나의 IoT 디바이스는 근거리 통신을 통하여 연결될 수 있다. 근거리 통신(short-range wireless communication network)은 블루투스 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication), WLAN(와이파이) 통신, 지그비(Zigbee) 통신, 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra wideband) 통신, Ant+ 통신, RFID 통신 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서 정보 처리 디바이스(100)는 정보 처리 디바이스(100)와 소정 거리 이내에 위치한 IoT 디바이스 중에서 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스를 결정하고, 결정된 적어도 하나의 IoT 디바이스로부터 컨텍스트 정보를 수신할 수 있다.
단계 S230에서 정보 처리 디바이스(100)는 웹 검색 쿼리 및 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성할 수 있다.
정보 처리 디바이스(100)는 웹 검색 쿼리에 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 결합하여 합성 웹 검색 쿼리를 자동으로 생성할 수 있다.
합성 웹 검색 쿼리 생성 방법에 대한 상세한 내용은 후술한다.
단계 S240에서 정보 처리 디바이스(100)는 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정할 수 있다.
일 실시예에서, 정보 처리 디바이스(100)는 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하고, 결정된 제어를 사용자에게 표시할 수 있다. 정보 처리 디바이스(100)는 사용자로부터 결정된 제어를 실행할 것인지 여부에 대한 입력을 수신할 수 있다.
일 실시예에서, 정보 처리 디바이스(100)는 합성 웹 검색 쿼리에 대한 검색 결과를 이용하여 적어도 하나의 IoT 디바이스를 자동으로 제어할 수 있다.
일 실시예에서는, 사용자 쿼리를 수신하는 S210 단계를 정보 처리 디바이스(100)와 별도의 전자 디바이스가 수행할 수 있다. 이 경우, 정보 처리 디바이스(100)는 전자 디바이스를 경유하여 사용자 쿼리를 수신할 수 있다. 또한, 정보 처리 디바이스(100)는 전자 디바이스와 연결된 IoT 디바이스 중에서 사용자로부터 수신된 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스로부터 컨텍스트 정보를 수신할 수 있다. 전자 디바이스는 태블릿 PC, 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 한정되지 않는다. 또한, 전자 디바이스는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다.
본 실시예의 방법은 웹 검색 결과를 이해하기 위하여 인간의 노력이 요구되지 않고, 웹 검색 결과의 지시를 따르고, 웹 검색 결과 제안된 방법에 따라 IoT 액션을 실행하기 위하여 인간의 지능이 요구되지 않는다는 점에서 웹 검색 결과 적용의 편리성을 향상시킬 수 있다.
본 실시예의 방법을 통하여 사용자는 사용자가 소유한 IoT 디바이스에 따라 다른 검색 결과를 수신할 수 있다.
일 실시예에 따르면, 사용자는 웹 검색 결과를 IoT 디바이스에 적용하기 위하여 IoT 디바이스의 실행에 관련된 도움말을 검색하는 대신, 검색 결과에 따라 사용자에게 자동으로 표시된 IoT 디바이스 실행 메뉴에서 간단한 입력을 통하여 자동 혹은 반자동으로 IoT 디바이스를 실행할 수 있다.
도3은 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법을 도시한다.
정보 처리 디바이스(100)는 쿼리 프로세싱 엔진(121) 및 IoT 인텔리전스 엔진(122)을 포함할 수 있다.
본 실시예에서 정보 처리 디바이스(100)는 전자 디바이스(200)을 경유하여 사용자 쿼리들을 수신하고, 사용자의 IoT 디바이스(300) 프로필 및 IoT 디바이스(300) 컨텍스트 정보를 이용하여 수신된 쿼리를 가공한 후, 웹 도메인에서 가공된 쿼리에 대한 검색을 수행한다.
이러한 쿼리 생성 과정은 쿼리 프로세싱 엔진(121)에 의하여 수행될 수 있다.
일 실시예에서 전자 디바이스(200)는 사용자의 스마트 폰, 가상 비서 디바이스 또는 인공지능 스피커일 수 있다.
IoT 인텔리전스 엔진(122, IoT intelligence engine)은 검색 결과를 실행 가능한 IoT 인스트럭션으로 변경한다. 또한, IoT 인스트럭션은 더 보강되고 확장되어, 최종 실행 가능한 IoT 디바이스에 대한 제어 또는 액션으로 생성될 수 있다.
정보 처리 디바이스(100)는 전자 디바이스(200)을 통하여 사용자에게 검색 결과 및 관련된 IoT 디바이스(300) 제어를 표시할 수 있다.
정보 처리 디바이스(100)는 검색 결과를 기초로 관련된 IoT 디바이스(300)가 자동 혹은 반자동으로 제어되도록 할 수 있다.
일 실시예에서, 정보 처리 디바이스(100)는 사용자 설정에 따라 사용자를 대신하여 자동으로 최종 IoT 디바이스(300) 제어를 실행할 수 있다.
본 실시예에서는 정보 처리 디바이스(100)가 전자 디바이스(200)와 별도의 디바이스로 도시되었지만, 다른 실시예에서는 동일한 디바이스일 수 있다.
도4는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 정보 처리 디바이스의 프로세서의 구조도이다.
정보 처리 디바이스(100)의 프로세서(120)는 쿼리 프로세싱 엔진(121) 및 IoT 인텔리전스 엔진(122)을 포함할 수 있다.
쿼리 프로세싱 엔진(121)은 사용자로부터 수신된 사용자 쿼리에 관련 IoT 키워드들을 결합하여 최종 검색 쿼리를 형성한다. 쿼리 프로세싱 엔진(121)은 IoT 컨텍스트를 웹 검색 능력과 결부시킨다.
쿼리 프로세싱 엔진(121)은 키워드 추출기(121-4), IoT 리소스 매퍼(mapper)(121-2), IoT 키워드 빌더(121-3) 및 합성 쿼리 빌더(121-1)를 포함할 수 있다.
키워드 추출기(121-4)는 사용자로부터 수신된 사용자 쿼리로부터 웹 검색을 위한 핵심 키워드를 추출할 수 있다.
IoT 리소스 매퍼(121-2)는 사용자 쿼리와 관련된 IoT 리소스를 결정할 수 있다. 예를 들어, IoT 리소스 매퍼(121-2)는 가용 IoT 디바이스를 검색하고, 검색된 적어도 하나의 IoT 디바이스 중에서, 사용자 쿼리와 관련된 적어도 하나의 IoT 디바이스를 결정할 수 있다.
IoT 키워드 빌더(121-3)는 IoT 리소스 매퍼(121-2)가 결정한 적어도 하나의 IoT 디바이스와 관련된 검색 키워드를 생성할 수 있다.
합성 쿼리 빌더(121-1)는 키워드 추출기(121-4)로부터 추출된 키워드와 IoT 키워드 빌더(121-3)가 생성한 키워드를 결합하여 최종 웹 검색 쿼리를 생성할 수 있다.
IoT 인텔리전스 엔진(122)은 검색된 웹 결과들로부터 IoT 실행 가능한 액션 플랜을 생성할 수 있다.
IoT 인텔리전스 엔진(122)은 파서(122-1, parser), 인스트럭션 빌더(122-2), 검사기(122-3, Validator), 플랜 생성기(122-4) 및 확장기(122-5, enhancer)를 포함할 수 있다.
파서(122-1)는 NLP(Natural Language Processing) 테크닉을 실행하여 검색된 웹 정보를 이해할 수 있다. 파서(122-1)는 NLP 테크닉을 이용하여, 언어의 문법 및 형식적인 의도를 제거할 수 있다. 파서(122-1)는 이해한 웹 정보를 분리하여 파싱된 인스트럭션을 생성할 수 있다. 파서(122-1)는 검색 결과를 파싱하여, 사용자의 의도를 추출할 수 있다.
인스트럭션 빌더(122-2)는 파싱된 인스트럭션으로부터 IoT 인스트럭션을 부호화할 수 있다. 인스트럭션 빌더(122-2)는 웹 검색 결과로부터 IoT 실생 가능한 인스트럭션을 생성할 수 있다. 인스트럭션 빌더(122-2)는 사용자의 의도와 IoT 액션을 매핑할 수 있다. 인스트럭션 빌더(122-2)는 IoT 도메인 사전을 이용하여 사용자 의도를 IoT 액션으로 변환할 수 있다.
검사기(122-3)는 정상 여부 검사(sanity check)를 실행하여 잘못된 인스트럭션으로부터 IoT 디바이스들(300)을 보호할 수 있다. 검사기(122-3)는 인스트럭션 실행을 위하여 누락된 인스트럭션을 입증하고(validating), 업데이트할 수 있다. 또한 검사기(122-3)는 설정 값을 입증하거나, 설정 파라미터의 범위에 대한 정상 여부를 체크할 수 있다.
일 실시예에서, 검사기(122-3)는 오퍼레이션을 입증할 수 있다. 검사기(122-3)는 오퍼레이션 능력 및 가능성에 대하여 정상 여부를 체크할 수 있다. 일 실시예서 검사기(122-3)는 누락된 단계를 식별할 수 있다. 일 실시예에서 검사기(122-3)는 인스트럭션 플로우에 대하여 정상 여부를 체크하여 누락된 단계를 추가할 수 있다. 일 실시예에서 검사기(122-3)는 사용자의 IoT 디바이스 호환 단계를 삽입할 수 있다.
플랜 생성기(122-4)는 인스트럭션 플랜을 생성할 수 있다. 일 실시예에서 플랜 생성기(122-4)는 인스트럭션을 실제 IoT 디바이스(300)에 적용하여 누락된 단계를 보완할 수 있다. 일 실시예에서 플랜 생성기(122-4) IoT 인스트럭션으로부터 IoT 프로토콜 메시지 세트 즉, IoT 디바이스 제어를 준비할 수 있다.
확장기(122-5)는 사용자 선호 등의 사용자 정보 및 다른 인텔리전스 파라미터를 기초로 추가적으로 단계들을 부가하거나 제거할 수 있다. 확장기(122-5)는 사용자 선호를 참조하여 제어 또는 액션을 업데이트할 수 있다. 확장기(122-5)는 결정된 제어 또는 액션에서 필수 단계와 선택적 단계를 식별할 수 있다. 확장기(122-5)는 인스트럭션 플랜으로부터 필수 단계를 식별하고, 선택적인 단계에 마크를 하여 추후 최적화 수행 시 참고할 수 있다.
일 실시예에서, 확장기(122-5)는 관련된 사용자 선호를 식별할 수 있다. 확장기(122-5)는 모든 필수 단계 및 선택적 단계와 관련된 사용자 선호를 검색할 수 있다. 확장기(122-5)는 사용자 선호를 참조하여 제어 또는 액션을 업데이트할 수 있다. 확장기(122-5)는 사용자 선호와 현재 인스트럭션의 편차를 계산하고 적절히 업데이트할 수 있다.
일 실시예에서 확장기(122-5)는 단계를 최적화할 수 있다. 확장기(122-5)는 병합, 병렬화, 수동 중재 등에 의하여 IoT 인스트럭션의 순서를 최적화하고, 실행 가능한 인스트럭션에 대한 컴팩트 플랜을 준비할 수 있다.
일 실시예에서 확장기(122-5)는 IoT 인스트럭션을 검색 결과 및 증강된 IoT 제어에 결부시킬 수 있다. 확장기(122-5)는 검색 결과에서 관련된 섹션의 위치를 찾아내고, IoT 인스트럭션을 삽입할 수 있다. 일 실시예에서 확장기(122-5)는 IoT 인스트럭션을 검색 결과 섹션 및 표시 미디어에 따른 증강 현실과 매핑할 수 있다.
일 실시예에서 확장기(122-5)는 사용자 중재를 식별하고, 실행을 제어할 수 있다. 일 실시예에서 확장기(122-5)는 IoT 실행에 있어서 수동 중재 섹션을 식별하고 사용자 입력에 따른 정지 및 재개에 의하여 플로우 실행을 제어할 수 있다.
도5는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법에 포함된 단계들을 도시하는 구성도이다.
정보 처리 디바이스(100)가 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법은 사용자로부터 전자 디바이스(200)를 경유하여 웹 검색 쿼리를 수신하는 단계를 포함한다(S510).
또한, 본 실시예의 방법은 전자 디바이스(200)를 경유하여, 전자 디바이스(200)에 연결되고, 웹 검색 쿼리와 관련된 IoT 디바이스의 컨텍스트 정보를 불러오는(fetching) 단계를 포함한다(S520).
또한, 일 실시예에서 정보 처리 디바이스(100)가 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법은 컨텍스트 정보를 정적 정보(디바이스의 유형, 기본 설정, 디바이스의 위치 등과 같은) 및 동적 정보(현재 센서들이 읽고 이거나 가공하고 있는 상태 정보와 같은)로 분리하는 단계를 포함할 수 있다.
또한, 본 실시예의 방법은 사용자 입력 쿼리, 정적 정보 및 동적 정보를 포함하는 웹 검색 쿼리 합성물을 자동으로 생성하는 단계를 포함할 수 있다(S530).
또한, 본 실시예의 방법은 웹 검색 쿼리 합성물에 대한 검색 결과를 제공하는 단계(S540)를 포함한다. 웹 검색 결과는 실질적으로 동적 정보와 관련된 것일 수 있다.
일 실시예에서, 정보 처리 디바이스(100)가 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법은 검색 결과를 기초로 사용자가 조작할 수 있는 버튼을 첨부하는 단계를 포함할 수 있다. IoT 디바이스(300)와 관련되어 실행 가능한 액션에 대한 각 버튼은 사용자가 해당 버튼 조작을 하는 것에 대한 응답으로, 연결된 IoT 디바이스에서 각 버튼에 대응하는 액션을 실행할 수 있다.
본 실시예에서는 정보 처리 디바이스(100)가 전자 디바이스(200)와 별도의 디바이스로 도시되었지만, 다른 실시예에서는 동일한 디바이스일 수 있다.
도6은 본 개시의 일 실시예에 따라, IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 흐름도를 도시한다.
단계 S601에서 정보 처리 디바이스(100)의 쿼리 프로세싱 엔진(121)은 사용자로부터 사용자 쿼리를 수신할 수 있다. 사용자 쿼리는 다양한 애플리케이션을 통하여 수신될 수 있다. 단계 S601에서 정보 처리 디바이스(100)의 쿼리 프로세싱 엔진(121)은 IoT 정보 게이트웨이로부터 IoT 디바이스의 프로파일 및 컨텍스트 정보를 수신할 수 있다. IoT 정보 게이트웨이는 IoT 디바이스(300)의 가용 능력, 현재 상태 및 검색 메타 데이터에 대한 정보를 취합하여 쿼리 프로세싱 엔진(121)으로 전송할 수 있다.
단계 S602에서 쿼리 프로세싱 엔진(121)은 상술한 방법에 따라 합성 웹 검색 쿼리를 생성하여 웹 검색을 요청할 수 있다.
단계 S603에서 정보 처리 디바이스(100)는 합성 웹 검색 쿼리를 이용한 웹 검색을 수행하여 검색 결과를 IoT 인텔리전스 엔진(122)으로 전송할 수 있다.
단계 S604, S605, S606, S607에서 IoT 인텔리전스 엔진(122)은 수신된 웹 검색 결과를 기초로, IoT 디바이스(300)에서 인스트럭션을 실행하기 위한 제어를 생성할 수 있다.
단계 S607에서 확장기(122-5)는 사용자의 IoT 디바이스(300)에 대한 선호 정보를 이용하여 IoT 디바이스(300)에서 실행 가능한 인스트럭션 및 제어를 확정할 수 있다.
단계 S608에서 정보 처리 디바이스(100)는 IoT 인텔리전스 엔진(122)으로부터 수신된 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 쿼리 프로세싱 엔진(121)으로 전송할 수 있다.
단계 S609에서 쿼리 프로세싱 엔진(121)은 사용자 쿼리를 수신한 애플리케이션에 검색 결과를 전송할 수 있다. 또한, 쿼리 프로세싱 엔진(121)은 IoT 디바이스(300)로 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 전송할 수 있다.
일 실시예에서 IoT 디바이스(300)는 수신된 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 실행할 수 있다.
도7은 본 개시의 일 실시예에 따른 메시지 흐름의 예시를 도시한다.
단계 S701에서 정보 처리 디바이스(100)가 수신한 사용자 쿼리는 “세탁기 청소하는 것을 도와줘”일 수 있다.
단계 S702에서 정보 처리 디바이스(100)는 정보 처리 디바이스(100)와 연결되고, 사용자 쿼리와 관련된 IoT 디바이스 즉, 세탁기를 검색하여 검색된 세탁기에 대한 모델명 등의 정보를 획득할 수 있다.
단계 S703에서 쿼리 프로세싱 엔진(121)은 “세탁기 청소하는 것을 도와줘”라는 사용자 쿼리와 IoT 컨텍스트 정보인 세탁기의 모델명을 결합하여 “XX 모델 세탁기 청소하는 것을 도와줘”라는 합성 웹 검색 쿼리를 생성할 수 있다.
단계 S704에서 정보 처리 디바이스(100)는 웹 검색 결과를 획득하여 IoT 인텔리전스 엔진(122)에 전송할 수 있다. 획득된 웹 검색 결과는 “1. 전원을 켠다 2. 에코 클린 코스를 선택한다 3. 물 온도를 70도로 설정한다 4. 세제 투입구에 세제를 투입한다 5. 시작 버튼을 누른다”일 수 있다.
단계 S705.2에서 IoT 인텔리전스 엔진(122)은 획득된 웹 검색 결과 중 1, 2, 3단계를 IoT 디바이스(300)에서 실행 가능한 인스트럭션으로 생성하여 IoT 디바이스(300)로 전송하여 IoT 디바이스 제어를 시작할 수 있다.
단계 S705.1에서 IoT 인텔리전스 엔진(122)은 정보 처리 디바이스(100)를 통하여 사용자에게 세제 투입구에 세제를 투입할 것을 요청할 수 있다. 즉, IoT 인텔리전스 엔진(122)은 사용자와 상호작용을 통하여 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 실행할 수 있다.
사용자의 세제 투입이 완료되면, IoT 인텔리전스 엔진(122)은 5단계 즉 시작 버튼을 누르는 단계를 IoT 디바이스 제어를 통하여 자동으로 실행할 수 있다.
단계 S706에서 정보 처리 디바이스(100)는 사용자에게 “세탁기 청소를 시작했습니다”라는 알림을 전송할 수 있다.
도8은 본 개시의 일 실시예에 따른 정보 처리 방법의 흐름도이다.
단계 S810에서 정보 처리 디바이스(100)는 사용자로부터 웹 검색 쿼리를 수신할 수 있다.
단계 S820에서 정보 처리 디바이스(100)는 웹 검색 쿼리와 관련된 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 불러올 수 있다.
단계 S830에서 정보 처리 디바이스(100)는 웹 검색 쿼리 및 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 포함하는 합성 웹 검색 쿼리를 자동으로 생성할 수 있다.
단계 S810 내지 단계 S830의 내용은 도2의 단계 S210 내지 S230과 동일할 수 있다.
단계 S840에서 정보 처리 디바이스(100)는 합성 웹 검색 쿼리를 이용한 웹 검색 결과로부터 적어도 하나의 IoT 디바이스(300)와 관련된 하나 혹은 그 이상의 인스트럭션을 식별할 수 있다. 인스트럭션은 IoT 디바이스(300)에서 수행되어 이루어야 하는 사용자 쿼리의 최종 목표를 의미할 수 있다.
단계 S850에서 정보 처리 디바이스(100)는 식별된 인스트럭션을 수행하기 위한 적어도 하나의 IoT 디바이스(300)에 대한 제어를 결정할 수 있다. IoT 디바이스(300)에 대한 제어는 식별된 인스트럭션을 수행하기 위한 구체적인 액션 플랜을 의미할 수 있다.
단계 S860에서 정보 처리 디바이스(100)는 결정된 적어도 하나의 IoT 디바이스(300)에 대한 제어를 최적화할 수 있다. 정보 처리 디바이스(100)는 미리 저장된 사용자 정보 또는 사용자 입력을 통하여 결정된 제어를 최적화할 수 있다.
도9는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법에 포함된 단계들을 도시하는 구성도이다.
본 실시예의 방법은 정보 처리 디바이스(100)가 사용자로부터 전자 디바이스(200)를 경유하여 웹 검색 쿼리를 수신하는 단계를 포함한다. 또한, 본 실시예의 방법은 정보 처리 디바이스(100)가 전자 디바이스(200)를 경유하여, 전자 디바이스에 연결되고 웹 검색 쿼리와 관련된, IoT 디바이스의 컨텍스트 정보를 불러오는 단계를 포함할 수 있다. 또한, 본 실시예의 방법은 사용자 입력 쿼리를 포함하는 합성 웹 검색 쿼리를 자동으로 생성하는 단계를 포함한다. 또한, 본 실시예의 방법은 합성 웹 검색 쿼리에 대한 검색 결과를 회수하는 단계를 포함한다.
IoT 인텔리전스 엔진(122)에 포함된 인스트럭션 빌더(122-2)는 단계 S910에서 검색 결과로부터 연결된 IoT 디바이스(300)와 관련된 하나 혹은 그 이상의 인스트럭션을 식별할 수 있다.
IoT 인텔리전스 엔진(122)에 포함된 플랜 생성기(122-4)는 단계 S920에서 식별된 인스트럭션을 실행할 IoT 액션 또는 제어를 결정할 수 있다.
IoT 인텔리전스 엔진(122)에 포함된 확장기(122-5)는 단계 S930에서 연결된 IoT 디바이스에서 실행되는 IoT 액션 또는 제어를 수정할 수 있다.
IoT 인텔리전스 엔진(122)은 단계 S940에서 수정된 IoT 액션 또는 제어를 전자 디바이스(200)로 전송하여, 사용자에게 표시할 수 있다.
도10은 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법의 예시이다.
본 실시예는 인공 지능 스피커에 의하여 사용자를 보조하는 예시 시나리오를 도시한다. 본 실시예에서 인공 지능 스피커는 정보 처리 디바이스(100)에 해당할 수 있다.
본 실시예에서 사용자는 IoT 디바이스(300)에 대한 어떠한 실행을 지시할 수 있고, 인공지능 스피커(100)는 웹으로부터 관련 제안을 찾아내어 사용자를 위하여 IoT 디바이스(300) 상에서 실행할 수 있다.
단계 S1010에서 정보 처리 디바이스(100)는 “IoT 디바이스들을 정기적으로 관리하는 방법을 알려줘”라는 사용자 쿼리를 수신할 수 있다.
또한, 단계 S1010에서 정보 처리 디바이스(100)는 정보 처리 디바이스(100)와 연결되고, 사용자 쿼리와 관련된 IoT 디바이스로 에어컨, 패밀리 허브 및 세탁기를 결정하고, 결정된 IoT 디바이스들에 대한 모델명 등의 컨텍스트 정보를 획득할 수 있다.
또한, 단계 S1010에서 정보 처리 디바이스(100)에 포함된 쿼리 프로세싱 엔진(121)은 “IoT 디바이스들을 정기적으로 관리하는 방법을 알려줘”라는 사용자 쿼리와 IoT 컨텍스트 정보인 에어컨, 패밀리 허브 및 세탁기의 IoT 디바이스 리스트 및 각 IoT 디바이스의 모델명 등을 결합하여 “A 모델 에어컨, B 모델 패밀리 허브 및 C 모델 세탁기를 정기적으로 관리하는 방법을 알려줘”라는 합성 웹 검색 쿼리를 생성할 수 있다.
단계 S1020에서 정보 처리 디바이스(100)는 합성 웹 검색 쿼리를 이용하여 웹 검색을 수행할 수 있다.
단계 S1030에서 정보 처리 디바이스(100)에 포함된 IoT 인텔리전스 엔진(122)은 웹 검색 결과를 파싱하여 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 준비할 수 있다.
단계 S1040에서 정보 처리 디바이스(100)에 포함된 IoT 인텔리전스 엔진(122)은 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 실행하기 위하여 IoT 제어 또는 액션을 생성할 수 있다.
단계 S1050에서 정보 처리 디바이스(100)는 사용자에게 “웹에서 방금 도움이 될 정보를 찾았습니다. 에어컨, 패밀리 허브 및 세탁기에 대한 정기적인 관리를 시작할까요?”라는 알림을 표시할 수 있다. 알림은 소리, 텍스트 또는 이미지 등의 다양한 형태로 표시될 수 있다.
단계 S1060에서 정보 처리 디바이스(100)는 사용자로부터 컨펌을 수신하여, 에어컨, 패밀리 허브 및 세탁기에 대한 정기적인 관리를 시작할 수 있다. 구체적으로 정보 처리 디바이스(100)는 정기적으로 에어컨 필터를 청소할 수 있고, 패밀리 허브의 필터 조작을 정기적으로 체크할 수 있으며, 정기적으로 세탁기의 드럼을 청소할 수 있다.
일 실시예에서, 정보 처리 디바이스(100)는 IoT 디바이스들(300)에 대한 제어가 실행 완료될 때마다 사용자에게 알림을 표시할 수 있다. 일 실시예에서, 정보 처리 디바이스(100)는 각 IoT 디바이스(300)의 정기적인 관리 상태에 대한 정보를 저장하고, 사용자에게 전송할 수 있다.
도11은 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법의 예시이다.
본 실시예는 인공 지능 스피커가 사용자의 수동 중재로 사용자를 보조하는 예시 시나리오를 도시한다.
단계 S1110에서 정보 처리 디바이스(100)가 수신한 사용자 쿼리는 “당근 케이크 만드는 법을 알려줘”일 수 있다. 단계 S1110에서 정보 처리 디바이스(100)는 정보 처리 디바이스(100)와 연결되고, 소정의 거리 이내에 위치한 IoT 디바이스 리스트를 획득할 수 있다. 즉, 정보 처리 디바이스(100)는 획득한 IoT 디바이스 리스트 중에서 당근 케이크 만드는 것과 관련된 IoT 디바이스로 오븐 및 스마트 쿠커를 결정할 수 있다.
단계 S1110에서 쿼리 프로세싱 엔진(121)은 “당근 케이크 만드는 법을 알려줘”라는 사용자 쿼리와, 가용 IoT 디바이스로 오븐 및 스마트 쿠커가 존재한다는 IoT 컨텍스트 정보를 기초로 “오븐 또는 스마트 쿠커로 당근 케이크 만드는 법을 알려줘”라는 합성 웹 검색 쿼리를 생성할 수 있다.
단계 S1120에서 정보 처리 디바이스(100)는 합성 웹 검색 쿼리를 이용하여 웹 검색을 수행할 수 있다. 정보 처리 디바이스(100)는 오븐용 당근 케이크 만드는 법 및 스마트 쿠커용 당근 케이크 만드는 법을 웹 검색 결과로 획득할 수 있다.
단계 S1130에서 정보 처리 디바이스(100)는 웹 검색 결과를 IoT 인텔리전스 엔진(122)에 전송할 수 있다.
단계 S1140에서 정보 처리 디바이스(100)는 미리 저장된 사용자 선호에 대한 정보 또는 사용자의 과거 요리 히스토리 정보를 참조하여 오븐 또는 스마트 쿠커 중에서 사용자가 오븐을 이용하여 요리하는 것을 선호하므로, 오븐을 이용한 요리를 선택할 것을 예측할 수 있다.
단계 S1150에서 정보 처리 디바이스(100)는 검색 결과를 기초로 IoT 디바이스(300)에서 실행 가능한 인스트럭션을 식별하고, 식별된 인스트럭션을 실행하기 위한 단계들을 실행할 수 있다. 식별된 인스트럭션을 실행하기 위한 단계들은 IoT 디바이스를 자동으로 제어하는 단계 및 사용자 액션을 안내하고, 안내된 사용자 액션이 완료되었음을 확인하는 단계 등을 포함할 수 있다.
먼저, 정보 처리 디바이스(100)는 “오븐용 당근 케이크 레시피를 선택했어요. 함께 시작해볼까요?”라는 메시지를 사용자에게 디스플레이할 수 있다. 정보 처리 디바이스(100)는 사용자로부터 요리 시작에 대한 컨펌을 수신할 수 있다. 정보 처리 디바이스(100)는 “먼저, 오븐에 넣고 덮개를 닫으세요”라는 안내 메시지를 출력할 수 있다.
단계 S1160에서 정보 처리 디바이스(100)는 준비된 재료를 오븐에 넣고 덮개를 닫는 사용자 액션이 수행되었음을 확인할 수 있다.
단계 S1170에서 정보 처리 디바이스(100)는 나머지 IoT 인스트럭션을 실행할 수 있다. 이 단계에서 정보 처리 디바이스(100)는 생성된 IoT 디바이스 제어를 IoT 디바이스(300)로 전송하여 IoT 디바이스를 자동으로 제어할 수 있다.
단계 S1180에서 정보 처리 디바이스(100)는 요리가 완료되었다는 알림을 표시할 수 있다.
본 실시예에서 정보 처리 디바이스(100)는 인공지능 스피커일 수 있다.
도12는 본 개시의 일 실시예에 따라 IoT 컨텍스트에 의한 웹 검색 및 제안을 제공하는 방법의 예시이다.
본 실시예에는 브라우저 주도 제안의 시나리오에 대한 예시를 도시한다. 사용자는 날씨.com에서 지역 날씨를 검색하기를 원하고, 사용자가 에어컨을 켜기를 원할 것 같다는 사실을 예측한 브라우저는 에어컨에 대한 제어를 IoT 디바이스 제어 증강현실로 디스플레이할 수 있다.
본 실시예서 정보 처리 디바이스(100)가 사용자 쿼리와 관련된 IoT 디바이스제어를 수행하는 것에서 더 나아가, 사용자 쿼리와 관련된 사용자의 필요를 예측하여, 사용자 필요를 충족시키기 위한 IoT 디바이스 제어를 제시할 수 있다.
단계 S1210에서 정보 처리 디바이스(100)는 전자 디바이스(200)를 통하여 “날씨.com에서 지역 날씨 좀 체크해줘”라는 사용자 쿼리를 수신할 수 있다. 날씨.com은 날씨를 검색할 수 있는 웹 페이지의 주소일 수 있다.
정보 처리 디바이스(100)는 전자 디바이스(200)와 연결된 IoT 디바이스(300)에 대한 정보 중에서 사용자 쿼리와 관련된 IoT 컨텍스트 정보를 획득하고, 사용자 쿼리와 결합하여 합성 웹 검색 쿼리를 생성할 수 있다. 이 경우, IoT 컨텍스트 정보는 에어컨 또는 난방기에 대한 정보일 수 있다. IoT 컨텍스트 정보는 에어컨 또는 난방기의 모델명, 에어컨 또는 난방기의 설정 온도, 현재 상태 등을 포함할 수 있다.
단계 S1220에서 정보 처리 디바이스(100)는 날씨.com에서 합성 웹 검색 쿼리를 이용하여 웹 검색을 수행할 수 있다. 일 실시예에서 합성 웹 검색 쿼리는 “날씨.com에서 지역 날씨를 체크해서 냉난방 온도 조절을 할 수 있게 해줘”일 수 있다.
단계 S1230에서 정보 처리 디바이스(100)는 사용자 쿼리와 관련된 검색 결과를 IoT 인텔리전스 엔진(122)으로 전송할 수 있다.
단계 S1240에서 IoT 인텔리전스 엔진(122)은 사용자 선호 온도 및 에어컨 사용 히스토리 등을 참조하여 사용자 쿼리 및 IoT 컨텍스트 정보와 관련된 사용자 필요를 예측할 수 있다.
단계 S1250에서 정보 처리 디바이스(100)는 예측된 사용자 필요를 충족시킬 수 있는 실행 가능한 IoT 디바이스 인스트럭션을 식별하고, 식별된 인스트럭션을 실행하기 위한 IoT 디바이스 제어를 생성할 수 있다. 정보 처리 디바이스(100)는 검색된 날씨 정보, 날씨 정보와 관련된 가용 IoT 디바이스인 냉 난방기 정보, 사용자 선호 온도 및 에어컨 사용 히스토리 등을 참조하여 에어컨 제어를 위한 증강 현실 또는 이미지를 생성할 수 있다.
단계 S1260에서 정보 처리 디바이스(100)는 전자 디바이스(200)를 통하여 생성된 에어컨 제어를 위한 증강 현실 또는 이미지를 디스플레이할 수 있다.
본 실시예에서, 전자 디바이스(200)는 정보 처리 디바이스(100)와 다른 별도의 디바이스로 도시되었지만, 다른 실시예에서 전자 디바이스(200)와 정보 처리 디바이스(100)는 하나의 디바이스로 구성될 수 있다.
한편, 본 실시 예는 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 실시 예에 따른 촬영 디바이스 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시 예가 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
　　　전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
　　　본 개시의 범위는 위 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (22)

  1. 정보 처리 디바이스가 IoT(the internet of Things) 디바이스를 이용하여 정보를 처리하는 방법에 있어서,
    사용자로부터 제1 웹 검색 쿼리를 수신하는 단계;
    상기 제1 웹 검색 쿼리를 이용하여 주변의 적어도 하나의 IoT 디바이스를 확인하는 단계;
    상기 확인된 적어도 하나의 IoT 디바이스로부터 IoT 디바이스의 컨텍스트 정보를 불러오는 단계;
    상기 수신된 제1 웹 검색 쿼리 및 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 결합하여 제2 웹 검색 쿼리를 생성하는 단계;
    상기 제2 웹 검색 쿼리를 이용하여 웹 검색을 실행하는 단계; 및
    상기 제2 웹 검색 쿼리에 대한 웹 검색 결과를 이용하여 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 단계를 포함하는 정보 처리 방법.
  2. 제1항에 있어서, 상기 IoT 디바이스의 컨텍스트 정보는 상기 IoT 디바이스의 유형, 상기 IoT 디바이스의 모델명, 기본 설정, 상기 IoT 디바이스의 위치 및 상기 IoT 디바이스에 포함된 적어도 하나의 센서가 측정한 상태 정보 중 적어도 하나를 포함하는 정보 처리 방법.
  3. 제1항에 있어서, 상기 제2 웹 검색 쿼리를 생성하는 단계는,
    상기 제1 웹 검색 쿼리로부터 제1 키워드를 추출하는 단계;
    상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보로부터 상기 적어도 하나의 IoT 디바이스와 관련된 제2 키워드를 생성하는 단계; 및
    상기 제1 키워드 및 상기 제2 키워드를 결합시키는 단계를 포함하는 정보 처리 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 단계는,
    상기 검색 결과로부터 상기 적어도 하나의 IoT 디바이스와 관련된 하나 혹은 그 이상의 인스트럭션(instruction)을 식별하는 단계;
    상기 식별된 인스트럭션을 수행하는 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 결정하는 단계; 및
    　 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 최적화하는 단계를 포함하는 정보 처리 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 상기 사용자에게 표시하는 단계를 더 포함하는 정보 처리 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어가 버튼으로 표시되고, 상기 버튼에 대한 사용자 입력을 수신하는 것으로, 상기 제2 웹 검색 쿼리에 대한 검색 결과를 상기 적어도 하나의 IoT 디바이스에 대하여 적용하는 단계를 더 포함하는 정보 처리 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 IoT 디바이스에 대하여 생성된 제어 명령을 자동으로 수행하는 단계를 더 포함하는 정보 처리 방법.
  8. 제1항에 있어서,
    상기 검색 결과와 관련된 상기 사용자의 필요를 예측하는 단계; 및
    상기 예측된 사용자 필요를 충족시키기 위하여 상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 결정하는 단계를 더 포함하는 정보 처리 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 단계는,
    상기 사용자의 선호에 대한 정보를 획득하는 단계; 및
    상기 획득된 사용자의 선호에 대한 정보를 이용하여 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 단계를 포함하는 정보 처리 방법.
  10. 하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행하는 하나 이상의 프로세서를 포함하고,　　　 상기 하나 이상의 프로세서는, 사용자로부터 제1 웹 검색 쿼리를 수신하고, 상기 제1 웹 검색 쿼리를 이용하여 주변의 적어도 하나의 IoT 디바이스를 확인하고, 상기 확인된 적어도 하나의 IoT 디바이스로 부터 IoT 디바이스의 컨텍스트 정보를 불러오고, 상기 제1 웹 검색 쿼리 및 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 결합하여 제2 웹 검색 쿼리를 생성하고, 상기 제2 웹 검색 쿼리를 이용하여 웹 검색을 실행하고, 상기 제2 웹 검색 쿼리에 대한 웹 검색 결과를 이용하여 상기 확인된 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 정보 처리 디바이스.
  11. 제10항에 있어서, 상기 IoT 디바이스의 컨텍스트 정보는 상기 IoT 디바이스의 유형, 상기 IoT 디바이스의 모델명, 기본 설정, 상기 IoT 디바이스의 위치 및 상기 IoT 디바이스에 포함된 적어도 하나의 센서가 측정한 상태 정보 중 적어도 하나를 포함하는 정보 처리 디바이스.
  12. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 제1 웹 검색 쿼리로부터 제1 키워드를 추출하고, 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보로부터 상기 적어도 하나의 IoT 디바이스와 관련된 제2 키워드를 생성하고, 상기 제1 키워드 및 상기 제2 키워드를 결합시킴으로써 상기 제2 웹 검색 쿼리를 자동으로 생성하는 정보 처리 디바이스.
  13. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 검색 결과로부터 상기 적어도 하나의 IoT 디바이스와 관련된 하나 혹은 그 이상의 인스트럭션(instruction)을 식별하고, 상기 식별된 인스트럭션을 수행하는 상기 적어도 하나의 IoT 디바이스에 대한 제어를 결정하고, 상기 적어도 하나의 IoT 디바이스에 대한 제어를 최적화함으로써 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 정보 처리 디바이스.
  14. 제10항에 있어서,
    상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 상기 사용자에게 표시하는 디스플레이를 더 포함하는 정보 처리 디바이스.
  15. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 적어도 하나의 IoT 디바이스에 대하여 적용할 제어를 버튼으로 표시하고, 상기 버튼에 대한 사용자 입력을 수신하는 것에 대한 응답으로, 상기 제2 웹 검색 쿼리에 대한 검색 결과를 상기 적어도 하나의 IoT 디바이스에 대하여 적용하는 정보 처리 디바이스.
  16. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 적어도 하나의 IoT 디바이스에 대하여 생성된 제어 명령을 자동으로 수행하는 정보 처리 디바이스.
  17. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 검색 결과와 관련된 상기 사용자의 필요를 예측하고, 상기 예측된 사용자 필요를 충족시키기 위하여 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 정보 처리 디바이스.
  18. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 사용자의 선호에 대한 정보를 획득하고, 상기 획득된 사용자의 선호에 대한 정보를 이용하여 상기 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 정보 처리 디바이스.
  19. 　　　제 1항 내지 9 항 중, 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  20. 하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행하는 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는 전자 디바이스를 통하여 사용자로부터 제1 웹 검색 쿼리를 수신하고, 상기 제1 웹 검색 쿼리를 이용하여 상기 전자 디바이스 주변의 적어도 하나의 IoT 디바이스를 확인하고, 상기 확인된 적어도 하나의 IoT 디바이스로부터 IoT 디바이스의 컨텍스트 정보를 불러오고, 상기 제1 웹 검색 쿼리 및 상기 적어도 하나의 IoT 디바이스의 컨텍스트 정보를 결합하여 제2 웹 검색 쿼리를 생성하고, 상기 제2 웹 검색 쿼리를 이용하여 웹 검색을 실행하고, 상기 제2 웹 검색 쿼리에 대한 웹 검색 결과를 이용하여 상기 확인된 적어도 하나의 IoT 디바이스에 대한 제어 명령을 생성하는 정보 처리 디바이스.
  21. 제1항에 있어서,
    상기 생성된 제어 명령을 상기 확인된 적어도 하나의 IoT 디바이스로 전송하는 단계를 더 포함하는 정보 처리 방법.
  22. 제10항에 있어서, 상기 하나 이상의 프로세서는,
    상기 생성된 제어 명령을 상기 확인된 적어도 하나의 IoT 디바이스로 전송하도록 하는 정보 처리 디바이스.

KR1020190062592A 2018-06-05 2019-05-28 정보 처리 방법 및 디바이스 KR102306542B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190062592A KR102306542B1 (ko) 2018-06-05 2019-05-28 정보 처리 방법 및 디바이스
PCT/KR2019/006655 WO2019235791A1 (ko) 2018-06-05 2019-06-03 정보 처리 방법 및 디바이스
US15/734,928 US11651042B2 (en) 2018-06-05 2019-06-03 Information processing method and device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN201841020997(???) 2018-06-05
IN201841020997 2018-06-05
IN201841020997(????) 2019-01-07
KR1020190062592A KR102306542B1 (ko) 2018-06-05 2019-05-28 정보 처리 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20190138584A KR20190138584A (ko) 2019-12-13
KR102306542B1 true KR102306542B1 (ko) 2021-09-29

Family

ID=68769630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062592A KR102306542B1 (ko) 2018-06-05 2019-05-28 정보 처리 방법 및 디바이스

Country Status (3)

Country Link
US (1) US11651042B2 (ko)
KR (1) KR102306542B1 (ko)
WO (1) WO2019235791A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009085586A1 (en) * 2007-12-20 2009-07-09 Motorola, Inc. Method and system for managing search results in a communication network

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1189402A1 (en) 2000-09-15 2002-03-20 Deutsche Thomson-Brandt Gmbh Hand-held device and the method for using it
KR100525414B1 (ko) 2003-06-03 2005-11-02 엘지전자 주식회사 주방용 홈 네트워크 시스템 및 그 제어방법
KR20060037488A (ko) 2004-10-28 2006-05-03 에스케이 텔레콤주식회사 휴대 인터넷망을 이용한 홈 네트워크 서비스 제공 방법 및시스템
US8816828B2 (en) 2005-06-09 2014-08-26 Whirlpool Corporation Recipe wand and recipe book for use with a networked appliance
KR20070009266A (ko) 2005-07-15 2007-01-18 주식회사 케이티 홈네트워크 제어 시스템의 인터페이스 장치 및 그 방법
DE102012218966B4 (de) * 2011-10-31 2018-07-12 International Business Machines Corporation Verfahren und System zum Kennzeichnen von durch Dinge im Internet der Dinge erzeugten Originaldaten
US10185934B2 (en) * 2013-07-09 2019-01-22 Qualcomm Incorporated Real-time context aware recommendation engine based on a user internet of things environment
KR101825700B1 (ko) 2013-10-21 2018-02-06 콘비다 와이어리스, 엘엘씨 Ｍ２ｍ 디바이스들의 크롤링
US9906605B2 (en) * 2014-05-23 2018-02-27 Qualcomm Connected Experiences, Inc. Enhanced DNS-based service discovery in an internet of things (IoT) environment
US20150359039A1 (en) * 2014-06-06 2015-12-10 Umbrellium LTD. System for facilitating searching in the internet of things
US20160294614A1 (en) * 2014-07-07 2016-10-06 Symphony Teleca Corporation Remote Embedded Device Update Platform Apparatuses, Methods and Systems
US10171939B2 (en) * 2014-07-15 2019-01-01 Belkin International, Inc. Control based on geo-dependent conditions
US10802780B2 (en) 2014-10-08 2020-10-13 Lg Electronics Inc. Digital device and method for controlling same
KR101662396B1 (ko) 2014-10-13 2016-10-05 한국과학기술원 IoT 장치를 제어하기 위한 방법 및 시스템
US10282475B2 (en) * 2014-12-18 2019-05-07 Microsoft Technology Licensing, Llc Generation of browser suggestions based on internet of things device data
US20160205106A1 (en) * 2015-01-12 2016-07-14 Verisign, Inc. Systems and methods for providing iot services
CN108885627B (zh) * 2016-01-11 2022-04-05 甲骨文美国公司 向远程客户端提供查询结果数据的查询即服务系统
KR101873538B1 (ko) * 2016-02-05 2018-07-02 이명호 가상 키보드를 이용한 IoT 디바이스 제어 방법 및 컴퓨터 프로그램
KR101789165B1 (ko) * 2016-02-29 2017-10-23 고려대학교 산학협력단 사물 인터넷 기반 스마트 화분 및 그 관리 시스템
KR20170109399A (ko) * 2016-03-21 2017-09-29 전자부품연구원 온톨로지 기반 IoT 서비스 구성 방법 및 시스템
EP3496830A1 (en) * 2016-08-08 2019-06-19 Telefonaktiebolaget LM Ericsson (publ) Technique for online video-gaming with sports equipment
TW201814554A (zh) * 2016-10-12 2018-04-16 香港商阿里巴巴集團服務有限公司 搜索方法、裝置、終端設備和操作系統
KR102636638B1 (ko) * 2016-12-21 2024-02-15 삼성전자주식회사 컨텐츠 운용 방법 및 이를 구현한 전자 장치
US20180189017A1 (en) * 2016-12-31 2018-07-05 Entefy Inc. Synchronized, morphing user interface for multiple devices with dynamic interaction controls
US20180188896A1 (en) * 2016-12-31 2018-07-05 Entefy Inc. Real-time context generation and blended input framework for morphing user interface manipulation and navigation
US11200242B2 (en) * 2017-02-21 2021-12-14 International Business Machines Corporation Medical condition communication management
US10929488B2 (en) * 2018-05-29 2021-02-23 International Business Machines Corporation Search engine filter based on user IoT network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009085586A1 (en) * 2007-12-20 2009-07-09 Motorola, Inc. Method and system for managing search results in a communication network

Also Published As

Publication number Publication date
WO2019235791A1 (ko) 2019-12-12
US11651042B2 (en) 2023-05-16
US20210256078A1 (en) 2021-08-19
KR20190138584A (ko) 2019-12-13

Similar Documents

Publication Publication Date Title
US20210311975A1 (en) Language agnostic command-understanding digital assistant
KR102462365B1 (ko) 사용자 데모그래픽 정보 및 콘텍스트 정보에 기초한 텍스트 입력 예측 방법 및 장치
US20200349940A1 (en) Server for determining target device based on speech input of user and controlling target device, and operation method of the server
WO2018213740A1 (en) Action recipes for a crowdsourced digital assistant system
US11122165B1 (en) Systems and methods for customer service agent-guided chat session digital assistant
US11721343B2 (en) Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
US12093707B2 (en) Action recipes for a crowdsourced digital assistant system
US10248383B2 (en) Dialogue histories to estimate user intention for updating display information
US11749278B2 (en) Recommending automated assistant action for inclusion in automated assistant routine
KR20180050721A (ko) 스마트 기기를 제어하는 방법 및 장치 및 컴퓨터 저장 매체
US10176171B1 (en) Language agnostic command-understanding digital assistant
JP6908461B2 (ja) 情報処理方法及びプログラム
US20200210505A1 (en) Electronic apparatus and controlling method thereof
US12067980B2 (en) Electronic device and method for executing task corresponding to shortcut command
KR20210045837A (ko) 지식 그래프를 업데이트하는 시스템 및 방법
KR20190110008A (ko) 통합 인포메이션의 생성, 푸시 방법, 장치, 단말, 서버 및 매체
KR102306542B1 (ko) 정보 처리 방법 및 디바이스
US20150253969A1 (en) Apparatus and Method for Generating and Outputting an Interactive Image Object
KR102075381B1 (ko) 사물 협업 서비스 시스템, 방법 및 그 모델링 도구
KR20200127853A (ko) 허브 디바이스, 허브 디바이스 및 복수의 디바이스를 포함하는 멀티 디바이스 시스템 및 그 동작 방법
US11978458B2 (en) Electronic apparatus and method for recognizing speech thereof
KR102487078B1 (ko) 허브 디바이스, 허브 디바이스 및 복수의 디바이스를 포함하는 멀티 디바이스 시스템 및 그 동작 방법
US11868789B2 (en) Generating compound action links in a multi-modal networked environment
KR20210014211A (ko) 검색 추천 정보를 제공하기 위한 방법 및 장치
KR20240051476A (ko) 컴퓨터 조립 및 견적 정보 제공 방법, 장치 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant