KR102566171B1 - 전자 장치 및 그 제어 방법 - Google Patents
전자 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR102566171B1 KR102566171B1 KR1020160041646A KR20160041646A KR102566171B1 KR 102566171 B1 KR102566171 B1 KR 102566171B1 KR 1020160041646 A KR1020160041646 A KR 1020160041646A KR 20160041646 A KR20160041646 A KR 20160041646A KR 102566171 B1 KR102566171 B1 KR 102566171B1
- Authority
- KR
- South Korea
- Prior art keywords
- task
- electronic device
- function
- external electronic
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006870 function Effects 0.000 claims description 190
- 238000004891 communication Methods 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 73
- 230000015654 memory Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 230000001413 cellular effect Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 235000015278 beef Nutrition 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005406 washing Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23289—State logic control, finite state, tasks, machine, fsm
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Manufacturing & Machinery (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
본 발명의 다양한 실시예에 따른 전자 장치를 동작하기 위한 방법은, 상기 전자 장치의 외부 환경에 대한 추가 정보를 획득하는 동작, 시맨틱 정보 기반의 태스크 온톨로지에서 설정된 적어도 하나의 태스크 중 제 1 태스크를 실행하기 위한 트리거를 검출하고, 상기 트리거는 상기 추가 정보를 기조하여 검출하는 동작, 상기 제 1 태스크에 대응하는 디바이스 정보별 기능을 확인하는 동작, 시맨틱 정보 기반의 제품 정보 온톨로지를 이용하여, 적어도 하나의 디바이스에 대응하는 기능을 확인하는 동작 및 상기 적어도 하나의 디바이스에 대응하는 기능과 상기 제 1 태스크에 대응하는 상기 디바이스 정보별 기능을 시맨틱 정보 기반으로 비교하고, 상기 비교 결과에 기초하여 상기 적어도 하나의 디바이스 중 상기 제 1 태스크를 수행할 제1 디바이스를 선택하는 동작을 포함할 수 있다.
Description
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 다른 디바이스를 제어할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
근자에 들어서, IoT(internet of things) 관련 기술 개발이 활발하게 진행되고 있다. IoT는 사물(things) 사이의 인터넷 연결에 대한 것으로, 모든 사물에 IP(internet protocol) 주소가 부여될 수 있다. 예를 들어, 주택 내부의 근접 센서와 조명 시스템 각각에 IP 주소가 부여될 수 있으며, 근접 센서와 조명 시스템은 서로 IP 주소를 이용하여 통신을 수행할 수 있다. 이에 따라, 사용자가 주택의 제 1 지점으로부터 제 2 지점으로 이동하는 경우, 제 2 지점에 설치된 근접 센서는 사용자가 제 2 지점으로 이동한 것을 센싱할 수 있다. 근접 센서는 조명 시스템에 사용자 이동 정보를 송신하며, 조명 시스템은 제 2 지점의 조명을 턴온하고, 제 1 지점의 조명을 턴오프할 수 있다. 이와 같이, 다수의 전자 장치 사이의 통신이 가능해짐에 따라서, 다양한 서비스 제공이 가능할 수 있다.
하지만, 종래의 IoT 관련 기술은, 이미 하나의 전자 장치와 다른 전자 장치가 연결된 상태를 가정하고, 이후의 시나리오에 대한 내용이 대부분이다. 종래의 IoT 관련 기술은, 예를 들어 하나의 전자 장치가 다른 전자 장치와 근접한 경우에, 통신이 수행되고 다른 전자 장치가 특정 태스크를 수행하는 방법에 대하여 기술한다. 하지만, 다른 전자 장치가 태스크 수행에 알맞은 디바이스인지 여부를 판단하는 구성 또는, 사용자의 개입 없이 태스크 수행에 알맞은 디바이스를 선택하는 구성에 대하여서는 개시된 바가 없다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 다양한 실시예는, 수행할 태스크와 주변 디바이스의 정보를 시맨틱 정보 기반으로 비교함에 따라, 태스크를 수행할 디바이스를 선택할 수 있는 전자 장치 및 그 제어 방법을 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치를 동작하기 위한 방법은, 상기 전자 장치의 적어도 하나의 프로세서에 의해, 상기 전자 장치가 배치된 네트워크에 기반하여 상기 전자 장치의 위치를 식별하는 동작, 상기 적어도 하나의 프로세서에 의해, 제1 태스크를 실행하기 위한 트리거를 검출하는 동작, 상기 트리거의 검출을 기반으로, 상기 적어도 하나의 프로세서에 의해, 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능을 식별하는 동작, 상기 적어도 하나의 프로세서에 의해, 복수의 외부 전자 장치에서 수행할 수 있는 기능을 식별하는 동작, 상기 적어도 하나의 프로세서에 의해, 상기 복수의 외부 전자 장치가 수행할 수 있는 기능과 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능과 비교하는 동작, 상기 적어도 하나의 프로세서에 의해, 상기 복수의 외부 전자 장치들이 수행할 수 있는 기능과 상기 제1 태스크를 수행하는 요구되는 디바이스의 종류별 기능의 비교를 기반으로, 상기 복수의 외부 전자 장치들 중 상기 제1 태스크를 수행할 수 있는 적어도 하나의 외부 전자 장치를 식별하는 동작, 제1 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 적어도 하나의 프로세서에 의해, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제1 영역에 포함된 제1 외부 전자 장치를 식별하고, 상기 전자 장치의 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제1 외부 전자 장치로 전송하는 동작, 및 상기 제1 영역과 다른 제2 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 적어도 하나의 프로세서에 의해, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제2 영역에 포함된 상기 제1 외부 전자 장치와 다른 상기 제2 외부 전자 장치를 식별하고, 상기 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제2 외부 전자 장치로 전송하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 회로, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,상기 전자 장치가 배치된 네트워크에 기반하여 상기 전자 장치의 위치를 식별하고, 제1 태스크를 실행하기 위한 트리거를 검출하고,상기 트리거의 검출을 기반으로, 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능을 식별하고,복수의 외부 전자 장치에서 수행할 수 있는 기능을 식별하고,상기 복수의 외부 전자 장치가 수행할 수 있는 기능과 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능과 비교하고, 상기 복수의 외부 전자 장치들이 수행할 수 있는 기능과 상기 제1 태스크를 수행하는 요구되는 디바이스의 종류별 기능의 비교를 기반으로, 상기 복수의 외부 전자 장치들 중 상기 제1 태스크를 수행할 수 있는 적어도 하나의 외부 전자 장치를 식별하고, 제1 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제1 영역에 포함된 제1 외부 전자 장치를 식별하고, 상기 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제1 외부 전자 장치로 전송하고, 상기 제1 영역과 다른 제2 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제2 영역에 포함된 상기 제1 외부 전자 장치와 다른 상기 제2 외부 전자 장치를 식별하고, 상기 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제2 외부 전자 장치로 전송하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따라서, 수행할 태스크와 주변 디바이스의 정보를 시맨틱 정보 기반으로 비교함에 따라, 태스크를 수행할 디바이스를 선택할 수 있는 전자 장치 및 그 제어 방법이 제공될 수 있다. 이에 따라, 복수 개의 디바이스가 배치된 환경에서도, 특정 태스크를 수행할 수 있는 디바이스가 자동으로 검색될 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 IoT(internet of things) 네트워크 구성 예를 나타내는 도면이다.
도 2a는 본 발명의 다양한 실시 예에 따른 네트워크 구성 예를 나타내는 도면이다.
도 2b는 본 발명의 다양한 실시 예에 따른 네트워크 구성의 블록도를 도시한다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 동작을 수행하기 위한 흐름도를 도시한다.
도 4는 본 발명의 다양한 실시예에 따른 시맨틱 정보 기반의 태스크 온톨로지의 개념도이다.
도 5는 본 발명의 다양한 실시예에 따른 시맨틱 정보 기반의 제품 정보 온톨로지의 개념도를 도시한다.
도 6은 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스의 선택을 설명하기 위한 개념도를 도시한다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치의 동작을 설명하기 위한 흐름도를 도시한다.
도 8은 본 발명의 다양한 실시예에 따른 태스크 온톨로지의 개념도를 도시한다.
도 9a는 본 발명의 다양한 실시예에 따른 추론된 추가 기능을 이용하여 태스크를 수행할 디바이스를 선택하는 과정을 설명하기 위한 개념도를 도시한다.
도 9b는 전자 장치의 태스크를 수행할 디바이스 선택 과정을 설명하기 위한 개념도를 도시한다.
도 10은 본 발명의 다양한 실시예에 따른 추론에 의한 온톨로지 갱신을 설명하는 흐름도를 도시한다.
도 11a 내지 11d는 본 발명의 다양한 실시예에 따른 온톨로지 갱신을 설명하기 위한 개념도를 도시한다.
도 12는 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스를 선택하는 과정을 설명하기 위한 흐름도를 도시한다.
도 13은 본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 14는 본 발명의 다양한 실시예에 의한 전자 장치가 표시하는 화면의 개념도를 도시한다.
도 15는 본 발명의 다양한 실시예에 따른 전자 장치가 표시하는 화면을 설명하기 위한 개념도들을 도시한다.
도 16은 본 발명의 다양한 실시예에 따른 디바이스 등록을 위한 화면을 설명하기 위한 개념도를 도시한다.
도 17은 본 발명의 다양한 실시예에 따른 디바이스 등록 가이드의 화면을 설명하기 위한 개념도를 도시한다.
도 18은 본 발명의 다양한 실시예에 따른 디바이스 등록 여부를 나타낼 수 있는 화면의 개념도를 도시한다.
도 19는 본 발명의 다양한 실시예에 따른 등록된 디바이스의 삭제 과정을 설명하기 위한 개념도를 도시한다.
도 20a 및 20b는 본 발명의 다양한 실시예에 따른 NFC를 통한 디바이스 검색을 위한 화면의 개념도를 도시한다.
도 21은, 본 발명의 다양한 실시예에 따른 태스크 검색 및 등록을 수행하기 위한 화면의 개념도를 도시한다.
도 22는 본 발명의 다양한 실시예에 따른 추천 태스크의 선택을 설명하기 위한 개념도를 도시한다.
도 23은 본 발명의 다양한 실시예에 따른 검색창 입력을 통한 태스크 검색을 설명하기 위한 개념도를 도시한다.
도 24는 본 발명의 다양한 실시예에 따른 추천 태스크의 등록 과정을 설명하기 위한 화면의 개념도를 도시한다.
도 25a 내지 25c는 본 발명의 다양한 실시예에 따른 수동 태스크 등록을 설명하기 위한 화면의 개념도들을 도시한다.
도 26a 및 26b는 본 발명의 다양한 실시예에 따른 태스크의 캡처 등록을 설명하기 위한 화면의 개념도들을 도시한다.
도 27a 및 27b는 본 발명의 다양한 실시예에 따른 태스크 수정을 위한 화면의 개념도들을 도시한다.
도 28은 본 발명의 다양한 실시예에 따른 추천 실행을 위한 화면을 설명하기 위한 개념도를 도시한다.
도 29는 본 발명의 다양한 실시예에 의한 또 다른 화면 구성을 설명하기 위한 개념도를 도시한다.
도 30은 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스의 등록 과정을 설명하기 위한 개념도를 도시한다.
도 31a 내지 31c는 본 발명의 다양한 실시예에 따른 디바이스 등록을 설명하기 위한 개념도를 도시한다.
도 32a 및 32b는 본 발명의 다양한 실시예에 따른 디바이스 검색을 설명하기 위한 개념도를 도시한다.
도 33a 내지 33c는 본 발명의 다양한 실시예에 따른 태스크 화면의 개념도들을 도시한다.
도 34는 본 발명의 다양한 실시예에 따른 태스크 선택 화면의 개념도를 도시한다.
도 35는 선택이 가능한 태스크를 선택한 경우의 화면의 개념도를 도시한다.
도 36a 내지 36c는, 수동 태스크 생성시, 태스크를 수행할 디바이스의 선택을 위한 화면의 개념도들을 도시한다.
도 37a 및 37b는 수동 태스크 생성 시의 화면의 개념도를 도시한다.
도 38a 및 38b는 태스크 선택에 따른 화면 변경을 설명하기 위한 개념도들을 도시한다.
도 2a는 본 발명의 다양한 실시 예에 따른 네트워크 구성 예를 나타내는 도면이다.
도 2b는 본 발명의 다양한 실시 예에 따른 네트워크 구성의 블록도를 도시한다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 동작을 수행하기 위한 흐름도를 도시한다.
도 4는 본 발명의 다양한 실시예에 따른 시맨틱 정보 기반의 태스크 온톨로지의 개념도이다.
도 5는 본 발명의 다양한 실시예에 따른 시맨틱 정보 기반의 제품 정보 온톨로지의 개념도를 도시한다.
도 6은 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스의 선택을 설명하기 위한 개념도를 도시한다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치의 동작을 설명하기 위한 흐름도를 도시한다.
도 8은 본 발명의 다양한 실시예에 따른 태스크 온톨로지의 개념도를 도시한다.
도 9a는 본 발명의 다양한 실시예에 따른 추론된 추가 기능을 이용하여 태스크를 수행할 디바이스를 선택하는 과정을 설명하기 위한 개념도를 도시한다.
도 9b는 전자 장치의 태스크를 수행할 디바이스 선택 과정을 설명하기 위한 개념도를 도시한다.
도 10은 본 발명의 다양한 실시예에 따른 추론에 의한 온톨로지 갱신을 설명하는 흐름도를 도시한다.
도 11a 내지 11d는 본 발명의 다양한 실시예에 따른 온톨로지 갱신을 설명하기 위한 개념도를 도시한다.
도 12는 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스를 선택하는 과정을 설명하기 위한 흐름도를 도시한다.
도 13은 본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 14는 본 발명의 다양한 실시예에 의한 전자 장치가 표시하는 화면의 개념도를 도시한다.
도 15는 본 발명의 다양한 실시예에 따른 전자 장치가 표시하는 화면을 설명하기 위한 개념도들을 도시한다.
도 16은 본 발명의 다양한 실시예에 따른 디바이스 등록을 위한 화면을 설명하기 위한 개념도를 도시한다.
도 17은 본 발명의 다양한 실시예에 따른 디바이스 등록 가이드의 화면을 설명하기 위한 개념도를 도시한다.
도 18은 본 발명의 다양한 실시예에 따른 디바이스 등록 여부를 나타낼 수 있는 화면의 개념도를 도시한다.
도 19는 본 발명의 다양한 실시예에 따른 등록된 디바이스의 삭제 과정을 설명하기 위한 개념도를 도시한다.
도 20a 및 20b는 본 발명의 다양한 실시예에 따른 NFC를 통한 디바이스 검색을 위한 화면의 개념도를 도시한다.
도 21은, 본 발명의 다양한 실시예에 따른 태스크 검색 및 등록을 수행하기 위한 화면의 개념도를 도시한다.
도 22는 본 발명의 다양한 실시예에 따른 추천 태스크의 선택을 설명하기 위한 개념도를 도시한다.
도 23은 본 발명의 다양한 실시예에 따른 검색창 입력을 통한 태스크 검색을 설명하기 위한 개념도를 도시한다.
도 24는 본 발명의 다양한 실시예에 따른 추천 태스크의 등록 과정을 설명하기 위한 화면의 개념도를 도시한다.
도 25a 내지 25c는 본 발명의 다양한 실시예에 따른 수동 태스크 등록을 설명하기 위한 화면의 개념도들을 도시한다.
도 26a 및 26b는 본 발명의 다양한 실시예에 따른 태스크의 캡처 등록을 설명하기 위한 화면의 개념도들을 도시한다.
도 27a 및 27b는 본 발명의 다양한 실시예에 따른 태스크 수정을 위한 화면의 개념도들을 도시한다.
도 28은 본 발명의 다양한 실시예에 따른 추천 실행을 위한 화면을 설명하기 위한 개념도를 도시한다.
도 29는 본 발명의 다양한 실시예에 의한 또 다른 화면 구성을 설명하기 위한 개념도를 도시한다.
도 30은 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스의 등록 과정을 설명하기 위한 개념도를 도시한다.
도 31a 내지 31c는 본 발명의 다양한 실시예에 따른 디바이스 등록을 설명하기 위한 개념도를 도시한다.
도 32a 및 32b는 본 발명의 다양한 실시예에 따른 디바이스 검색을 설명하기 위한 개념도를 도시한다.
도 33a 내지 33c는 본 발명의 다양한 실시예에 따른 태스크 화면의 개념도들을 도시한다.
도 34는 본 발명의 다양한 실시예에 따른 태스크 선택 화면의 개념도를 도시한다.
도 35는 선택이 가능한 태스크를 선택한 경우의 화면의 개념도를 도시한다.
도 36a 내지 36c는, 수동 태스크 생성시, 태스크를 수행할 디바이스의 선택을 위한 화면의 개념도들을 도시한다.
도 37a 및 37b는 수동 태스크 생성 시의 화면의 개념도를 도시한다.
도 38a 및 38b는 태스크 선택에 따른 화면 변경을 설명하기 위한 개념도들을 도시한다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things; IoT)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 발명의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 IoT(internet of things) 네트워크 구성 예를 나타내는 도면이다. 오늘날 사물 통신은 이동 통신 네트워크를 이용하여 사람과 사물, 사물과 사물간 지능 통신을 할 수 있는 M2M((machine to machine) 개념에서 인터넷으로 영역을 확장하여 사물은 물론, 현실과 가상 세계의 모든 정보와 상호 작용하는 개념으로 빠르게 진화하고 있다. 즉, 언제 어디서나 안전하고 편리하게 실시간으로 사람과 사물, 사물과 사물간 지능 통신을 할 수 있도록 하는 M2M은 인터넷을 매개로 주위의 모든 사물을 연결하면서 IoT로 영역을 확장 중에 있다.
IoT는 각종 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술을 의미한다. 여기서 사물이란 가전제품, 모바일 장비, 웨어러블 컴퓨터 등 다양한 임베디드 시스템(스마트폰과 같은 전자기기의 컴퓨터 시스템)을 포함할 수 있다. IoT 장치에 연결되는 사물들은 자신을 구별할 수 있는 식별자(ID)를 포함할 수 있다. 또한, 예컨대, 상기 IoT 장치는 특정 IP(internet protocol) 주소를 가지고 인터넷으로 연결될 수 있으며, 외부 환경으로부터의 정보 취득을 위해 센서를 내장할 수 있다.
이러한 IoT가 적용된 네트워크의 일 예를 도 1에 도시하였다. 도 1은 IoT 네트워크를 나타낸 도면이다. 도 1을 참조하면, IoT 네트워크(100)는 스마트 LED(10), 온도계(20), 세탁기(30), 스마트 냉장고(40), 로봇 청소기(50), 스마트 TV(60), 디지털 카메라(70), 스마트폰(80), 웨어러블 기기(90)등을 포함할 수 있다.
이러한 IoT 네트워크(100)를 구성하는 장치는 스마트 LED(10), 온도계(20)와 같이 장치 고유의 기능이 비교적 단순하며, 이에 따라, IoT 서비스를 제공하기 위한 하드웨어 역시 작게 구현되는 작은 사물(small things)(110), 세탁기(30), 스마트 냉장고(40), 로봇 청소기(50)와 같은 디스플레이가 없는 큰 사물(big things)(120), 스마트 TV(60), 디지털 카메라(70), 스마트폰(80), 웨어러블 기기(90)와 같은 디스플레이를 구비한 큰 사물(big things)(130)로 분류될 수 있다.
각 장치들은 구비된 센서를 통해 측정된 센서 데이터 또는 장치에서 수집된 정보를 포함하는 데이터(예컨대, 패킷 형태의 데이터)를 송수신할 수 있으며, 이에 따라, 정보들은 특정 장치, 예를 들어, 스마트폰(80)으로 수집되어 사용자에게 제공될 수 있다. 또는 외부의 서비스 서버로 제공되어, 각 정보를 이용한 서비스가 제공되게 할 수 있다. 예를 들어, 온도계(20)에 의해 측정된 실내 온도가 스마트폰(80)으로 전송되고, 사용자가 이를 확인하여 실내 온도를 조정할 수 있다.
또한, 본 발명의 다양한 실시 예에 따라, 상기 각 IoT 장치들로부터 전송된 정보(예컨대, IoT 장치의 정보)는 서버로 전송될 수 있으며, 서버에서는 상기 전송된 정보를 분석하고, 각 IoT 장치의 현재 상태 또는 예측 상태를 판단할 수 있다. 상기 서버에서 판단한 현재 상태 및/또는 예측 상태와 관련된 정보는 스마트폰(80) 등에 전송됨으로써, 사용자는 각 IoT 장치의 현재 상태 및/또는 예측 상태를 확인할 수 있다. 예컨대, 사용자는 상기 현재 상태 및/또는 예측 상태를 확인함으로써 각 IoT 장치의 이상이 발생하기 전 사전 조치를 취할 수 있다.
상기 IoT 네트워크(100)를 구성하는 각 장치들은 예컨대 하나의 노드로서 동작할 수 있으며, 스마트 TV(60), 디지털 카메라(70), 스마트폰(80), 웨어러블 기기(90) 등과 같은 장치들은 다른 노드 장치의 정보를 수집하는 싱크 노드로 지정될 수도 있다.
상기 도 1에서는 복수의 디바이스들을 포함하는 IoT 네트워크를 예를 들어 설명하였으나, 본 발명의 다양한 실시 예들이 디바이스 또는 IoT 네트워크로 한정되는 것은 아니며, 장치들 간의 통신이 가능한 어떠한 전자 장치라도 본 발명에 포함될 수 있다.
도 2a는 본 발명의 다양한 실시 예에 따른 네트워크 구성 예를 나타내는 도면이다. 도 2a를 참조하면, 본 발명의 다양한 실시 예에 따른 네트워크는, 서버(210), 통신 네트워크(220), 전자 장치(230), 또는 적어도 하나의 디바이스(240)를 포함할 수 있다. 상기 디바이스(240)는 본 발명의 이해를 돕기 위한 예로서 지칭된 것이며, 특정한 유형의 전자 장치로 한정되는 것은 아니다. 예컨대, 상기 디바이스(240)는 유선 또는 무선의 통신 기능을 포함하는 어떠한 전자 장치도 디바이스에 포함될 수 있다. 또한, 상기 서버(210)는 지식 기반의 IPA(intelligent personal assistant) 서버로 지칭될 수 있으나, 본 발명의 실시 예들에 따른 서버가 특정 명칭의 서버로 한정되는 것은 아니다. 본 문서에서 "디바이스"는, 특정 태스크를 직접 수행할 수 있는 전자 장치를 의미할 수 있으며, 특정 태스크를 생성 및 관리하며, 태스크 수행 명령을 전달하는 "전자 장치"와 구분되도록 기재된 것일 수 있다.
상기 통신 네트워크(220)는 서버(210), 전자 장치(230), 또는 디바이스(240) 간의 통신을 제공할 수 있다. 예를 들면, 상기 통신 네트워크(220)는 Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 셀룰라(cellular) 통신(예컨대, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 다양한 실시 예에 따라, 상기 전자 장치(230)에서는 상기 디바이스(240)로부터 다양한 정보들을 수신할 수 있다. 본 발명의 다양한 실시 예에 따라, 상기 디바이스(240)는 근거리 무선 통신을 통해 정보를 제공할 수 있는 무선 태그(tag), 사물 인터넷(IoT(internet of things)) 장치, 비콘 송신기(beacon transmitter) 중 어느 하나일 수 있다.
도 2b는 본 발명의 다양한 실시예에 따른 엔티티들의 블록도를 도시한다. 도 2b에 도시된 바와 같이, 서버(210)는 프로세서(211), 메모리(212) 및 통신 회로(213)를 포함할 수 있다. 아울러, 전자 장치(230)는 프로세서(231), 메모리(232), 통신 회로(233), 디스플레이(234) 및 입/출력 인터페이스(235)를 포함할 수 있다. 디바이스(240)는 프로세서(241), 메모리(242) 및 통신 회로(243)를 포함할 수 있다.
프로세서(211,231,241)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(211,231,241)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(211,231,241)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(211,231,241)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(211,231,241) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
메모리(212,232,242)(예: 메모리(130))는, 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 서버(210), 전자 장치(230) 또는 디바이스(240)와 기능적으로 또는 물리적으로 연결될 수 있다.
통신 회로(213,233,243)는, 예를 들면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈, NFC 모듈 및 RF 모듈를 포함할 수 있다. 셀룰러 모듈은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 가입자 식별 모듈(예: SIM 카드)을 이용하여 통신 네트워크 내에서 서버(210), 전자 장치(230) 또는 디바이스(230)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 프로세서가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈 또는 NFC 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
본 문서 전체에서, 서버(210), 전자 장치(230) 또는 디바이스(240)가 특정 동작을 수행한다는 의미는, 서버(210), 전자 장치(230) 또는 디바이스(240)가 포함하는 프로세서(211,231,241)가 특정 동작을 수행하는 것으로 이해될 수 있을 것이다. 아울러, 서버(210), 전자 장치(230) 또는 디바이스(240)가 다른 엔티티로 특정 신호를 송신하거나 또는 다른 엔티티로부터 특정 신호를 수신한다는 의미는, 서버(210), 전자 장치(230) 또는 디바이스(240)가 포함하는 통신 회로(211,231,241)가 특정 신호를 송수신하는 것으로 이해될 수 있을 것이다. 아울러, 서버(210), 전자 장치(230) 또는 디바이스(240)가 특정 정보를 저장한다는 의미는, 서버(210), 전자 장치(230) 또는 디바이스(240)가 포함하는 메모리(212,232,242)가 특정 정보를 저장하는 것으로 이해될 수 있을 것이다. 아울러, 전자 장치(230)가 특정 화면을 표시한다는 것은, 전자 장치(230)가 포함하는 디스플레이(234)에 특정 화면을 표시하는 것으로 이해될 수 있을 것이다. 또한, 전자 장치(230)가 특정 정보를 획득하는 것은, 전자 장치(230)가 포함하는 입/출력 인터페이스(235)가 특정 정보를 획득하는 것으로 이해될 수 있을 것이다.
한편, 디바이스(240) 또한 전자 장치(230)와 같이 디스플레이(234) 및 입/출력 인터페이스(235)를 더 포함할 수도 있다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 동작을 수행하기 위한 흐름도를 도시한다. 도 3의 실시예는, 도 4 및 5를 참조하여 더욱 상세하게 설명하도록 한다. 도 4는 본 발명의 다양한 실시예에 따른 시맨틱 정보 기반의 태스크 온톨로지의 개념도이며, 도 5는 본 발명의 다양한 실시예에 따른 시맨틱 정보 기반의 제품 정보 온톨로지의 개념도를 도시한다.
310 동작에서, 서버(210)는 시맨틱 정보 기반의 태스크 온톨로지를 전자 장치(230)로, 예를 들어 통신 회로(213)를 이용하여 송신할 수 있다. 여기에서, 시맨틱 정보 기반의 의미는, 텍스트의 의미를 기반으로 정보를 처리하는 방식을 의미할 수 있다. 더욱 상세하게, 시맨틱 정보 기반의 의미는, 해당 텍스트의 의미론적인 정보를 이해하고 다양한 정보 간 의미요소를 연결함으로써 지능적 판단에 따라 추출ㆍ가공하는 처리방식을 의미할 수 있다. 이를 위해 컴퓨터가 인식할 수 있는 언어(시맨틱 마크업 언어)를 이용해 웹페이지의 정보를 나타내는 방식이 적용될 수 있다. 시맨틱 마크업 언어로는 XML(eXtensible Markup Language: 확장생성언어), RDF(Resource Description Framework: 자원서술체계) 등의 언어기술이 표준화되어 있다. 한편, 온톨로지는, 시맨틱 정보 기반의 구성 요소 사이의 관계를 의미할 수 있으며, 예를 들어 계층적인 구조를 가질 수 있지만, 그 구조에는 제한이 없다. 예를 들어, 온톨로지는, 제1구성요소와 제2구성요소의 의미요소가 연결된 경우에, 어떠한 관계를 가지는지를 기술할 수 있다. 더욱 상세하게는, 온톨로지는, "A-101"이라는 제품 모델의 "TV"의 구성 요소의 하위 개념이라는 관계를 기술할 수 있으며, 이는 특정 TV 제품 모델이 TV의 개념의 하위 집합이라는 것과 연관될 수 있다.
예를 들어, 서버(210)는 도 4와 같은 시맨틱 정보 기반의 태스크 온톨로지(400)를 전자 장치(230)로 송신할 수 있다. 태스크 온톨로지(400)는 적어도 하나의 항목(410,420,430,431)을 포함할 수 있다. 여기에서, "영화 모드" 항목(430)은 "액션 영화 보기" 항목(431)과 상하 관계를 가질 수 있다. 항목(431)은 필수 아이템(432) 및 선택 아이템(470)을 포함할 수 있다. 각 아이템(432,470)들 각각은 태스크를 수행에 요구되는 디바이스 정보(440,450,460,471)과 디바이스 속성(440,450,460,471) 각각에 대응하는 기능(441,442,443,451,452,461,472,473)을 포함할 수 있다. 여기에서, "디바이스 정보"는 TV, 에어콘 등의 디바이스의 종류를 구분하기 위한 집합을 의미할 수 있다. 아울러, "기능"은 특정 태스크를 수행하기 위한 디바이스의 기능을 의미할 수 있다. 한편, 항목(430) 또한 태스크 온톨로지를 구성하는 구성요소로, 태스크라 명명될 수도 있다.
320 동작에서, 전자 장치(230)는 태스크 온톨로지 중 적어도 하나의 항목을 선택할 수 있다. 본 발명의 다양한 실시예에서, 전자 장치(230)는 적어도 하나의 항목(410,420,430,431)을 표시할 수 있으며, 표시된 항목 중 적어도 하나를 선택하는 입력을 수신할 수 있다. 전자 장치(230)는 태스크 온톨로지(400)의 구조에 따라, 동일한 계층의 항목들(예를 들어, 410,420,430)을 표시하고, 어느 하나의 항목(예를 들어, 430)이 선택되면, 하위 항목(예를 들어, 431)을 더 표시할 수도 있다. 전자 장치(230)는 하위 항목 중 적어도 하나를 선택하는 입력을 수신할 수도 있다. 이에 따라, 전자 장치(230)는 태스크 온톨로지(400) 중 적어도 하나의 항목을 선택할 수 있다. 또는, 전자 장치(230)는 사용자의 입력 없이 적어도 하나의 항목을 선택할 수도 있다. 예를 들어, 전자 장치(230)는 주변 환경을 센싱하고, 센싱 결과에 따라 적어도 하나의 항목을 선택할 수도 있다.
한편, 태스크 온톨로지(400)는, 개별 태스크 관계, 태스크 수행에 요구되는 디바이스 정보 및 태스크 수행에 요구되는 기능 중 적어도 하나에 기초하여 미리 서버(210)에서 생성되어 저장될 수 있다. 또는, 태스크 온톨로지(400)는 전자 장치(230)에 의하여 생성 또는 갱신될 수 있다. 더욱 상세하게, 태스크 온톨로지(400)는 영화 모드(430)의 항목이 액션 영화 보기(431)의 항목을 포함하도록 설정될 수 있다. 즉, 태스크 온톨로지(400)는 "영화"가 "액션 영화"을 포함할 수 있는 의미라는 것, 즉 개별 태스크 사이의 관계에 기초하여 설정될 수 있다. 또는, 태스크 온톨로지(400)는 액션 영화 보기(431)의 항목을 수행하는데 요구되는 디바이스(예를 들어, TV(440), 스피커(450), 스마트폰(460))가 연관되도록 설정될 수도 있다. 즉, 태스크 온톨로지(400)는 태스크 수행에 요구되는 디바이스에 기초하여 설정될 수 있다. 여기에서, 태스크 온톨로지(400)는 태스크 수행에 요구되는 정확한 디바이스 모델명까지는 포함하지 않으면서, 디바이스의 종류를 나타내는 디바이스 정보(440,450,460)를 포함할 수 있다. 이에 따라, 태스크 온톨로지(400)에 기초하여 다양한 디바이스 모델들이 태스크를 수행할 디바이스로 선택될 수 있으며, 이에 대하여서는 더욱 상세하게 후술하도록 한다. 또는, 태스크 온톨로지(400)의 액션 영화 보기(431)는 3D 기능(441), Wifi(442), HDMI(443), 블루투스(451), Wifi(452), MHL(461) 등의 태스크 수행에 요구되는 기능에 기초하여 설정될 수도 있다. 뿐만 아니라, 태스크 온톨로지(400)는 각 디바이스에 대한 제어 정보를 포함할 수도 있다. 예를 들어, 태스크 온톨로지(400)의 액션 영화 보기(431) 항목에서 설정된 TV(440)에 대한 밝기 정보, 색상 정보 등의 제어 정보를 더 포함할 수도 있다. 제어 정보는, 사용자 입력에 의하여 설정되거나, 디폴트된 값으로 설정되거나, 현재 디바이스의 동작 정보에 기초하여 설정될 수 있다.
330 동작에서, 서버(210)는 시맨틱 정보 기반의 제품 정보 온톨로지를, 예를 들어 통신 회로(213)를 통하여, 전자 장치(230)로 송신할 수 있다. 전자 장치(230)는, 예를 들어 통신 회로(233)를 통하여 시맨틱 정보 기반의 제품 정보 온톨로지를 수신할 수 있다. 예를 들어, 서버(210)는 도 5와 같은 제품 정보 온톨로지(500)를 송신할 수 있다. 제품 정보 온톨로지(500)는 디바이스 속성(510,530,540)을 포함할 수 있다. 디바이스 속성(510,530,540)은, 예를 들어 TV 또는 DVD 플레이어 또는 스마트 폰과 같은 적어도 하나의 속성들을 포함할 수 있다. 디바이스 속성(510,530,540)의 하위에는 모델명 정보(511,514,521,524,531,541) 가 정의될 수 있다. 모델명 정보(511,514,521,524,531,541) 각각의 하위에는 제조사 정보(512,515,522,525,532,542)가 정의될 수 있다. 아울러, 모델명 정보(511,514,521,524,531,541) 각각의 하위에는 기능(513,516,523,526,533,543)이 정의될 수 있다. 구현에 따라, 제조사 정보(512,515,522,525,532,542)는 정의되지 않을 수도 있다. 여기에서, 각각의 모델명 정보(511,514,521,524,531,541)에 대응하는 기능(513,516,523,526,533,543)을 시맨틱 정보 기반으로 저장될 수 있다. 더욱 상세하게, 모델별 정보, 제조사 정보, 기능, 디바이스 속성의 의미요소들간의 관계가 온톨로지로 저장될 수 있다.
제품 정보 온톨로지(500)는 스펙 등의 시맨틱 정보에 기초하여 서버(210) 등에 의하여 생성될 수 있으며, 전자 장치(230) 등에 의하여 갱신될 수도 있다.
본 발명의 다양한 실시예에서, 서버(210)는 저장하고 있는 제품 정보 온톨로지 전부를 송신할 수 있거나 또는 제품 정보 온톨로지의 일부를 송신할 수도 있다. 예를 들어, 전자 장치(230)가 태스크 온톨로지(400) 중 액션 영화 보기(431)의 항목을 선택하면, 전자 장치(230)는 선택된 항목에 대한 정보를 서버(210)로 송신할 수도 있다. 이 경우, 서버(210)는 제품 정보 온톨로지(500) 전부를 송신할 수 있다. 또는, 서버(210)는 제품 정보 온톨로지(500) 중 액션 영화 보기(431)의 항목에 대응하는 디바이스 속성(예를 들어, TV(510), 스마트폰(540))을 선택하여 전자 장치(230)로 송신할 수도 있다. 또는, 서버(210)는 전자 장치(230)로부터 디스커버리한 디바이스 목록을 수신한 경우에는, 디스커버리한 디바이스에 대응하는 제품 정보 온톨로지를 전자 장치(230)로 송신할 수 있다. 또는, 서버(210)가 전자 장치(230)에 미리 등록된 디바이스에 대한 정보를 획득한 경우에는, 전자 장치(230)에 미리 등록된 디바이스에 대한 제품 정보 온톨로지를 전자 장치(230)에 송신할 수도 있다. 또 다른 실시예에서는, 전자 장치(230)는 특정 디바이스를 등록하는 시점에서 등록 디바이스에 대한 제품 정보 온톨로지를 미리 저장할 수도 있다.
또 다른 실시예에서, 서버(210)는 상술한 온톨로지와 같은 계층적 구조가 아닌, 디바이스 및 기능에 대한 테이블 형태의 정보를 전자 장치(230)로 송신할 수도 있다. 예를 들어, 서버(210)는 표 1과 같은 정보를 송신할 수도 있다.
| 디바이스 | 기능 |
| A-101 | HDMI 기능을 제공 |
| A-203 | HDMI 기능을 제공 3D 기능을 제공 Wi-fi 연결 가능 |
| B38 | Wi-fi 연결 가능 |
| B45 | 3D 지원. 유/무선 연결성 제공 |
| D-X | MHL, Wi-fi, NFC, Bluetooth |
예를 들어, 서버(230)는 온톨로지의 계층적인 구조가 아닌 테이블 형식으로 디바이스 및 기능을 연관하여 저장할 수도 있으며, 표 1과 같은 테이블 형식의 정보의 전체 또는 일부를 전자 장치(230)로 송신할 수 있다. 즉, 본 발명의 다양한 실시예에서, 디바이스 및 기능은 온톨로지 형식 또는 테이블 형식 등의 다양한 형식에 따를 수 있으며, 모두 시맨틱 정보 기반으로 생성될 수 있다.
340 동작에서, 전자 장치(230)는 전자 장치(230)와 연결 가능한 적어도 하나의 디바이스(240)를 디스커버리할 수 있다. 전자 장치(230)는 다양한 통신 방식에서 정의된 절차에 기초하여 적어도 하나의 디바이스(240)를 디스커버리할 수 있으며, 디스커버리의 방식에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다. 한편, 본 발명의 다양한 실시예에서, 전자 장치(230)는 미리 등록된 디바이스(240)를 확인할 수 있으며, 더욱 상세하게는 디바이스(240)의 식별 정보(예를 들어, 모델명) 및 기능을 확인할 수 있다.
350 동작에서, 전자 장치(230)는 제품 정보 온톨로지(500)의 디바이스 정보 중 태스크 온톨로지(400)에서 선택된 항목에 대응하는 디바이스 정보를 판단할 수 있으며, 판단된 디바이스 정보의 기능과 디스커버리된 적어도 하나의 디바이스의 기능을 시맨틱 정보 기반으로 비교할 수 있다. 360 동작에서, 전자 장치(230)는 비교 결과에 기초하여, 디스커버리된 적어도 하나의 디바이스 중 태스크를 수행할 디바이스를 선택할 수 있다. 예를 들어, 전자 장치(230)가 액션 영화 보기(431)의 항목을 선택한 경우를 상정하도록 한다. 전자 장치(230)는 액션 영화 보기(431)의 항목과 TV(440), 스피커(450), 스마트폰(460) 및 전구(470)의 디바이스 속성이 연관된 것을 태스크 온톨로지(400)에 기초하여 판단할 수 있다. 아울러, 전자 장치(230)는 TV(440)의 디바이스 속성(440)에 대응하는 기능이 3D 기능(441), Wifi기능(442), HDMI기능(443)인 것을 판단할 수 있다. 전자 장치(230)는 제품 정보 온톨로지(500) 중 3D 기능(441), Wifi기능(442), HDMI기능(443)을 만족하는 디바이스가 A-203(514)인 것을 판단할 수 있다 . 이는, 전자 장치(230)가 A-203(514)의 기능(515)을 시맨틱 정보 기반으로 태스크 온톨로지(400)와 비교하는 것으로부터 기인한다. 이에 따라, 전자 장치(230)는 태스크를 직접 수행할 디바이스의 후보들을 시맨틱 정보 기반으로 자동으로 검색할 수 있다. 또 다른 실시예에서, 전자 장치(230)는 제품 정보 온톨로지(500) 중 3D 기능(441), Wifi기능(442), HDMI기능(443)을 만족하는 디바이스가 B45(524)인 것으로 판단할 수도 있다. 도 5에서의 B45(524)의 기능(526)은 "3D 지원. 유/무선 연결성 제공"이다. 전자 장치(230)는 "유/무선 연결성 제공"과 무선 통신의 Wifi기능(442) 및 유선 통신의 HDMI기능(443)을 매핑할 수도 있으며, 이는 시맨틱 정보 기반의 비교 결과에 의하여 가능할 수 있다. 전자 장치(230)는 태스크 온톨로지(400)의 선택된 항목에 대응하는 디바이스중 디스커버리한 디바이스를 태스크를 수행할 디바이스로 선택할 수 있다. 예를 들어, 전자 장치(230)가 A-203 디바이스를 디스커버리한 경우에는, 전자 장치(230)는 A-203 디바이스를 태스크를 수행할 디바이스로 결정할 수 있으며, B-45 디바이스를 디스커버리한 경우에는 B-45를 태스크를 수행할 디바이스로 결정할 수 있다.
상술한 과정에 따라서, 전자 장치(230)는 디스커버리된 전자 장치들 중 선택된 태스크를 수행할 디바이스를 선택할 수 있다. 이에 따라, 전자 장치(230)는 태스크를 생성할 수 있다. 예를 들어, 전자 장치(230)는 액션 영화 보기를 수행할 디바이스 중 TV를 A-203으로 선택한 태스크를 생성할 수 있으며, 추가적으로 다른 디바이스 속성에 대응하는 태스크를 수행할 디바이스를 선택하여, 생성된 태스크를 서버(210)와 공유할 수도 있다. 서버(210)는 공유된 태스크를 태스크 온톨로지(400)에 추가할 수도 있다. 예를 들어, 서버(210)는 제 1 장소에서의 액션 영화 보기의 태스크에 대응하여, A-203의 디바이스를 연관하여 저장할 수 있다.
한편, 전자 장치(230)는 TV 이외의 다른 디바이스들도 선택할 수 있다. 아울러, 도 3의 실시예에서는, 전자 장치(230)가 태스크를 수행할 디바이스를 선택하는 것과 같이 도시되어 있지만 이는 단순히 예시적인 것이다. 본 발명의 다양한 실시예에서, 전자 장치(230)가 태스크 온톨로지 중 선택된 항목에 대한 정보와 디스커버리 결과를 서버(210)로 송신할 수도 있으며, 서버(210)가 저장하고 있는 태스크 온톨로지 및 제품 정보 온톨로지와, 수신된 디스커버리 결과를 이용하여 태스크를 수행할 적어도 하나의 디바이스를 선택할 수도 있다. 즉, 서버(210)가 태스크를 수행할 디바이스를 선택하여, 전자 장치(230)에게 선택 결과를 송신할 수도 있다.
370 동작에서, 전자 장치(230)는 태스크 수행 명령을 획득할 수 있다. 380 동작에서, 전자 장치(230)는 태스크를 수행할 디바이스들에 대하여 태스크 수행 명령을 송신할 수 있다. 전자 장치(230)는 태스크를 수행할 디바이스 각각에 태스크 온톨로지(400)에서 설정된 제어 정보를 송신할 수 있다. 예를 들어, 전자 장치(230)는 A-203의 TV로 액션 영화 보기(413)의 항목에 대응하여 설정된 색상 정보, 밝기 정보를 송신할 수 있다. A-203의 TV는 수신된 제어 정보에 따라 동작할 수 있으며, 이에 따라 액션 영화 시청에 사용자에 의하여 설정되거나 최적화되어 설정된 색상 및 밝기로 화면을 표시할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스의 선택을 설명하기 위한 개념도를 도시한다.
전자 장치(230)는 제 1 네트워크(610)에 배치될 수 있다. 여기에서, 제 1 네트워크(610)는 통신이 수행될 수 있는 범위를 나타낼 수 있으며, 물리적 범위로 한정되지 않는다. 전자 장치(230)는 제 1 네트워크(610)에 배치되는 경우, 제 1 TV(611) 및 제 2 TV(612)와 통신을 수행할 수 있다. 전자 장치(230)는 다양한 통신 방식에 기초하여 제 1 TV(611) 및 제 2 TV(612)와 통신(613,614)을 수행할 수 있으며, 해당 통신 방식에 정의된 절차에 따라 제 1 TV(611) 및 제 2 TV(612) 각각을 디스커버리할 수 있다.
한편, 전자 장치(230)는 서버(210)로부터 태스크 온톨로지 및 제품 정보 온톨로지 중 적어도 하나(601)를 수신할 수 있다. 전자 장치(230)는, 도 3과 관련하여 상술한 바에 따라서, 디스커버리된 적어도 하나의 TV(611,612) 중 태스크를 수행할 디바이스(612)를 선택할 수 있다. 예를 들어, 전자 장치(230)는 도 4 및 도 5의 태스크 온톨로지(400) 및 제품 정보 온톨로지(500)에 따라 "액션 영화 보기"의 항목을 수행할 디바이스로 A-203의 TV(612)를 선택할 수 있다. 이에 따라, 전자 장치(230)는 TV(612)를 태스크를 수행할 디바이스로 선택하여 태스크를 생성할 수 있으며, 생성된 태스크를 서버(210)와 공유할 수 있다. 한편, 추후 태스크 수행 명령이 검출되면, 전자 장치(230)는 "액션 영화 보기"의 태스크의 수행 명령을 TV(612)로 송신할 수 있다. 전자 장치(230)는 태스크 온톨로지에 미리 설정된 제어 정보를 TV(612)로 송신할 수도 있다.
한편, 전자 장치(230)는 제 1 네트워크(610)를 벗어나 제 2 네트워크(620)에 배치될 수 있다. 전자 장치(230)는 제 2 네트워크(610)에 배치되는 경우, 제 3 TV(621) 및 제 4 TV(622)와 통신을 수행할 수 있다. 전자 장치(230)는 다양한 통신 방식에 기초하여 제 3 TV(621) 및 제 4 TV(622)와 통신(623,624)을 수행할 수 있으며, 해당 통신 방식에 정의된 절차에 따라 제 3 TV(621) 및 제 4 TV(622) 각각을 디스커버리할 수 있다.
한편, 전자 장치(230)는 서버(210)로부터 태스크 온톨로지 및 제품 정보 온톨로지 중 적어도 하나(601)를 수신할 수 있다. 전자 장치(230)는, 도 3과 관련하여 상술한 바에 따라서, 디스커버리된 적어도 하나의 TV(621,622) 중 태스크를 수행할 디바이스(622)를 선택할 수 있다. 예를 들어, 전자 장치(230)는 도 4 및 도 5의 태스크 온톨로지(400) 및 제품 정보 온톨로지(500)에 따라 "액션 영화 보기"의 항목을 수행할 디바이스로 B-45의 TV(622)를 선택할 수 있다. 이에 따라, 전자 장치(230)는 TV(622)를 태스크를 수행할 디바이스로 선택하여 태스크를 생성할 수 있으며, 생성된 태스크를 서버(210)와 공유할 수 있다. 한편, 추후 태스크 수행 명령이 검출되면, 전자 장치(230)는 "액션 영화 보기"의 태스크의 수행 명령을 TV(622)로 송신할 수 있다. 전자 장치(230)는 태스크 온톨로지에 미리 설정된 제어 정보를 TV(612)로 송신할 수도 있다.
상술한 바와 같이, 전자 장치(230)는 다양한 환경(예를 들어, 제 1 네트워크(610), 제 2 네트워크(620))에 배치되는 경우, 태스크를 수행할 수 있는 디바이스를, 태스크 온톨로지 및 제품 정보 온톨로지를 이용하여 선택할 수 있다. 특히, 전자 장치(230)는 시맨틱 정보 기반의 비교 결과에 기초하여 태스크를 수행할 디바이스를 선택할 수 있어, 사용자의 개입 없이도 설정된 태스크를 수행할 수 있다. 더욱 상세하게, 전자 장치(230)는 태스크 온톨로지의 구성 요소와 제품 정보 온톨로지의 구성 요소 사이의 의미 요소간 관계에 기초한 비교를 수행할 수 있으며, 그 결과에 기초하여 태스크를 수행할 디바이스를 선택할 수 있다. 이에 따라, 미리 태스크를 수행할 디바이스에 대한 선택할 것이 요구되지 않으며, 전자 장치(230)의 이동에 따라 태스크 수행이 용이하게 수행될 수 있다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치의 동작을 설명하기 위한 흐름도를 도시한다. 도 7의 실시예는, 도 8을 참조하여 더욱 상세하게 설명하도록 한다. 도 8은 본 발명의 다양한 실시예에 따른 태스크 온톨로지의 개념도를 도시한다.
710 동작에서, 전자 장치는 태스크 온톨로지의 적어도 하나의 항목을 선택할 수 있다. 720 동작에서, 전자 장치는, 전자 장치가 디스커버리한 디바이스에 대한 정보를 획득할 수 있다. 730 동작에서, 태스크 온톨로지에서 선택한 항목에 대응하는 기능에 기초하여, 추가 기능을 추론할 수 있다. 예를 들어, 도 8과 같이, 전자 장치는 선택한 항목에 대응하는 태스크 온톨로지(800)를 획득할 수 있다. 태스크 온톨로지(800)는, TV(810)가 3D 기능(811), Wifi(812), Dolby-digital 5.1(813)의 기능을 포함하도록 설정될 수 있다. 아울러, 태스크 온톨로지(800)는 스마트폰(820)이 MHL 기능(821)을 포함하도록 설정될 수 있다. 전자 장치는, Dolby-digital 5.1(813)의 기능에 기초하여, Dolby-EX(814), Dolby Plus(815), Dolby live(816)의 추가 기능을 추론할 수 있다. 전자 장치는, 시맨틱 분석 결과의 유사도에 기초하여, "Dolby"의 텍스트를 포함하는 추가 기능을 추론할 수 있다. 더욱 상세하게, 전자 장치는, "Dolby-digital 5.1"의 구성 요소의 의미와 유사한 의미를 가지는 것으로 판단된 구성 요소인 Dolby-EX(814), Dolby Plus(815), Dolby live(816)를 추가 기능으로서 추론할 수 있다
아울러, 전자 장치는 스마트폰(820)의 MHL(821)의 기능으로부터 TV(810)의 MHL Adapter(817) 및 HDMI(818)의 추가 기능을 추론할 수 있다. 전자 장치는 MHL(821) 기능이 스마트폰 및 TV를 연결하기 위한 기능이라는 점으로부터, TV의 유선 연결을 위한 HDMI(818)의 추가 기능 및, HDMI(818)과 MHL(821)의 호환을 위한 MHL Adapter(817)의 추가 기능을 추론할 수 있다. 한편, 도 8의 실시예에서는, 전자 장치가 태스크 온톨로지(800)에 기초하여 기능에 대응하는 추가 기능을 추론하는 과정을 설명하였지만, 본 발명의 다양한 실시예에 의한 전자 장치는 제품 정보 온톨로지에 기초하여 기능에 대응하는 추가 기능을 추론할 수도 있다.
740 동작에서, 전자 장치는 태스크 온톨로지의 선택된 항목의 기능 및 추가 기능과, 디스커버리한 디바이스의 기능을 이용하여 태스크를 수행할 디바이스를 선택할 수 있다. 750 동작에서, 전자 장치는 선택된 디바이스에 기초하여 태스크를 생성할 수 있다.
도 9a는 본 발명의 다양한 실시예에 따른 추론된 추가 기능을 이용하여 태스크를 수행할 디바이스를 선택하는 과정을 설명하기 위한 개념도를 도시한다. 전자 장치는, 예를 들어 도 8에서와 같이, 미리 획득한 태스크 온톨로지(800)를 이용하여 추가 기능(814,815,816,817,818)을 추론한 것을 상정하도록 한다. 한편, 전자 장치는 디스커버리한 디바이스의 기능을 제품 정보 온톨로지를 이용하여 판단할 수 있다. 예를 들어, 도 9a에서와 같이, 전자 장치는 디스커버리한 SUHD123(910)의 TV가 dolby EX(911)의 기능, 3D(912)의 기능, Wifi(913)의 기능 및 HDMI(914)의 기능을 포함함을 제품 정보 온톨로지를 이용하여 판단할 수 있다.
전자 장치는, 디스커버리한 디바이스의 기능을, 태스크 온톨로지의 기능 및 추가 기능 중 적어도 하나와 비교할 수 있다. 예를 들어, 전자 장치는, SUHD123(910)의 Dolby EX(911)의 기능을, 태스크 온톨로지(800)의 Dolby digital 5.1의 기능(813)과 대응시킬 수 있다. 이는, 전자 장치가 태스크 온톨로지(800)의 Dolby digital 5.1의 기능(813)으로부터 Dolby EX(814)의 추가 기능을 추론한 것으로부터 기인할 수 있다. 즉, 전자 장치는, 태스크 온톨로지(800)로부터 추론한 추가 기능인 Dolby EX(814)를 디스커버리한 디바이스의 기능인 Dolby EX(911)와 대응시킬 수 있다. 한편, 전자 장치는 디스커버리한 디바이스의 3D(912), Wifi(913)의 기능을 태스크 온톨로지(800)의 3D 기능(811), Wifi(812) 각각과 대응시킬 수 있다.
전자 장치는, 태스크 온톨로지(800)의 MHL 기능(821)으로부터 추론된 HDMI(818)의 추가 기능이 디스커버리한 디바이스에 포함되는지를 판단할 수 있다. 전자 장치는, 디스커버리한 SUHD123(910)가 HDMI(914)의 기능을 가지는 것을 제품 정보 온톨로지를 이용하여 판단할 수 있으며, HDMI(914)의 기능을 추론된 HDMI(818)의 추가 기능에 대응시킬 수 있다. 이에 따라, 전자 장치는 SUHD123(910)을 태스크를 수행할 디바이스로 판단할 수 있다. 아울러, 전자 장치는 D-X(920)가 MHL(921)의 기능을 가짐을 제품 정보 온톨로지를 이용하여 판단할 수 있으며, MHL(921)의 기능을 태스크 온톨로지의 MHL(821)의 기능에 대응시킴으로써, D-X(920)를 태스크를 수행할 디바이스로 판단할 수 있다.
도 9b는 전자 장치의 태스크를 수행할 디바이스 선택 과정을 설명하기 위한 개념도를 도시한다. 도 9b에 도시된 바와 같이, 전자 장치(230)는 네트워크(930)에 배치될 수 있다. 전자 장치(230)는 제 1 TV(931)과 제 2 TV(932)를 디스커버리할 수 있으며, 제품 정보 온톨로지를 이용하여 제 1 TV(931)과 제 2 TV(932)의 기능을 판단할 수 있다. 이에 따라, 전자 장치(230)는 제 1 TV(931)가 HDMI의 기능을 제공하며, 제 2 TV(932)는 HDMI의 기능을 제공하지 않는 것을 판단할 수 있다.
한편, 전자 장치(230)는 서버(미도시)로부터 태스크 온톨로지를 수신할 수 있다. 예를 들어, 전자 장치(230)는 도 8에서의 태스크 온톨로지(800)를 수신할 수 있으며, 태스크 온톨로지(800)의 TV(810) 항목에서는 HDMI(818)의 기능을 미리 포함하지 않을 수 있다. 전자 장치(230)는 HDMI(818)의 기능이 최초 태스크 온톨로지(800)에는 포함되지 않으나, MHL(821) 기능으로부터 HDMI(818)의 기능을 추론할 수 있으며, 추론된 추가 기능인 HDMI(818)를 태스크를 수행할 디바이스를 선택하는 기준으로 이용할 수 있다. 이에 따라, 전자 장치(230)는 HDMI 기능을 제공하는 제 1 TV(931)를 태스크를 수행할 디바이스로 선택하며, HDMI 기능을 제공하지 않는 제 2 TV(932)를 태스크를 수행할 디바이스의 후보로부터 제외할 수 있다. 한편, 전자 장치(230)는 추론된 추가 기능을 포함한 태스크 온톨로지를 서버(미도시)와 공유할 수도 있으며, 서버(미도시)는 추론된 결과를 반영하여 태스크 온톨로지를 갱신할 수도 있다. 아울러, 상술한 바와 같이, 전자 장치(230)는 제품 정보 온톨로지에 대하여서도 추가 기능을 추론하여 서버(미도시)와 공유할 수도 있으며, 서버(미도시)는 공유되는 추가 기능을 이용하여 제품 정보 온톨로지를 갱신할 수도 있다.
만약 전자 장치(230)가 HDMI 기능을 제공하지 않는 제 2 TV(932)를 선택하였다면, 스마트폰의 MHL 기능이 결국 동작하지 못하여, 전체 태스크가 수행될 수 없을 것이다. 즉, 전자 장치(230)는 제 1 디바이스 정보의 기능으로부터 추론된 제 1 디바이스 정보에 대응하는 추가 기능과, 제 2 디바이스 정보의 기능으로부터 추론된 제 1 디바이스 정보에 대응하는 추가 기능을 고려하여 태스크를 수행할 디바이스를 더욱 정확하게 판단할 수 있다.
도 10은 본 발명의 다양한 실시예에 따른 추론에 의한 온톨로지 갱신을 설명하는 흐름도를 도시한다.
1010 동작에서, 전자 장치는, 태스크 온톨로지 또는 제품 정보 온톨로지의 적어도 하나의 항목을 시맨틱 정보 기반으로 분석할 수 있다. 또는, 태스크 온톨로지 또는 제품 정보 온톨로지를 저장하고 있는 서버가 태스크 온톨로지 또는 제품 정보 온톨로지의 적어도 하나의 항목을 시맨틱 정보 기반으로 분석할 수 있다.
1020 동작에서, 전자 장치 또는 서버는, 시맨틱 정보 기반의 분석 결과에 기초하여 추가 정보를 획득할 수 있다. 1030 동작에서, 전자 장치 또는 서버는 추가 정보를 이용하여 태스크 온톨로지 또는 제품 정보 온톨로지를 갱신할 수 있다.
도 11a 내지 11d는 본 발명의 다양한 실시예에 따른 온톨로지 갱신을 설명하기 위한 개념도를 도시한다. 도 11a 내지 11d에서는 전자 장치가 온톨로지를 갱신하는 것과 같이 기술되지만, 서버 또한 온톨로지를 갱신할 수 있다.
도 11a는 디바이스의 스펙 및 기능에 관한 상세 정보를 이용한 온톨로지 갱신을 설명하기 위한 개념도를 도시한다. 예를 들어, 전자 장치는 온톨로지에 제품 지식(product knowledge)(1101)을 포함할 수 있다. 제품 지식(1101)은 JS9500의 TV(1102)가 Dolby Digital Plus(1103)의 기능을 가지는 것일 수 있다. 전자 장치는, Dolby digital Plus(1105)와 이에 대응하는 설명(description)(1106)의 관계를 포함하는 일반 지식(1104)을 획득할 수 있다. 예를 들어, 전자 장치는 Dolby Digital Plus(1103)의 기능에 대한 시맨틱 정보 기반의 웹 검색 등을 통하여 설명(1106)을 획득할 수 있다. 아울러, 전자 장치는 설명(1106)을 온톨로지에 반영할 수 있다. 이에 따라, 태스크 온톨로지의 특정 항목이 기능으로서 "multi-channel audio"로 설정된 경우에도, 전자 장치는 갱신된 온톨로지를 이용하여 JS900TV(1102)를 태스크를 수행할 디바이스로 판단할 수 있다. 예를 들어, 태스크 온톨로지에서 "액션 영화 보기"의 항목에 대응하는 TV의 기능이 "multi-channel audio"로 설정된 경우를 상정하도록 한다. 전자 장치는, 갱신 이전의 제품 정보 온톨로지로는, Dolby Digital Plus(1103)의 기능을 가지는 JS9500 TV(1102)를 태스크를 수행할 디바이스로 판단할 수 없다. 하지만, 전자 장치는, 갱신한 제품 정보 온톨로지를 이용하여, "Dolby digital plus is a digital audio compression scheme for transport and storage of multi-channel digital audio"의 설명(1106)과 태스크 온톨로지의 "multi-channel audio"의 기능이 대응되는 것으로 판단할 수 있다. 이에 따라, 전자 장치는, 갱신한 제품 정보 온톨로지를 이용하여 더욱 정확하게 태스크를 수행할 디바이스를 판단할 수 있다.
도 11b는 디바이스의 호환성을 이용한 온톨로지 갱신을 설명하기 위한 개념도를 도시한다. 예를 들어, 전자 장치는 온톨로지에 제품 지식(product knowledge)(1111)을 포함할 수 있다. 제품 지식(1111)은 D-X(1112)가 MHL(1113) 기능을 가진다는 것과, JS9500 TV(1114)가 HDMI(1115) 기능을 가지는 것일 수 있다. 전자 장치는, MHL(1117) 기능과 HDMI(1118) 기능이 호환 가능(compatible)하다는 일반 정보(1116)를 획득할 수 있다. 이에 따라, 전자 장치는 D-X(1113)와 JS9500 TV(1114)가 서로 연결가능한 것으로 판단할 수 있으며, 이와 같은 정보를 이용하여 최적의 연결 경로(connection path)를 제공할 수도 있다.
도 11c는 일반 상식(common sense)에 관한 상세 정보를 이용한 온톨로지 갱신을 설명하기 위한 개념도를 도시한다. 예를 들어, 전자 장치는 온톨로지에 제품 지식(product knowledge)(1121)을 포함할 수 있다. 제품 지식(1121)은 JS9500TV(1122)가 Game(1123)의 이용도(usage)를 가진다는 것일 수 있다. 전자 장치는, Game(1125)가 Simulation(1126)과 W-game(1127)을 부개념(sub-concept)으로 포함하는 일반 정보(1124)를 획득할 수 있다. 전자 장치는 W-game(1127)과 Simulation(1126)을 JS9500TV(1122)와 연관시킴으로써 제품 정보 온톨로지를 갱신할 수 있다. 이에 따라, 태스크 온톨로지에 "W-game"이 포함된 경우에도, 전자 장치는 JS9500TV(1122)를 태스크를 수행할 디바이스로 판단할 수도 있다.
도 11d는 다른 도메인(domain)에서의 지식을 이용한 온톨로지 갱신을 설명하기 위한 개념도를 도시한다. 예를 들어, 전자 장치는 온톨로지에 제품 지식(product knowledge)(1131)을 포함할 수 있다. 제품 지식(1131)은 T900 Fridge(1132)가 Chef Pantry(1133)의 기능을 포함하며, Chef Pantry(1133)의 기능은 Meat(1134)의 이용도를 가지는 것일 수 있다. 전자 장치는, Meat(1136)가 Beef(1137)를 부개념으로 포함하는 일반 정보(1135)와, steak(1138)가 beef를 재료(ingredient)로 포함하는 음식 지식(1140)을 획득할 수 있다. 전자 장치는 Beef(1137)와 steak(1138)를 T900 Fridge(1132)와 연관시킴으로써 제품 정보 온톨로지를 갱신할 수 있다. 이에 따라, 태스크 온톨로지에 "steak"이 포함된 경우에도, 전자 장치는 T900 Fridge(1132)를 태스크를 수행할 디바이스로 판단할 수도 있다.
상술한 바와 같이, 본 발명의 다양한 실시예에 따른 전자 장치는, 시맨틱 정보 기반으로 다양한 지식을 이용하여 온톨로지를 갱신할 수 있으며, 태스크를 수행할 디바이스를 더욱 정확하게 판단할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스를 선택하는 과정을 설명하기 위한 흐름도를 도시한다.
1210 동작에서, 전자 장치는 태스크 온톨로지에서 적어도 하나의 항목을 선택할 수 있다. 1215 동작에서, 전자 장치는 항목에 대응하는 기능과, 디스커버리한 디바이스의 항목을 시맨틱 정보 기반으로 비교할 수 있다. 1220 동작에서, 전자 장치는 비교 결과 동일한 기능을 가지는 디바이스가 존재하는지를 판단할 수 있다. 즉, 전자 장치는 시맨틱 정보 기반으로, 태스크 온톨로지의 선택된 항목에 대응하는 텍스트와 동일한 텍스트를 가지는 디바이스가 존재하는지를 판단할 수 있다. 동일한 기능을 가지는 디바이스가 존재하면, 1225 동작에서 전자 장치는 동일한 기능을 가지는 디바이스를 태스크를 수행할 디바이스로 선택할 수 있다.
동일한 기능을 가지는 디바이스가 존재하지 않으면, 1230 동작에서 전자 장치는 유사한 기능을 가지는 디바이스가 존재하는지를 판단할 수 있다. 즉, 전자 장치는 시맨틱 정보 기반으로, 태스크 온톨로지의 선택된 항목에 대응하는 텍스트와 유사한 텍스트를 가지는 디바이스가 존재하는지를 판단할 수 있다. 유사한 기능을 가지는 디바이스가 존재하면, 1235 동작에서, 전자 장치는 유사한 기능을 가지는 디바이스를 태스크를 수행할 디바이스로 선택할 수 있다. 유사한 기능을 가지는 디바이스가 존재하지 않으면, 1240 동작에서, 전자 장치는 사용자 입력에 기초하여 디바이스를 선택할 수 있다.
도 13은 본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
1310 동작에서, 전자 장치는 태스크 온톨로지에서 적어도 하나의 항목을 선택할 수 있다. 1320 동작에서, 전자 장치는 선택된 항목에 대응하는 디바이스를 선택할 수 있다. 1330 동작에서, 전자 장치는 태스크 수행과 관련되는 추가 정보를 획득할 수 있다. 1340 동작에서, 전자 장치는 추가 정보에 기초하여 선택된 디바이스를 제어할 수 있다. 예를 들어, 전자 장치는 외부 미세 먼지 등의 추가 정보 등을 획득할 수 있다. 전자 장치는, 청소 모드의 태스크에 대한 실행 이벤트가 검출된 경우라도, 외부 미세 먼지 등의 추가 정보를 이용하여 태스크를 수행할 디바이스(예를 들어, 창문)의 제어(예를 들어, 개폐 동작)를 수행할 수 있다. 더욱 상세하게, 청소 모드에서는 창문이 열리도록 설정되며, 청소 모드에 대한 실행 이벤트가 검출되더라도, 전자 장치는 외부 미세 먼지가 고농도인 경우에는 태스크를 수행하지 않거나 사용자의 확인을 받아 수행할 수도 있다.
도 14는 본 발명의 다양한 실시예에 의한 전자 장치가 표시하는 화면의 개념도를 도시한다.
도 14에 도시된 바와 같이, 전자 장치는 태스크 온톨로지의 적어도 하나의 항목(1401,1402,1404,1405,1406)을 표시할 수 있다. 항목(1401,1402,1404,1405,1406)은, 영화(Movie), 음악(Music), 외출(Going out), 난방(Heating), 클래식(1406)의 모드일 수 있다. 한편, 1403과 같이 "Movie"의 텍스트를 대체하는 아이콘(icon)이 표시될 수도 있다. 도 14에서, 영화 항목(1401)이 지정된 경우를 상정하도록 한다. 전자 장치는, 지정된 영화 항목(1401)을 지정되지 않은 다른 항목과 구분되도록 표시할 수 있다. 전자 장치는, 지정된 영화 항목(1401)의 하위에 설정된 서브 항목(1411,1412,1413,1414,1415,1416)을 표시할 수 있다. 서브 항목은 지정된 영화 항목(1401)과 연관되는 스포츠 관람(Watching Sports)(1411), 영화 관람(Watching Movies)(1412), 만화(cartoon)(1413), 게임하기(playing game)(1414), 아티클 탤런트(Article Talents)(1415), TV 관람(Watching TV)(1416)의 서브 항목을 포함할 수 있다. 한편, 서브 항목(1412)이 선택되면, 제품의 세트가 표시(1417)될 수 있다. 서브 항목은, 태스크 온톨로지 상에서 항목의 하위에 배치되도록 설정될 수 있다. 전자 장치는 선택된 항목(예를 들어, 1412)에 대응하는 디바이스 정보(1421,1422,1423)를 표시할 수 있다. 전자 장치는, 태스크 온톨로지 상에서 항목에 대응하는 디바이스 정보를 표시하거나 또는, 태스크를 수행할 디바이스가 미리 선택된 경우에는 태스크를 수행할 디바이스 정보를 표시할 수도 있다.
전자 장치는 태스크를 수행할 디바이스가 선택되어 연결된 경우와 연결되지 않은 경우를 구분하여 표시할 수 있다. 특히, 태스크를 수행할 디바이스가 연결되지 않은 경우에는, 연결을 요구하는 메시지(1424)를 더 표시할 수 있다. 아울러, 전자 장치는 태스크를 수행할 디바이스를 추가하는 버튼(1425)을 표시할 수도 있다. 전자 장치는, 태스크의 생성 버튼(1431), 편집 버튼(1432), 공유 버튼(1433)을 표시할 수 있다. 생성 버튼(1431)이 지정되면, 전자 장치는 신규 태스크를 생성할 수 있는 화면을 표시할 수 있다. 이 경우, 전자 장치는, 신규 태스크에 대응하는 디바이스를 사용자가 선택할 수 있는 화면을 표시할 수 있다. 편집 버튼(1432)이 지정되면, 전자 장치는 기존에 저장된 태스크를 편집할 수 있는 화면을 표시할 수 있다. 이 경우, 전자 장치는, 디바이스를 편집하거나 또는 디바이스에 대한 제어 정보를 편집할 수 있는 화면을 표시할 수 있다. 공유 버튼(1433)이 지정되면, 전자 장치는 선택된 태스크를 서버등의 다른 전자 장치와 공유할 수 있다.
도 15는 본 발명의 다양한 실시예에 따른 전자 장치가 표시하는 화면을 설명하기 위한 개념도들을 도시한다.
전자 장치는 메인 페이지에 현재 온도, 습도, 전자 장치의 위치 정보를 포함하는 일반 정보(1501)를 표시할 수 있다. 전자 장치는, 등록 태스크(1502)를 표시할 수 있으며, 적어도 하나의 항목(1503,1504,1505)을 표시할 수 있다. 전자 장치는, 등록된 디바이스(1506)를 표시할 수 있으며, 디바이스를 나타내는 아이콘(1507 내지 1510)과 디바이스 추가 버튼(1511)을 표시할 수 있다. 여기에서, 전자 장치는 디스커버리 결과 획득된 디바이스 정보를 미리 등록할 수도 있다. 이에 따라, 추후 디스커버리를 수행하지 않고도, 등록된 디바이스 중 특정 태스크를 수행할 디바이스를 선택할 수도 있다. 상술한 바와 같이, 전자 장치는 태스크 온톨로지 및 등록된 디바이스의 온톨로지 기반의 기능을 비교할 수 있으며, 비교 결과에 따라 등록된 디바이스 중 태스크를 수행할 디바이스를 선택할 후 있다.
한편, 전자 장치는 기기 검색 및 등록 페이지에, 디바이스 검색을 위한 검색 창(1521)과, 현재 디바이스 등록 상황을 그래픽적으로 표시할 수 있다. 예를 들어, 전자 장치는 구획된 공간(1522,1523)별로 등록된 디바이스를 표시할 수 있다. 전자 장치는 삭제를 위한 아이콘(1524)를 표시할 수도 있다.
한편, 전자 장치는 태스크 검색 및 등록 페이지에, 태스크를 검색할 수 있는 검색창(1531)과 추천 태스크(1532 내지 1537)를 표시할 수 있다. 추천 태스크(1532 내지 1537)는 미리 태스크 온톨로지 상에서 설정된 태스크일 수 있으며, 아직 사용자에 의하여 전자 장치에 등록되지 않은 태스크일 수 있다. 해당 태스크들은 태스크 수행을 위한 디바이스 및 디바이스에 대한 기능과, 디바이스를 제어하기 위한 제어 정보를 미리 설정하여 포함할 수 있다. 전자 장치는, 추천 태스크 중 적어도 하나의 태스크를 선택하여 등록할 수 있다. 전자 장치는, 전자 장치 자체에 태스크를 등록하거나 또는 서버에 태스크를 등록할 수 있다. 서버에 태스크를 등록한 경우에는, 전자 장치는 태스크 실행 어플리케이션을 실행하고, 서버에 등록된 태스크 정보를 수신하여, 등록된 태스크를 표시할 수도 있다.
도 16은 본 발명의 다양한 실시예에 따른 디바이스 등록을 위한 화면을 설명하기 위한 개념도를 도시한다.
도 16에 도시된 바와 같이, 전자 장치는 디바이스 검색을 위한 검색창(1521)을 표시할 수 있다. 사용자로부터 검색창(1521)에 텍스트가 입력되면, 전자 장치는 입력된 텍스트와 연관된 검색 결과(1610)를 표시할 수 있다. 전자 장치는, 검색 결과(1610) 중 하나로부터 등록 디바이스를 표시하는 어느 하나의 구획으로의 드래그가 검출되면, 선택된 디바이스를 해당 구획으로 이동시킴으로써 해당 구획에 디바이스를 등록시킬 수 있다. 여기에서, 구획은 사용자가 정의한 장소에 의하여 결정될 수 있다. 예를 들어, 사용자가 거실, 방 등의 장소를 구획으로 설정한 경우에, 전자 장치는 해당 구획에 등록 디바이스를 매칭하여 저장할 수 있다. 한편, 또 다른 예에서, 구획은 사용자가 설정한 태스크(예를 들어, 청소 모드)로 설정될 수도 있으며, 구획의 종류에는 제한이 없다. 전자 장치는 드래그를 유도하는 메시지(1611)를 표시할 수도 있다. 이에 따라, 사용자는 자신이 소유하고 있는 디바이스를 전자 장치에 등록시킬 수 있다. 전자 장치는 드래그에 대응하여 아이콘(1612)을 표시할 수도 있다.
도 17은 본 발명의 다양한 실시예에 따른 디바이스 등록 가이드의 화면을 설명하기 위한 개념도를 도시한다.
도 17에 도시된 바와 같이, 전자 장치는 다양한 종류의 디바이스를 등록하는 방법을 설명하는 화면(1710)을 표시할 수 있으며, 사용자는 화면(1710)의 도움을 받아 디바이스를 등록시킬 수 있다. 화면(1710)에는 연결을 상세 설명하는 내용(1711)이 포함될 수 있다. 아울러, 전자 장치는, 등록 취소 버튼(1712) 및 등록 완료 버튼(1713)을 표시할 수도 있다. 상술한 바와 같이, 전자 장치는 디바이스를 전자 장치 자체 또는 서버에 등록시킬 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 디바이스 등록 여부를 나타낼 수 있는 화면의 개념도를 도시한다.
도 18에 도시된 바와 같이, 전자 장치는 디바이스의 연결 여부에 따라 구분되도록 아이콘을 표시할 수 있다. 예를 들어, 휴대폰이 연결되지 않은 경우에는, 전자 장치는 휴대폰의 아이콘(1801)을 제 1 색상으로 표시할 수 있다. 아울러, 사용자의 클릭에 대응하여, 전자 장치는 휴대폰을 등록할 수 있으며, 등록중임을 나타내는 애니메이션(1802)을 표시할 수도 있다. 휴대폰 등록이 완료되면, 전자 장치는 휴대폰의 아이콘(1803)을 제 2 컬러로 표시할 수 있다.
도 19는 본 발명의 다양한 실시예에 따른 등록된 디바이스의 삭제 과정을 설명하기 위한 개념도를 도시한다.
도 19에 도시된 바와 같이, 전자 장치는 등록된 디바이스의 아이콘(1901)으로부터 삭제를 위한 아이콘(1904)으로의 드래그(1902)를 검출할 수 있다. 전자 장치는, 삭제를 위한 아이콘(1904)으로의 드래그(1902)를, 등록된 디바이스의 삭제를 위한 명령으로 미리 설정할 수 있다. 드래그(1902)의 검출에 대응하여, 전자 장치는 드래그(1902) 지점에 대응하여 선택된 아이콘(1903)을 이동시키면서 표시할 수 있으며, 삭제를 위한 아이콘(1904)에서 드랍이 검출되면, 해당 아이콘(1903)을 표시하지 않을 수 있다. 아울러, 전자 장치는, 해당 아이콘(1903)에 대응하는 기등록되었던 디바이스를 등록 목록으로부터 삭제할 수 있다.
도 20a 및 20b는 본 발명의 다양한 실시예에 따른 NFC를 통한 디바이스 검색을 위한 화면의 개념도를 도시한다.
전자 장치는 NFC 검색을 위한 버튼(2001)을 표시할 수 있다. NFC 검색을 위한 버튼(2001)이 지정되면, 전자 장치는 NFC를 이용한 디바이스의 디스커버리를 수행할 수 있다. 전자 장치는 디스커버리를 수행한다는 취지의 메시지(2002)를 도 20b에서와 같이 표시할 수 있으며, NFC 태그를 가지는 디바이스를 디스커버리 할 수 있다. 특정 NFC 태그를 가지는 디바이스가 디스커버리되면, 전자 장치는 디스커버리된 디바이스를 등록할 수 있다.
도 21은, 본 발명의 다양한 실시예에 따른 태스크 검색 및 등록을 수행하기 위한 화면의 개념도를 도시한다. 도 21에 도시된 바와 같이, 전자 장치는 태스크 검색을 위한 검색창(2111), 수동 태스크 생성을 위한 버튼(2112), 캡처 태스크 생성을 위한 버튼(2113)을 표시할 수 있다.
전자 장치는 태스크 검색을 위한 검색창(2111)에 입력된 텍스트를 분석하여, 분석 결과에 대응하는 추천 태스크를 표시할 수 있다. 여기에서, 추천 태스크는 디바이스 정보, 대응하는 기능 정보와 제어 정보가 미리 설정된 태스크를 의미할 수 있다. 예를 들어, 스포츠 모드(2114)의 태스크는 추천 태스크일 수 있으며, 스포츠 모드(2114)에서는 3D 기능, Wifi를 지원하는 TV와, Dolby digital 5.1을 지원하는 스피커가 요구된다는 태스크 온톨로지가 미리 설정될 수 있다. 뿐만 아니라, 스포츠 모드(2114)에서의 TV의 제어 정보 및 스피커의 제어 정보 또한 미리 설정될 수 있다. 전자 장치는 추천 태스크가 선택되면, 선택된 태스크의 시맨틱 정보 기반의 온톨로지를, 등록된 디바이스의 온톨로지와 비교할 수 있으며, 비교 결과에 기초하여 태스크를 수행할 디바이스를 선택할 수 있다. 수동 태스크 생성을 위한 버튼(2112)이 지정되면, 전자 장치는 태스크 생성을 위한 화면, 즉 유저 인터페이스를 제공할 수 있다. 사용자는, 특정 태스크에 요구되는 디바이스의 정보, 기능 정보, 제어 정보를 직접 입력할 수 있으며, 이에 따라 태스크가 생성되며, 시맨틱 정보 기반의 태스크 온톨로지 또한 생성될 수 있다. 캡쳐 태스크 생성을 위한 버튼이 지정되면, 전자 장치는 현재 연결된 디바이스의 제어 정보, 기능 정보를 연관하여 저장함으로써 태스크를 생성할 수 있으며, 이에 따라 시맨틱 정보 기반의 태스크 온톨로지 또한 생성될 수도 있다.
전자 장치는 추천 태스크 목록(2114)을 표시할 수 있으며, 네비게이팅 명령(예를 들어, 드래그(2101))에 기초하여 추천 태스크 목록(2114)의 네비게이팅 결과를 표시할 수 있다. 한편, 등록 태스크에 대한 지정에 대응하여, 전자 장치는 태스크에 대한 설명(2102)을 표시할 수도 있다.
도 22는 본 발명의 다양한 실시예에 따른 추천 태스크의 선택을 설명하기 위한 개념도를 도시한다.
도 22에 도시된 바와 같이 전자 장치는 추천 태스크(2201) 중 하나로부터 등록 태스크 영역으로의 드래그(2202)를 검출할 수 있으며, 이에 대응하여 해당 태스크를 등록할 수 있다. 전자 장치는, 등록된 태스크에 대응하는 아이콘(2203)을 등록 태스크 영역에 표시할 수 있다.
도 23은 본 발명의 다양한 실시예에 따른 검색창 입력을 통한 태스크 검색을 설명하기 위한 개념도를 도시한다.
도 23에 도시된 바와 같이, 사용자는 검색창에 대하여 "TV 조명 스피커"의 텍스트(2301)를 입력할 수 있다. 전자 장치는, "TV"의 텍스트와 "조명"의 텍스트 사이의 스페이스바를 인식할 수 있으며, 이에 따라 두 텍스트를 상이한 단어로 인식할 수 있다. 전자 장치는, 입력된 텍스트를 만족하는 추천 태스크(2302 내지 2307)를 표시할 수 있다. 전자 장치는, 추천 태스크의 디바이스에 대한 시맨틱 정보와 입력된 텍스트를 시맨틱 정보 기반으로 비교할 수 있으며, 비교 결과에 따라 텍스트에 대응하는 추천 태스크를 선택하여 표시할 수 있다. 한편, 전자 장치는 복수 개의 단어가 입력된 경우에는, 복수 개의 단어의 조합을 추천 태스크의 디바이스에 대한 시맨틱 정보와 비교하여, 텍스트에 대응하는 추천 태스크를 선택하여 표시할 수도 있다. 한편, 본 발명의 다양한 실시예에서, 전자 장치는 "3D, Wifi" 등의 텍스트를 입력받을 수도 있으며, 이 경우에는 추천 태스크의 태스크 온톨로지와 비교하여 텍스트에 대응하는 추천 태스크를 선택하여 표시할 수도 있다.
도 24는 본 발명의 다양한 실시예에 따른 추천 태스크의 등록 과정을 설명하기 위한 화면의 개념도를 도시한다.
전자 장치는, 검색창을 통하여 "음악감상"의 텍스트(2401)를 입력받을 수 있다. 전자 장치는, "음악감상"의 텍스트를, 미리 저장된 태스크의 태스크 온톨로지와 시맨틱 정보 기반으로 비교할 수 있으며, 이에 따라 "음악감상"의 텍스트에 대응하는 추천 태스크(2402 내지 2407)를 선택하여 표시할 수 있다. 전자 장치는, 추천 태스크 중 하나(2405)로부터 등록 태스크 영역으로의 드래그(2408)를 검출할 수 있으며, 이에 대응하여 해당 추천 태스크를 등록할 수 있다. 아울러, 전자 장치는 등록된 태스크에 대한 아이콘(2409)을 등록 태스크 영역에 표시할 수 있다.
도 25a 내지 25c는 본 발명의 다양한 실시예에 따른 수동 태스크 등록을 설명하기 위한 화면의 개념도들을 도시한다.
도 25a를 참조하면, 전자 장치는 수동 태스크 생성을 위한 버튼에 대한 터치(2501)를 검출할 수 있다. 도 25b를 참조하면, 전자 장치는 수동 태스크 생성을 위한 화면(2510)을 표시할 수 있다. 본 발명의 다양한 실시예에 따른 수동 태스크 생성을 위한 화면(2510)은, 태스크 명을 입력할 수 있는 입력창(2511)과, 디바이스를 추가할 수 있는 오브젝트(2512), 등록 확정 버튼(2513), 취소 버튼(2514) 및 저장 버튼(2515)을 포함할 수 있다. 한편, 전자 장치는 네비게이팅 명령(예를 들어, 드래그(2516))에 대응하여 디바이스 리스트를 좌우측 방향으로 네비게이팅한 결과를 표시할 수도 있다. 디바이스를 추가할 수 있는 오브젝트(2512)가 지정되면, 전자 장치는 도 25c에서와 같이, 디바이스(2522) 및 제어 정보를 입력할 수 있는 화면(2523,2524)을 표시할 수 있다. 등록 확정 버튼(2513)이 지정되면, 해당 태스크에 디바이스 및 제어 정보가 등록되며, 등록 확정 버튼(2513)은 등록 취소 버튼(2525)으로 변경되어 표시될 수 있다. 저장 버튼(2515)이 지정되면, 전자 장치는 해당 태스크에 디바이스 및 제어 정보를 등록할 수 있다. 한편, 도시되지는 않았지만, 수동 태스크 생성 과정에서, 전자 장치는 디바이스의 기능 정보(예를 들어, 3D, Wifi 등의 기능 정보)를 선택할 수 있는 화면을 더 표시할 수도 있으며, 사용자 입력에 기초하여 해당 기능 정보를 태스크에 연관하여 저장함으로써 태스크 온톨로지를 생성할 수도 있다.
도 26a 및 26b는 본 발명의 다양한 실시예에 따른 태스크의 캡처 등록을 설명하기 위한 화면의 개념도들을 도시한다.
도 26a를 참조하면, 전자 장치는 캡처 태스크 생성을 위한 버튼에 대한 터치(2601)를 검출할 수 있다. 도 26b를 참조하면, 전자 장치는 태스크 명을 입력할 수 있는 입력창(2611)을 표시할 수 있다. 전자 장치는 입력창(2611)에 입력된 텍스트로 태스크명을 결정할 수 있다. 전자 장치는, 현재 전자 장치에 연결된 디바이스(2612,2614,2616)를 표시할 수 있으며, 디바이스의 제어 정보(2613,2615,2617)를 표시할 수 있다. 저장 버튼(2618)이 지정되면, 전자 장치는 디바이스 및 제어 정보를 포함하는 태스크를 생성할 수 있다. 아울러, 전자 장치는 현재 연결된 디바이스의 스펙 등을 참조하여, 기능에 대한 정보를 시맨틱 정보 기반으로 획득함으로써, 시맨틱 정보 기반의 태스크 온톨로지를 생성할 수 있다.
도 27a 및 27b는 본 발명의 다양한 실시예에 따른 태스크 수정을 위한 화면의 개념도들을 도시한다. 도 27a를 참조하면, 등록 태스크의 아이콘(2700)에 대한 롱 프레스가 검출되면, 전자 장치는 태스크 수정 여부를 문의하는 윈도우(2701)를 표시할 수 있다. 태스크 수정 여부를 문의하는 윈도우(2701)는 수정 버튼(2702) 및 삭제 버튼(2703)을 포함할 수 있다. 수정 버튼(2702)이 지정되면, 전자 장치는 도 27b에서와 같이, 해당 태스크에 대한 편집 화면을 표시할 수 있다. 전자 장치는, 해당 태스크에 대한 편집 명령에 기초하여 태스크의 제어 정보, 디바이스 정보 및 기능 정보 중 적어도 하나를 수정할 수 있다. 한편, 하나의 디바이스에 화면에 모두 표시할 수 없을 정도로 많은 제어 정보가 포함된 경우에는, 상하 방향의 드래그(2711)에 기초하여 이를 네비게이팅하여 표시할 수도 있다.
도 28은 본 발명의 다양한 실시예에 따른 추천 실행을 위한 화면을 설명하기 위한 개념도를 도시한다. 전자 장치는, 각 태스크 별로 트리거를 미리 설정할 수 있다. 예를 들어, 전자 장치는 "제습 모드"의 태스크 수행을 위한 트리거로, 습도가 기설정된 임계치를 초과하는 것을 미리 설정할 수 있다. 전자 장치는, 주변 상황을 모니터링하여 트리거가 검출되는지를 판단할 수 있으며, 트리거가 검출되면 대응하는 태스크 수행을 문의하는 윈도우(2801)를 표시할 수 있다.
도 29는 본 발명의 다양한 실시예에 의한 또 다른 화면 구성을 설명하기 위한 개념도를 도시한다.
도 29에 도시된 바와 같이, 전자 장치는 홈 화면에서 태스크의 적어도 하나의 항목(2901,2903)을 표시할 수 있다. 예를 들어, 전자 장치는 청소 모드(Clean)(2901)의 항목과 난방 모드(Havewarmness)(2903)의 항목을 포함할 수 있다. 전자 장치는, 해당 태스크를 수행할 디바이스를 선택할 수 있다. 예를 들어, 전자 장치는, 청소 모드(2901)에 대응하는 디바이스 정보 및 기능 정보를 태스크 온톨로지를 이용하여 판단할 수 있다. 아울러, 전자 장치는, 디스커버리하거나 또는 등록한 디바이스들의 기능 정보를 제품 정보 온톨로지를 이용하여 판단할 수 있다. 전자 장치는, 태스크 온톨로지 및 제품 정보 온톨로지를 시맨틱 정보 기반으로 비교할 수 있으며, 청소 모드(2901)를 수행할 디바이스로 AX90J9000WKD의 공기 청정기, AF25J99758AK, SR20H9050U의 디바이스들(2902)을 선택할 수 있다. 전자 장치는 태스크를 수행할 디바이스들(2902)의 정보를 표시할 수 있다. 아울러, 전자 장치는 난방 모드(2903)를 수행할 디바이스로 선택한 T3007ES의 thermostat(2904)의 정보도 표시할 수 있다. 전자 장치는, AX90J9000WKD, AF25J99758AK, SR20H9050U, T3007ES의 디바이스들을, 태스크 호출 시점에 디스커버리하거나 또는 미리 디스커버리하여 등록할 수도 있다.
도 30은 본 발명의 다양한 실시예에 따른 태스크를 수행할 디바이스의 등록 과정을 설명하기 위한 개념도를 도시한다. 전자 장치는, 태스크 중 선택된 적어도 하나의 항목과 관려된 시맨틱 정보를, 디스커버리하거나 또는 미리 등록된 디바이스의 시맨틱 정보와 비교할 수 있다. 전자 장치는, 시맨틱 정보 기반의 비교 결과에 기초하여 태스크를 수행할 디바이스를 선택할 수 있다. 예를 들어, 도 30에서는, 전자 장치가 AX90J9000WKD의 공기 청정기, AF25J99758AK, SR20H9050U를 태스크를 수행할 디바이스로 판단할 수 있다. 전자 장치는, 판단된 태스크를 수행할 디바이스와 관련된 정보(3002), 등록 거절 버튼(3003) 및 등록 승인 버튼(3004)을 포함하는 등록 여부 문의 윈도우(3001)를 표시할 수 있다. 등록 승인 버튼(3004)의 지정이 검출되면, 전자 장치는 태스크를 수행할 디바이스를 등록할 수 있으며, 추후 태스크 수행 명령이 검출되면 태스크를 수행할 디바이스들에게 제어 명령을 송신할 수 있다.
도 31a 내지 31c는 본 발명의 다양한 실시예에 따른 디바이스 등록을 설명하기 위한 개념도를 도시한다. 도 31a를 참조하면, 전자 장치는 미리 등록한 디바이스(3101,3104)를 표시할 수 있다. 전자 장치는, 디스커버리 하거나 또는 사용자의 수동 입력에 기초하여 디바이스를 미리 등록할 수 있다. 전자 장치는 등록한 디바이스들에 대한 시맨틱 정보 기반의 스펙 정보(3103,3106)를 표시할 수 있다. 아울러, 전자 장치는 등록된 디바이스의 활성을 온/오프할 수 있는 토글(3102,3105)를 표시할 수 있다. 도 31b에서와 같이, 사용자는 토글을 오프 상태(3107)로 토글링할 수 있으며, 이에 대응하여 전자 장치는 해당 디바이스을 비활성시킬 수 있다. 한편, 전자 장치는 특정 디바이스가 비활성되고, 특정 태스크를 수행할 수 없다고 판단되는 경우에는, 도 31c에서와 같이, 특정 태스크를 수행할 수 없다는 취지의 윈도우(3110)를 표시할 수도 있다.
도 32a 및 32b는 본 발명의 다양한 실시예에 따른 디바이스 검색을 설명하기 위한 개념도를 도시한다.
도 32a에서와 같이, 전자 장치는 디바이스 검색 요청이 검출되면, 디바이스 검색 오브젝트(3201)를 표시할 수 있다. 디바이스 검색 오브젝트(3201)는 디바이스 검색을 위한 텍스트를 입력할 수 있는 입력창(3202)을 포함할 수 있다. 도 32b에서와 같이, 입력창(3202)에 텍스트(3203)가 입력되면, 전자 장치는 입력된 텍스트(3203)와 제품 정보 온톨로지를 시맨틱 정보 기반으로 비교할 수 있으며, 비교 결과에 따라 검색된 디바이스의 정보(3204)를 표시할 수 있다. 등록 버튼(3205)이 지정되면, 전자 장치는 검색된 디바이스를 등록할 수 있으며, 추후 특정 태스크를 수행할 디바이스 후보로 이용할 수 있다.
도 33a 내지 33c는 본 발명의 다양한 실시예에 따른 태스크 화면의 개념도들을 도시한다. 도 33a에서 도시된 바와 같이, 전자 장치는 태스크 목록(3301)에서, 태스크의 적어도 하나의 항목(3302,3304,3306)을 표시할 수 있다. 여기에서, 항목(3302,3304,3306)은 아직 전자 장치에 등록되지 않은 추천 항목을 의미할 수 있다.
아울러, 전자 장치는, 적어도 하나의 항목(3302,3304,3306) 각각에 대응되어 태스크를 수행할 디바이스로 선택된 디바이스의 정보(3303,3305,3307)를 표시할 수 있다. 아울러, 도 33b에 도시된 바와 같이, 전자 장치는 판단된 태스크를 수행할 디바이스와 관련된 정보, 등록 거절 버튼(3312) 및 등록 승인 버튼(3313)을 포함하는 등록 여부 문의 윈도우(3311)를 표시할 수 있다. 등록 승인 버튼(3313)의 지정이 검출되면, 전자 장치는 태스크를 수행할 디바이스를 등록할 수 있으며, 추후 태스크 수행 명령이 검출되면 태스크를 수행할 디바이스들에게 제어 명령을 송신할 수 있다. 태스크의 등록이 완료되면, 도 33c에서와 같이, 전자 장치는 등록된 항목을 다른 추천 항목들과 구분되도록 표시할 수 있으며, 등록된 항목을 수행하기 위한 디바이스 정보(3314)를 표시할 수 있다.
도 34는 본 발명의 다양한 실시예에 따른 태스크 선택 화면의 개념도를 도시한다. 도 34에 도시된 바와 같이, 전자 장치는 선택 가능한 태스크(3401)와 선택이 불가능한 태스크(3402,3403,3404)를 구분되도록 표시할 수 있다. 예를 들어, 전자 장치는 추천 태스크가 요구하는 디바이스 정보 및 기능 정보와, 등록 또는 디스커버리한 디바이스의 기능 정보를 서로 시맨틱 정보 기반으로 비교할 수 있다. 전자 장치는, 비교 결과에 따라 선택 가능한 태스크(3401)는 선택이 가능한 취지로 표시할 수 있으며, 선택이 불가능한 태스크(3402 내지 3404)는 선택이 불가능한 취지로 표시할 수 있다. 아울러, 전자 장치는, 선택이 불가능한 태스크(3402 내지 3404)에 대하여 디바이스의 등록이 요청된다는 취지의 문구를 더 표시할 수 있다.
도 35는 선택이 가능한 태스크를 선택한 경우의 화면의 개념도를 도시한다. 예를 들어, 사용자는 "Clean"의 태스크를 선택한 경우, 전자 장치는 선택된 태스크에 대한 정보(3501)를 표시할 수 있다.
도 36a 내지 36c는, 수동 태스크 생성시, 태스크를 수행할 디바이스의 선택을 위한 화면의 개념도들을 도시한다.
전자 장치는, 사용자 입력에 따라 태스크를 생성할 수도 있다. 도 36a를 참조하면, 전자 장치는 특정 태스크를 수행하기 위한 디바이스 정보(3601)를 표시할 수 있다. 아울러, 전자 장치는 디바이스 정보(3601)에서 태스크를 수행할 디바이스 목록을 제공하는 버튼(3602)을 표시할 수 있다. 아울러, 전자 장치는, 각 디바이스의 제어 정보(예를 들어, 전원(Power), 밝기(Brightness), 컬러(color), 온도(temperature), 모드(mode), 채널(Channel), 볼륨(volume))와 이를 설정할 수 있는 오브젝트를 함께 표시할 수 있다.
태스크를 수행할 디바이스 목록을 제공하는 버튼(3602)이 지정되면, 도 36b에서와 같이, 전자 장치는 태스크를 수행할 디바이스 목록(3603)을 표시할 수 있다. 전자 장치는, 태스크 온톨로지 및 제품 정보 온톨로지의 시맨틱 정보 기반 비교 결과에 기초하여 태스크를 수행할 디바이스 목록(3603)을 구성할 수 있다. 특정 디바이스가 선택되면, 전자 장치는, 도 36c에서와 같이, 선택된 디바이스를 태스크를 수행할 디바이스로 확정하며, 디바이스의 식별자(3604)를 표시할 수 있다.
도 37a 및 37b는 수동 태스크 생성 시의 화면의 개념도를 도시한다.
전자 장치는, 특정 태스크를 수행할 디바이스를 선택하지 못한 경우에, 도 37a와 같이, 태스크를 수행할 디바이스를 검색하지 못하였다는 취지와 함께 디바이스 등록을 요청하는 윈도우(3701)를 표시할 수 있다. 도 37b는, 수동 태스크의 작성이 완료되는 경우, 수동 태스크 명칭을 입력할 수 있는 윈도우(3702)의 예시를 도시한다.
도 38a 및 38b는 태스크 선택에 따른 화면 변경을 설명하기 위한 개념도들을 도시한다. 도 38a에 도시된 바와 같이, 태스크가 선택되지 않는 경우, 전자 장치는 아이콘(3801)을 비활성화하여 표시할 수 있다. 한편, 태스크가 선택되면, 도 38b에서와 같이, 전자 장치는 아이콘(3802)을 활성화하여 표시할 수 있다.
Claims (20)
- 전자 장치를 동작하기 위한 방법에 있어서,
상기 전자 장치의 적어도 하나의 프로세서에 의해, 상기 전자 장치가 배치된 네트워크에 기반하여 상기 전자 장치의 위치를 식별하는 동작;
상기 적어도 하나의 프로세서에 의해, 제1 태스크를 실행하기 위한 트리거를 검출하는 동작;
상기 트리거의 검출을 기반으로, 상기 적어도 하나의 프로세서에 의해, 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능을 식별하는 동작;
상기 적어도 하나의 프로세서에 의해, 복수의 외부 전자 장치에서 수행할 수 있는 기능을 식별하는 동작;
상기 적어도 하나의 프로세서에 의해, 상기 복수의 외부 전자 장치가 수행할 수 있는 기능과 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능과 비교하는 동작;
상기 적어도 하나의 프로세서에 의해, 상기 복수의 외부 전자 장치들이 수행할 수 있는 기능과 상기 제1 태스크를 수행하는 요구되는 디바이스의 종류별 기능의 비교를 기반으로, 상기 복수의 외부 전자 장치들 중 상기 제1 태스크를 수행할 수 있는 적어도 하나의 외부 전자 장치를 식별하는 동작;
제1 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 적어도 하나의 프로세서에 의해, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제1 영역에 포함된 제1 외부 전자 장치를 식별하고, 상기 전자 장치의 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제1 외부 전자 장치로 전송하는 동작; 및
상기 제1 영역과 다른 제2 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 적어도 하나의 프로세서에 의해, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제2 영역에 포함된 상기 제1 외부 전자 장치와 다른 제2 외부 전자 장치를 식별하고, 상기 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제2 외부 전자 장치로 전송하는 동작
을 포함하는 방법. - 제 1 항에 있어서,
상기 제 1 태스크에 대한 선택을 검출하는 동작은,
미리 등록된 태스크를 표시하는 동작; 및
상기 등록된 태스크 중 상기 제 1 태스크를 실행하기 위한 트리거를 검출하는 동작
을 포함하는 방법. - 제 2 항에 있어서,
추천 태스크를 표시하는 동작; 및
상기 추천 태스크 중 식별된 태스크를 상기 전자 장치에 등록하는 동작
을 더 포함하는 방법. - 제 2 항에 있어서,
제2 태스크의 명칭, 상기 제2 태스크를 수행하기 위한 제3 외부 전자 장치의 정보, 상기 제2 태스크를 수행하기 위한 제3 외부 전자 장치에 대응되는 기능 또는 상기 제2 태스크를 수행하기 위한 상기 제3 외부 전자 장치를 제어하기 위한 제어 정보 중 적어도 하나를 입력하기 위한 사용자 인터페이스를 제공하는 동작; 및
상기 사용자 인터페이스에 응답하여, 상기 제2 태스크의 명칭, 상기 제2 태스크를 수행하기 위한 제3 외부 전자 장치의 정보, 상기 제2 태스크를 수행하기 위한 제3 외부 전자 장치에 대응되는 기능 또는 상기 제2 태스크를 수행하기 위한 상기 제3 외부 전자 장치를 제어하기 위한 제어 정보 중 적어도 하나의 입력을 기반으로 신규 태스크를 생성 및 등록하는 동작
을 더 포함하는 방법. - 제 2 항에 있어서,
상기 전자 장치와 연결된 디바이스의 식별 정보 및 상기 연결된 디바이스의 제어 정보를 획득하는 동작; 및
상기 연결된 디바이스의 상기 식별 정보, 상기 연결된 디바이스의 상기 제어 정보 및 상기 연결된 디바이스의 기능에 기초하여, 신규 태스크를 생성하여 등록하는 동작
을 더 포함하는 방법. - 제 1 항에 있어서,
상기 복수의 외부 전자 장치를 디스커버리하거나 또는 미리 등록된 상기 복수의 외부 전자 장치를 확인하는 동작
을 더 포함하는 방법. - 제 1 항에 있어서,
제품 정보 온톨로지를 이용하여, 디바이스 정보별로 동일한 기능 또는 유사한 기능을 포함하는 제 1 외부 전자 장치 또는 상기 제2 외부 전자 장치를 식별하는 동작
을 더 포함하는 방법. - 제 1 항에 있어서,
태스크 온톨로지를 이용하여, 상기 제 1 태스크를 수행하기 위해 요구되는 디바이스의 종류별 기능으로부터 추론된 추가 기능을 판단하는 동작; 및
제품 정보 온톨로지를 이용하여, 상기 제 1 태스크 또는 상기 추가 기능을 수행하는데 요구되는 디바이스의 종류 별 기능 중 적어도 하나와, 동일한 기능 또는 유사한 기능을 포함하는 상기 제 1 외부 전자 장치 또는 상기 제2 외부 전자 장치를 식별하는 동작
을 더 포함하는 방법. - 제 8 항에 있어서,
상기 추가 기능을 식별하는 동작은,
상기 태스크 온톨로지 상의 상기 제 1 태스크와 연관된 제 1 디바이스 정보의 제 1 기능에 기반하여, 상기 추가 기능을 추론하거나, 또는 상기 태스크 온톨로지 상의 상기 제 1 태스크와 연관된 제 2 디바이스 정보의 제 2 기능에 기반하여, 상기 제 1 디바이스 정보에 대응하는 상기 추가 기능을 추론하는 방법. - 삭제
- 제 1 항에 있어서,
상기 트리거를 검출시에, 외부 환경에 대한 정보에 기반하여 사용자 입력을 위한 윈도우를 표시하는 동작
을 더 포함하는 방법. - 제 1 항에 있어서,
태스크 온톨로지 및 제품 정보 온톨로지 중 적어도 하나의 정보와 관련된, 일반 지식을 획득하는 동작;
호환성과 관련된 정보를 획득하는 동작; 및
상기 일반 지식, 일반 상식 및 호환성과 관된 정보를 기반하여, 상기 태스크 온톨로지 및 상기 제품 정보 온톨로지 중 적어도 하나를 갱신하는 동작
을 더 포함하는 방법. - 전자 장치에 있어서,
통신 회로; 및
적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
상기 전자 장치가 배치된 네트워크에 기반하여 상기 전자 장치의 위치를 식별하고,
제1 태스크를 실행하기 위한 트리거를 검출하고,
상기 트리거의 검출을 기반으로, 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능을 식별하고,
복수의 외부 전자 장치에서 수행할 수 있는 기능을 식별하고,
상기 복수의 외부 전자 장치가 수행할 수 있는 기능과 상기 제1 태스크를 수행하는데 요구되는 디바이스의 종류별 기능과 비교하고,
상기 복수의 외부 전자 장치들이 수행할 수 있는 기능과 상기 제1 태스크를 수행하는 요구되는 디바이스의 종류별 기능의 비교를 기반으로, 상기 복수의 외부 전자 장치들 중 상기 제1 태스크를 수행할 수 있는 적어도 하나의 외부 전자 장치를 식별하고,
제1 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제1 영역에 포함된 제1 외부 전자 장치를 식별하고, 상기 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제1 외부 전자 장치로 전송하고,
상기 제1 영역과 다른 제2 영역에서 식별되는 상기 전자 장치의 위치를 기반하여, 상기 식별된 적어도 하나의 외부 전자 장치 중 상기 제1 태스크를 수행하기 위해 상기 제2 영역에 포함된 상기 제1 외부 전자 장치와 다른 제2 외부 전자 장치를 식별하고, 상기 통신 회로를 통해, 상기 제1 태스크를 실행하기 위한 적어도 하나의 태스크 실행 명령을 상기 제2 외부 전자 장치로 전송하도록
설정된 전자 장치. - 제 13 항에 있어서,
디스플레이
를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 디스플레이를 제어하여, 미리 등록된 태스크를 표시하고, 상기 미리 등록된 태스크 중 상기 제 1 태스크를 실행하기 위한 트리거를 검출하도록 설정된 전자 장치. - 제 13 항에 있어서,
상기 통신 회로는, 상기 복수의 외부 전자 장치들을 디스커버리하도록 설정된 전자 장치. - 제 13 항에 있어서,
상기 적어도 하나의 프로세서는, 미리 등록된 상기 복수의 외부 전자 장치들을 확인하도록 설정된 전자 장치. - 제 13 항에 있어서,
상기 적어도 하나의 프로세서는,
제품 정보 온톨로지를 이용하여, 상기 제 1 태스크를 수행하는데 요구되는 디바이스의 종류별로 기능과동일한 기능 또는 유사한 기능을 포함하는 제 1 외부 전자 장치 또는 제2 외부 전자 장치를 식별하도록,
설정된 전자 장치. - 제 13 항에 있어서,
상기 적어도 하나의 프로세서는,
태스크 온톨로지를 이용하여, 상기 제 1 태스크를 수행하는데 요구되는 디바이스 종류별 기능으로부터 추론된 추가 기능을 식별하고,
제품 정보 온톨로지를 이용하여, 상기 제 1 태스크를 수행하는데 요구되는 디바이스 종류별기능 또는상기 추가 기능 중 적어도 하나와, 동일한 기능 또는 유사한 기능을 포함하는 상기 제 1 외부 전자 장치를 식별하도록,
설정된 전자 장치. - 제 18 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 추가기능을 확인할 때,
상기 태스크 온톨로지 상의 상기 제 1 태스크와 연관된 제 1 디바이스 정보의 제 1 기능에 기반하여, 상기 제 1 디바이스 정보에 대응하는 상기 추가 기능을 추론하거나, 또는 상기 태스크 온톨로지 상의 상기 제 1 태스크와 연관된 제 2 디바이스 정보의 제 2 기능에 기반하여, 상기 제 1 디바이스 정보에 대응하는 상기 추가 기능을 추론하도록 설정된 전자 장치. - 제 13 항에 있어서,
상기 제1 영역은 제1 네트워크와 관련되고,
상기 제2 영역은 상기 제1 네트워크와는 다른 제2 네트워크와 관련된 전자 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16884046.0A EP3387821B1 (en) | 2016-01-06 | 2016-12-28 | Electronic device and method for controlling the same |
| EP19217745.9A EP3654118B1 (en) | 2016-01-06 | 2016-12-28 | Electronic device and method for controlling the same |
| PCT/KR2016/015384 WO2017119663A1 (en) | 2016-01-06 | 2016-12-28 | Electronic device and method for controlling the same |
| CN201680078113.0A CN108432213B (zh) | 2016-01-06 | 2016-12-28 | 电子设备及其控制方法 |
| US15/399,322 US10895863B2 (en) | 2016-01-06 | 2017-01-05 | Electronic device and method for controlling the same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662275470P | 2016-01-06 | 2016-01-06 | |
| US62/275,470 | 2016-01-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170082428A KR20170082428A (ko) | 2017-07-14 |
| KR102566171B1 true KR102566171B1 (ko) | 2023-08-11 |
Family
ID=59358510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160041646A KR102566171B1 (ko) | 2016-01-06 | 2016-04-05 | 전자 장치 및 그 제어 방법 |
Country Status (3)
| Country | Link |
|---|---|
| EP (2) | EP3654118B1 (ko) |
| KR (1) | KR102566171B1 (ko) |
| CN (1) | CN108432213B (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108228134A (zh) * | 2018-01-30 | 2018-06-29 | 上海乐愚智能科技有限公司 | 一种任务语音的处理方法、装置、智能音箱和存储介质 |
| KR102620705B1 (ko) | 2018-10-11 | 2024-01-04 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
| WO2020198932A1 (zh) * | 2019-03-29 | 2020-10-08 | Oppo广东移动通信有限公司 | 设备发现方法、装置、控制终端及物联网辅助设备 |
| CN110989369A (zh) * | 2019-11-05 | 2020-04-10 | 珠海格力电器股份有限公司 | 一种设备控制方法、装置、电子设备以及可读介质 |
| TWI808328B (zh) * | 2020-06-19 | 2023-07-11 | 新唐科技股份有限公司 | 系統單晶片及控制方法 |
| CN113156827B (zh) * | 2021-04-02 | 2023-06-20 | 中国科学院计算技术研究所 | 一种基于语义的智能设备控制方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060064694A1 (en) * | 2004-09-22 | 2006-03-23 | Samsung Electronics Co., Ltd. | Method and system for the orchestration of tasks on consumer electronics |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7167832B2 (en) * | 2001-10-15 | 2007-01-23 | At&T Corp. | Method for dialog management |
| KR100654414B1 (ko) * | 2002-03-22 | 2006-12-05 | 도요다 지도샤 가부시끼가이샤 | 태스크관리장치 및 그 방법, 태스크관리프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
| DE602006004384D1 (de) * | 2005-03-21 | 2009-02-05 | Hewlett Packard Development Co | Mobiles Klientgerät und System mit Unterstützung von Fernverwaltungsgeräten |
| KR20070010230A (ko) * | 2005-07-18 | 2007-01-24 | 주식회사 케이티 | 온톨로지를 기반으로 하는 지능형 홈 네트워크 서비스시스템 |
| US20070233287A1 (en) * | 2006-03-30 | 2007-10-04 | Samsung Electronics Co., Ltd. | Dynamic generation of tasks in resource constrained devices |
| US20070294692A1 (en) * | 2006-06-16 | 2007-12-20 | Microsoft Corporation | Task Assignment Among Multiple Devices |
| US20080046862A1 (en) * | 2006-08-18 | 2008-02-21 | Juergen Sattler | Business task management |
| KR101362224B1 (ko) * | 2007-12-03 | 2014-02-13 | 연세대학교 산학협력단 | 태스크 기반 사용자 인터페이스 생성 장치 및 그 방법 |
| WO2013022222A2 (en) * | 2011-08-05 | 2013-02-14 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same |
| KR20130043752A (ko) * | 2011-10-21 | 2013-05-02 | 고려대학교 산학협력단 | 컨텍스트 서비스 제공 시스템 |
| KR20150104697A (ko) * | 2014-03-06 | 2015-09-16 | 삼성전자주식회사 | 정보 무늬 코드를 이용한 개인 전자장치의 그룹핑 방법 및 장치 |
-
2016
- 2016-04-05 KR KR1020160041646A patent/KR102566171B1/ko active IP Right Grant
- 2016-12-28 CN CN201680078113.0A patent/CN108432213B/zh active Active
- 2016-12-28 EP EP19217745.9A patent/EP3654118B1/en active Active
- 2016-12-28 EP EP16884046.0A patent/EP3387821B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060064694A1 (en) * | 2004-09-22 | 2006-03-23 | Samsung Electronics Co., Ltd. | Method and system for the orchestration of tasks on consumer electronics |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3654118B1 (en) | 2023-03-15 |
| EP3387821A1 (en) | 2018-10-17 |
| CN108432213A (zh) | 2018-08-21 |
| KR20170082428A (ko) | 2017-07-14 |
| CN108432213B (zh) | 2021-06-11 |
| EP3654118A1 (en) | 2020-05-20 |
| EP3387821B1 (en) | 2020-02-05 |
| EP3387821A4 (en) | 2019-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10895863B2 (en) | Electronic device and method for controlling the same | |
| KR102566171B1 (ko) | 전자 장치 및 그 제어 방법 | |
| US11595781B2 (en) | Electronic apparatus and IoT device controlling method thereof | |
| CN106371324B (zh) | 操作界面显示方法及装置 | |
| CN105634881B (zh) | 应用场景推荐方法及装置 | |
| KR101924974B1 (ko) | 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법 | |
| US9577692B2 (en) | Subscriber identification module management method and electronic device supporting the same | |
| US10548003B2 (en) | Electronic device for controlling an external device using a number and method thereof | |
| KR102335925B1 (ko) | 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법 | |
| US20160055422A1 (en) | Apparatus and method for gamification of sensor data interpretation in smart home | |
| CN106953785B (zh) | 智能家居设备添加方法及装置 | |
| KR102354055B1 (ko) | 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법 | |
| KR102401645B1 (ko) | 전자 장치 및 게이트웨이와 그 제어 방법 | |
| KR102498714B1 (ko) | 콘텐트 제공을 위한 전자 장치 및 방법 | |
| KR20180080620A (ko) | 전자 장치 간 콘텐츠 공유 시스템 및 전자 장치의 콘텐츠 공유 방법 | |
| EP3123352B1 (en) | Data sharing method and electronic device thereof | |
| US20150052117A1 (en) | Search results with common interest information | |
| KR20150128482A (ko) | 전자 장치들 간의 연동 서비스 운용 방법 및 장치 | |
| EP3515017B1 (en) | Electronic apparatus and iot device controlling method thereof | |
| KR102498730B1 (ko) | 사용자 단말 및 이의 웹 서비스 제공 방법 | |
| KR20160043778A (ko) | 검색어 제공 방법 및 이를 지원하는 전자 장치 | |
| KR102420040B1 (ko) | 협력 전송을 통해 복수의 ap와 데이터 통신을 수행할 수 있는 전자 장치 및 이의 제어 방법 | |
| KR20160013329A (ko) | 컨텐츠 제공 방법 및 그 전자 장치 | |
| KR20180130470A (ko) | 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |