KR20140081642A - 외부 기기 제어 방법 및 시스템 - Google Patents
외부 기기 제어 방법 및 시스템 Download PDFInfo
- Publication number
- KR20140081642A KR20140081642A KR1020130041262A KR20130041262A KR20140081642A KR 20140081642 A KR20140081642 A KR 20140081642A KR 1020130041262 A KR1020130041262 A KR 1020130041262A KR 20130041262 A KR20130041262 A KR 20130041262A KR 20140081642 A KR20140081642 A KR 20140081642A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- external device
- control
- external
- user interface
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/75—Indicating network or usage conditions on the user display
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Selective Calling Equipment (AREA)
Abstract
본 발명은 특정 디바이스로 외부 기기에 대한 임시 제어 권한을 부여하여 외부 기기를 제어할 수 있는 방법 및 시스템과 그 기록 매체를 제공하는데 있다. 본 발명의 바람직한 실시 예에 따른 외부 기기에 대해 제어 권한을 갖고 있는 디바이스에 의한 외부 기기 제어 방법은, 제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계; 상기 제 2 디바이스로부터 상기 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 수신하는 단계; 및 상기 선택된 외부 기기에 관한 정보에 기초하여 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 제 2 디바이스로 전송하는 단계를 포함한다.
Description
본 발명은 디바이스를 이용하여 외부 기기를 제어하는 방법 및 시스템에 관한 것이다.
통신 기술이 발달하고, 디바이스(device)들이 스마트해지면서 디바이스들이 유비쿼터스화(ubiquitous)되고 있고, 디바이스와 함께 사용될 수 있는 외부 기기들이 다양해지고 있다. 이에 따라 디바이스는 다양한 외부 기기에 관련된 애플리케이션을 실행하면서 외부 기기를 제어할 수 있게 되었다.
그러나 불특정 디바이스가 외부 기기를 제어할 수 있는 경우에, 예상치 않은 일들이 발생될 수 있다. 예들 들어, 홈 기기를 가족 이외의 외부인의 디바이스로 제어할 수 있는 경우에, 외부인이 의도적으로 홈 기기를 오동작시키는 일이 발생되거나 홈 기기에 저장된 정보가 유출될 수 있다. 따라서 불특정 디바이스가 외부 기기를 제어하는 것을 방지하면서 외부 기기를 제어할 수 있는 디바이스를 상황에 따라 적응적으로 선택할 수 있는 환경이 필요하다.
본 발명이 해결하고자 하는 과제는 특정 디바이스로 외부 기기에 대한 임시 제어 권한을 부여하여 외부 기기를 제어할 수 있는 방법 및 시스템과 그 기록 매체를 제공하는데 있다.
본 발명이 해결하고자 하는 다른 과제는 원격 디바이스로 외부 기기에 대한 임시 제어 권한을 부여하여 외부 기기를 제어할 수 있는 방법 및 시스템과 그 기록 매체를 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 과제는 디바이스들간에 인터렉션 서비스(interaction service)를 실행하고 있을 때, 상대 디바이스로 디바이스의 외부 기기에 대한 임시 제어 권한을 부여하여 외부 기기를 제어하는 방법 및 시스템과 그 기록 매체를 제공하는데 있다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 일 실시 예에 따른 제 1 디바이스에 의한 외부 기기 제어 방법은, 제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계; 상기 제 2 디바이스로부터 상기 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 수신하는 단계; 및 상기 선택된 외부 기기에 관한 정보에 기초한 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 제 2 디바이스로 전송하는 단계를 포함하는 것이 바람직하다.
상기 인터렉티브 서비스는, 상기 적어도 하나의 외부 기기에 관련된 애플리케이션에 관한 기능을 포함하는 것이 바람직하다.
상기 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계는, 상기 제 2 디바이스로 상기 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여함에 따라 수행되는 것이 바람직하다.
상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는, 상기 선택된 외부 기기에 관한 상기 제 2 디바이스의 제어 권한 레벨에 따라 결정되는 것이 바람직하다.
상기 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계는, 상기 제 2 디바이스의 유저 정보에 기초하여 상기 적어도 하나의 외부 기기에 대한 상기 제 2 디바이스의 제어 권한 레벨을 결정하는 단계; 및 상기 결정된 제어 권한 레벨에 따라 상기 제 2 디바이스로 전송할 상기 적어도 하나의 외부 기기에 관한 정보를 결정하는 단계를 포함하는 것이 바람직하다.
상기 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계는, 상기 적어도 하나의 외부 기기에 대한 상기 제 2 디바이스의 임시 제어 권한 부여 기간을 설정하는 단계를 포함하는 것이 바람직하다.
상기 제 2 디바이스로 전송되는 상기 적어도 하나의 외부 기기에 관한 정보는, 증강 현실 기반 정보를 포함하거나 적어도 하나의 외부 기기의 물리적인 위치 기반의 평면 배치도 정보를 포함하는 것이 바람직하다.
상기 외부 기기 제어 방법은, 상기 제 2 디바이스로부터 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보에 기초한 제어 명령을 수신하는 단계; 및 상기 수신된 제어 명령을 상기 외부 기기로 전송하는 단계를 더 포함하는 것이 바람직하다.
상기 외부 기기 제어 방법은, 상기 선택된 외부 기기에 관한 정보를 수신함에 따라 상기 선택된 외부 기기에 관련된 애플리케이션을 실행하는 단계를 더 포함하고, 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 제 2 디바이스로 전송하는 단계는, 상기 선택된 외부 기기에 관련된 애플리케이션에 의해 수행되는 것이 바람직하다.
상기 인터렉티브 서비스는, 영상 통화 서비스, 음성 통화 서비스, 및 채팅 서비스중 하나를 포함하는 것이 바람직하다.
상기 제 2 디바이스는, 복수개인 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 일 실시 예에 따른 제 2 디바이스에 의한 외부 기기 제어 방법은, 제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 상기 제 1 디바이스로부터 적어도 하나의 외부 기기에 대한 정보를 수신하고, 디스플레이 하는 단계; 상기 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 상기 제 1 디바이스로 전송하는 단계; 상기 제 1 디바이스로부터 상기 선택된 외부 기기에 관한 정보에 기초한 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 수신하고, 디스플레이 하는 단계; 및 상기 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초한 제어 명령을 상기 선택된 외부 기기로 전송하는 단계를 포함하는 것이 바람직하다.
상기 인터렉티브 서비스는, 상기 적어도 하나의 외부 기기에 관련된 애플리케이션에 관한 기능을 포함하는 것이 바람직하다.
상기 외부 기기에 관한 정보를 수신하는 단계는, 상기 제 2 디바이스로 상기 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여함에 따라 수행되는 것이 바람직하다.
상기 외부 기기에 관한 정보는, 상기 제 2 디바이스의 유저 정보에 기초하여 상기 제 1 디바이스에 의해 결정된 상기 외부 기기에 대한 상기 제 2 디바이스의 제어 권한 레벨에 따라 결정되는 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 일 실시 예에 따른 제 1 디바이스는, 적어도 하나의 외부 기기에 관한 정보, 및 적어도 하나의 프로그램을 저장하는 저장부; 적어도 하나의 외부 기기 및 적어도 하나의 다른 디바이스와 통신하는 통신부; 유저의 입력 정보를 수신하고, 상기 적어도 하나의 프로그램 실행에 따른 정보를 출력하는 터치 스크린; 상기 터치 스크린 기반의 유저 인터페이스 정보를 제공하고, 상기 적어도 하나의 프로그램을 실행함으로써 상기 다른 디바이스로 상기 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여하는 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 상기 다른 디바이스와 인터렉티브 서비스를 실행하고 있는 동안에 적어도 하나의 외부 기기에 관한 정보를 상기 통신부를 통해 상기 다른 디바이스로 전송하는 단계; 상기 통신부를 통해 상기 다른 디바이스로부터 상기 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 수신하는 단계; 및 상기 선택된 외부 기기에 관한 정보에 기초하여 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 통신부를 통해 상기 다른 디바이스로 전송하는 단계를 실행하는 명령어들을 포함하는 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 일 실시 예에 따른 제 2 디바이스는, 적어도 하나의 프로그램을 저장하는 저장부; 적어도 유저의 입력 정보를 수신하고 상기 프로그램 실행에 따른 정보를 디스플레이 하는 터치 스크린; 다른 디바이스 및 상기 다른 디바이스가 제어 권한을 갖고 있는 적어도 하나의 외부 기기와 통신할 수 있는 통신부; 상기 터치 스크린에 기초한 유저 인터페이스를 제공하고, 상기 프로그램을 실행함으로써 상기 적어도 하나의 외부 기기에 대해 임시 제어 권한을 갖는 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 상기 다른 디바이스와 인터렉티브 서비스를 실행하고 있는 동안에 상기 다른 디바이스로부터 적어도 하나의 외부 기기에 관한 정보를 수신하고, 디스플레이 하는 단계;상기 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 상기 다른 디바이스로 전송하는 단계;상기 다른 디바이스로부터 상기 선택된 외부 기기에 관한 정보에 기초한 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 수신하고, 디스플레이 하는 단계; 및 상기 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초한 제어 명령을 상기 선택된 외부 기기로 전송하는 단계를 실행하는 명령어들을 포함하는 것이 바람직하다.
상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 외부 기기 제어 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 외부 기기 제어 방법은 상술한 외부 기기 제어 방법과 같이 수행된다.
도 1은 바람직한 실시 예에 따른 외부 기기 제어 시스템의 기능 블록도이다.
도 2는 바람직한 실시 예에서 외부 기기에 대한 제어 권한 레벨에 따라 제공 가능한 제어 유저 인터페이스 정보를 정의한 테이블의 예이다.
도 3은 유저 정보에 기초하여 외부 기기에 대한 제어 권한 레벨을 정의한 테이블의 예이다.
도 4 내지 도 7은 제 1 디바이스와 외부 기기간에 통신 세션을 오픈하는 과정을 설명하는 흐름도의 예들이다.
도 8은 바람직한 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 9는 바람직한 실시 예에 따른 영상 통화 서비스 실행시 제 2 디바이스의 일부 화면의 예이다.
도 10은 바람직한 실시 예에 따른 영상 통화 서비스 실행시 제 2 디바이스의 일부 화면의 다른 예이다.
도 11은 바람직한 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 12는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 13은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 14는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 15는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 16은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 17은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 18은 도 17의 흐름도에 따라 외부 기기를 제어할 때, 제 1 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 19는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 20은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 21은 긴급 상황 발생에 따른 임시 제어 권한 요청 시, 제 2 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 22는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 23은 도 22와 같이 외부 기기 제어 방법이 수행될 때, 제 2 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 24는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 25는 도 24에 도시된 흐름도에 기초한 제 2 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 26은 도 1에 도시된 제 1 디바이스의 기능 블록도이다.
도 27은 도 26에 도시된 저장부에 저장되는 프로그램 및/또는 명령어 세트를 모듈별로 분류한 예이다.
도 28은 도 1에 도시된 제 1 내지 제 n 외부 기기의 기능 블록도이다.
도 29 내지 도 33은 바람직한 실시 예들에 따른 구현 예들이다.
도 2는 바람직한 실시 예에서 외부 기기에 대한 제어 권한 레벨에 따라 제공 가능한 제어 유저 인터페이스 정보를 정의한 테이블의 예이다.
도 3은 유저 정보에 기초하여 외부 기기에 대한 제어 권한 레벨을 정의한 테이블의 예이다.
도 4 내지 도 7은 제 1 디바이스와 외부 기기간에 통신 세션을 오픈하는 과정을 설명하는 흐름도의 예들이다.
도 8은 바람직한 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 9는 바람직한 실시 예에 따른 영상 통화 서비스 실행시 제 2 디바이스의 일부 화면의 예이다.
도 10은 바람직한 실시 예에 따른 영상 통화 서비스 실행시 제 2 디바이스의 일부 화면의 다른 예이다.
도 11은 바람직한 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 12는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 13은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 14는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 15는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 16은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 17은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 18은 도 17의 흐름도에 따라 외부 기기를 제어할 때, 제 1 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 19는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 20은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 21은 긴급 상황 발생에 따른 임시 제어 권한 요청 시, 제 2 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 22는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 23은 도 22와 같이 외부 기기 제어 방법이 수행될 때, 제 2 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 24는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다.
도 25는 도 24에 도시된 흐름도에 기초한 제 2 디바이스에 의해 디스플레이 되는 화면의 예이다.
도 26은 도 1에 도시된 제 1 디바이스의 기능 블록도이다.
도 27은 도 26에 도시된 저장부에 저장되는 프로그램 및/또는 명령어 세트를 모듈별로 분류한 예이다.
도 28은 도 1에 도시된 제 1 내지 제 n 외부 기기의 기능 블록도이다.
도 29 내지 도 33은 바람직한 실시 예들에 따른 구현 예들이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전반에서 언급되고 있는 상황(situation)은 특정 조건을 기반으로 한 상황을 말한다. 즉, 명세서 전반에서 언급되고 있는 상황은, 예를 들어, 디바이스간 인터랙티브 서비스(interactive service)와 같은 서비스가 실행되고 있는 상황, 화재의 발생, 도둑의 침입, 응급 환자의 발생, 및 지진의 발생과 같은 비상(emergency) 상황, 특정 도메인에 디바이스가 진입하는 상황 등을 들 수 있으나 이로 제한되지 않는다. 따라서 특정 조건은 예를 들어, 디바이스간에 인터랙티브 서비스 조건, 비상 상황으로 판단되는 조건, 디바이스가 특정 도메인에 진입한 것으로 판단되는 조건 등을 포함할 수 있으나 이로 제한되지 않는다.
명세서 전반에서 언급되고 있는 디바이스는 외부 기기에 관련된 애플리케이션을 실행하면서 외부 기기를 제어할 수 있다. 명세서 전반에서 언급되고 있는 외부 기기는 디바이스에 의해 실행되고 있는 외부 기기에 관련된 애플리케이션과 함께 동작될 수 있는 하드웨어 및 소프트웨어로 구성된다. 따라서 디바이스는 호스트 기기(Host device)로 언급되고, 외부 기기는 디바이스의 액세서리(accessory)로 언급될 수 있다.
그러나, 바람직한 일부 실시 예에서 디바이스는 외부 기기에 관련된 애플리케이션을 실행하지 않고, 외부 기기에 관련된 애플리케이션을 실행하고 있는 다른 디바이스를 통해 외부 기기를 제어할 수 있다. 이러한 경우는, 디바이스에 외부 기기에 관련된 애플리케이션이 설치되어 있지 않거나 외부 기기에 관련된 애플리케이션이 설치되어 있어도 실행되지 않는 것으로 볼 수 있다.
명세서 전반에서 언급되고 있는 애플리케이션은 디바이스와 외부 기기간 또는 디바이스와 디바이스간의 연결을 기반으로 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램이다.
디바이스와 외부 기기간 연결을 기반으로 하는 애플리케이션은, 예를 들어, 게임 애플리케이션, 악기 연주 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 의료용 애플리케이션, 결제 애플리케이션, 운송 수단(예를 들어, 자동차, 버스, 비행기, 또는 배 등) 자동 항법 애플리케이션, 및 주변 기기 제어 애플리케이션(예를 들어, 스마트 TV, 에이컨, 청소 로봇, 공기 청정기, 프린터 등 각종 홈 기기 제어 애플리케이션)을 포함할 수 있으나 이로 제한되지 않는다.
디바이스들간의 연결을 기반으로 하는 애플리케이션은 디바이스들간 인터랙티브 서비스(interactive service) 기반의 애플리케이션을 포함할 수 있으나 이로 제한되지 않는다. 인터랙티브 서비스는, 예를 들어, 영상 통화 서비스(video call service), 음성 통화 서비스(voice call service), 채팅 서비스(chatting service) 등 실시간 양방향(two-way) 통신 서비스를 포함할 수 있으나 이로 제한되지 않는다.
디바이스들간 인터랙티브 서비스는 상술한 디바이스와 외부 기기간의 연결을 기반으로 하는 애플리케이션을 포함할 수 있다. 예를 들어, 외부 기기가 스마트 TV이고, 디바이스들이 스마트 폰이고, 디바이스들간의 인터랙티브 서비스가 영상 통화 서비스인 경우에, 영상 통화 서비스를 제공하는 애플리케이션은 스마트 TV에 관련된 애플리케이션(또는 스마트 TV의 동작을 제어하기 위한 애플리케이션)을 포함할 수 있다.
상술한 바와 같이 스마트 TV에 관련된 애플리케이션을 포함하는 영상 통화 서비스를 제공하는 애플리케이션을 실행할 경우에, 디바이스는 영상 통화 서비스를 수행하면서 스마트 TV를 제어할 수 있다. 영상 통화 서비스를 제공하는 애플리케이션에 포함되는 스마트 TV에 관련된 애플리케이션은 스마트 TV 제어 기능 또는 영상 통화 서비스를 제공하는 애플리케이션의 서브 애플리케이션(sub application)으로 언급될 수 있으나 이로 제한되지 않는다.
디바이스들간 인터랙티브 서비스는 상술한 디바이스와 외부 기기간의 연결을 기반으로 하는 애플리케이션을 호출할 수 있는 기능을 포함할 수 있다. 예를 들어, 상술한 바와 같이 디바이스들간에 영상 통화 서비스를 실행하면서, 외부 기기에 관련된 애플리케이션(예를 들어 스마트 TV용 애플리케이션)을 호출하여 외부 기기를 제어할 수 있는 멀티태스킹(multi tasking)이 가능하다.
명세서 전반에서 언급되고 있는 입력 정보는 유저의 입력 정보로서, 터치 기반의 입력 정보이다. 터치 기반의 입력 정보는 유저의 요청(request) 또는 유저의 선택(selection)(예를 들어, 디스플레이 되고 있는 외부 기기의 식별 정보(예를 들어, 에이컨, 스마트 TV와 같은 외부 기기의 명칭)를 선택) 또는 유저의 명령(command)(예를 들어, 외부 기기에 관한 제어 유저 인터페이스 정보에 기초한 외부 기기에 관한 제어 명령) 등을 포함할 수 있으나 이로 제한되지 않는다.
터치 기반의 입력 정보는 터치 기반의 유저의 제스처(gesture)에 의존할 수 있다. 터치 기반의 유저의 제스처는, 예를 들어, 탭(tap 또는 터치), 롱 탭(long tap 또는 롱 터치), 터치 앤 홀드(touch and hold), 터치 앤 드래그(touch and drag), 더블 탭(double tap), 드래그(drag), 패닝(panning), 플릭(flick), 드래그 앤 드롭(drag and drop), 및 스윕(sweep) 등을 포함할 수 있으나 이로 제한되지 않는다.
입력 정보는 상술한 터치 기반의 유저의 제스처로 제한되지 않는다. 예를 들어, 입력 정보는 모션 기반(motion-based) 또는 비전 기반(vision-based)으로 정의될 수 있다. 모션 기반의 입력 정보는 유저에 의한 디바이스의 움직임 기반의 유저의 제스처(예를 들어, 디바이스 흔들기, 디바이스 치기 등)에 기초할 수 있다. 비전 기반의 입력 정보는 디바이스와 접촉 없이 카메라를 이용하여 획득된 입력 영상을 분석하여 인식된 유저의 제스처에 기초할 수 있다.
이하, 본 발명의 바람직한 실시 예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 바람직한 실시 예에 따른 외부 기기 제어 시스템(100)의 기능 블록도이다. 도 1을 참조하면, 외부 기기 제어 시스템(100)은 제 1 디바이스(110), 제 2 디바이스(120), 제 1 내지 제 n 외부 기기(130_1~130_n), 네트워크(140), 게이트웨이(150), 및 서버(160)를 포함하나 이로 제한되지 않는다.
즉, 외부 기기 제어 시스템(100)은 게이트웨이(150)와 서버(160)를 포함하지 않을 수 있다. 외부 기기 제어 시스템(100)은 제 2 디바이스(120)와 같은 디바이스를 복수개 포함할 수 있다. 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 제어 권한을 갖고 있는 디바이스이다. 제 2 디바이스(120)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 임시 제어 권한이 부여될 수 있는 디바이스이다. 따라서, 외부 기기 제어 시스템(100)이 제 2 디바이스(120)와 같은 디바이스를 복수개 포함한다는 것은 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 임시 제어 권한이 부여될 수 있는 디바이스가 복수개라는 것을 의미할 수 있다.
외부 기기 제어 시스템(100)은 제 2 디바이스(120)에 기초한 홈 네트워크 또는 로컬 도메인(local domain)내에 제 1 내지 제 n 외부 기기(130_1~130_n)와 같은 적어도 하나의 외부 기기를 포함할 수 있다. 제 2 디바이스(120)는 상기 제 2 디바이스(120)에 기초한 홈 네트워크 또는 로컬 도메인내에 포함될 수 있는 적어도 하나의 외부 기기에 대해 제어 권한을 가질 수 있다. 이 경우에, 제 1 디바이스(110)는 제 2 디바이스(120)에 기초한 홈 네트워크 또는 로컬 도메인내에 포함될 수 있는 적어도 하나의 외부 기기에 대한 임시 제어 권한을 가질 수 있다.
제 1 디바이스(110), 제 1 내지 제 n 외부 기기(130_1~130_n), 및 게이트웨이(150)는 물리적인 로컬 도메인에 놓인 것으로 언급될 수 있다. 물리적인 로컬 도메인은 예를 들어, 홈, 사무실, 레스토랑, 주차장 등과 같이 명칭으로 구분될 수 있는 장소 기반의 물리적인 영역을 들 수 있으나 이로 제한되지 않는다. 이러한 경우에, 제 1 디바이스(110)는 호스트 디바이스로 언급될 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 디바이스(110)의 로컬 기기 또는 제 1 디바이스(110)의 액세서리(accessory)로 언급될 수 있다. 게이트웨이(150)는 홈 게이트웨이(Home gateway) 또는 홈 서버(Home Server)로 언급될 수 있다. 게이트웨이(150)는 액세스 포인트(Access Point)와 같은 중계(relay) 기능을 포함할 수 있다. 게이트웨이(150)는 로컬 도메인에 포함되어 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 권한을 갖거나 제 1 내지 제 n 외부 기기(130_1~130_n)와 제 1 디바이스(110)에 대한 제어 권한을 가질 수 있다.
제 1 디바이스(110), 제 1 내지 제 n 외부 기기(130_1~130_n), 및 게이트웨이(150)를 포함하는 로컬 도메인은 IP 서브넷(sub network) 기반의 논리적인 영역일 수 있다.
제 1 디바이스(110)는, 일 예로, 스마트 폰(Smart Phone), 스마트 TV, PC(Personal Computer), 데스크탑(Desktop) PC, 노트북(Notebook), 스마트 보드(Smart Board), 태블릿(Tablet) PC, 패블릿(Phablet), 네비게이션, 모바일 기기(Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 컴퓨터, 미디어 플레이어, 전자북 단말기, PDA(Personal Digital Assistant), 터치 기반의 유저의 제스처를 입력할 수 있는 디지털 카메라, 및 디지털 CE(Consumer Electronics, 예를 들어, 이미지 디스플레이 및 터치 기반의 유저의 제스처를 입력할 수 있는 기능을 갖는 장치) 등이 될 수 있으나 이로 제한되지 않는다.
제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 제어 권한을 갖고 있는 디바이스이다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션은 제 1 디바이스(110)에 설치될 수 있다. 제 1 디바이스(110)에 제 1 내지 제 n 외부 기기(130_1~130_n)중 적어도 하나의 외부 기기에 관련된 애플리케이션이 설치되어 있지 않은 경우에, 제 1 디바이스(110)는 서버(160)로부터 외부 기기에 관련된 애플리케이션을 다운로드받아 설치할 수 있다.
제 1 디바이스(110)에 설치된 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션은 제 1 내지 제 n 외부 기기(130_1~130_n) 각각에 관련된 애플리케이션이다. 예를 들어, 제 1 외부 기기(130_1)가 스마트 TV이고, 제 2 외부 기기(130_2)가 청소 로봇이고, 제 n 외부 기기(130_n)가 에이컨인 경우에, 제 1 디바이스(110)에 스마트 TV용 애플리케이션, 청소 로봇용 애플리케이션, 및 에어컨용 애플리케이션이 각각 설치될 수 있다.
그러나, 제 1 디바이스(110)에 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 통합 애플리케이션이 설치될 수 있다. 통합 애플리케이션이란 제 1 내지 제 n 외부 기기(130_1~130_n)의 각 기능을 제어할 수 있는 애플리케이션을 하나로 통합한 애플리케이션을 말한다. 예를 들어, 제 1 외부 기기(130_1)가 스마트 TV이고, 제 2 외부 기기(130_2)가 청소 로봇이고, 제 n 외부 기기(130_n)가 에이컨인 경우에, 통합 애플리케이션은 스마트 TV에 관련된 기능, 청소 로봇에 관련된 기능, 및 에어컨에 관련된 기능을 모두 포함하고 있는 애플리케이션일 수 있다. 상기 외부 기기에 관련된 기능은 외부 기기를 제어하는 기능을 의미할 수 있다. 이러한 통합 애플리케이션의 경우에, 새로운 외부 기기에 관련된 기능을 추가할 수 있는 기능을 가질 수 있다. 예를 들어, 로컬 도메인에 공기 청정기가 추가되는 경우에, 통합 애플리케이션은 공기 청정기에 관련된 애플리케이션에 관한 정보를 추가할 수 있는 기능을 가질 수 있다.
통합 애플리케이션은 제 1 내지 제 n 외부 기기(130_1~130_n) 각각에 관련된 애플리케이션들을 상황에 따라 각각 호출할 수 있도록 구성될 수 있다. 예를 들어, 통합 애플리케이션은 상술한 스마트 TV에 관련된 애플리케이션, 청소 로봇에 관련된 애플리케이션을 필요에 따라 각각 호출할 수 있도록 구성될 수 있다. 이 경우에, 스마트 TV에 관련된 애플리케이션과 청소 로봇에 관련된 애플리케이션은 상기 통합 애플리케이션의 외부 애플리케이션으로 언급될 수 있다.
상술한 통합 애플리케이션이 제 1 디바이스(110)에 설치된 경우에, 제 1 디바이스(110)는 통합 애플리케이션을 실행시켜 제 1 내지 제 n 외부 기기(130_1~130_n)의 기능을 각각 제어할 수 있다. 즉, 제 1 디바이스(110)에 의해 통합 애플리케이션을 실행시키면, 제 1 디바이스(110)상에 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보가 디스플레이 된다. 디스플레이 되고 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보는 제 1 내지 제 n 외부 기기(130_1~130_n)의 식별 정보를 포함할 수 있다. 식별 정보는, 예를 들어, 제 1 내지 제 n 외부 기기(130_1~130_n)의 명칭을 포함할 수 있다. 제 1 디바이스(110)에 디스플레이 되고 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보는 목록 기반이거나 증강 현실 정보 기반일 수 있다.
제 1 디바이스(110)에 디스플레이 되고 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보에 기초하여 하나의 외부 기기가 선택되면, 제 1 디바이스(110)는 선택된 외부 기기에 관한 기능을 제어할 수 있는 제어 유저 인터페이스 정보(Control User Interface Information)를 디스플레이 한다. 제 1 디바이스(110)에 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초하여 유저는 원하는 기능을 제어할 수 있다.
상술한 통합 애플리케이션이 아닌 제 1 내지 제 n 외부 기기(130_1~130_n) 각각의 전용 애플리케이션이 제 1 디바이스(110)에 설치된 경우에, 제 1 디바이스(110)는 외부 기기 제어 위젯(widget)을 이용하여 제어 가능한 외부 기기에 관한 목록을 디스플레이하고, 디스플레이 되고 있는 외부 기기에 관한 목록에 기초하여 원하는 외부 기기를 선택하고 제어하도록 구성될 수 있다.
제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스(interactive service)를 실행하기 위한 애플리케이션은 상술한 통합 애플리케이션에 관련되는 기능을 포함할 수 있다. 예를 들어, 인터랙티브 서비스가 영상 통화 서비스이고, 영상 통화 서비스 애플리케이션이 상술한 통합 애플리케이션에 관련되는 기능을 포함할 수 있다. 이러한 경우에, 제 1 디바이스(110)와 제 2 디바이스(120)간에 영상 통화 서비스를 실행하고 있을 때, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n) 각각에 관련된 애플리케이션을 실행하지 않고, 제 1 디바이스(110)의 유저의 외부 기기 제어 요청에 따라 제 2 디바이스(120)로 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보와 제어 유저 인터페이스 정보를 전송할 수 있다. 이에 따라 제 2 디바이스(120)는 제 1 내지 제 n 외부 기기(130_1~130_n)를 원격으로 제어할 수 있다.
영상 통화 서비스와 같은 인터랙티브 서비스를 실행하는 애플리케이션이 상술한 통합 애플리케이션에 관련되는 기능을 포함하지 않을 수 있다. 이러한 경우에, 제 1 디바이스(110)는 영상 통화 서비스를 실행하는 애플리케이션과 독립된 외부 기기에 관련된 애플리케이션을 실행하여 상술한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송할 수 있다. 이 때, 외부 기기에 관련된 애플리케이션은 영상 통화 서비스를 실행하는 애플리케이션에 의해 호출될 수 있다.
제어 유저 인터페이스 정보는 도 2에 도시된 테이블에 기초한 정보를 포함할 수 있다. 도 2는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 권한 레벨에 따라 제공 가능한 제어 유저 인터페이스 정보를 정의한 테이블의 예이다.
도 2는 제 1 내지 제 n 외부 기기(130_1~130_n)의 예로서 디지털 TV(Digital TV, DTV), 블루레이 디스크 플레이어(Blue-ray Disc Player, BDP), 및 PC(Personal Computer)를 들고 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)의 제어 권한 레벨은 전체, 일부, 하나, 및 유저 설정으로 정의하고 있다. 제 1 내지 제 n 외부 기기(130_1~130_n) 및 제 1 내지 제 n 외부 기기(130_1~130_n)의 제어 권한 레벨은 도 2에 도시된 바로 제한되지 않는다.
예를 들어, 도 2에 도시된 일부 항목에 대한 제어 권한 레벨을 복수개로 정의할 수 있다. 즉, 도 2에 도시된 일부 항목을 일부 항목 1, 일부 항목 2, 및 일부 항목 3으로 정의할 수 있다. 일부 항목 1, 일부 항목 2, 및 일부 항목 3에 포함되는 기능은 다르게 설정되거나 점차적으로 줄어들거나 늘어나도록 설정될 수 있다.
예를 들어, 도 2의 DTV의 경우에, 일부 항목에 TV 기본 기능(예를 들어, 채널 제어 기능, 볼륨 제어 기능, 전원 제어 기능)이 설정되어 있다. 그러나, 일부 항목을 일부 항목 1, 2, 및 3으로 설정할 경우에, 일부 항목 1로 상술한 TV 기본 기능을 설정하고, 일부 항목 2로 컨텐트 공유 기능을 설정하고, 일부 항목 3로 기타 기능을 설정할 수 있다. 또는 일부 항목 1로 TV 기본 기능과 컨텐트 공유 기능을 설정하고, 일부 항목 2로 TV 기본 기능과 기타 기능을 설정하고, 일부 항목 3에 컨텐트 공유 기능과 기타 기능을 설정할 수 있다. 또는 일부 항목 1로 TV 기본 기능과 컨텐트 공유 기능을 설정하고, 일부 항목 2로 TV 기본 기능을 설정할 수 있다. 그러나 상술한 일부 항목에 외부 기기에 관한 기능을 설정하는 것은 상술한 바로 제한되지 않는다.
외부 기기에 관한 제어 유저 인터페이스 정보는 도 2에 도시된 바와 같이 계층적으로 정의된 제어 기능 아이템으로 구성될 수 있다. 즉, 도 2를 참조하면, DTV의 경우에, 기본 기능, 컨텐트 공유 기능, 기타 기능은 동일한 계층으로 설정되어 있다. 기본 기능의 하위 계층으로 채널 제어 기능, 볼륨 제어 기능, 전원 제어 기능이 설정되어 있다. 컨텐트 공유 기능의 하위 계층으로 DMS(Digital Media Server)와 컨텐트를 공유하는 기능, DMR(Digital Media Remstering)과 컨텐트를 공유하는 기능이 설정되어 있다. 기타 기능의 하위 계층으로 카메라 기능이 설정되어 있다. 그러나, 제어 유저 인터페이스 정보의 계층적 구조는 이로 제한되지 않는다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨이 전체이고, 제 1 내지 제 n 외부 기기(130_1~130_n)가 도 2에 도시된 테이블의 예와 같이 DTV, BDP, 및 PC인 경우에, 제어 유저 인터페이스 정보는 도 2에 도시된 DTV, BDP, 및 PC 항목에 포함된 모든 기능 정보를 포함할 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨이 일부이고, 제 1 내지 제 n 외부 기기(130_1~130_n)가 도 2에 도시된 테이블의 예와 같이 DTV, BDP, 및 PC인 경우에, 제어 유저 인터페이스 정보는 도 2에 도시된 DTV, BDP, 및 PC 항목에 포함된 일부 기능 정보를 포함한다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨이 하나이고, 제 1 내지 제 n 외부 기기(130_1~130_n)가 도 2에 도시된 테이블의 예와 같이 DTV, BDP, 및 PC인 경우에, 제어 유저 인터페이스 정보는 도 2에 도시된 DTV, BDP, 및 PC 항목에 포함된 하나의 기능 정보(예를 들어, 전원 온/오프 제어 기능 정보)를 포함할 수 있다.
이와 같이 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨에 따라 제공되는 제어 유저 인터페이스 정보가 다를 수 있다. 따라서, 제 2 디바이스(120)로 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한이 부여될 때, 임시 제어 권한 범위는 제 1 디바이스(110)의 제어 권한 범위에 의해 제한될 수 있다. 예를 들어, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨이 도 2에 정의된 “일부 항목”인 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 제어 권한 레벨은 “전체 항목”이 될 수 없다.
이하, 본 발명의 바람직한 실시 예들에서는 설명의 편의를 위해 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨이 “전체 항목”인 경우를 설명한다.
도 2에 도시된 유저 설정의 경우에는 제 1 디바이스(110)의 유저가 수동으로 제 2 디바이스(120)로 제공될 제어 유저 인터페이스 정보를 선택하여 전송하는 경우이다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨은 제 1 디바이스(110)의 유저 정보에 기초하여 결정될 수 있다. 따라서 제 1 디바이스(110)의 유저 정보가 유저 1(예를 들어, 아빠)를 나타내는 정보인 경우와 유저 2(예를 들어, 아들)을 나타내는 정보인 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨은 다를 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 1 디바이스(110)의 제어 권한 레벨이 다르다는 것은 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 범위가 다른 것을 의미할 수 있다.
도 3은 제 1 디바이스(110)의 유저 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 권한 레벨을 정의한 테이블의 예이다. 도 3을 참조하면, 제 1 디바이스(110)의 유저가 유저 1인 경우에, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)의 전체에 대한 제어 권한 레벨을 갖는다. 제 1 디바이스(110)의 유저가 유저 2인 경우에, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)중 DTV에 대해서는 전체 기능에 대한 제어 권한 레벨을 갖고, BDP에 대해서는 일부의 기능에 대한 제어 권한 레벨을 갖고, PC에 대해서는 하나의 기능에 대한 제어 권한 레벨을 갖는다. 제 1 디바이스(110)의 유저가 미등록 유저인 경우에, 제 1 내지 제 n 외부 기기(130_130_n) 각각에 대해 제어 권한을 갖는 다른 디바이스에 의해 제어 권한 레벨이 결정될 수 있다. 이 경우에, 제 1 디바이스(110)의 제어 권한 레벨은 제 2 디바이스(120)로 제공되는 임시 제어 권한 레벨과 다를 수 있다.
상술한 제어 권한 레벨 및 그에 따라 제공 가능한 제 1 내지 제 n 외부 기기(130_1~130_n) 각각에 대한 제어 유저 인터페이스 정보는 제 2 디바이스(120)로 제공되는 임시 제어 권한에도 적용된다. 즉, 제 2 디바이스(120)의 유저 정보에 기초하여 제 2 디바이스(120)의 임시 제어 권한 레벨이 결정되고, 결정된 임시 제어 권한 레벨에 따라 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 유저 인터페이스 정보가 결정된다. 임시 제어 권한 레벨에 따라 결정되는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제어 유저 인터페이스 정보는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제어 유저 인터페이스 정보 범위로 언급될 수 있다.
제 2 디바이스(120)로 제공되는 제어 유저 인터페이스 정보는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보와 도 2에 도시된 테이블에 정의된 바와 같이 제 1 내지 제 n 외부 기기(130_1~130_n)의 제어 가능한 기능 정보를 포함하나 이로 제한되지 않는다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보는 목록 기반 정보 또는 증강 현실 기반 정보를 포함할 수 있다.
제 1 디바이스(110)는 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송할 때, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한 레벨을 결정하고, 결정된 임시 제어 권한 레벨에 따라 제어 유저 인터페이스 정보를 전송할 수 있다.
예를 들어, 도 2에 도시된 바와 같이 제 1 내지 제 n 외부 기기(130_1~130_n)가 DTV, BDP, 및 PC이고, 제 1 디바이스(110)에 의해 결정된 제 2 디바이스(120)의 임시 제어 권한 레벨이 일부인 경우에, 제 1 디바이스(110)로부터 제 2 디바이스(120)로 전송되는 제어 유저 인터페이스 정보는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보와 도 2의 일부 항목에 포함된 기능 정보를 포함할 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한 레벨에 따른 제어 유저 인터페이스 정보는 도 2에 도시된 바로 제한되지 않는다. 예를 들어, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한 레벨이 최상위 등급인 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)의 전체 기능을 제어할 수 있는 제어 유저 인터페이스 정보가 전송될 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한 레벨이 중간 등급인 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)의 전원 온/오프 기능을 제어할 수 있는 제어 유저 인터페이스 정보가 전송될 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한 레벨이 최하위 등급인 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)중 하나의 외부 기기(예를 들어, 제 1 외부 기기(130_1))에 대한 기본 기능을 제어할 수 있는 제어 유저 인터페이스 정보가 전송될 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한 레벨은 각 외부 기기별로 결정될 수 있다. 또한, 제 2 디바이스(120)의 임시 제어 권한 레벨은, 제 2 디바이스(120)에 의해 선택된 외부 기기에 대한 임시 제어 권한 레벨이 될 수 있다.
제 2 디바이스(120)의 유저가 미등록된 유저인 경우에, 제 2 디바이스(120)로 전송되는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제어 유저 인터페이스 정보는 제 1 디바이스(110)의 유저가 직접 설정하거나 지정한 제어 유저 인터페이스 정보를 포함할 수 있다.
제 1 디바이스(110) 및 제 2 디바이스(120)에 의해 각각 제공되는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제어 유저 인터페이스 정보가 증강 현실(AR, Augmented Reality) 정보인 경우에, 증강 현실 정보는 제 1 디바이스(110)에 포함된 카메라를 이용하여 획득될 수 있다.
즉, 제 1 디바이스(110)에 포함된 카메라를 이용하여 제 1 내지 제 n 외부 기기(130_1~130_n)의 이미지가 획득되면, 획득된 이미지에 대해 객체 인식 기술을 이용하여 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보(예를 들어 외부 기기의 식별 정보)를 인식한다. 객체 인식 기술은 오브젝트의 이미지로부터 특징을 추출하고, 추출된 특징과 사전에 저장된 오브젝트의 특징을 비교하여 객체를 인식하는 방법을 사용할 수 있으나 이로 제한되지 않는다.
제 1 디바이스(110)는 인식된 외부 기기에 관한 정보를 이용하여 외부 기기 정보 데이터 베이스로부터 인식된 외부 기기에 대한 추가 정보를 검색한다. 외부 기기 정보 데이터 베이스는 제 1 디바이스(110)에 포함될 수 있으나 제 1 디바이스(110)의 외부에 있는 데이터 베이스 서버에 포함될 수 있다. 외부에 있는 데이터 베이스 서버는 서버(160) 또는 게이트웨이(150)가 될 수 있다.
제 1 디바이스(110)에 의해 검색된 추가 정보는 외부 기기의 종류, 외부 기기의 이름, 외부 기기의 네트워크 주소, 제어 명령 리스트, 및 기기의 상태 정보 등을 포함할 수 있으나 이로 제한되지 않는다. 이와 같이 검색된 추가 정보와 외부 기기의 식별 정보에 기초한 객체 추적 기술을 이용하여 제 1 디바이스(110)는 AR 기반 정보를 포함하는 영상을 생성한다. 객체 추적 기술은 제 1 디바이스(110)에 포함된 센서 기반 및/또는 컴퓨터 시각 기반으로 수행될 수 있으나 이로 제한되지 않는다. 생성된 AR 기반 정보를 포함하는 영상은 상술한 제어 유저 인터페이스 정보에 포함되어 제 2 디바이스(120)로 전송될 수 있다.
제 1 디바이스(110) 및 제 2 디바이스(120)에 의해 각각 제공되는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제어 유저 인터페이스 정보는 제 1 내지 제 n 외부 기기(130_1~130_n)의 물리적인 위치 기반의 2차원 평면 배치도 또는 3차원 평면 배치도(또는 기기 배치도 또는 댁내 평면도)로 제공될 수 있다.
또한, 제어 유저 인터페이스 정보는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한 기간 정보를 포함할 수 있다. 예를 들어, 제 1 디바이스(110)를 이용하여 인터랙티브 서비스 기간을 임시 제어 권한 기간으로 설정하거나 임시 제어 권한이 부여된 시점부터 1 시간동안 임시 제어 권한 기간을 설정하거나 특정 시간 주기로 임시 제어 권한을 설정할 경우에, 제 1 디바이스(110)는 설정된 임시 제어 권한 기간 정보를 제어 유저 인터페이스 정보에 포함시켜 제 2 디바이스(120)로 전송하거나 제어 유저 인터페이스 정보와 함께 임시 제어 권한 기간 정보를 제 2 디바이스(120)로 전송할 수 있다.
상술한 특정 시간 주기는 년/월/주/요일 별로 반복 가능하도록 설정할 수 있으나 이로 제한되지 않는다. 예를 들어, 특정 시간 주기는 아버지 댁에 보일러를 아침 8시마다 제어하도록 설정하거나 어린 자녀가 귀가한 시간부터 본인이 귀가하는 시간 전까지 집의 도어를 제어할 수 있도록 설정할 수 있다. 제 2 디바이스(120)에 대한 임시 제어 권한 기간 설정은 제 2 디바이스(120)로 임시 제어 권한을 부여할 때 수행될 수 있으나 이로 제한되지 않는다.
제 2 디바이스(120)에 대한 임시 제어 권한이 부여될 때, 제 1 디바이스(110)는 제 2 디바이스(120)로 부여된 임시 제어 권한 레벨을 디스플레이 하거나 제 2 디바이스(120)로 임시 제어 권한이 부여된 외부 기기의 리스트 및 제어 가능한 기능 리스트 등을 디스플레이 할 수 있다.
제 2 디바이스(120)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 권한이 없는 디바이스이다. 그러나, 상술한 바와 같이 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한이 부여됨에 따라 제 2 디바이스(120)는 제 1 내지 제 n 외부 기기(130_1~130_n)를 제어할 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제 2 디바이스(120)의 임시 제어 권한은 제 1 디바이스(120)의 유저의 요청, 제 2 디바이스(120)의 유저의 요청, 제 1 내지 제 n 외부 기기(130_1~130_n)의 요청, 게이트웨이(150)의 요청, 또는 서버(160)의 요청중 적어도 하나에 의해 부여될 수 있다.
제 2 디바이스(120)는, 일 예로, 스마트 폰(Smart Phone), 스마트 TV, PC(Personal Computer), 데스크탑(Desktop) PC, 노트북(Notebook), 스마트 보드(Smart Board), 태블릿(Tablet) PC, 패블릿, 네비게이션, 모바일 기기(Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 컴퓨터, 미디어 플레이어, 전자북 단말기, PDA(Personal Digital Assistant), 터치 기반의 유저의 제스처를 입력할 수 있는 디지털 카메라, 및 디지털 CE(Consumer Electronics, 예를 들어, 이미지 디스플레이 및 터치 기반의 유저의 제스처를 입력할 수 있는 기능을 갖는 장치) 등이 될 수 있으나 이로 제한되지 않는다.
제 2 디바이스(120)는 제 1 디바이스(110)의 전화 번호부 또는 주소록과 같은 컨택 정보 관리(contact information management) 애플리케이션 또는 컨택 정보 관리 애플리케이션을 호출 또는 컨택 정보 관리 애플리케이션과 연동될 수 있는 애플리케이션을 통해 선택된 디바이스일 수 있다. 제 2 디바이스(120)를 선택하기 위해 이용되는 애플리케이션은 상술한 바로 제한되지 않는다.
제 1 디바이스(110)와 제 2 디바이스(120)가 인터랙티브 서비스를 실행하고 있을 때, 제 2 디바이스(120)에 대한 선택 동작은 생략되고 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한이 부여될 수 있다. 이는 인터랙티브 서비스를 실행하고 있을 때, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한 부여가 요청되면, 상대 디바이스로 자동적으로 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한을 부여하는 것으로 볼 수 있으나 이로 제한되지 않는다.
제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 디바이스(110)와 연결된 상태일 수 있으나 제 1 디바이스(110)와 연결되지 않은 상태일 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)가 제 1 디바이스(110)에 연결되지 않는 상태에서 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보를 갖고 있을 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보는 관련된 애플리케이션 정보 및 네트워크 연결 정보를 포함할 수 있으나 이로 제한되지 않는다. 즉, 상술한 바와 같이 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보는 외부 기기의 종류, 외부 기기의 이름, 외부 기기의 네트워크 주소, 제어 명령 리스트, 및 기기의 상태 정보 등을 포함할 수 있으나 이로 제한되지 않는다.
제 1 디바이스(110)는 도 4 내지 도 7에 도시된 바와 같이 제 1 근거리 통신에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보를 얻고, 얻어진 관련된 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와 제 2 근거리 통신에 기초하여 통신 세션을 오픈(또는 셋업 및 연결(또는 페어링(pairing))할 수 있다.
제 1 근거리 통신이란 제 1 디바이스(110)가 제 1 내지 제 n 외부 기기(130_1~130_n)를 제어하기 위한 통신 세션을 오픈하기 위해 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간에 수행되는 통신이다. 제 2 근거리 통신이란 제 1 디바이스(110)가 제 1 내지 제 n 외부 기기(130_1~130_n)를 제어하기 위한 통신 세션을 오픈하고, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간에 수행되는 통신이다.
도 4는 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신 세션을 오픈하는 과정을 설명하기 위한 흐름도의 일 예이다. 도 4는 제 1 근거리 통신이 NFC 통신 방식으로 수행되고, 제 2 근거리 통신이 게이트웨이(150)의 중계 기능을 이용하는 통신 방식으로 수행되는 경우이다. 중계 기능을 수행하는 AP(Access Point)가 게이트웨이(150)와 독립적으로 설치된 경우에, 제 2 근거리 통신은 AP를 통해 수행될 수 있다.
단계 S401에서, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 거리가 NFC 통신 반경내가 되면, 단계 S402에서, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)는 각각 제 1 근거리 통신 발생을 감지한다.
단계 S403에서, NFC 통신을 기반으로 제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 디바이스(110)로 제 2 근거리 통신 연결을 위한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션 정보를 전송한다.
단계 S404에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 인증 처리를 한다. 인증 처리는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신된 사전에 약속된 인증 정보를 인증하는 방식으로 수행될 수 있다. 따라서, 단계 S403에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보를 수신할 수 있다. 단계 S403에서, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않고, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하지 않으면, 단계 S404는 생략될 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하는 것으로 실시 예를 구현한 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않거나 잘못된 인증 정보가 수신되면, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)와의 통신 세션을 오픈하기 위한 과정을 중단할 수 있다.
단계 S405에서, 제 1 디바이스(110)는 수신된 제 2 근거리 통신 연결에 대한 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와의 제 2 근거리 통신 방식을 판별한다. 제 2 근거리 통신 방식에 대한 판별은 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신되는 통신 방식을 나타내는 정보에 기초하여 수행된다.
예를 들어, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신되는 통신 방식을 나타내는 정보가 블루투스 통신 방식을 나타내는 정보를 포함하면, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)와의 제 2 근거리 통신 방식을 블루투스 통신 방식으로 판별한다. 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신되는 통신 방식을 나타내는 정보가 인프라스트럭쳐 모드(Infrastructure mode) 무선 랜 통신 방식을 나타내는 정보를 포함하면, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)와의 제 2 근거리 통신 방식을 인프라스트럭쳐 모드 무선랜 통신 방식으로 판별한다.
도 4는 제 1 내지 제 n 외부 기기(130_1~130_n)의 제 2 근거리 통신 방식이 게이트웨이(150)를 통하는 경우이다. 따라서, 단계 S406에서, 제 1 디바이스(110)는 게이트웨이(150)에 관한 연결 정보를 제 1 내지 제 n 외부 기기(130_1~130_n)로 전송한다.
도 4는 제 1 디바이스(110)가 게이트웨이(150)와 연결되지 않고, 게이트웨이(150)에 관한 연결 정보를 제 1 디바이스(110)에 저장하고 있는 경우이다. 게이트웨이에 관한 연결 정보는 게이트웨이(150)와 연결하기 위해 필요한 정보이다. 예를 들어, 게이트웨이(150)에 관한 연결 정보는 SSID(Service Set InDentifier), 채널 정보, 보안(Security) 및 인증(Authentification) 키 정보, 암호(Encryption) 키 정보, IP(Internet Protocol) 어드레스, MAC(Media Access Control) 어드레스 등을 포함할 수 있으나 이로 제한되지 않는다.
단계 S407에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 수신된 게이트웨이(150)에 관한 연결 정보를 이용하여 게이트웨이(150)로 연결 요청을 한다. 단계 S408에서, 게이트웨이(150)로부터 연결 수락 신호가 수신되면, 단계 S409에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 디바이스(110)로 게이트웨이(150)와 연결되었음을 나타내는 연결 통보 신호를 전송한다.
단계 S410에서, 제 1 디바이스(110)는 게이트웨이(150)에 관한 연결 정보를 이용하여 게이트웨이(150)로 연결 요청 신호를 전송한다. 단계 S411에서, 게이트웨이(150)로부터 연결 수락 신호를 수신하면, 제 1 디바이스(110)는 게이트웨이(150)를 통해 제 1 내지 제 n 외부 기기(130_1~130_n)와 통신 세션을 오픈할 수 있다. 통신 세션을 오픈할 때, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션을 실행할 수 있다.
도 5는 제 1 근거리 통신이 BLE 통신 방식으로 수행되고, 제 2 근거리 통신이 중계기를 통하는 통신 방식으로 수행되는 경우를 설명하는 흐름도이다.
단계 S501에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 브로드캐스트되는 제 2 근거리 통신 연결을 위한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션 정보를 수신함에 따라 단계 S502에서 제 1 근거리 통신 발생을 감지한다. 단계 S501과 단계 S502는 거의 동시에 발생될 수 있다.
단계 S503에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 인증 처리를 한다. 인증 처리는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신된 사전에 약속된 인증 정보를 인증하는 방식으로 수행될 수 있다. 따라서, 단계 S501에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보를 수신할 수 있다. 단계 S501에서, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보를 수신하지 않고, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하지 않는 것으로 실시 예를 구현하는 경우에, 단계 S503은 생략될 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하는 것으로 실시 예를 구현한 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않거나 잘못된 인증 정보가 수신되면, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)와의 통신 세션을 오픈하는 과정을 중단할 수 있다.
단계 S504에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 디스플레이 한다. 이를 위해 단계 S501에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 제 1 디바이스(110)로 전송할 수 있다.
그러나 단계 S502에서, 제 1 근거리 통신 발생을 감지한 후, 제 1 디바이스(110)로부터 제 1 내지 제 n 외부 기기(130_1~130_n)로의 정보 요청에 따라 제 1 디바이스(110)는 상술한 인증 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 수신하도록 구현될 수 있다.
단계 S505에서, 디스플레이 되고 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와의 연결을 선택하는 유저의 정보가 입력되면, 단계 S506에서, 제 1 디바이스(100)는 제 2 근거리 통신 연결에 대한 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와의 제 2 근거리 통신 방식을 판별한다. 제 2 근거리 통신 방식을 판별하는 것은 상술한 단계 S405에서와 같이 수행될 수 있다.
도 5는 제 1 내지 제 n 외부 기기(130_1~130_n)의 제 2 근거리 통신 방식이 게이트웨이(150)를 통하는 경우이다. 따라서, 단계 S507에서, 제 1 디바이스(100)는 게이트웨이(150)에 관한 연결 정보를 제 1 내지 제 n 외부 기기(130_1~130_n)로 전송한다. 도 5는 제 1 디바이스(110)가 게이트웨이(150)와 연결되지 않고, 게이트웨이(150)에 관한 연결 정보를 제 1 디바이스(100)에 저장하고 있는 경우이다.
단계 S508에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 수신된 게이트웨이(150)에 관한 연결 정보를 이용하여 게이트웨이(150)로 연결 요청 신호를 전송한다. 단계 S509에서, 게이트웨이(150)로부터 연결 수락 신호가 수신되면, 단계 S510에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 디바이스(110)로 게이트웨이(150)와 연결되었음을 나타내는 연결 통보 신호를 전송한다.
단계 S511에서, 제 1 디바이스(110)는 게이트웨이(150)에 관한 연결 정보를 이용하여 게이트웨이(150)로 연결 요청 신호를 전송한다. 이에 대해 단계 S512에서, 게이트웨이(150)로부터 연결 수락 신호를 수신하면, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신 세션이 오픈될 수 있다.
도 6은 제 1 근거리 통신이 NFC 통신 방식으로 수행되고, 제 2 근거리 통신이 게이트웨이(150)를 통하지 않고 기기간 직접 통신 방식으로 수행되는 경우를 설명하는 흐름도이다.
단계 S601에서, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 거리가 제 1 근거리 통신 반경내가 되면, 단계 S602에서 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)는 각각 제 1 근거리 통신 발생을 감지한다.
단계 S603에서, NFC 통신을 기반으로 제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 디바이스(110)로 제 2 근거리 통신 연결을 위한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션 정보를 전송한다.
단계 S604에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 인증 처리를 한다. 인증 처리는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신된 사전에 약속된 인증 정보를 인증하는 방식으로 수행될 수 있다. 따라서, 단계 S603에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보를 수신할 수 있다. 단계 S603에서, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않고, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하지 않는 것으로 실시 예를 구현할 경우에, 단계 S604는 생략될 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하는 것으로 실시 예를 구현한 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않거나 잘못된 인증 정보가 수신되면, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)와의 통신 세션을 오픈하기 위한 과정을 중단할 수 있다.
단계 S605에서, 제 1 디바이스(110)는 수신된 제 2 근거리 통신 연결에 대한 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와의 제 2 근거리 통신 방식을 판별한다. 제 2 근거리 통신 방식을 판별하는 것은 상술한 바와 같이 수행될 수 있다.
도 6은 제 1 내지 제 n 외부 기기(130_1~130_n)의 제 2 근거리 통신 방식이 게이트웨이(150)를 통하지 않고 기기간 직접 통신 방식을 이용하는 경우이다. 따라서, 단계 S606에서, 제 1 디바이스(110)는 기기간 직접 통신 요청 시 필요한 제 1 디바이스(110)의 정보를 NFC 통신 방식으로 제 1 내지 제 n 외부 기기(130_1~130_n)로 전송할 수 있다. 이로 인하여 제 1 내지 제 n 외부 기기(130_1~130_n)는 차후에 제 1 디바이스(110)의 정보를 이용하여 제 1 디바이스(110)와의 기기간 직접 통신을 먼저 시도할 수 있다.
기기간 직접 통신 시도를 제 1 디바이스(110) 측에서만 수행할 수 있도록, 단계 S606을 수행하지 않는 것으로 도 6은 변형될 수 있다. 단계 S607에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제 2 근거리 통신 연결 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)로 연결 요청 신호을 전송한다. 단계 S608에서, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 연결 수락 신호가 수신되면, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신 세션이 오픈될 수 있다.
도 7은 제 1 근거리 통신이 BLE 통신 방식으로 수행되고, 제 2 근거리 통신이 게이트웨이(150)를 통하지 않고 기기간 직접 통신 방식으로 수행되는 경우를 설명하는 흐름도이다.
단계 S701에서, BLE 통신 기반으로 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 브로드캐스트 되는 제 2 근거리 통신 연결을 위한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션 정보가 수신됨에 따라 단계 S702에서, 제 1 디바이스(110)는 제 1 근거리 통신 발생을 감지한다. 단계 S701과 단계 S702는 거의 동시에 발생될 수 있다. 단계 S701에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 애플리케이션 정보를 전송하지 않을 수 있다.
단계 S703에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 인증 처리를 한다. 인증 처리는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 수신된 사전에 약속된 인증 정보를 인증하는 방식으로 수행될 수 있다. 단계 S701에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보를 수신할 수 있다. 단계 S701에서, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않고, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하지 않는 것으로 실시 예를 구현할 경우에, 단계 S703은 생략될 수 있다.
제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 인증 절차를 수행하는 것으로 실시 예를 구현한 경우에, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 인증 정보가 수신되지 않거나 잘못된 인증 정보가 수신되면, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)와의 통신 세션 오픈을 위한 동작을 중단할 수 있다.
단계 S704에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 디스플레이 한다. 이를 위해, 단계 S701에서, 제 1 내지 제 n 외부 기기(130_1~130_n)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 제 1 디바이스(110)로 전송할 수 있다.
단계 S702에서, 제 1 근거리 통신 발생을 감지한 후, 제 1 디바이스(110)로부터 제 1 내지 제 n 외부 기기(130_1~130_n)로의 정보 요청에 따라 제 1 디바이스(110)는 상술한 인증 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 수신하도록 구현될 수 있다.
단계 S705에서, 디스플레이 되고 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와의 연결을 선택하는 유저의 입력이 수신되면, 단계 S706에서, 제 1 디바이스(110)는 제 2 근거리 통신 연결에 대한 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)와의 제 2 근거리 통신 방식을 판별한다. 제 2 근거리 통신 방식을 판별하는 것은 도 4의 단계 S405에서 설명한 바와 같이 수행될 수 있다.
도 7은 제 1 내지 제 n 외부 기기(130_1~130_n)의 제 2 근거리 통신 방식이 게이트웨이(150)를 통하지 않고 기기간 직접 통신 방식을 이용하는 경우이다. 따라서, 단계 S707에서, 제 1 디바이스(110)는 기기간 직접 통신 요청 시 필요한 제 1 디바이스(110)에 관한 정보를 BLE 통신 방식으로 제 1 내지 제 n 외부 기기(130_1~130_n)로 전송할 수 있다. 이로 인하여 제 1 내지 제 n 외부 기기(130_1~130_n)는 차후에 제 1 디바이스(110)에 관한 정보를 이용하여 제 1 디바이스(110)와의 기기간 직접 통신을 먼저 시도할 수 있다.
기기간 직접 통신 시도를 제 1 디바이스(110) 측에서만 수행할 수 있도록, 도 7은 단계 S707를 수행하지 않도록 변형될 수 있다.
단계 S708에서, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)의 제 2 근거리 통신 연결 정보에 기초하여 제 1 내지 제 n 외부 기기(130_1~130_n)로 연결 요청 신호를 전송한다. 단계 S709에서, 제 1 내지 제 n 외부 기기(130_1~130_n)로부터 연결 수락 신호가 수신되면, 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신 세션이 오픈될 수 있다.
도 4 내지 도 7은 제 1 내지 제 n 외부 기기(130_1~130_n)와 제 1 디바이스(110)간의 통신 세션이 무선 통신 방식으로 오픈되는 경우이다. 그러나, 제 1 내지 제 n 외부 기기(130_1~130_n)와 제 1 디바이스(110)간의 통신 세션 오픈은 상술한 무선 통신 방식으로 제한되지 않는다. 예를 들어, 제 1 내지 제 n 외부 기기(130_1~130_n)와 제 1 디바이스(110)는 유선 통신 방식으로 통신 세션이 오픈될 수 있다.
네트워크(140)는 제 1 디바이스(110)와 제 2 디바이스(120)간에 블루투스 통신, 와이파이 다이렉트 통신과 같은 근거리 통신에 의해 통신 세션을 오픈할 수 있는 네트워크 또는 채팅, 영상 통화, 및 음성 통화와 같은 인터랙티브 서비스 기반의 통신 세션을 오픈할 수 있는 네트워크를 포함할 수 있다. 또한, 네트워크(140)는 제 2 디바이스(120)와 게이트웨이(150)간, 제 1 디바이스(110)와 서버(160)간, 제 2 디바이스(120)와 서버(160)간의 통신 세션을 오픈할 수 있는 네트워크를 포함할 수 있다.
네트워크(140)는 제 1 디바이스(110)와 제 2 디바이스(120)간에 M2M(Machine-to-Machine) 통신 방식, D2D(Device-to-Device) 통신 방식 또는 P2P(Peer to Peer) 통신 방식 중 적어도 하나로 통신 세션을 오픈할 수 있는 네트워크를 포함할 수 있다.
네트워크(140)는 무선 통신 기반으로 구성되거나 유선 통신 기반으로 구성될 수 있다.
무선 통신 기반으로 구성된 경우에, 네트워크(140)는 예를 들어, AP(Access Point)를 통하지 않는 무선 랜(예를 들어, 와이파이 다이렉트 또는 애드훅 모드의 무선 랜), 지그비(Zigbee) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선(IrDA, Infrared Data Association) 네트워크, RFID(Radio Frequency Identification) 네트워크, NFC(Near Field Communication) 기반 네트워크, AP를 통하는 무선 랜(예를 들어, 와이파이 또는 인프라스트럭쳐 모드의 무선 랜), 3G/4G LTE(Long term Evolution) 기반 네트워크, 인터넷, 무선 인트라넷, 무선 전화 네트워크, UWB(Ultra WideBand) 네트워크와 같은 무선 네트워크중 적어도 하나의 네트워크 기반 통신으로 구성될 수 있으나 이로 제한되지 않는다.
유선 통신 기반으로 구성되는 경우에, 네트워크(140)는 예를 들어, 전화선을 이용하는 방식(예를 들어, 홈 PNA(Phoneline Network Alliance)), 전력선을 이용하는 방식(예를 들어, HomePlug, LongWorks, HNCP), 이더넷(Ethernet)을 이용하는 방식(예를 들어, IEEE 802.3), 구조적 배선(Structured Wiring)방식중 하나의 방식이 이용될 수 있으나 이로 제한되지 않는다.
게이트웨이(150)는 도 4 및 도 5에서 언급한 바와 같은 제 1 디바이스(110)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신, 제 2 디바이스(120)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신, 및 서버(160)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신을 중계한다.
제 1 디바이스(110), 제 1 내지 제 n 외부 기기(130_1~130_n), 및 게이트웨이(150)간에 연결된 네트워크가 홈 기반의 로컬 에어리어 네트워크인 경우에, 게이트웨이(150)는 홈 게이트웨이로 언급될 수 있다.
게이트웨이(150)는 무선 중계 기능을 포함할 수 있다. 게이트웨이(150)는 유선 랜과 연동이 가능하도록 구성될 수 있다. 게이트웨이(150)는 인터넷 공유 기능을 갖는 유무선 인터넷 공유 기능을 포함할 수 있다. 게이트웨이(150)는 무선과 유선을 연동하는 기능을 갖는 액세스 포인트(Access Point) 또는 액세스 포인트와 인터넷 공유 기능을 갖는 무선 공유기를 포함할 수 있다.
게이트웨이(150)는 제 1 디바이스(110) 및 제 1 내지 제 n 외부 기기(130_1~130_n)가 연결된 네트워크를 로컬 에어리어 네트워크이라고 할 때, 로컬 에어리어 네트워크와 네트워크(140)를 중계하는 게이트웨이로 언급될 수 있다.
서버(160)는 퍼블릭 클라우드(public cloud), 프라이빗 클라우드(private cloud), AAA(Authentication Authorization Accounting) 서버, 스마트 홈 사업자의 인증 서버(Authentication Server)중 적어도 하나를 포함할 수 있다. 서버(160)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 임시 제어 권한을 가질 수 있는 디바이스에 관한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보를 저장할 수 있다. 상술한 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보는 상술한 도 4 내지 도 7에서 언급되고 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보를 포함할 수 있다. 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 임시 제어 권한을 가질 수 있는 디바이스에 관한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 정보는 제 1 디바이스(110) 또는/ 및 게이트웨이(150)에 저장될 수 있다.
제 1 디바이스(110)와 제 2 디바이스(120)간에 통신 세션이 오픈되지 않은 상태에서 제 1 디바이스(110)의 전화번호부 또는 주소록과 같은 컨택 정보 관리 애플리케이션 또는 컨택 정보 관리 애플리케이션에 연동되는 애플리케이션을 실행시켜 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 제 2 디바이스(120)로 전송함으로써 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한을 제 2 디바이스(120)로 부여할 수 있다.
또는 제 2 디바이스(120)에 의해 컨택 정보 관리 애플리케이션 또는 컨택 정보 관리 애플리케이션에 연동되는 애플리케이션을 실행시켜 제 1 디바이스(110)로 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한을 요청함에 따라 제 2 디바이스(120)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한을 가질 수 있다.
도 8은 바람직한 일 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 8은 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)의 유저에 의해 적어도 하나의 외부 기기에 대한 임시 제어 권한 부여가 요청되는 경우이다.
단계 S801에서 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)의 유저에 의해 외부 기기에 대한 임시 제어 권한 부여 요청 명령이 입력되면(S802), 제 1 디바이스(110)는 외부 기기에 관한 정보를 제 2 디바이스(120)로 전송한다(S803). 외부 기기에 관한 정보는 상술한 도 1에서 언급된 외부 기기에 관한 정보를 포함할 수 있다.
제 1 디바이스(110)에서의 외부 기기에 대한 임시 제어 권한 부여 요청 명령은 제 1 디바이스(110)에 포함된 임시 제어 권한 부여 요청 전용 키를 제어하여 입력되거나 터치 기반 또는 모션 기반의 임시 제어 권한 부여 요청 메뉴 항목에 대한 선택에 의해 입력되거나 제 1 디바이스(110)의 유저의 음성 신호(예를 들어, 임시 제어 권한 부여 바람과 같은 음성 신호)로 입력될 수 있다.
이에 따라 제 2 디바이스(120)는 외부 기기에 관한 정보를 디스플레이 한다(S804). 도 9는 영상 통화 서비스 실행시 제 2 디바이스(120)에 의해 디스플레이 되는 화면의 예이다. 도 9를 참조하면, 단계 S804에서 제 2 디바이스(120)는 화면(910)과 같이 영역(911)에 외부 기기에 대한 임시 제어 권한 부여 통지 메시지를 디스플레이 하면서 외부 기기에 대한 임시 제어 권한 부여를 수락 또는 거절할 수 있는 메뉴 항목(912)을 디스플레이할 수 있다.
메뉴 항목(912)에 포함된 외부 기기에 대한 임시 제어 권한 부여를 수락하는 항목이 선택되면, 제 2 디바이스(120)에 의해 디스플레이 되고 있는 화면이 화면(910)에서 화면(920)으로 변경된다. 화면(920)은 외부 기기에 관한 정보가 증강 현실 기반 정보로 제공된 예이다. 화면(920)의 경우에, 외부 기기의 식별 정보와 외부 기기의 상태 정보를 함께 제공한다. 그러나 제공되는 외부 기기에 관한 정보는 화면(920)에 도시된 바로 제한되지 않는다. 즉, 외부 기기의 식별 정보만 외부 기기에 관한 정보로서 디스플레이 될 수 있다.
이 때, 제 1 디바이스(110)와 제 2 디바이스(120)는 영상 통화 상태를 유지하고 있다. 따라서, 도 9의 화면(920)은 제 1 디바이스(110)의 유저가 영상 통화중 제 1 디바이스(110)의 카메라 애플리케이션을 호출하여 제어를 원하는 대상 기기를 촬영함에 따라 전송될 수 있으나 이로 제한되지 않는다. 화면(910)과 화면(920)은 하나의 화면에 포함될 수 있다. 예를 들어, 화면(920)에 디스플레이 되는 화면이 화면(910)의 배경 화면으로 디스플레이 될 수 있다. 이러한 경우에, 화면(920)에 디스플레이 되고 있는 외부 기기에 관한 정보는 최상위 레이어에서 선택 가능한 영역으로 디스플레이 될 수 있다.
도 10은 바람직한 실시 예에 따른 영상 통화 서비스 실행시 제 2 디바이스(120)에 의해 디스플레이 되는 화면의 다른 예이다. 도 10은 외부 기기에 관한 정보가 물리적인 위치 기반의 평면 배치도로 제공된 경우이다. 도 10의 화면(1020)과 같이 외부 기기의 2차원 평면 배치도가 제 2 디바이스(120)에 의해 디스플레이 될 수 있다. 이 때, 평면 배치도는 화면(1020)에 도시된 바와 같이 영상 통화 서비스 화면과 화면 분할 방식으로 분할된 영역에 디스플레이 될 수 있다. 영상 통화 서비스 화면과 평면 배치도는 PIP(Picture In Picture) 형태로 분할되어 디스플레이되거나 도 9의 화면(920)과 같이 평면 배치도만 디스플레이 될 수 있다. 이 때, 제 1 디바이스(110)와 제 2 디바이스(120)는 영상 통화 서비스가 유지되고 있는 상태이므로, 영상 통화에 기초한 음성 신호는 계속 출력될 수 있다.
도 9의 화면(920)과 같이 디스플레이 되고 있는 AR 기반 정보에 기초한 외부 기기에 대한 선택 신호가 수신되면(S805), 제 2 디바이스(120)는 선택된 외부 기기에 관한 정보를 제 1 디바이스(110)로 전송한다(S806). AR 기반 정보에 기초한 외부 기기에 대한 선택 신호는, 예를 들어, 제 2 디바이스(120)에 디스플레이 되고 있는 화면(920)에 포함된 외부 기기에 관한 정보에 대한 롱 터치에 의해 수신될 수 있다. 그러나 외부 기기에 대한 선택 신호를 수신하는 방법은 이로 제한되지 않는다. 예를 들어, “에어컨”이라는 유저의 음성 신호에 따라 제 2 디바이스(120)는 외부 기기에 대한 선택 신호를 수신할 수 있다.
제 1 디바이스(110)는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다(S807). 이에 따라 제 2 디바이스(120)는 수신된 제어 유저 인터페이스 정보를 디스플레이 한다(S808). 즉, 도 9의 화면(920)에서 에어컨이 선택된 경우에, 단계 S808에서 제 2 디바이스(120)는 화면(930)과 같이 에어컨에 관한 제어 유저 인터페이스 정보를 디스플레이 할 수 있다. 그러나, 단계 S808에서 디스플레이 되는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는 도 9의 화면(930)에 도시된 바로 제한되지 않는다.
디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초하여, 제 2 디바이스(120)에 의해 제어 명령이 입력되면(S809), 제 2 디바이스(120)는 제 1 디바이스(110)를 통해 제 1 내지 제 n 외부 기기(130_1~130_n)중 에어컨에 해당되는 외부 기기로 제어 명령을 전송한다(S810, S811). 이 때, 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)중 에어컨에 해당되는 외부 기기와 제 2 디바이스(120)간의 중계(relay) 역할을 할 수 있다.
도 8은 제 2 디바이스(120)가 제 1 내지 제 n 외부 기기(130_1~130_n)중 에어컨에 해당되는 외부 기기로 직접 제어 명령을 입력하도록 변형될 수 있다. 도 8은 제 2 디바이스(120)가 게이트웨이(150) 또는 서버(160)를 통해 제 1 내지 제 n 외부 기기(130_1~130_n)중 에어컨에 해당되는 외부 기기로 제어 명령을 입력하도록 변형될 수 있다. 외부 기기로 직접 제어 명령을 입력하는 경우에, 제 2 디바이스(120)는 외부 기기와 통신 세션을 연결할 수 있는 정보를 이용하여 외부 기기와 통신 세션을 오픈할 수 있다. 게이트웨이(150) 또는 서버(160)를 통해 제어 명령을 전송하는 경우에, 제 2 디바이스(120)는 선택된 외부 기기와 통신 세션을 오픈할 수 있는 정보를 게이트웨이(150) 또는 서버(160)로 제공할 수 있다.
도 8은 단계 S802에서 외부 기기에 대한 임시 제어 권한 부여 요청 시, 제 1 디바이스(110)는 임시 제어 권한 부여 요청 신호를 제 2 디바이스(120)로 전송하고, 제 2 디바이스(120)에 의해 도 9의 화면(910)에 도시된 메시지(911, 912)를 디스플레이하고, 디스플레이 되고 있는 메시지(911, 912)에 기초하여 임시 제어 권한 부여 수락 신호를 제 1 디바이스(110)로 전송함에 따라 제 1 디바이스(110)로부터 제 2 디바이스(120)로 외부 기기에 관한 정보를 전송하도록 변형될 수 있다.
도 8은 선택된 외부 기기에 관한 정보를 게이트웨이(150) 또는 서버(160)로 전송하여 제 2 디바이스(120)가 게이트웨이(150) 또는 서버(160)로부터 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 수신하도록 변형될 수 있다. 이러한 경우에, 게이트웨이(150)와 서버(160)는 각 외부 기기에 관한 제어 유저 인터페이스 정보를 관리하는 기능을 갖고 있을 수 있다. 또한, 게이트웨이(150)와 서버(160)는 제 2 디바이스(120)에 대한 임시 제어 권한 레벨 정보를 갖고 있을 수 있다. 제 2 디바이스(120)에 대한 임시 제어 권한 레벨 정보에 따라 게이트웨이(150)와 서버(160)는 외부 기기에 관한 제어 유저 인터페이스 정보를 제공할 수 있다.
도 11은 바람직한 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 11은 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)에 의해 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여할 제 2 디바이스(120)에 대한 제어 권한 레벨을 결정하는 경우이다.
도 11의 단계 S1101, S1102, 및 S1104~S1110은 도 8의 단계 S801 내지 S809와 유사하므로, 중복된 설명을 피하기 위하여 이하 설명에서 생략한다.
단계 S1103에서 제 1 디바이스(110)는 제 2 디바이스(120)의 유저 정보에 기초하여 임시 제어 권한 레벨을 결정한다. 임시 제어 권한 레벨 결정은 상술한 도 1 내지 도 3에서 설명된 제어 권한 레벨 결정과 같은 방식으로 결정될 수 있다. 따라서 단계 S1104에서 제 1 디바이스(110)는 결정된 임시 제어 권한 레벨에 따라 제 2 디바이스(120)로 외부 기기에 관한 정보를 전송한다.
도 11은 도 8에서와 같이 선택된 외부 기기에 대한 제어 명령을 제 1 디바이스(110)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하도록 변형될 수 있다.
도 12는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 12는 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)의 유저에 의한 적어도 하나의 외부 기기에 대한 임시 제어 권한 부여가 요청되고, 제 2 디바이스(120)에 의해 제 2 디바이스(120)에 대한 제어 권한 레벨 정보가 디스플레이 되는 경우이다.
도 12의 단계 S1201~S1203, 및 단계 S1208~S1215는 도 11의 단계 S1101 내지 S1111과 유사하므로, 중복된 설명을 피하기 위하여 이하 설명에서 생략한다.
단계 S1204에서 제 1 디바이스(110)는 제 2 디바이스(120)로 임시 제어 권한 부여 승인 요청 신호를 전송한다. 이 때, 제 1 디바이스(110)는 제 2 디바이스(120)에 대해 결정된 임시 제어 권한 레벨 정보를 함께 전송할 수 있다. 제 2 디바이스(120)의 유저가 임시 제어 권한 부여 승인 요청을 승인하면(S1205), 제 2 디바이스(120)는 제 2 디바이스(120)의 임시 제어 권한 레벨 정보를 디스플레이하면서(S1206) 승인 통지 신호를 제 1 디바이스(110)로 전송한다. 이에 따라 단계 S1208에서 제 1 디바이스(110)는 제 2 디바이스(120)로 임시 제어 권한 레벨 정보에 따른 외부 기기에 관한 정보를 전송한다.
도 12는 단계 S1204에서 임시 제어 권한 부여 승인 요청 신호를 제 1 디바이스(110)로부터 제 2 디바이스(120)로 전송할 때, 제 2 디바이스(120)에 대한 임시 제어 권한 레벨 정보, 제 2 디바이스(120)에 대한 임시 제어 권한 레벨에 따른 외부 기기에 관한 정보, 및 외부 기기에 관한 제어 가능한 기능 정보를 제 1 디바이스(110)에 디스플레이 하도록 도 12의 흐름도는 변형될 수 있다.
도 12는 선택된 외부 기기의 제어 명령을 제 1 디바이스(110)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하도록 변형될 수 있다.
도 13은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 13은 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 임시 제어 권한이 부여된 제 2 디바이스(120)에 의해 선택된 외부 기기에 관련된 애플리케이션을 제 1 디바이스(110)에 의해 실행시키는+ 경우이다.
도 12의 단계 S1301~S1306, 및 단계 S1308~S1312는 도 8의 단계 S801 내지 단계 S811과 유사하므로 중복된 설명을 피하기 위하여 이하 설명을 생략한다.
단계 S1306에서 제 2 디바이스(120)로부터 선택된 외부 기기에 관한 정보가 수신되면, 제 1 디바이스(110)는 선택된 외부 기기에 관련된 애플리케이션을 실행한다. 단계 S1308에서 제 1 디바이스(110)는 실행된 외부 기기에 관련된 애플리케이션에 의해 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다.
도 13은 상술한 선택된 외부 기기에 대한 제어 명령을 제 2 디바이스(120)로부터 선택된 외부 기기로 직접 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하도록 변형될 수 있다.
도 14는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 14는 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 2 디바이스(120)의 유저에 의해 적어도 하나의 외부 기기에 대한 임시 제어 권한 부여가 요청되는 경우이다.
도 14의 단계 S1401, 및 단계 S1404~S1412는 도 8의 단계 S801, 및 단계 S803 내지 S811과 유사하므로 중복된 설명을 피하기 위하여 이하 설명에서 생략한다.
단계 S1402에서 제 2 디바이스(120)의 유저로부터 제 1 디바이스(110)가 제어 권한을 갖고 있는 적어도 하나의 외부 기기에 대한 임시 제어 권한 부여가 요청되면, 제 2 디바이스(120)는 적어도 하나의 외부 기기에 대한 임시 제어 권한 부여 요청 신호를 제 1 디바이스(110)로 전송한다(S1403). 이에 따라 제 1 디바이스(110)는 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 제 2 디바이스(120)로 전송한다(S1404).
도 14는 상술한 선택된 외부 기기에 대한 제어 명령을 제 2 디바이스(120)로부터 선택된 외부 기기로 직접 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 선택된 외부 기기로 전송하도록 변형될 수 있다.
도 15는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 15는 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)로부터 제 2 디바이스(120)로 외부 기기에 대한 임시 제어 권한 부여가 요청되고, 제 2 디바이스(120)에 의해 선택된 외부 기기의 애플리케이션이 실행되는 경우이다.
도 15의 단계 S1501~S1505, 및 단계 S1507~S1509는 도 8의 단계 S801~S805, 단계 S808, 및 단계 S809와 유사하므로, 중복된 설명을 피하기 위하여 이하 설명에서 생략한다.
단계 S1506에서, 제 2 디바이스(120)는 유저에 의해 선택된 외부 기기에 관련된 애플리케이션을 실행한다. 단계 S1507에서, 제 2 디바이스(120)는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 디스플레이 한다. 디스플레이 되는 외부 기기에 관한 제어 유저 인터페이스 정보는 제 2 디바이스(120)에 의해 실행되는 선택된 외부 기기에 관련된 애플리케이션으로부터 제공될 수 있다.
제 2 디바이스(120)는 단계 S1508에서 입력된 제어 명령을 단계 S1509에서 선택된 외부 기기로 직접 전송한다.
도 15는 상술한 선택된 외부 기기에 관한 제어 명령을 제 1 디바이스(110)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 제 2 디바이스(120)로부터 선택된 외부 기기로 전송하도록 변형될 수 있다.
도 16은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 16은 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)의 유저에 의해 적어도 하나의 외부 기기에 대한 임시 제어 권한 부여가 요청되고, 제 1 디바이스(110)와 제 2 디바이스(120)에 의해 선택된 외부 기기의 애플리케이션을 각각 실행시키는 경우이다.
도 16의 단계 S1601~S1606, 및 단계 S1610~S1612는 도 8의 단계 S801~S806, 및 단계 S809~S811과 유사하므로 중복된 설명을 피하기 위하여 이하 설명을 생략한다.
단계 S1605에서, 제 2 디바이스(120)는 유저에 의해 선택된 외부 기기에 관한 정보가 수신되면, 제 1 디바이스(110)로 선택된 외부 기기에 관한 정보를 전송하면서(S1606), 선택된 외부 기기에 관련된 애플리케이션을 실행한다(S1607). 선택된 외부 기기에 관련된 애플리케이션이 실행됨에 따라 제 2 디바이스(120)는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 디스플레이한다(S1608).
단계 S1609에서, 제 1 디바이스(110)는 제 2 디바이스(120)에 의해 선택된 외부 기기에 관련된 애플리케이션을 실행한다. 단계 S1610에서, 선택된 외부 기기에 관련된 애플리케이션이 실행됨에 따라 제 1 디바이스(110)는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 디스플레이 한다. 제 1 디바이스(110)에 의해 수행되는 단계 S1609 및 단계 S1610와 제 2 디바이스(120)에 의해 수행되는 단계 S1607 및 단계 S1608는 거의 동시에 수행될 수 있다.
제 1 디바이스(110)의 유저와 제 2 디바이스(120)의 유저는 거의 동시에 동일한 외부 기기의 제어 유저 인터페이스 정보를 보면서, 단계 S1611에서 입력되는 제어 명령을 함께 모니터링할 수 있다. 예를 들어, 단계 S1611에서 제어 명령 입력이 입력되면, 제 2 디바이스(120)는 입력되는 제어 명령에 따라 디스플레이 되고 있는 제어 유저 인터페이스 정보를 변경하면서 입력된 제어 명령을 제 1 디바이스(110)로 전송한다(S1612). 이에 따라 제 1 디바이스(110)는 수신되는 제어 명령에 따라 디스플레이 되고 있는 제어 유저 인터페이스 정보를 변경한다. 입력된 제어 명령에 따른 제 2 디바이스(120)에 디스플레이 되고 있는 제어 유저 인터페이스 정보는 제 1 디바이스(110)에 디스플레이 되고 있는 제어 유저 인터페이스 정보와 동기될 수 있다.
도 16은 제 2 디바이스(120)에 의해 입력된 제어 명령을 선택된 외부 기기로 직접 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 선택된 외부 기기로 전송하도록 변형될 수 있다. 이 때, 제 2 디바이스(120)에 의해 디스플레이 되는 제어 유저 인터페이스 정보와 제 1 디바이스(110)에 의해 디스플레이 되는 제어 유저 인터페이스 정보를 동기화시키기 위하여 제 2 디바이스(120)는 제어 명령을 제 1 디바이스(110)로 함께 전송할 수 있다.
도 17은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 17은 제 1 디바이스(110)에 의해 컨택 리스트(contact list)를 호출할 수 있는 애플리케이션을 실행하여 적어도 하나의 외부 기기에 대해 임시 제어 권한을 부여할 대상을 설정하는 경우이다.
단계 S1701에서, 제 1 디바이스(110)는 컨택 리스트를 호출할 수 있는 애플리케이션을 실행한다. 단계 S1701에서 실행될 수 있는 애플리케이션은 예를 들어, 상술한 채팅 서비스, 영상 통화 서비스, 및 음성 통화 서비스와 같이 컨택 리스트를 호출할 수 있는 애플리케이션을 포함할 수 있으나 이로 제한되지 ?는다. 단계 S1701에서 언급되는 애플리케이션이 상술한 채널 서비스, 영상 통화 서비스 및 음성 통화 서비스와 같은 서비스를 제공할 수 있는 애플리케이션인 경우에, 단계 S1701에서 언급되는 애플리케이션을 실행하는 것은 대화 상대와의 접속을 시도하기 전까지의 실행이 될 수 있으나 이로 제한되지 않는다.
또한, 단계 S1701에서 실행되는 애플리케이션은 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션중 하나로서, 컨택 리스트를 호출할 수 있는 기능을 갖는 애플리케이션을 포함할 수 있다.
컨택 리스트는, 예를 들어, 전화번호부 또는 주소록과 같은 정보 기반일 수 있으나 이로 제한되지 않는다.
단계 S1702에서, 컨택 리스트를 호출하는 유저의 명령이 입력되면, 제 1 디바이스(110)는 단계 S1703에서 컨택 리스트를 디스플레이 한다. 컨택 리스트는 도 18의 화면(1810)과 같이 디스플레이 될 수 있다. 도 18은 도 17의 흐름도에 따라 제 1 디바이스(110)에 의해 디스플레이 되는 화면의 예이다.
디스플레이 되고 있는 컨택 리스트에 기초하여 하나의 컨택 아이템이 선택되면(S1704), 제 1 디바이스(110)는 유저의 입력 정보에 따라 선택된 컨택 아이템에 대해 적어도 하나의 외부 기기에 대한 임시 제어 권한을 설정하고, 등록한다(S1705).
즉, 컨택 리스트에 기초하여 하나의 컨택 아이템이 선택되면, 제 1 디바이스(110)는 도 18의 화면(1820)과 같이 선택된 컨택 아이템에 대해 적어도 하나의 외부 기기에 대한 임시 제어 권한을 설정하고 등록할 수 있는 화면을 디스플레이 할 수 있다.
도 18의 화면(1820)에 기초하여, 제 1 디바이스(110)의 유저는 선택된 컨택 아이템에 대해 임시 제어 권한을 갖게 될 대상 기기(예를 들어, 제 1 내지 제 n 외부 기기(130_1~130_n)중 적어도 하나), 대상 기능(예를 들어, 선택된 대상 기기에 관련된 기능중 임시 제어 권한을 갖게 될 기능), 및 임시 제어 권한 허용 시간(또는 임시 제어 권한 허용 기간) 등을 설정할 수 있다. 그러나, 선택된 컨택 아이템에 대해 설정 가능한 임시 제어 권한 항목은 상술한 바로 제한되지 않는다. 예를 들어, 선택된 컨택 아이템에 대한 임시 제어 권한을 설정할 수 있는 항목은 대상 기기만을 설정하도록 구현될 수 있다.
선택된 컨택 아이템에 대한 임시 제어 권한 설정이 완료되면, 제 1 디바이스(110)는 선택된 컨택 아이템과 설정된 임시 제어 권한 항목을 매핑한 정보를 저장한다. 선택된 컨택 아이템과 설정된 임시 제어 권한 항목을 매핑한 정보를 제 1 디바이스(110)에 저장하는 동작은 선택된 컨택 아이템에 대한 임시 제어 권한을 등록하는 동작으로 언급될 수 있다. 이러한 저장 동작 또는 등록 동작을 위해 도 18의 화면(1820)에 포함된 임시 제어 권한 설정 창(window)은 저장 동작 또는 등록 동작을 선택 또는 제어할 수 있는 서브 창(sub window)(예를 들어, 저장, 등록, 확인 등과 같은 명령어를 포함한 서브 창) 또는 서브 화면(sub screen)을 포함할 수 있다.
단계 S1705에서 선택된 컨택 아이템에 대한 등록 동작에 따라 제 1 디바이스(110)는 도 18의 화면(1830)을 디스플레이 할 수 있다. 도 18의 화면(1830)을 참조하면, 복수의 컨택 아이템에 대해 임시 제어 권한이 설정된 외부 기기에 관련된 애플리케이션 정보를 알 수 있다.
도 18의 화면(1830)은 단계 S1701에서 제 1 디바이스(110)에 의해 제 1 내지 제 n 외부 기기(130_1~130_n)중 하나의 외부 기기에 관련된 애플리케이션이 실행되고, 단계 S1705에서 선택된 컨택 아이템에 대해 임시 제어 권한이 설정된 대상 기기가 단계 S1701에서 실행된 애플리케이션에 관련된 외부 기기인 경우이다. 각 컨택 아이템별로 외부 기기에 대한 임시 제어 권한 범위는 동일할 수 있으나 다를 수 있다. 예를 들어, 동일한 외부 기기에 대해 컨택 아이템별로 임시 제어 권한 레벨을 다르게 설정할 경우에, 임시 제어 권한 범위는 다를 수 있다.
도 18의 화면(1830)에 포함된 애플리케이션에 관련된 정보(App)는 임시 제어 권한 설정을 나타내는 정보이다. 화면(1830)에 포함된 애플리케이션에 관련된 정보(App)는 선택된 컨택 아이템별로 임시 제어 권한이 설정된 대상 기기에 관한 정보로 변경될 수 있다. 이러한 경우에, 선택된 컨택 아이템별로 임시 제어 권한이 설정된 대상 기기에 대한 정보를 제 1 디바이스(110)의 유저는 알 수 있다.
제 1 디바이스(110)에 의해, 도 18의 화면(1830)과 같은, 임시 제어 권한 설정을 나타내는 정보(App)를 포함하고 있는 컨택 리스트가 디스플레이되고 있을 때, 제 2 디바이스(120)에 대응되는 컨택 아이템에 대해 외부 기기에 대한 임시 제어 권한 부여 요청이 수신되면(S1706), 제 1 디바이스(110)는 등록된 외부 기기에 대한 임시 제어 권한 범위에 기초한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다(S1707).
제 2 디바이스(120)는 수신된 제어 유저 인터페이스 정보를 디스플레이 한다(S1708). 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초하여 제어 명령이 입력되면(S1709), 제 2 디바이스(120)는 제 1 디바이스(110)로 제어 명령을 전송한다(S1710). 제 1 디바이스(110)는 수신되는 제어 명령을 해당되는 외부 기기로 전송하여 외부 기기의 동작을 제어한다(S1711).
도 17은 단계 S1706에서 임시 제어 권한 부여 요청이 수신될 때, 제 2 디바이스(120)로부터 임시 제어 권한 부여를 승인 받는 과정을 포함할 수 있다. 도 17은 제 2 디바이스(120)에 의해 입력된 제어 명령을 선택된 외부 기기로 직접 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 선택된 외부 기기로 전송하도록 변형될 수 있다. 도 17은 단계 S1701을 수행하지 않고, 컨택 리스트를 호출하는 단계 S1702부터 수행되도록 변형될 수 있다.
도 19는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 19는 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 외부 기기에 대해 임시 제어 권한을 부여할 제 2 디바이스(120)가 제 1 디바이스(110)에 등록된 디바이스인지를 판단하는 경우이다. 도 19의 단계 S1905 ~ S1909는 도 17의 단계 S1707 ~ S1711와 유사하므로, 중복된 설명을 피하기 위하여 이하 설명에서 생략한다.
단계 S1901에서, 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)의 유저 인터페이스 정보에 기초하여 외부 기기에 대한 임시 제어 권한 부여 요청이 선택되면(S1902), 제 1 디바이스(110)는 제 2 디바이스(120)가 등록된 디바이스인지를 판단한다(S1903).
등록된 디바이스란 임시 제어 권한 부여가 가능한 디바이스로서 사전에 저정된 디바이스이다. 제 2 디바이스(120)가 등록된 디바이스인지를 판단하는 것은 제 1 디바이스(110)에 사전에 저장된 임시 제어 권한 부여가 가능한 디바이스에 관한 정보에 제 2 디바이스(120)에 관한 정보가 포함되는지를 체크하는 방식으로 수행될 수 있다. 제 2 디바이스(120)에 관한 정보가 사전에 저장된 임시 제어 권한 부여가 가능한 디바이스에 관한 정보에 포함되는 지는 제 2 디바이스(120)의 식별 정보 또는 제 2 디바이스의 유저 정보를 이용하여 수행될 수 있다.
제 2 디바이스(120)가 등록된 디바이스이면, 제 1 디바이스(110)는 제 2 디바이스(120)에 대해 사전에 정의된 임시 제어 권한 레벨을 검출한다(S1904). 사전에 정의된 임시 제어 권한 레벨은 외부 기기별로 다르게 설정될 수 있다. 제 1 디바이스(110)는 제 2 디바이스(120)의 임시 제어 권한 레벨에 따른 외부 기기에 대한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다(S1905).
도 20은 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 동작 흐름도이다. 도 20은 긴급 상황 발생에 따라 제 2 디바이스(120)에 의해 외부 기기에 대한 임시 제어 권한이 요청된 경우이다. 긴급 상황은 본 출원의 서두에서 언급한 비상 상황과 같이 응급 환자의 발생, 화재의 발생, 도둑의 침입, 및 지진의 발생 등을 포함할 수 있으나 이로 제한되지 않는다.
단계 S2001에서, 제 2 디바이스(120)는 긴급 상황 발생에 따른 외부 기기에 대한 임시 제어 권한 요청 명령이 입력되면, 제어 권한을 갖고 있는 주체로 임시 제어 권한 요청 신호를 전송한다(S2002).
도 21은 긴급 상황 발생에 따른 임시 제어 권한 요청 시, 제 2 디바이스(120)에 의해 디스플레이 되는 화면의 예이다. 즉, 제 2 디바이스(120)의 유저가 긴급 상황 발생을 나타내는 명령을 입력하면, 제 2 디바이스(120)는 긴급 상황 아이템들을 포함하는 메뉴 화면을 디스플레이 한다. 도 21의 화면(2110)은 긴급 상황 아이템들을 포함하는 메뉴 화면을 위젯으로 디스플레이하고 있는 예이다.
도 21의 화면(2110)을 참조하면, 긴급 상황 위젯(2111)은 각 긴급 상황을 나타내는 아이콘들을 포함한다. 긴급 상황을 나타내는 아이콘들은, 예를 들어, 응급 환자 발생을 나타내는 아이콘(2112), 화재 발생을 나타내는 아이콘(2113), 도둑 침입을 나타내는 아이콘(2114), 지진 발생을 나타내는 아이콘(미 도시됨) 등을 포함할 수 있으나 이로 제한되지 않는다. 또한 긴급 상황 위젯(2111)은 각 긴급 상황을 나타내는 아이템들을 리스트 형태로 디스플레이 할 수 있는 등 상술한 바로 제한되지 않는다.
도 21의 화면(2110)에 도시된 긴급 상황 위젯(2111)에 기초하여 하나의 긴급 상황 발생을 나타내는 아이콘이 선택되면, 제 2 디바이스(120)는 선택된 아이콘에 대해 사전에 등록된 제어 권한 관리 주체로 임시 제어 권한 요청 신호를 전송한다. 이에 따라 제 2 디바이스(120)의 화면상에 “인증 요청중”이라는 메시지가 출력될 수 있으나 출력되는 메시지는 이로 제한되지 않는다. 예를 들어, 제 2 디바이스(120)의 화면상에 “임시 제어 권한 요청 중”이라는 메시지가 출력될 수 있다. 제어 권한 관리 주체는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 제어 권한을 갖고 있는 디바이스, 또는 서버 또는 게이트웨이 등을 포함할 수 있다.
사전에 등록된 제어 권한 관리 주체는 제 1 디바이스(110), 게이트웨이(150), 및 서버(160)중 하나일 수 있으나 이로 제한되지 않는다. 각 긴급 상황에 대한 제어 권한 관리 주체는 유저에 의해 사전에 설정되거나 제 2 디바이스(120)에 사전에 설정되어 있을 수 있다. 사전에 디폴트로 설정되어 있는 제어 권한 관리 주체는 유저에 의해 변경될 수 있다. 예를 들어, 사전에 디폴트로 설정되어 있는 제어 권한 관리 주체가 제 1 디바이스(110)로 설정되어 있을 때, 유저는 디폴트로 설정되어 있는 제어 권한 관리 주체를 게이트웨이(150)로 변경할 수 있다.
사전에 등록된 제어 권한 관리 주체가 복수개인 경우에, 유저는 제어 권한 관리 주체를 선택할 수 있다. 예를 들어, 응급 환자 발생시 제어 권한 관리 주체가 제 1 디바이스(110), 게이트웨이(150), 및 서버(160)로 등록된 경우에, 유저는 제 1 디바이스(110), 게이트웨이(150), 및 서버(160)중 하나를 선택할 수 있다. 복수의 제어 권한 관리 주체 중 하나를 유저가 선택할 수 있도록 제 2 디바이스(120)는 메뉴 화면을 디스플레이 할 수 있다.
도 21의 화면(2110)에서 응급 환자 발생을 나타내는 아이콘(2112)이 선택되면, 응급 환자 발생 상황에 등록된 제어 권한 관리 주체(예를 들어, 제 1 디바이스(110), 게이트웨이(150), 및 서버(160)중 하나)로 임시 제어 권한 요청 신호가 전송된다. 이하 동작은, 설명의 편의를 위해, 제 1 디바이스(110)가 제어 권한 관리 주체인 경우를 설명한다. 그러나 제어 권한 관리 주체는 제 1 디바이스(110)로 제한되지 않는다.
임시 제어 권한 요청 신호가 수신되면, 제 1 디바이스(110)는 제 2 디바이스(120)가 등록된 디바이스인지를 판단한다(S2003). 등록된 디바이스란 상술한 바와 같이 임시 제어 권한이 부여될 수 있는 디바이스이다. 제 1 디바이스(110)에는 제 1 내지 제 n 외부 기기(130_130_n)에 대해 임시 제어 권한을 가질 수 있는 디바이스가 사전에 등록될 수 있다. 제 1 디바이스(110)에 등록되는 임시 제어 권한이 부여될 수 있는 디바이스는 복수개일 수 있다.
단계 S2003에서 판단한 결과, 제 2 디바이스(120)가 등록된 디바이스이면, 제 1 디바이스(110)는 제 2 디바이스(120)에 대해 사전에 정의된 제어 권한 레벨을 검출한다(S2004). 이 때 검출되는 제어 권한 레벨은 임시 제어 권한 레벨일 수 있다. 제 1 디바이스(110)는 제 2 디바이스(120)의 사전에 정의된 제어 권한 레벨에 따라 외부 기기에 관한 정보를 제 2 디바이스(120)로 전송한다(S2005).
이에 따라 제 2 디바이스(120)는 수신된 외부 기기에 관한 정보를 디스플레이 한다(S2006). 제 2 디바이스(120)는 수신된 외부 기기에 관한 정보를 리스트 형태로 디스플레이 할 수 있다. 그러나 도 21의 화면(2120)과 같이 외부 기기별로 한 페이지를 할당하여 심벌(symbol) 이미지 형태로 디스플레이 할 수 있다. 도 21의 화면(2120)은 스마트 TV를 선택할 수 있는 화면이다.
제 2 디바이스(120)의 유저가 스마트 TV의 선택을 원하지 않고 다른 외부 기기의 선택을 원할 경우에, 좌우 방향 또는 상하 방향으로 페이지를 이동시키는 유저의 제스처에 따라 페이지를 이동시키면서, 제어 가능한 외부 기기에 관한 정보를 디스플레이 할 수 있다. 만약 선택 가능한 외부 기기가 하나인 경우에 제 2 디바이스(120)는 페이지를 이동시키는 유저의 제스처를 무시하거나 선택 가능한 다른 외부 기기에 관한 정보가 없다는 안내 메시지를 디스플레이 할 수 있다.
상술한 유저의 제스처에 따라 외부 기기가 선택되면(S2007), 제 2 디바이스(120)는 선택된 외부 기기에 관한 정보를 제 1 디바이스(110)로 전송한다(S2008). 이에 따라 제 1 디바이스(110)는 선택된 외부 기기에 대한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다(S2009). 도 21의 경우에 선택된 외부 기기가 청소 로봇이므로, 단계 S2009에서 전송되는 제어 유저 인터페이스 정보는 청소 로봇에 관한 제어 유저 인터페이스 정보가 될 수 있다.
제 2 디바이스(120)는 수신된 제어 유저 인터페이스 정보를 디스플레이 한다(S2010). 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초하여 제어 명령이 입력되면(S2011), 제 2 디바이스(120)는 제 1 디바이스(110)를 통해 제 1 내지 제 n 외부 기기(130_1~130_n)중 선택된 외부 기기로 제어 명령을 전송한다(S2012, S2013). 도 21의 화면(2130)은 제어 명령을 전송함에 따라 제 2 디바이스(120)에 의해 디스플레이 되는 화면의 예로서, 선택된 외부 기기가 청소 로봇이고, 청소 로봇으로 전송된 제어 명령에 따라 청소 로봇의 카메라, 마이크, 스피커 기능을 이용하여 환자 찾기 및 대화를 시도하는 경우이다.
단계 S2003에서 판단한 결과, 제 2 디바이스(120)가 등록된 디바이스가 아니면, 제 1 디바이스(110)는 제 2 디바이스(120)로 등록된 디바이스가 아니라는 메시지를 전송하고 제 2 디바이스(120)로 외부 기기에 대한 임시 제어 권한을 부여하지 않을 수 있다. 또는 제 2 디바이스(120)가 등록된 디바이스가 아닌 경우에, 제 1 디바이스(110)는 인증 절차에 따라 등록될 수 있는 과정을 안내하는 정보를 제 2 디바이스(120)로 전송할 수 있다.
도 20은 제어 명령을 제 2 디바이스(120)로부터 제 1 내지 제 n 외부 기기(130_1~130_n)로 직접 전송하거나 게이트웨이(150) 또는 서버(160)를 통해 제 1 내지 제 n 외부 기기(130_1~130_n)로 전송하도록 변형될 수 있다.
도 22는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 22는 외부 기기에 대한 제어 권한 관리 주체에 의해 긴급 상황 발생이 인지됨에 따라 임시 제어 권한을 부여할 디바이스를 결정하여 외부 기기를 제어하는 경우이다.
도 22는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 권한 관리 주체가 제 1 디바이스(110), 게이트웨이(150), 및 서버(160)중 적어도 하나를 포함하는 경우이다. 그러나, 이하 설명의 편의를 위해 제 1 디바이스(110)가 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 제어 권한 관리 주체인 것으로 설명한다.
단계 S2201에서 제 1 디바이스(110)가 긴급 상황 발생을 인지한다. 제 1 디바이스(110)에 의한 긴급 상황 발생 인지는 제 1 디바이스(110)의 유저의 긴급 상황 발생을 나타내는 입력에 의할 수 있다. 그러나, 긴급 상황 발생은 제 1 디바이스(110)에 포함된 센서 또는/ 및 컴퓨터 시각 장치(예를 들어, 카메라) 기반의 상황인지에 따라 인지될 수 있으나 이로 제한되지 않는다.
제 1 디바이스(110)는 긴급 상황 발생이 인지된 영역에 위치한 제 2 디바이스(120)를 선택할 수 있다(S2202). 이러한 경우에, 긴급 상황 발생이 인지된 영역은 제 1 디바이스(110)의 현재 위치와 물리적으로 원거리에 있는 영역이고, 제 2 디바이스(120)의 현재의 위치가 상기 긴급 상황이 발생된 지점으로부터 근거리에 있는 경우이다. 예를 들어, 제 1 디바이스(110)가 화재 관리 서버이고, 제 1 디바이스(110)가 원거리에 있는 특정 영역에 화재가 발생된 것이 인식되었을 때, 상기 특정 영역에 제 2 디바이스(120)가 있는 경우이다. 특정 영역에 제 2 디바이스(120)가 있는지는 GPS 위치 수신 정보 또는 AP에 접속된 디바이스 정보에 기초하여 검출할 수 있으나 이로 제한되지 않는다.
단계 S2202에서 제 1 디바이스(110)는 긴급 상황이 인지되면, 사전에 정의된 제 2 디바이스(120)를 선택할 수 있다. 예를 들어, 제 1 디바이스(110)의 유저가 환자이고, 제 2 디바이스(120)의 유저가 환자의 전문의일 때, 제 1 디바이스(110)의 유저의 입력에 따라 긴급 상황 발생이 인지되면, 제 1 디바이스(110)는 사전에 정의된 제 2 디바이스(120)를 선택할 수 있다.
단계 S2203에서 제 2 디바이스(120)가 선택되면, 제 1 디바이스(110)는 선택된 제 2 디바이스(120)에 대한 임시 제어 권한 부여를 결정한다. 이 때, 제 1 디바이스(110)는 제 2 디바이스(120)에 대한 임시 제어 권한 레벨을 결정할 수 있다. 제 2 디바이스(120)에 대한 임시 제어 권한 부여가 결정되면, 제 1 디바이스(110)는 긴급 상황 통지 및 임시 제어 대상이 되는 외부 기기에 관한 정보를 제 2 디바이스(120)로 전송한다(S2204).
이에 따라 제 2 디바이스(120)는 수신된 긴급 상황 통지 및 임시 제어 대상이 되는 외부 기기에 관한 정보를 디스플레이 한다(S2205). 제 2 디바이스(120)에 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 외부 기기에 대한 선택 신호가 입력되면(S2206), 제 2 디바이스(120)는 선택된 외부 기기에 관한 정보를 제 1 디바이스(110)로 전송한다(S2207).
제 1 디바이스(110)는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다(S2208). 이 때 전송되는 제어 유저 인터페이스 정보는 제 2 디바이스(120)에 부여된 임시 제어 권한 레벨에 따라 결정될 수 있다.
제 2 디바이스(120)는 수신된 제어 유저 인터페이스 정보를 디스플레이 한다(S2209). 제 2 디바이스(120)에 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초하여 제어 명령이 입력되면(S2210), 제 2 디바이스(120)는 제 1 디바이스(110)로 제어 명령을 전송하고, 제 1 디바이스(110)는 수신된 제어 명령을 선택된 외부 기기로 전송한다(S2211, S2212).
도 22는 제 2 디바이스(120)의 유저가 입력한 제어 명령을 선택된 외부 기기로 직접 전송하도록 변형될 수 있다.
도 23은 도 22와 같이 외부 기기 제어 방법이 수행될 때, 제 2 디바이스(120)에 의해 디스플레이 되는 화면의 예이다. 도 23의 화면(2310)을 보면, 제 2 디바이스(120)는 제 1 디바이스(110)의 긴급 상황 발생인지에 따른 긴급 상황 통지 수신을 백그라운드(background)로 실행한다. 제 2 디바이스(120)의 작업 줄(2311)에 디스플레이 되고 있는 정보에 기초하여 긴급 상황 발생 통지를 확인하고, 제 2 디바이스(120)의 유저가 긴급 상황 발생 통지를 선택하는 정보를 입력하면, 제 2 디바이스(120)에 긴급 상황 위젯(2312)이 디스플레이 될 수 있다.
긴급 상황 위젯(2312)이 도 21에 도시된 긴급 상황 위젯(2111)과 같이 복수개의 아이콘을 포함한 경우에, 현재 발생된 긴급 상황 발생 통지에 대응되는 아이콘의 디스플레이 상태를 현재 발생된 긴급 상황과 관계 없는 다른 긴급 상황 발생 통지에 대응되는 아이콘의 디스플레이 상태와 다르게 디스플레이 할 수 있다. 이에 따라 제 2 디바이스(120)의 유저는 직관적으로 현재 발생된 긴급 상황 발생 통지가 어떤 긴급 상황 발생 통지인지 알 수 있다. 즉, 긴급 상황 위젯(2312)에 포함되어 있는 아이콘의 디스플레이 상태에 따라 제 2 디바이스(120)의 유저는 현재 발생된 긴급 상황 발생 통지가 응급 환자 발생에 의한 긴급 상황 발생 통지인지, 화재 발생에 의한 긴급 상황 발생 통지인지, 도둑 침입에 의한 긴급 상황 발생 통지인지 등을 직관적으로 알 수 있다.
또한, 제 2 디바이스(120)에 의해 디스플레이 되고 있는 긴급 상황 위젯은 도 23의 긴급 상황 위젯(2312)와 같이 현재 진행 상황을 나타내는 메시지를 포함할 수 있다. 제어 가능한 외부 기기에 관한 정보가 수신되면, 제 2 디바이스(120)는 도 23의 화면(2320)과 같이 제어 가능한 외부 기기에 관한 정보를 디스플레이 한다. 그러나, 제어 가능한 외부 기기에 관한 정보는 리스트 형태로 디스플레이 될 수 있다.
디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 제 2 디바이스(120)에 의해 제어하고자 하는 외부 기기가 선택되고, 선택된 외부 기기의 제어 명령이 입력되면, 도 21의 화면(2130)과 같이 도 23의 화면(2330)이 디스플레이 될 수 있다. 그러나 제어 명령에 따라 제 2 디바이스(120)에 의해 디스플레이 되는 화면은 도 23의 화면(2330)으로 제한되지 않는다.
도 24는 바람직한 또 다른 실시 예에 따른 외부 기기 제어 방법을 설명하기 위한 흐름도이다. 도 24는 특정 도메인에 제 2 디바이스(120)가 진입함에 따라 특정 도메인에 있는 외부 기기에 대한 임시 제어 권한을 외부 기기의 제어 권한 관리 주체로 요청하는 경우이다. 외부 기기의 제어 권한 관리 주체는 도 20에서 언급된 외부 기기의 제어 권한 관리 주체와 동일하게 언급될 수 있다. 이하 설명의 편의를 위해 제 1 내지 제 n 외부 기기(130_1~130_n)의 제어 권한 관리 주체는 제 1 디바이스(110)인 것으로 설명한다. 그러나, 제 1 내지 제 n 외부 기기(130_1~130_n)의 제어 권한 관리 주체는 제 1 디바이스(110)로 제한되지 않는다.
단계 S2401에서 제 2 디바이스(120)에 의해 제 2 디바이스(120)가 특정 도메인에 진입한 것으로 인식되면, 제 2 디바이스(120)는 특정 도메인에 있는 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 임시 제어 권한 요청 신호를 제 1 디바이스(110)로 전송한다(S2402). 특정 도메인은 도 1에서 언급한 바와 같이 물리적인 도메인 또는 논리적인 도메인으로 정의될 수 있다. 제 2 디바이스(120)가 특정 도메인에 진입한 것을 인식하는 것은 제 2 디바이스(120)의 GPS(Global Positioning System) 위치 정보, 제 2 디바이스(120)에 연결된 액세스 포인트의 SSID 혹은 MAC 어드레스, 제 2 디바이스(120)에 의해 수신되는 액세스 포인트의 리스트와 신호 세기 등을 이용하여 수행될 수 있다.
제 1 디바이스(110)는 제 2 디바이스(120)의 제어 권한 요청에 따라 제 2 디바이스(120)가 등록된 디바이스인지를 판단한다(S2403). 등록된 디바이스는 도 22에서 언급된 등록된 디바이스와 같다.
제 2 디바이스(120)가 등록된 디바이스이면, 제 1 디바이스(110)는 제 2 디바이스(120)에 대해 사전에 정의된 임시 제어 권한 레벨을 결정하고(S2404), 결정된 임시 제어 권한 레벨에 따른 외부 기기에 관한 정보 및 제어 유저 인터페이스 정보를 제 2 디바이스(120)로 전송한다(S2405). 제 2 디바이스(120)는 수신된 외부 기기에 관한 정보를 디스플레이한다. 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 외부 기기가 선택되면, 제 2 디바이스(120)는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 디스플레이 할 수 있다(S2406).
단계 S2405 및 단계 S2406은 상술한 도 22의 흐름도에서와 같이 외부 기기에 관한 정보를 송수신하는 것과 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 송수신하는 것으로 변형될 수 있다.
단계 S2407에서 제어 명령이 입력되면, 제 2 외부 기기(120)는 선택된 외부 기기로 제어 명령을 직접 전송한다(S2407)
도 24는 제 1 디바이스(110)가 제 2 디바이스(120)의 특정 도메인 진입을 인지함에 따라 제 2 디바이스(120)로 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한을 부여하도록 변형될 수 있다.
도 25는 도 24에 도시된 흐름도와 같이 제 2 디바이스(120)가 오피스 영역에 진입한 것을 인지함에 따라 오피스 영역에 위치한 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한을 부여할 때, 제 2 디바이스(120)에 의해 디스플레이 되는 화면의 예이다.
도 25의 화면(2510)은 제 2 디바이스(120)가 오피스 영역에 진입함이 인지됨에 따라 외부 기기 제어 위젯(2511)이 제 2 디바이스(120)에 디스플레이 되는 화면이다. 제 2 디바이스(120)는 외부 기기 제어 위젯(2511) 대신에 외부 기기 제어 리스트가 디스플레이 될 수 있다. 화면(2510)에 기재된 “인증 요청 중”은 오피스 영역에 있는 제 1 내지 제 n 외부 기기(130_130_n)에 대해 제 2 디바이스(120)가 임시 제어 권한이 부여될 수 있는 디바이스인지를 인증하고 있는 것을 나타낸다.
제 2 디바이스(120)에 대한 인증이 완료되면, 제 2 디바이스(120)에 제어 가능한 외부 기기에 관한 정보가 도 25의 화면(2520)과 같이 디스플레이 된다. 화면(2520)은 도 23의 화면(2320)과 같다. 제 2 디바이스(120)의 유저에 의해 에이컨이 선택되면, 에어컨에 관한 제어 유저 인터페이스 정보가 도 25의 화면(2530)에 도시된 바와 같이 디스플레이 될 수 있다. 디스플레이 되는 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는 도 25의 화면(2530)으로 제한되지 않는다.
도 26은 도 1에 도시된 제 1 디바이스(110)의 기능 블록도이다. 도 26을 참조하면, 제 1 디바이스(110)는 정보 입력부(2601), 센싱부(2602), 터치 스크린(2603), 카메라(2604), 오디오 입력부(2605), 오디오 출력부(2606), 저장부(2607), 무선 통신부(2608), 유선 통신부(2609), 프로세서(2610), 및 전원부(2611)를 포함한다. 그러나 제 1 디바이스(110)의 구성은 도 26에 도시된 바로 제한되지 않는다. 즉, 제 1 디바이스(110)의 구성은 도 26에 도시된 구성 요소보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수 있다.
정보 입력부(2601)는 제 1 디바이스(110)의 동작을 제어하기 위한 입력 데이터, 바람직한 실시 예에 따라 외부 기기에 관한 정보에 기초한 외부 기기 선택, 선택된 외부 기기에 관한 제어 명령, 및 임시 제어 권한 부여 요청 명령을 입력할 수 있으나 입력될 수 있는 정보는 이로 제한되지 않는다. 정보 입력부(2601)는 키 패드(key pad), 돔 스위치(dome switch), 조그 휠(Jog wheel), 조그 스위치(Jog swich), 하드웨어(H/W) 버튼, 핫 키(hot key), 및 터치 패널 중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
센싱부(2602)는 제 1 디바이스(110)의 위치, 사용자의 접촉 유무, 제 1 디바이스(110)의 방위, 제 1 디바이스(110)의 가속 또는 감속 등과 같이 제 1 디바이스(110)의 현재 상태를 감지하여 디바이스(110)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 센싱부(2602)는 근접 센서 및 모션 센서를 포함할 수 있다. 센싱부(2602)는 센서 기반의 사용자의 제스처를 인식한 신호를 발생시킬 수 있다.
근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
터치 스크린(2603)은 저항막(감압) 방식 또는 정전 용량 방식으로 구성될 수 있으나 이로 제한되지 않는다. 터치 스크린(2603)은 상술한 사용자의 터치 기반 제스처에 의존하는 사용자의 요청(request) 또는 사용자의 선택(selection) 또는 사용자의 커맨드(command)를 수신할 수 있다. 사용자의 터치 기반 제스처는 터치 횟수, 터치 패턴, 터치 면적, 및 터치 강도 등의 다양한 조합에 의해 상술한 터치 기반의 사용자의 제스처들이 정의될 수 있다. 그러나 정의 가능한 터치 기반의 사용자의 제스처는 상술한 바로 제한되지 않는다.
터치 스크린(2603)은 터치 스크린(2603)의 터치 또는 근접 터치를 감지하기 위한 다양한 센서가 구비될 수 있다. 터치 스크린(2603)에 구비되는 센서는 상술한 터치 기반의 사용자의 제스처들 또는 패턴을 센싱한 신호를 발생시킬 수 있다. 터치 스크린(2603)을 위한 근접 센서는 센싱부(2602)에 포함되는 근접 센서와 동일할 수 있다.
터치 스크린(2603)의 터치를 감지하기 위한 센서의 일례로 촉각 센서를 포함할 수 있다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다. 근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
터치 스크린(2603)의 터치는 터치 패널에 포인터(pointer)가 터치된 경우이다. 터치 스크린(2603)의 근접 터치(proximity-touch)는 포인터가 터치 패널에 실제로 터치되지 않고, 터치 패널로부터 소정 거리내에 접근된 경우이다. 포인터는 터치 스크린(2603)의 특정 부분을 터치하거나 근접 터치하기 위한 도구이다. 포인터의 예로, 스타일러스 펜, 손가락 등을 들 수 있으나 이로 제한되지 않는다.
터치 스크린(2603)은 제 1 디바이스(110)에 의해 처리되는 정보를 디스플레이 한다. 예를 들어, 터치 스크린(2603)은 터치 스크린(2603)에 구비된 센서들을 통해 센싱된 사용자의 제스처 또는 터치 패턴 또는 정보 입력부(2601)를 통해 입력된 제어 데이터 또는 사용자의 입력 정보 또는 센싱부(2602)를 통해 센싱된 신호에 응답하는 화면을 디스플레이 할 수 있다.
바람직한 실시 예에 따른 외부 기기 제어 방법을 수행하기 위하여, 터치 스크린(2603)은 외부 기기에 대한 임시 제어 권한 부여 요청 신호를 수신하고, AR 기반의 외부 기기에 관한 정보 및 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 디스플레이할 수 있다.
터치 스크린(2603)은 입력 및 출력 장치로 언급될 수 있다. 터치 스크린(2603)에 디스플레이 되고 있는 화면은 UI(User Interface) 기반의 GUI(Graphic User Interface) 화면을 포함한다.
터치 스크린(2603)은 액정 디스플레이(Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display), 유기 발광 다이오드(Organic Light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display), 및 AMOLED(Active-Matrix Organic Light-Emitting Diode) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치 스크린(2603)은 디스플레이로 언급될 수 있다. 터치 스크린(2603)은 디바이스(110)에 따라 2개 이상 또는 듀얼 모드(dual mode)의 입력 인터페이스(input interface)로 구성될 수 있다.
카메라(2604)는 영상 통화 모드 또는 촬영 모드에서 이미지 센서(또는 광 센서)에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 터치 스크린(2603)에 디스플레이 될 수 있다. 이에 따라 카메라(2604)에 의해 얻어진 정지 영상 또는 동영상에 포함된 화상 프레임에 기초하여 본 발명의 바람직한 실시 예에 따른 AR 기반의 외부 기기에 관한 정보를 제공할 수 있다.
카메라(2604)에 의해 처리된 화상 프레임은 저장부(2607)에 저장되거나 무선 통신부(2608) 또는 유선 통신부(2609)를 통해 외부로 전송될 수 있다. 카메라(2604)는 2개 이상의 카메라로 구성될 수 있다. 예를 들어, 카메라(2604)는 제 1 디바이스(110)의 전면 카메라와 후면 카메라로 구성될 수 있다. 또한, 카메라(2604)는 유저의 공간 제스처를 인식하는 입력 장치로 사용될 수 있다.
오디오 입력부(2605)는 통화모드, 또는 녹화 모드, 또는 음성 인식 모드 등에서 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 변환하여 프로세서(2610)로 전송한다. 오디오 입력부(2605)는 예를 들어 마이크로폰으로 구성될 수 있다. 오디오 입력부(2605)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 포함하도록 구성될 수 있다.
오디오 입력부(2605)를 이용하여 입력되는 상기 음향 신호는 바람직한 실시 예에 따른 외부 기기 제어 방법의 실행을 요청 또는 임시 제어 권한 부여 요청 등의 유저의 입력 정보를 포함할 수 있다. 상기 음향 신호가 자연어 기반의 유저의 음성 신호인 경우에, 상기 음향 신호는 음성 인식 기반의 유저의 입력으로 언급될 수 있다. 오디오 입력부(2605)를 통해 입력되는 외부의 음향 신호는 프로세서(2610)를 통해 저장부(2607)에 저장되거나 프로세서(2610) 및 무선 통신부(2608) 또는 프로세서(2610) 및 유선 통신부(2609)를 통해 외부로 전송될 수 있다.
오디오 출력부(2606)는 통화 모드, 또는 오디오 재생 모드 등에서 외부로부터 수신되거나 저장부(2607)로부터 리드되는 음향 신호 또는 오디오 신호를 출력한다. 오디오 출력부(2606)는 스피커로 구성될 수 있다. 오디오 출력부(2606)는 컨텐트가 재생될 때, 재생되는 컨텐트에 오디오 신호가 포함되어 있으면, 재생되는 컨텐트에 포함되어 있는 오디오 신호를 출력한다. 오디오 입력부(2605)와 오디오 출력부(2606)는 헤드셋과 같이 구성될 수 있다.
저장부(2607)는 후술할 프로세서(2610)에서 실행 가능하도록 구성된 적어도 하나의 프로그램 및/또는 명령어 세트와 자원(resource)을 저장한다. 적어도 하나의 프로그램은 본 발명의 바람직한 실시 예에 따른 외부 기기 제어 방법을 실행하기 위한 적어도 하나의 프로그램, 제 1 디바이스(110)의 오퍼레이팅 시스템(Operating System) 프로그램, 제 1 디바이스(110)에 의해 수행되는 각종 기능(또는 서비스)에 관련된 애플리케이션 프로그램, 제 1 디바이스(110)에 포함된 하드웨어 컴포넌트(component)들을 구동시키는 프로그램, 및 인터렉티스 서비스 실행 프로그램을 포함하나 이로 제한되지 않는다.
자원은 제 1 내지 제 n 외부 기기(130_1~130_n)에 관련된 애플리케이션 정보 및 연결 정보, 제 1 내지 제 n 외부 기기(130_1~130_n)에 대해 임시 제어 권한을 가질 수 있는 디바이스에 관한 정보, 제 1 디바이스(110)의 유저에 관한 정보, 제 1 디바이스(110)에 설정된 애플리케이션 프로그램을 운영하는데 필요한 정보 및 상술한 하드웨어 컴포넌트들을 구동시키는데 필요한 프로그램을 실행하는데 필요한 정보를 포함할 수 있으나 이로 제한되지 않는다.
저장부(2607)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD, XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electronically Erasable Programmable Read-only Memory), PROM(Programmable Read-only Memory) 자기 메모리, 광 디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(2607)에 저장되는 적어도 하나의 프로그램 및/또는 명령어 세트는 기능에 따라 복수개의 모듈로 분류할 수 있다.
도 27은 저장부(2607)에 저장되는 프로그램 및/또는 명령어 세트를 모듈별로 분류한 예이다. 도 27을 참조하면, 저장부(2607)는 오퍼레이팅 시스템(2701), 무선 통신 모듈(2702), 유선 통신 모듈(2703), 그래픽 모듈(2704), GPS(Global Position System) 모듈(2705), UI(User Interface) 모듈(2706), 센싱 모듈(2707), 접촉 및 움직임 모듈(2708), 전원 모듈(2709), 및 애플리케이션 모듈(2710)을 포함하나 이로 제한되지 않는다.
애플리케이션 모듈(2710)은 이미지 재생 모듈(2711), 정보 검색 모듈(2712), 카메라 모듈(2713), 인터랙티브 서비스 모듈(2714), 및 외부 기기 제어 모듈(2715)을 포함하나 이로 제한되지 않는다. 예를 들어 애플리케이션 모듈(2710)은 제 1 내지 제 n 외부 기기 제어 모듈을 포함할 수 있다. 상기 제 1 내지 제 n 외부 기기 제어 모듈은 독립적으로 운영될 수 있다. 또한 인터렉티브 서비스 모듈(2714)은 복수의 서비스 모듈을 포함할 수 있다. 복수의 서비스 모듈은, 예를 들어, 영상 통화 서비스 모듈, 음성 통화 서비스 모듈, 및 채팅 서비스 모듈을 포함할 수 있다. 상기 복수의 서비스 모듈은 독립적으로 운영될 수 있다. 또한, 애플리케이션 모듈(2710)은 도 1에서 언급된 통합 애플리케이션 모듈을 포함할 수 있다. 또한, 애플리케이션 모듈(2710)은 이메일 모듈, SNS(Social Network Service) 모듈, 화상 회의 모듈, 이미지 관리 모듈, 브라우징 모듈, 달력 모듈, 위젯 모듈, 검색 모듈 및 워드 문서 작성 모듈 등 다양한 모듈을 더 포함할 수 있다.
오퍼레이팅 시스템(2701)은 제 1 디바이스(110)의 일반적인 기능을 제어하고 관리하는 것으로 제 1 디바이스(110)내의 하드웨어 및 소프트웨어 컴포넌트(component)간의 통신을 가능하게 하는 소프트웨어 컴포넌트를 포함한다.
무선 통신 모듈(2702)은 무선 통신부(2608)를 통해 적어도 하나의 외부 디바이스(미 도시됨)와의 통신을 가능하게 하고, 무선 통신부(2608)를 통해 적어도 하나의 외부 디바이스로부터 수신되는 데이터와 적어도 하나의 외부 디바이스로 송신되는 데이터를 처리하기 위한 소프트웨어 컴포넌트를 포함한다. 적어도 하나의 외부 디바이스는 서버(160), 제 2 디바이스(120), 및 제 1 내지 제 n 외부 기기(130_1~130_n)를 포함할 수 있으나 이로 제한되지 않는다.
바람직한 실시 예에 따라 무선 통신 모듈(2702)은 제 2 디바이스(120)로 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보 및 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 제어 유저 인터페이스 정보를 전송하고, 제 2 디바이스(120)로부터 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한 부여 요청을 수신할 수 있다.
유선 통신 모듈(2703)은 USB(Universal Serial Bus) 포트 등과 같은 엘리먼트로 구성된 유선 통신부(2609)와 제 1 내지 제 n 외부 기기(130_1~130_n)간의 통신을 가능하게 하고, 유선 통신부(2609)를 통해 제 1 내지 제 n 외부 기기(130_1~130_n)와 송수신되는 데이터를 처리하기 위한 소프트웨어 컴포넌트를 포함한다.
그래픽 모듈(2704)은 터치 스크린(2603)에 디스플레이 되고 있는 그래픽의 밝기 조절 및 랜더링을 위한 소프트웨어 컴포넌트 및 애플리케이션 모듈(2710)에서 텍스트를 입력하기 위한 가상 키보드(또는 소프트 키보드)를 제공하는 소프트웨어 컴포넌트를 포함한다.
GPS 모듈(2705)은 제 1 디바이스(110)의 위치를 결정하고, 결정된 위치 정보를 위치 기반 서비스를 제공하는 애플리케이션에 제공하는 소프트웨어 컴포넌트를 포함한다. UI 모듈(2706)은 터치 스크린(2603) 기반의 UI 정보를 제공하는 애플리케이션에 필요한 UI를 제공하는 소프트웨어 컴포넌트를 포함한다.
센싱 모듈(2707)은 센싱부(2602) 기반의 센싱 정보를 결정하고 결정된 센싱 정보 기반의 서비스를 제공하는 애플리케이션 모듈(2710)로 제공하는 소프트웨어 컴포넌트를 포함한다. 접촉 및 움직임 모듈(2708)은 터치 스크린(2603) 기반의 터치 접촉을 감지하고, 접촉에 기초한 움직임을 추적하여 이를 필요로 하는 애플리케이션 모듈(2710)로 제공하는 소프트웨어 컴포넌트를 포함한다.
전원 모듈(2709)은 오퍼레이팅 시스템(2701)과 연동되어 제 1 디바이스(110)내의 하드웨어 컴포넌트에 대한 전원 공급을 제어하고, 터치 스크린(2603)으로 공급되는 전원에 대한 절전 모드를 제어하는 소프트웨어 컴포넌트를 포함한다.
애플리케이션 모듈(2710)에 포함되는 모듈들의 기능은 그 명칭으로 당업자가 직관적으로 추론할 수 있을 것으로 생각되므로, 바람직한 실시 예에 관련된 애플리케이션 모듈만을 도시하여 설명하기로 한다.
예를 들어, 인터랙티브 서비스 모듈(2714)을 실행시켜 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 2 디바이스(120)로 제 1 내지 제 n 외부 기기(130_1~130_n)에 대한 임시 제어 권한 부여가 요청되면, 인터랙티브 서비스 모듈(2714)은 외부 기기 제어 모듈(2715)을 실행시켜 상술한 바람직한 실시 예들중에서 인터랙티브 서비스 실행시 외부 기기 제어 방법에 대한 흐름도중 하나의 흐름도를 수행할 수 있다.
도 1에서 언급한 바와 같이 인터랙티브 서비스 모듈(2714)에 외부 기기 제어 기능이 포함된 경우에 외부 기기 제어 모듈(2715)은 애플리케이션 모듈(2710)에 포함되지 않을 수 있다. 그러나 인터랙티브 서비스 모듈(2714)에 외부 기기 제어 기능이 포함되어 있어도 외부 기기 제어 모듈(2715)은 인터랙티브 서비스 모듈(2714)과 독립적으로 애플리케이션 모듈(2710)에 포함될 수 있다. 카메라 모듈(2713)은 제 1 내지 제 n 외부 기기(130_1~130_n)에 관한 정보를 AR 기반 정보로 제공할 경우에, 상술한 도 1에서 설명한 바와 같이 인터랙티브 서비스 모듈(2714)에 의해 호출되어 동작될 수 있다.
저장부(2607)는 도 27에 도시된 프로그램 및/또는 명령어 세트중 애플리케이션 모듈(2710)에 포함되는 모듈들을 저장하지 않거나 애플리케이션 모듈의 URL과 같은 위치 정보와 애플리케이션 모듈을 나타낼 수 있는 디스플레이 정보만 저장할 수 있다. 저장부(2607)에 애플리케이션 모듈(2710)에 포함되는 모듈이 저장되어 있지 않은 경우에, 프로세서(2610)는 무선 통신부(2608) 또는 유선 통신부(2609)를 통해 외부 디바이스와 접속하여 외부 디바이스에 저장되어 있는 애플리케이션 모듈(2710)에 대응되는 프로그램 및/또는 명령어 세트를 사용할 수 있다. 이 때 외부 디바이스는 클라우드 서버 또는 애플리케이션 모듈(2710)에 포함되는 모듈들을 갖고 있는 디바이스를 포함하나 이로 제한되지 않는다.
저장부(2607)에 애플리케이션 모듈의 위치 정보와 애플리케이션 모듈을 나타낼 수 있는 디스플레이 정보만 저장된 경우에, 애플리케이션의 위치 정보를 이용하여 프로세서(2610)는 무선 통신부(2608) 또는 유선 통신부(2609)를 통해 상기 외부 디바이스에 저장되어 있는 정보를 검색할 수 있다. 애플리케이션의 위치 정보는 터치 스크린(2603)을 통해 디스플레이 되고 있는 애플리케이션 모듈의 디스플레이 정보에 기초하여 선택될 수 있다.
무선 통신부(2608)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(WFD, Wi-Fi Direct) 네트워크, 3G(Generation) 네트워크, 4G(4 Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선(IrDA, Infrared Data Association) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크와 같은 무선 네트워크를 통해 외부 디바이스와 통신할 수 있다.
무선 통신부(2608)는 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈, 및 위치 정보 모듈중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
유선 통신부(2609)는 유선 인터넷과 같은 유선 네트워크를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 유선 통신부(2609)는 USB(Universal Serial Bus) 포트(미 도시됨)와 같은 플러그 앤 플레이(Plug and Play) 인터페이스를 이용하여 외부 디바이스(미 도시됨)와 데이터를 송수신할 수 있다. 유선 통신부(2609)는 제 1 디바이스(110)의 구성 요소에 포함되지 않을 수 있다.
전원부(2611)는 제 1 디바이스(110)에 포함된 하드웨어 컴포넌트에 전력을 공급한다. 전원부(2611)는 배터리 및 교류 전원과 같은 하나 이상의 전원을 포함한다. 제 1 디바이스(110)는 전원부(2611)를 포함하지 않고, 외부 전원 제공부(미 도시됨)와 연결될 수 있는 연결부(connection unit)(미 도시됨)를 포함할 수 있다.
프로세서(2610)는 제 1 디바이스(110)의 전반적인 동작을 제어하는 것으로 하나 이상의 프로세서로 언급될 수 있다. 프로세서(2610)는 저장부(2607)에 저장된 오퍼레이팅 시스템(2701)과 각종 모듈(2702 ~ 2715)들을 이용하여 정보 입력부(2601), 센싱부(2602), 터치 스크린(2603), 카메라(2603), 오디오 입력부(2605), 오디오 출력부(2606), 저장부(2607), 무선 통신부(2608), 유선 통신부(2609), 및 전원부(2611)를 전반적으로 제어할 수 있다. 따라서 프로세서(2610)는 제어기나 마이크로프로세서, 디지털 신호 처리기(Digital Signal Processor) 등으로 언급될 수 있다.
또한 프로세서(2610)는 오퍼레이팅 시스템(2701)과 UI 모듈(2706)을 이용하여 정보 입력부(2601), 센싱부(2602), 터치 스크린(2603), 카메라(2604), 및 오디오 입력부(2605)를 이용하여 유저 인터페이스를 제공할 수 있다.
프로세서(2610)는 바람직한 실시 예에 따른 외부 기기 제어 방법에 관련된 적어도 하나의 프로그램을 실행시켜 상술한 도 8, 도 11 내지 도 17, 도 19, 도 20, 도 22 및 도 24에 도시된 흐름도중 하나를 수행할 수 있다. 프로세서(2610)는 상기 프로그램을 저장부(2607)로부터 리드하여 실행시키거나 무선 통신부(2608) 또는 유선 통신부(2609)를 통해 연결된 외부 디바이스로부터 다운받아 실행시킬 수 있다. 이 때, 외부 디바이스는 애플리케이션 제공 서버 또는 애플리케이션 마켓 서버로 언급될 수 있다. 외부 디바이스는 클라우드 서버 또는 제 1 디바이스(110) 주변의 통신 가능한 디바이스를 포함한다. 프로세서(2610)는 제 1 디바이스(110)내의 각종 하드웨어 컴포넌트들과 프로세서(2610)간의 인터페이스 기능부를 포함할 수 있다.
도 1에 도시된 제 2 디바이스(120)의 기능 블록도 역시 도 26에 도시된 바와 같이 구성될 수 있다. 그러나 도 26에 도시된 기능 블록도가 제 2 디바이스(120)의 기능 블록도인 경우에, 각 기능 블록의 일부 기능은 상술한 제 1 디바이스(110)에서와 차이가 있을 수 있다.
예를 들어, 저장부(2607)가 제 1 디바이스(110)에 포함되는 것으로 정의될 경우와 저장부(2607)가 제 2 디바이스(120)에 포함되는 것으로 정의할 경우에, 저장부(2607)에 저장된 정보는 다를 수 있다. 또한, 각 기능 블록의 동작 규격에 차이가 있을 수 있다. 예를 들어 제 1 디바이스(110)에 포함된 카메라(2604)와 제 2 디바이스(120)에 포함되는 카메라(2604)의 화소수는 상이할 수 있다.
도 28은 제 1 내지 제 n 외부 기기(130_1~130_n)의 기능 블록도이나 제 1 내지 제 n 외부 기기(130_1~130_n)의 기능 블록도는 도 28에 도시된 바로 제한되지 않는다. 이하 설명의 편의를 위하여 도 28의 기능 블록도를 제 1 외부 기기(130_1)의 기능 블록도로서 설명한다.
도 28을 참조하면, 제 1 외부 기기(130_1)는 각각 정보 입출력부(2801), 외부 기기의 소프트웨어(2803)를 포함하는 저장부(2802), 외부 기기의 하드웨어(2804), 통신부(2805), 포트(2806), 프로세서(2807)를 포함할 수 있으나 이로 제한되지 않는다. 예를 들어, 제 1 외부 기기(130_1)는 포트(2806)를 포함하지 않거나 전원부(미 도시됨)을 포함할 수 있다. 또한, 제 1 외부 기기(130_1)에 포함되는 기능 블록은 제 2 외부 기기(130_2~130_n)에 포함되는 기능 블록과 기능과 규격중 적어도 하나에 차이가 있을 수 있다.
도 28을 참조하면, 정보 입출력부(2801)를 통해 상술한 도 4 내지 도 7에서 언급된 제 1 근거리 통신 방식과 제 2 근거리 통신 방식을 선택할 수 있는 유저의 입력 정보가 수신될 수 있다. 유저의 입력 정보는 제 1 근거리 통신 방식으로 NFC 모듈과 BLE 모듈중 하나를 선택하도록 입력되고, 제 2 근거리 통신 방식으로 무선랜 통신모듈과 블루투스 통신 모듈중 하나를 선택하도록 입력될 수 있으나 이로 제한되지 않는다. 또한 제 1 근거리 통신 방식과 제 2 근거리 통신 방식은 통신부(2805)의 구성에 따라 결정될 수 있기 때문에 상술한 통신 방식을 선택할 수 있는 유저의 입력 정보는 통신부(2805)의 구성에 따라 결정될 수 있다.
정보 입출력부(2801)는 유저의 입력 정보를 수신하고, 제어 권한(임시 제어 권한 포함)을 갖고 있는 디바이스에 의한 애플리케이션 실행에 따라 제 1 외부 기기(130_1)로부터 출력되는 정보를 출력한다. 유저의 입력 정보는 터치 기반 입력 정보, 물리적인 버튼 제어 기반의 입력 정보, 유저의 제스처 기반의 입력 정보, 유저의 음성 인식 기반의 입력 정보, 얼굴 인식 기반의 입력 정보, 및 원격 제어기(미 도시됨) 기반의 입력 정보중 적어도 하나를 기반으로 입력될 수 있으나 이로 제한되지 않는다.
정보 입출력부(2801)는 입력 될 수 있는 입력 정보에 따라 구성될 수 있다. 예를 들어, 제어 권한을 갖고 있는 제 1 디바이스(110)에 의해 애플리케이션을 실행할 때, 제 1 외부 기기(130_1) 기반으로 입력될 유저의 입력 정보가 없고, 제 1 외부 기기(130_1)와 제 1 디바이스(100)간의 제 2 근거리 통신 연결을 요청하기 위한 유저 입력 정보만 필요한 경우에, 정보 입출력부(2801)는 물리적인 버튼과 정보를 출력하는 기능 블록을 포함할 수 있다. 상술한 물리적인 버튼은 제 2 근거리 통신 연결을 요청할 수 있는 버튼이다. 상술한 정보를 출력하는 기능 블록은 제 1 디바이스(120)와 제 1 외부 기기(130_1)간의 제 2 근거리 통신을 연결한 후, 제 1 디바이스(120)에 의해 실행되는 애플리케이션에 따라 수신되는 제어 명령에 기초하여 필요한 정보를 출력한다. 그러나 정보 입출력부(2801)의 구성 요소는 이로 제한되지 않는다.
저장부(2802)는 프로세서(2807)에 의해 제 1 외부 기기(130_1)의 전반적인 동작을 제어하기 위해 필요한 프로그램들과 자원을 저장할 수 있다. 프로그램은 제 1 외부 기기(130_1)의 기능을 수행하기 위한 프로그램을 포함할 수 있다. 예를 들어, 제 1 외부 기기(130_1)가 스마트 TV인 경우에, 프로그램은 스마트 TV의 기능을 제어할 수 있는 프로그램을 포함할 수 있다. 스마트 TV의 기능을 제어할 수 있는 프로그램은 제 1 디바이스(110)에 의해 스마트 TV에 관련된 애플리케이션을 실행함에 따른 제 1 외부 기기(130_1)의 하드웨어를 제어할 수 있는 프로그램을 포함할 수 있다. 저장부(2802)에 저장되는 프로그램은 제 1 디바이스(110)와 제 1 외부 기기(130_1)간의 통신 프로그램을 더 포함할 수 있다.
저장부(2802)는 각 통신 방식에 따라 제 1 외부 기기(130_1)의 하드웨어를 제어할 수 있는 프로그램을 저장할 수 있다. 이에 따라 프로세서(2807)에 의해 결정된 통신 방식에 따라 제 1 외부 기기(130_1)의 하드웨어를 제어할 수 있는 프로그램을 실행시킬 수 있다. 예를 들어, 프로세서(2807)에 의해 결정된 통신 방식이 블루투스 통신 방식이면, 블루투스 통신 방식으로 제 1 외부 기기(130_1)의 하드웨어를 제어할 수 있는 프로그램을 실행시킬 수 있다.
저장부(2802)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD, XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electronically Erasable Programmable Read-only Memory), PROM(Programmable Read-only Memory) 자기 메모리, 광 디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(2802)에 저장되는 자원은 제 2 근거리 통신 연결을 위한 정보, 제 1 외부 기기(130_1)에 관련된 애플리케이션 정보, 및 상술한 도 4 내지 도 7에서 언급된 제 1 외부 기기(130_1)에 관한 정보 및 제 1 외부 기기(130_1)에 관한 인증 정보를 포함할 수 있으나 이로 제한되지 않는다.
외부 기기의 하드웨어(2804)는 제 1 외부 기기(130_1)의 기능에 따라 정의될 수 있다. 예를 들어, 제 1 외부 기기(130_1)가 제 1 디바이스(110)에 설정된 애플리케이션에 따라 동작되는 스마트 시계이면, 외부 기기의 하드웨어(2804)는 제 1 디바이스(110)에 의해 실행되는 애플리케이션과 연동되는 스마트 시계의 기능을 수행하는데 필요한 물리적인 기능부(예를 들어 GPS 모듈, 마이크로폰, 스피커 등을 포함하나 이로 제한되지 않음)를 포함할 수 있다.
또, 제 1 외부 기기(130_1)가 제 1 디바이스(100)에 의해 실행되는 인슐린 모니터링 애플리케이션에 의해 동작되는 인슐린 저항성 및 감수성 측정기이면, 외부 기기의 하드웨어(2804)는 인슐린 저항성 측정기 및 감수성 측정기 등을 포함할 수 있으나 이로 제한되지 않는다. 또한, 외부 기기의 하드웨어(2804)는 제 1 외부 기기(130_1)의 기능에 따라 각종 센서를 포함할 수 있다.
또한, 제 1 디바이스(110)에 의해 실행되는 애플리케이션이 악기 연주 애플리케이션이고 제 1 외부 기기(130_1)가 키보드 또는 기타인 경우에, 외부 기기의 하드웨어(2804)는 제 1 디바이스(110)의 제어 신호에 따라 키보드 또는 기타를 연주할 수 있는 하드웨어를 포함할 수 있다.
제 1 디바이스(110)에 의해 실행되는 애플리케이션이 노래방 애플리케이션이고, 제 1 외부 기기(130_1)가 마이크일 때, 외부 기기의 하드웨어(2804)는 마이크의 온/오프 또는 볼륨 레벨을 조절하는 하드웨어 구성요소를 포함하고, 제 1 외부 기기(130_1)가 스피커일 때, 외부 기기의 하드웨어(2804)는 음향 출력 환경을 조절할 수 있는 하드웨어 구성 요소를 포함할 수 있으나 하드웨어 구성 요소는 상술한 바로 제한되지 않는다.
또한, 제 1 외부 기기(130)1)는 외부 기기의 하드웨어(2804)에서 수행되는 기능을 소프트웨어적으로 구현하고, 외부 기기의 하드웨어(2804)를 최소화하거나 외부 기기의 하드웨어(2804)를 포함하지 않을 수 있다. 이러한 경우에 소프트웨어는 저장부(2802)에 저장되는 외부 기기의 소프트웨어(2803)로서 저장되고, 외부 기기의 소프트웨어(2803)는 제 1 디바이스(110)로부터 수신되는 제어 명령에 따라 프로세서(2807)에 의해 실행될 수 있다.
통신부(2805)는 NFC 모듈과 BLE 모듈을 포함하는 제 1 근거리 통신부(미 도시됨)와 무선랜 통신 모듈 및 블루투스 통신 모듈을 포함하는 제 2 근거리 통신부(미 도시됨)를 포함하나 이로 제한되지 않는다. 즉, 통신부(2805)는 네트워크(140)를 통해 제 2 디바이스(120) 또는 서버(160)와 연결될 수 있는 통신부를 더 포함할 수 있다.
통신부(2805)에 포함되는 NFC 모듈은 NFC 태그로 구성되거나 리드/라이트할 수 있는 칩으로 구성될 수 있다. 제 1 디바이스(110)에 NFC 모듈이 장착되는 경우에, 통신부(2805)에 포함되는 NFC 모듈은 제 1 디바이스(110)에 장착된 NFC 모듈과 P2P 모드로 양방향 데이터 통신을 수행할 수 있도록 구성될 수 있다.
통신부(2805)에 포함되는 BLE 모듈은 도 5 또는 도 7에서 설명한 바와 같이 제 2 근거리 통신을 연결하기 위한 정보 및 관련된 애플리케이션 정보를 브로드캐스트하고, 더 나아가 제 1 외부 기기(130_1)에 관한 인증 정보 및 제 1 외부 기기(130_1)에 관련된 정보를 브로드캐스트하고, 제 1 디바이스(110)로부터 게이트웨이(150)에 대한 연결 정보를 수신할 수 있다. 그러나 BLE 모듈로부터 브로드캐스트되는 정보는 상술한 관련된 애플리케이션 정보를 포함하지 않을 수 있다.
통신부(2805)에 포함되는 무선 랜 통신모듈은 제 1 디바이스(110)와 기기간 직접 통신 방식과 게이트웨이(150)를 통하는 통신 방식을 선택적으로 수행하도록 구성되거나 기기간 직접 통신 방식만 수행되도록 구성되거나 게이트웨이(150)를 통하는 통신 방식만 수행되도록 구성될 수 있다.
포트부(2806)는 USB 포트 및 UART 포트중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다. 제 1 외부 기기(130_1)는 포트부(2806)를 포함하지 않을 수 있다. 포트부(2806)를 통해 제 1 디바이스(110)와 제 1 외부 기기(130_1)가 연결되면, 제 1 디바이스(110)와 제 1 외부 기기(130_1)는 유선 통신 채널을 통해 연동될 수 있다.
프로세서(2807)는 저장부(2802)에 저장된 외부 기기의 소프트웨어(2803)를 실행시켜 제 1 외부 기기(130_1)의 전반적인 동작을 제어한다. 따라서 프로세서(2807)는 제어부로 언급될 수 있다. 특히 프로세서(2807)는 바람직한 실시 예에 따른 외부 기기 제어 방법을 수행하기 위해 통신부(2805)를 통해 제 1 디바이스(110)와 제 1 외부 기기(130_1)간을 연결하는 동작을 수행할 수 있다.
도 29는 제 1 디바이스(110)와 제 2 디바이스(120)간에 인터랙티브 서비스를 실행하고 있을 때, 제 1 디바이스(110)가 제어 권한을 갖는 제 1 내지 제 3 외부 기기(130_1~130_3)가 스마트 TV(130_1), 태블릿(130_2), 및 청소 로봇(130_3)인 경우이다.
도 29는 제 1 디바이스(110)의 유저에 의해 임시 제어 권한 부여가 요청됨에 따라 제 1 디바이스(110)는 제 1 디바이스(110)와 인터랙티브 서비스를 실행하고 있는 제 2 디바이스(120)로 자동적으로 제 1 내지 제 3 외부 기기들(130_1~130_3)에 대한 임시 제어 권한을 부여하면서 제 1 내지 제 3 외부 기기들(130_1~130_3)에 관한 정보를 전송한다. 제 2 디바이스(120)의 유저에 의해 제 1 내지 제 3 외부 기기들(130_1~130_3)중에서 선택된 외부 기기에 관한 제어 유저 인터페이스 정보에 기초한 제어 명령이 입력되면, 제 2 디바이스(120)는 입력된 제어 명령을 제 1 디바이스(110)를 통해 선택된 외부 기기로 전송한다. 그러나 제어 명령은 홈 게이트웨이(150)를 통해 전송될 수 있다.
도 30은 도 20에서 설명한 바와 같이 긴급 상황 발생에 따른 예이다.
즉, 제 2 디바이스(120)의 유저에 의해 긴급 상황 발생을 나타내는 정보가 입력됨에 따라 제 2 디바이스(120)는 외부 기기 제어 위젯을 실행시킨다. 화재 발생을 나타내는 아이콘의 선택이 감지됨에 따라 제 2 디바이스(120)는 화재 발생에 관련된 외부 기기에 대한 제어 권한 관리 주체(서버(160), 제 1 디바이스(110), 또는 게이트웨이(150))로 임시 제어 권한 부여 요청 신호를 전송한다.
외부 기기에 대한 제어 권한 관리 주체는 제 2 디바이스(120)가 외부 기기에 대한 임시 제어 권한을 가질 수 있는 디바이스로 등록되어 있는지를 판단한다. 제 2 디바이스(120)가 외부 기기에 대해 임시 제어 권한을 가질 수 있는 디바이스로 등록되어 있으면, 외부 기기에 대한 제어 권한 관리 주체는 제 2 디바이스(120)로 외부 기기에 관한 정보와 외부 기기에 관한 제어 유저 인터페이스 정보를 전송한다.
외부 기기에 관한 정보는 제 2 디바이스(120)가 임시 제어 권한을 요청한 위치에 기초한 로컬 도메인에 위치한 외부 기기에 관한 정보를 포함한다. 외부 기기에 관한 제어 유저 인터페이스 정보는 상기 로컬 도메인에 위치한 외부 기기에 관한 제어 유저 인터페이스 정보를 포함할 수 있다.
도 30의 경우에 외부 기기는 창문 개폐 장치(130_4)와 가스 공급 차단기(130_5)를 포함하나 외부 기기는 도 30에 도시된 바로 제한되지 않는다.
도 31은 도 30과 같이 제 2 디바이스(120)가 외부 기기 제어 위젯을 실행하여 외부 기기의 제어 권한 관리 주체로 화재 발생에 따른 외부 기기에 대한 임시 제어 권한 부여를 요청한 경우이다.
외부 기기의 제어 권한 관리 주체는 제 2 디바이스(120)가 위치한 로컬 도메인에 다른 제 3 디바이스가 존재하는 것을 인식한다. 이에 따라 외부 기기의 제어 권한 관리 주체는 제 2 디바이스(120)로 창문 개폐 장치들(130_6, 130_7)을 제어할 수 있는 권한을 부여하고, 제 3 디바이스로 가스 공급 차단기(130_5)를 제어할 수 있는 권한을 부여할 수 있다.
외부 기기의 제어 권한 관리 주체는 제 2 디바이스(120)로 창문 개폐 장치들(130_6, 130_7)에 관한 정보와 창문 개폐 장치들(130_6, 130_7)에 관한 제어 유저 인터페이스 정보를 전송하고, 제 3 디바이스로 가스 공급 차단기(130_5)에 관한 정보와 가스 공급 차단기(130_5)에 관한 제어 유저 인터페이스 정보를 전송할 수 있다.
도 31의 경우에 창문 개폐 장치들(130_6, 130_7) 및 가스 공급 차단기(130_5)를 외부 기기의 예로 도시하였으나 외부 기기는 도 31에 도시된 바로 제한되지 않는다. 즉, 외부 기기는 도 31에 도시된 바와 다르거나 다른 외부 기기가 추가될 수 있다.
도 32는 외부 기기에 대한 제어 권한 관리 주체인 서버(160), 게이트웨이(150), 및 제 1 디바이스(110)가 외부 기기에 대해 제어 권한을 갖고 있지 않은 제 2 디바이스(120)로 임시 제어 권한을 부여하고, 외부 기기에 관한 정보 및 외부 기기에 관한 제어 유저 인터페이스 정보를 제공하는 경우이다.
도 32의 경우에, 외부 기기에 대해 임시 제어 권한을 부여받은 제 2 디바이스(120)가 응급 센터 서버로 응급 출동을 요청하는 기능을 갖는다. 도 32의 경우에 혈압 자동 측정기(130_8), 및 혈액 자동 측정기(130_9)를 외부 기기의 예로 도시하였으나 외부 기기는 도 32에 도시된 바로 제한되지 않는다. 즉, 외부 기기는 도 32에 도시된 바와 다르거나 다른 외부 기기가 추가될 수 있다.
도 33은 차량이 오피스텔 영역에 진입하는 것을 서버(160), 게이트웨이(150) 또는 제 1 디바이스(110)가 인식함에 따라 제 2 디바이스(120)인 차량내 네비게이션으로 임시 제어 권한을 부여하고, 네비게이션으로 외부 기기에 관한 정보 및 외부 기기에 관한 제어 유저 인터페이스 정보를 전송하는 경우이다.
이에 따라 네비게이션은 외부 기기에 관한 정보 및 제어 유저 인터페이스 정보를 디스플레이한다. 네비게이션에 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 외부 기기를 선택한 신호가 입력되고, 네비게이션에 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초하여 외부 기기에 대한 제어 명령이 입력되면, 네비게이션은 제어 명령을 선택된 외부 기기로 직접 전송하여 선택된 외부 기기의 기능을 제어할 수 있다.
도 33의 경우에 외부 기기는 외부 기기 제어 권한 관리 주체에 관련된 오피스텔 내의 특정 데스크 탑(130_10), 상기 오피스텔에 관련된 엘리베이터(130_11), 및 상기 오피스텔 내의 전등(130_12)을 예시하였으나 외부 기기는 도 33에 도시된 바로 제한되지 않는다.
본 발명의 실시 예들에 따른 외부 기기 제어 방법을 컴퓨터로 구현하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 기록되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로써 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (32)
- 제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계;
상기 제 2 디바이스로부터 상기 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 수신하는 단계; 및
상기 선택된 외부 기기에 관한 정보에 기초하여 상기 선택된 외부 기기에 관한 유저 인터페이스 정보를 상기 제 2 디바이스로 전송하는 단계를 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 인터렉티브 서비스는,
상기 적어도 하나의 외부 기기에 관련된 애플리케이션에 관한 기능을 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계는,
상기 제 2 디바이스로 상기 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여함에 따라 수행되는 것을 특징으로 하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는,
상기 선택된 외부 기기 또는 상기 적어도 하나의 외부 기기에 대한 상기 제 2 디바이스의 제어 권한 레벨에 따라 결정되는 것을 특징으로 하는 외부 기기 제어 방법. - 제 1 항 또는 제 4 항에 있어서, 상기 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계는,
상기 제 2 디바이스의 유저 정보에 기초하여 상기 제 2 디바이스의 제어 권한 레벨을 결정하는 단계; 및
상기 결정된 제어 권한 레벨에 따라 상기 제 2 디바이스로 전송할 상기 적어도 하나의 외부 기기에 관한 정보를 결정하는 단계를 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계는,
상기 적어도 하나의 외부 기기에 대한 상기 제 2 디바이스의 임시 제어 권한 부여 기간을 설정하는 단계를 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 제 2 디바이스로 전송되는 상기 적어도 하나의 외부 기기에 관한 정보는,
증강 현실 기반 정보를 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 제 2 디바이스로 전송되는 상기 적어도 하나의 외부 기기에 관한 정보는,
상기 적어도 하나의 외부 기기의 물리적인 위치 기반의 평면 배치도 정보를 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 외부 기기 제어 방법은,
상기 제 2 디바이스로부터 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보에 기초한 제어 명령을 수신하는 단계; 및
상기 수신된 제어 명령을 상기 외부 기기로 전송하는 단계를 더 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 외부 기기 제어 방법은,
상기 선택된 외부 기기에 관한 정보를 수신함에 따라 상기 선택된 외부 기기에 관련된 애플리케이션을 실행하는 단계를 더 포함하고,
상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 제 2 디바이스로 전송하는 단계는, 상기 선택된 외부 기기에 관련된 애플리케이션에 의해 수행되는 것을 특징으로 하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 인터렉티브 서비스는,
영상 통화 서비스, 음성 통화 서비스, 및 채팅 서비스중 하나를 포함하는 외부 기기 제어 방법. - 제 1 항에 있어서, 상기 제 2 디바이스는,
복수개인 것을 특징으로 하는 외부 기기 제어 방법. - 적어도 하나의 외부 기기에 관한 정보, 및 적어도 하나의 프로그램을 저장하는 저장부;
적어도 하나의 외부 기기 및 적어도 하나의 다른 디바이스와 통신하는 통신부;
유저의 입력 정보를 수신하고, 상기 적어도 하나의 프로그램 실행에 따른 정보를 출력하는 터치 스크린;
상기 터치 스크린 기반의 유저 인터페이스 정보를 제공하고,
상기 적어도 하나의 프로그램을 실행함으로써 상기 다른 디바이스로 상기 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여하는 프로세서를 포함하고,
상기 적어도 하나의 프로그램은,
상기 다른 디바이스와 인터렉티브 서비스를 실행하고 있는 동안에 적어도 하나의 외부 기기에 관한 정보를 상기 통신부를 통해 상기 다른 디바이스로 전송하는 단계;
상기 통신부를 통해 상기 다른 디바이스로부터 상기 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 수신하는 단계; 및
상기 선택된 외부 기기에 관한 정보에 기초하여 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 통신부를 통해 상기 다른 디바이스로 전송하는 단계
를 실행하는 명령어들을 포함하는 디바이스. - 제 13 항에 있어서, 상기 다른 디바이스는 복수개인 것을 특징으로 하는 디바이스
- 제 13 항에 있어서, 상기 다른 디바이스로 전송되는 상기 적어도 하나의 외부 기기에 관한 정보는,
상기 적어도 하나의 외부 기기에 대한 상기 다른 디바이스의 제어 권한 레벨에 따라 결정되는 것을 특징으로 하는 디바이스. - 제 13 항에 있어서, 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는,
상기 선택된 외부 기기 또는 상기 적어도 하나의 외부 기기에 대한 상기 다른 디바이스의 제어 권한 레벨에 따라 결정되는 것을 특징으로 하는 디바이스. - 제 13 항에 있어서, 상기 프로그램은,
상기 다른 디바이스의 유저 정보에 기초하여 상기 적어도 하나의 외부 기기에 대한 상기 다른 디바이스의 제어 권한 레벨을 결정하는 단계; 및
상기 결정된 제어 권한 레벨에 따라 상기 다른 디바이스로 전송할 상기 적어도 하나의 외부 기기에 관한 정보를 결정하는 단계를 실행하는 명령어를 더 포함하는 디바이스. - 제 13 항에 있어서, 상기 프로그램은,
상기 적어도 하나의 외부 기기에 대한 상기 다른 디바이스의 임시 제어 권한 부여 기간을 설정하는 단계를 실행하는 명령어를 더 포함하는 디바이스. - 제 13 항에 있어서, 상기 프로그램은,
상기 통신부를 통해 상기 다른 디바이스로부터 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보에 기초한 제어 명령을 수신하는 단계; 및
상기 수신된 제어 명령을 상기 통신부를 통해 상기 외부 기기로 전송하는 단계를 실행하는 명령어들을 더 포함하는 디바이스. - 외부 기기 제어 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
상기 외부 기기 제어 방법은,
제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 적어도 하나의 외부 기기에 관한 정보를 상기 제 2 디바이스로 전송하는 단계;
상기 제 2 디바이스로부터 상기 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 수신하는 단계; 및
상기 선택된 외부 기기에 관한 정보에 기초하여 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 상기 제 2 디바이스로 전송하는 단계를 포함하는 기록 매체. - 제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 상기 제 1 디바이스로부터 적어도 하나의 외부 기기에 관한 정보를 수신하고, 디스플레이 하는 단계;
상기 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 상기 제 1 디바이스로 전송하는 단계;
상기 제 1 디바이스로부터 상기 선택된 외부 기기에 관한 정보에 기초한 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 수신하고, 디스플레이 하는 단계; 및
상기 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초한 제어 명령을 상기 선택된 외부 기기로 전송하는 단계를 포함하는 외부 기기 제어 방법. - 제 21 항에 있어서, 상기 인터렉티브 서비스는,
상기 적어도 하나의 외부 기기에 관련된 애플리케이션에 관한 기능을 포함하는 외부 기기 제어 방법. - 제 21 항에 있어서, 상기 외부 기기에 관한 정보를 수신하는 단계는,
상기 제 2 디바이스로 상기 적어도 하나의 외부 기기에 대한 임시 제어 권한을 부여함에 따라 수행되는 것을 특징으로 하는 외부 기기 제어 방법. - 제 21 항에 있어서, 상기 외부 기기에 관한 정보는,
상기 제 2 디바이스의 유저 정보에 기초하여 상기 제 1 디바이스에 의해 결정된 상기 외부 기기에 대한 상기 제 2 디바이스의 제어 권한 레벨에 따라 결정된 것을 특징으로 하는 외부 기기 제어 방법. - 제 21 항에 있어서, 상기 외부 기기에 관한 정보는,
증강 현실 기반 정보를 포함하는 외부 기기 제어 방법. - 제 21 항에 있어서, 상기 외부 기기에 관한 정보는,
상기 적어도 하나의 외부 기기의 물리적인 위치 기반의 평면 배치도 정보를 포함하는 외부 기기 제어 방법. - 제 21 항에 있어서, 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는,
상기 제 2 디바이스의 유저 정보에 기초하여 상기 제 1 디바이스에 의해 결정된 상기 선택된 외부 기기 또는 상기 적어도 하나의 외부 기기에 대한 상기 제 2 디바이스의 제어 권한 레벨에 따라 결정되는 것을 특징으로 외부 기기 제어 방법. - 적어도 하나의 프로그램을 저장하는 저장부;
적어도 유저의 입력 정보를 수신하고 상기 프로그램 실행에 따른 정보를 디스플레이 하는 터치 스크린;
다른 디바이스 및 상기 다른 디바이스가 제어 권한을 갖고 있는 적어도 하나의 외부 기기와 통신할 수 있는 통신부;
상기 터치 스크린에 기초한 유저 인터페이스를 제공하고,
상기 프로그램을 실행함으로써 상기 적어도 하나의 외부 기기에 대해 임시 제어 권한을 갖는 프로세서를 포함하고,
상기 적어도 하나의 프로그램은,
상기 다른 디바이스와 인터렉티브 서비스를 실행하고 있는 동안에 상기 다른 디바이스로부터 적어도 하나의 외부 기기에 관한 정보를 수신하고, 디스플레이 하는 단계;
상기 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 상기 다른 디바이스로 전송하는 단계;
상기 다른 디바이스로부터 상기 선택된 외부 기기에 관한 정보에 기초한 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 수신하고, 디스플레이 하는 단계; 및
상기 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초한 제어 명령을 상기 선택된 외부 기기로 전송하는 단계
를 실행하는 명령어들을 포함하는 디바이스. - 제 28 항에 있어서, 상기 인터렉티브 서비스는,
상기 적어도 하나의 외부 기기에 관련된 애플리케이션에 관한 기능을 포함하는 디바이스. - 제 28 항에 있어서, 상기 외부 기기에 관한 정보는,
상기 다른 디바이스의 유저 정보에 기초하여 상기 다른 디바이스에 의해 결정된 상기 외부 기기에 대한 상기 디바이스의 제어 권한 레벨에 따라 결정된 것을 특징으로 하는 디바이스. - 제 28 항에 있어서, 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보는,
상기 디바이스의 유저 정보에 기초하여 상기 다른 디바이스에 의해 결정된 상기 외부 기기 또는 상기 선택된 외부 기기에 대한 상기 디바이스의 제어 권한 레벨에 따라 결정되는 것을 특징으로 디바이스. - 외부 기기 제어 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
상기 외부 기기 제어 방법은,
제 1 디바이스와 제 2 디바이스간에 인터렉티브 서비스를 실행하고 있는 동안에 상기 제 1 디바이스로부터 적어도 하나의 외부 기기에 관한 정보를 수신하고, 디스플레이 하는 단계;
상기 디스플레이 되고 있는 외부 기기에 관한 정보에 기초하여 선택된 외부 기기에 관한 정보를 상기 제 1 디바이스로 전송하는 단계;
상기 제 1 디바이스로부터 상기 선택된 외부 기기에 관한 정보에 기초한 상기 선택된 외부 기기에 관한 제어 유저 인터페이스 정보를 수신하고, 디스플레이 하는 단계; 및
상기 디스플레이 되고 있는 제어 유저 인터페이스 정보에 기초한 제어 명령을 상기 선택된 외부 기기로 전송하는 단계를 포함하는 기록 매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/171,291 US20140181683A1 (en) | 2012-12-21 | 2014-02-03 | Method and system for controlling external device |
| PCT/KR2014/001087 WO2014171620A1 (en) | 2013-04-15 | 2014-02-10 | Method and system for controlling external device |
| CN201480003771.4A CN104904158A (zh) | 2013-04-15 | 2014-02-10 | 用于控制外部设备的方法和系统 |
| EP14785219.8A EP2987269B1 (en) | 2013-04-15 | 2014-02-10 | Method and system for controlling external device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120150932 | 2012-12-21 | ||
| KR1020120150932 | 2012-12-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140081642A true KR20140081642A (ko) | 2014-07-01 |
Family
ID=51732895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130041262A KR20140081642A (ko) | 2012-12-21 | 2013-04-15 | 외부 기기 제어 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140081642A (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101512491B1 (ko) * | 2014-08-28 | 2015-04-16 | 주식회사 이도링크 | 게이트웨이용 스마트폰에 의한 홈네트워크 시스템 |
| CN105450487A (zh) * | 2015-12-31 | 2016-03-30 | 宇龙计算机通信科技(深圳)有限公司 | 一种远程控制智能家居设备或系统的方法、装置以及终端 |
| US20170083276A1 (en) | 2015-09-21 | 2017-03-23 | Samsung Electronics Co., Ltd. | User terminal device, electronic device, and method of controlling user terminal device and electronic device |
| KR20170092379A (ko) * | 2016-02-03 | 2017-08-11 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| CN114201738A (zh) * | 2020-09-02 | 2022-03-18 | 荣耀终端有限公司 | 解锁方法及电子设备 |
| KR102514950B1 (ko) * | 2022-10-06 | 2023-03-29 | 삼아씨디에스 유한회사 | Qr코드를 이용한 로컬지역 전자기기 제어 장치 및 방법 |
| WO2023054897A1 (ko) * | 2021-09-29 | 2023-04-06 | 삼성전자 주식회사 | 영상 통화를 수행하는 전자 장치 및 방법 |
-
2013
- 2013-04-15 KR KR1020130041262A patent/KR20140081642A/ko not_active Application Discontinuation
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101512491B1 (ko) * | 2014-08-28 | 2015-04-16 | 주식회사 이도링크 | 게이트웨이용 스마트폰에 의한 홈네트워크 시스템 |
| US20170083276A1 (en) | 2015-09-21 | 2017-03-23 | Samsung Electronics Co., Ltd. | User terminal device, electronic device, and method of controlling user terminal device and electronic device |
| US10802784B2 (en) | 2015-09-21 | 2020-10-13 | Samsung Electronics Co., Ltd. | Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data |
| CN105450487A (zh) * | 2015-12-31 | 2016-03-30 | 宇龙计算机通信科技(深圳)有限公司 | 一种远程控制智能家居设备或系统的方法、装置以及终端 |
| KR20170092379A (ko) * | 2016-02-03 | 2017-08-11 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| CN114201738A (zh) * | 2020-09-02 | 2022-03-18 | 荣耀终端有限公司 | 解锁方法及电子设备 |
| CN114201738B (zh) * | 2020-09-02 | 2023-04-21 | 荣耀终端有限公司 | 解锁方法及电子设备 |
| WO2023054897A1 (ko) * | 2021-09-29 | 2023-04-06 | 삼성전자 주식회사 | 영상 통화를 수행하는 전자 장치 및 방법 |
| KR102514950B1 (ko) * | 2022-10-06 | 2023-03-29 | 삼아씨디에스 유한회사 | Qr코드를 이용한 로컬지역 전자기기 제어 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11620103B2 (en) | User interfaces for audio media control | |
| EP2987269B1 (en) | Method and system for controlling external device | |
| KR102133536B1 (ko) | 애플리케이션 실행 방법 및 시스템 | |
| US11740764B2 (en) | Method and system for providing information based on context, and computer-readable recording medium thereof | |
| US20140181683A1 (en) | Method and system for controlling external device | |
| US9924018B2 (en) | Multi display method, storage medium, and electronic device | |
| KR20140081642A (ko) | 외부 기기 제어 방법 및 시스템 | |
| AU2013306539B2 (en) | Information transmission method and system, device, and computer readable recording medium thereof | |
| CN109284001B (zh) | 执行设备的功能的方法以及用于执行该方法的设备 | |
| EP2690843B1 (en) | Content transmission method and device and computer-readable recording medium that uses the same | |
| KR20140091633A (ko) | 모바일 장치에서의 상황 인지에 따른 추천 항목을 제공하기 위한 방법 및 이를 위한 모바일 장치 | |
| CN113785272A (zh) | 基于使用情境提供用户界面并管理媒体的回放 | |
| KR102057196B1 (ko) | 정보 전송 방법 및 시스템과 그 기기 | |
| US9998584B2 (en) | Display device and method of controlling the same | |
| KR20200000291A (ko) | SNS와 이미지 가상키보드를 이용한 IoT 디바이스 제어 시스템 및 방법 | |
| KR20140096956A (ko) | 디바이스의 기능 실행 방법 및 이를 위한 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |