KR20170121027A - 전자 장치 및 이의 외부 장치 제어 방법 - Google Patents

전자 장치 및 이의 외부 장치 제어 방법 Download PDF

Info

Publication number
KR20170121027A
KR20170121027A KR1020160106116A KR20160106116A KR20170121027A KR 20170121027 A KR20170121027 A KR 20170121027A KR 1020160106116 A KR1020160106116 A KR 1020160106116A KR 20160106116 A KR20160106116 A KR 20160106116A KR 20170121027 A KR20170121027 A KR 20170121027A
Authority
KR
South Korea
Prior art keywords
electronic device
external device
external
screen
indicated
Prior art date
Application number
KR1020160106116A
Other languages
English (en)
Other versions
KR102469724B1 (ko
Inventor
최지웅
백서현
오현아
장용석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP17786086.3A priority Critical patent/EP3391659B1/en
Priority to CN201780012476.9A priority patent/CN108702555B/zh
Priority to US15/467,054 priority patent/US20170308248A1/en
Priority to PCT/KR2017/003103 priority patent/WO2017183817A1/en
Publication of KR20170121027A publication Critical patent/KR20170121027A/ko
Application granted granted Critical
Publication of KR102469724B1 publication Critical patent/KR102469724B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H04L67/16—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/35—Services specially adapted for particular environments, situations or purposes for the management of goods or merchandise
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Abstract

전자 장치 및 이의 외부 장치 제어 방법이 제공된다. 본 전자 장치의 서비스 제공 방법은 트리거 입력이 감지되면, 복수의 외부 장치 중 상기 전자 장치가 가리키는 외부 장치를 판단하고, 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면을 제공하며, 어플리케이션의 UI 화면을 통해 사용자 명령이 입력되면, 사용자 명령에 대응되는 제어 신호를 전자 장치가 가리키는 외부 장치에 전송한다.

Description

전자 장치 및 이의 외부 장치 제어 방법{Electronic device and Method for controlling external device thereof}
본 발명은 전자 장치 및 이의 외부 장치 제어 방법에 관한 것으로, 더욱 상세하게는 외부의 외부 장치를 제어하기 위한 다양한 서비스를 직관적으로 제공하는 전자 장치 및 이의 외부 장치 제어 방법에 관한 것이다.
최근 반도체 기술 및 무선 통신 기술의 발전으로 인하여 다양한 사물에 통신기능이 포함되어 네트워크를 형성함으로써 편리하게 사물을 제어할 수 있게 되었다. 이와 같이 사물에 통신기능을 포함하여 네트워크로 연결하는 것을 사물 인터넷(IoT : Internet Of Things)이라 하며 실 생활에 폭넓게 사용되고 있다.
한편, 통신 기술의 발달에 따라 연결될 수 있는 IoT 장치들의 종류와 매우 증가하고 있다. 이 경우, 수많은 유형의 IoT 장치와 통신을 연결하거나 조작하기 위해서는 일일이 IoT 장치와 통신을 연결해야 하는 번거로움이 존재한다. 또한, 주변의 IoT 장치가 복수 개 존재하는 경우, 탐색 과정에서 사용자가 원하는 기기를 명확히 구분하기도 어려운 문제점이 존재한다.
본 발명은 사용자가 제어하고자 하는 외부 장치를 직관적으로 인식하고, 인식된 외부 장치를 이용하여 다양한 서비스를 제공할 수 있는 전자 장치 및 이의 서비스 제공 방법을 제공함에 있다.
본 발명의 일 실시예에 따른, 전자 장치가 외부 장치를 제어하는 제어 방법은, 트리거 입력이 감지되면, 복수의 외부 장치 중 상기 전자 장치가 가리키는 외부 장치를 판단하는 단계; 상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면을 제공하는 단계; 및 상기 어플리케이션의 UI 화면을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응되는 제어 신호를 상기 전자 장치가 가리키는 외부 장치에 전송하는 단계;를 포함한다.
본 발명의 다른 실시예에 따른, 전자 장치는, 외부 장치와 통신을 수행하는 통신부; 사용자 입력을 감지하는 입력부; 영상을 제공하는 디스플레이; 및 상기 입력부를 통해 트리거 입력이 감지되면, 복수의 외부 장치 중 상기 전자 장치가 가리키는 외부 장치를 판단하고, 상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면을 제공하도록 상기 디스플레이를 제어하고, 상기 어플리케이션의 UI 화면을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응되는 제어 신호를 상기 전자 장치가 가리키는 외부 장치에 전송하도록 상기 통신부를 제어하는 프로세서;를 포함한다.
상술한 바와 같은 본 발명의 일 실시예에 따라, 전자 장치는 사용자가 제어하고자 하는 외부 장치의 명칭이나 서비스 내용을 명확히 알지 못하더라도 외부 장치를 가리키는 사용자의 동작만으로 외부 장치를 인식하여 다양한 서비스를 더욱 편리하게 제공할 수 있게 된다.
특히, 전자 장치는 외부 장치를 가리키는 동작만으로, 외부 장치와 통신 연결을 수행할 수 있을 뿐만 아니라 동시에 외부 장치를 제어할 수 있는 UI 화면을 제공할 수 있게 된다.
도 1은 본 개시의 일 실시예에 따른, 외부 장치를 이용하여 서비스를 제공하는 서비스 제공 시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도,
도 3은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블록도,
도 4는 본 개시의 일 실시예에 따른, 외부 장치를 이용하여 서비스를 제공하기 위한 모듈을 도시한 도면,
도 5는 본 개시의 일 실시예에 따른, 전자 장치의 외부 장치 제어 방법을 설명하기 위한 흐름도,
도 6a 내지 도 7c는 본 개시의 일 실시예에 따른, 전자 장치가 가리키는 외부 장치를 판단하는 방법을 설명하기 위한 흐름도 및 도면,
도 8은 본 개시의 일 실시예에 따른, 전자 장치가 외부 장치에 대응되는 서비스를 판단하는 방법을 설명하기 위한 흐름도,
도 9는 본 개시의 일 실시예에 따른, 전자 장치가 다른 전자 장치가 외부 장치의 점유 사실을 브로드캐스팅하는 실시예를 설명하기 위한 흐름도, 그리고,
도 10a 내지 도 20b는 본 개시의 다양한 실시예에 따른, 전자 장치가 외부 장치를 이용하여 다양한 서비스를 제공하는 실시예들에 대한 도면들이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 물리적인 연결뿐만 아니라 무선 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다. 도 1은 본 개시의 일 실시예에 따른, 외부 장치를 이용하여 서비스를 제공하는 서비스 제공 시스템을 설명하기 위한 도면이다. 우선, 서비스 제공 시스템(10)은 전자 장치(100), 복수의 외부 장치(200-1 내지 200-3), 서버(50)를 포함한다. 이때, 전자 장치(100)는 스마트 폰, 웨어러블 기기, VR 기기 등 과 같은 휴대 단말로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 전자 장치(예를 들어, 리모컨, 태블릿 PC, 포인팅 디바이스, 스마트 폰 케이스 등)로 구현될 수 있다. 또한, 복수의 외부 장치(200-1 내지 200-3)는 IoT 환경 내에서 전자 장치(100)에 의해 제어될 수 있는 장치로서, 타겟 기기, IoT 기기와 같은 다른 용어로 사용될 수 있다. 특히, 복수의 외부 장치(200-1 내지 200-3)는 도 1에 도시된 바와 같이, 스마트 TV(200-1), 에어컨(200-2), 프린터(200-3) 등과 같은 다양한 가전제품으로 구현될 수 있으며, 스마트 폰, 웨어러블 기기, VR 기기 등과 같은 휴대 단말로 구현될 수 있으며, 움직임 센서, 온도 센서, 미세 먼지 센서 등과 같은 센서로 구현될 수도 있으나, 이에 한정되는 것은 아니다.
우선, 전자 장치(100)는 서비스를 수행하기 위한 트리거 입력을 감지한다. 여기서, 서비스는 전자 장치(100)의 기능을 제어하는 서비스, 전자 장치(100)를 통해 외부 장치의 기능을 제어하는 서비스, 전자 장치(100) 또는 외부 장치(200)를 통해 정보를 제공하는 서비스 등과 같이, 사용자에게 편의를 제공하기 위해 전자 장치(100) 또는 전자 장치(100)와 연결된 외부 장치(200)의 기능을 제어하는 것을 통칭하는 것으로 이해될 수 있다. 한편, 본원 발명의 일 실시예에 따른 서비스는 기능, 태스크, 어플리케이션 등과 같은 다른 용어로 대체될 수 있다.
이때, 트리거 입력은 서비스 수행을 위한 사용자 입력으로서, 예를 들어, 전자 장치(100)의 특정 버튼을 길게 누르는 롱 프레스 입력, 디스플레이에 디스플레이된 UI 엘리먼트를 터치하는 사용자 입력, 전자 장치(100)를 복수 회 흔드는 것과 같은 제스처 입력, 특정 단어를 포함하는 음성 입력 중 하나일 수 있으나, 이에 한정되는 것은 아니다.
트리거 입력이 감지되면, 전자 장치(100)는 복수의 외부 장치(200-1,200-2,200-3) 중 전자 장치(100)가 가리키는 외부 장치를 판단할 수 있다. 본 발명의 일 실시예로, 전자 장치(100)는 복수의 외부 장치가 브로드캐스팅하는 신호를 이용하여 전자 장치(100)가 가리키는 외부 장치를 판단할 수 있다. 이때, 외부 장치가 브로드캐스팅하는 신호는 외부 장치에 대한 정보를 포함하는 애드버타이징 패킷(advertising packet)이 삽입된 신호일 수 있다. 특히, 전자 장치(100)는 복수의 안테나를 통해 수신되는 신호의 위상 차 및 신호 세기 중 적어도 하나를 이용하여 외부 장치를 판단할 수 있다.
전자 장치(100)가 가리키는 외부 장치가 판단된 경우, 전자 장치(100)는 판단된 외부 장치에 대응되는 서비스를 판단한다. 이때, 전자 장치(100)는 판단된 외부 장치의 정보를 바탕으로 기저장된 서비스 리스트를 바탕으로 외부 장치에 대응되는 서비스를 판단할 수 있다. 또한, 전자 장치(100)는 외부 장치 자체로부터 외부 장치에 대한 정보를 수신하여 외부 장치에 대응되는 서비스를 판단할 수도 있고,　외부의 서버(50)로 외부 장치에 대한 정보를 전송하여 외부 장치에 대응되는 서비스에 대한 정보를 수신하여, 서비스를 판단할 수도 있다.
본 발명의 일 예로, 외부 장치에 대응되는 서비스는 외부 장치에 대응되는 어플리케이션의 UI 화면을 제공하는 서비스, 전자 장치(100)가 제공하는 컨텐츠를 외부 장치와 공유하는 서비스 등일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 서비스 역시 본 발명의 기술적 사상에 포함될 수 있다. 이에 대해서는 추후에 도 10a 내지 도 20b를 참조하여 상세히 설명하기로 한다.
그리고, 전자 장치(100)는 판단된 외부 장치에 대응되는 서비스를 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(100)는 판단된 외부 장치를 제어하기 위한 애플리케이션의 UI 화면을 사용자에게 제공할 수 있으며, 컨텐츠를 판단된 외부 장치와 공유할 수 있다.
상술한 바와 같은 서비스 제공 시스템(10)에 의하면, 사용자는 전자 장치(100)를 외부 장치에 가리키는 모션을 통해 더욱 직관적으로 외부 장치를 선택하여 제어할 수 있게 된다.
도 2는 본 개시의 일 실시예에 따른, 전자 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 통신부(110), 입력부(120), 프로세서(130) 및 디스플레이(140)를 포함한다.
통신부(110)(또는 통신 인터페이스)는 외부 장치(200) 및 서버(50)와 통신을 수행한다. 특히, 통신부(110)는 외부 장치(200)가 브로드캐스팅하는 신호를 수신할 수 있다. 이때, 외부 장치(200)가 브로드캐스팅하는 신호는 애드버타이징 패킷(advertising packet)이 포함된 신호로서, 외부 장치(200)에 대한 정보를 포함할 수 있다. 또한, 통신부(110)는 외부 장치(200)와 통신 연결을 수행하여 외부 장치(200)를 제어하기 위한 신호를 전송하거나 외부 장치(200)로부터 정보를 수신할 수 있다.
특히, 통신부(110)는 외부 장치(200)가 브로드캐스팅하는 신호를 수신하는 복수의 안테나를 포함할 수 있다. 통신부(110)는 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호 세기 중 적어도 하나를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다.
입력부(120)는 사용자 입력을 감지한다. 특히, 입력부(120)는 서비스를 제공하기 위한 트리거 입력을 감지할 수 있다. 또한, 입력부(120)는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 통해 외부 장치(200)를 제어하기 위한 사용자 입력을 감지할 수 있다.
디스플레이(140)는 영상을 제공한다. 특히, 디스플레이(140)는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 제공할 수 있다. 이때, 어플리케이션의 UI 화면에는 외부 장치(200)를 제어하기 위한 적어도 하나의 UI 엘리먼트를 포함할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 입력부(120)를 통해 트리거 입력이 감지되면, 프로세서(130)는 복수의 외부 장치(200-1,200-2,200-3) 중 전자 장치(100)가 가리키는 외부 장치를 판단하고, 전자 장치(100)가 가리키는 외부 장치에 대응되는 서비스를 판단하여 판단된 서비스를 제공할 수 있다. 본 발명의 일 실시예로, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어하며, 어플리케이션의 UI 화면을 통해 외부 장치(200)를 제어하기 위한 사용자 명령이 입력되면 사용자 명령에 대응되는 제어 신호를 외부 장치(200)에 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 프로세서(130)는 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호세기를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 더욱 구체적으로, 복수의 안테나를 이용하여 제1 외부 장치(200)로부터 수신된 신호들의 위상 차 또는 신호세기의 차이가 기설정된 값 이하이면, 프로세서(130)는 전자 장치(100)가 제1 외부 장치를 가리키고 있는 것으로 판단할 수 있다. 이때, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)와 통신 연결을 수행하도록 통신부(110)를 제어할 수 있다. 또한, 전자 장치(100)가 가리키는 방향에 적어도 두 개의 외부 장치가 존재하는 경우, 프로세서(130)는 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호세기와 함께 부가 환경 정보를 이용하여 적어도 두 개의 외부 장치 중 전자 장치(100)가 가리키는 하나의 외부 장치(200)를 판단할 수 있다. 이때, 환경 정보는 움직임 센서를 통해 감지된 움직임 정보, AP 정보, 주변 환경에 대한 영상 정보 등을 포함할 수 있다.
그리고, 전자 장치(100)가 외부 장치를 가리키고 있는 것으로 판단된 경우, 프로세서(130)는 외부 장치에 대한 정보와 전자 장치(100)가 외부 장치를 가리키는 동안 감지된 환경 정보를 저장하거나 외부의 서버(50)로 전송하도록 통신부(110)를 제어할 수 있다. 이에 의해, 전자 장치(100)는 추후에 전자 장치(100)가 가리키는 외부 장치를 더욱 정확하게 검출할 수 있다.
한편, 상술한 실시예에서는 외부 장치(200)가 신호를 브로드캐스팅하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 외부 장치(200)가 별도의 신호를 브로드캐스팅하지 못하는 경우, 프로세서(130)는 감지된 환경 정보와 기저장된 환경 정보를 비교하여 전자 장치(100)가 가리키는 외부 장치를 판단할 수 있다.
본 발명의 다른 실시예로, 통신부(110)는 적어도 하나의 외부 장치로부터 브로드캐스팅 되는 신호를 수신하여 적어도 하나의 외부 장치와 통신 연결을 수행하며, 적어도 하나의 기기에 위치 추정을 위한 신호를 요청하고, 복수의 안테나를 이용하여 위치 추정을 위한 신호를 수신할 수 있다. 그리고, 프로세서(130)는 복수의 안테나를 이용하여 수신된 위치 추정을 위한 신호들의 위상 차 및 신호세기를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 본 발명의 다른 실시예로, 전자 장치(100)가 가리키는 방향에 적어도 두 개의 외부 장치가 존재하는 경우, 프로세서(130)는 적어도 두 개의 외부 장치 중 하나를 선택하기 위한 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다. 그리고, 외부 장치를 선택하기 위한 UI 화면을 통해 하나의 외부 장치가 선택되면, 프로세서(130)는 선택된 외부 장치를 전자 장치(100)가 가리키는 하나의 외부 장치(200)를 판단할 수 있다.
그리고, 전자 장치(100)가 가리키는 외부 장치(200)를 판단한 후, 프로세서(130)는 판단된 외부 장치(200)에 대응되는 서비스를 판단할 수 있다. 이때, 프로세서(130)는 기저장된 프로토콜 또는 외부의 서버(50)로부터 수신된 프로토콜을 바탕으로 외부 장치(200)에 대응되는 서비스를 판단할 수 있다.
또한, 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 서비스가 복수 개인 경우, 프로세서(130)는 복수 개의 서비스 중 하나를 선택하기 위한 UI를 제공하도록 디스플레이를 제어할 수 있다. 본 발명의 일 실시예로, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다.
특히, 프로세서(130)는 다양한 방법으로 어플리케이션의 UI 화면을 획득하여 디스플레이(140)를 통해 제공할 수 있다. 구체적으로, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션을 판단하고, 판단된 어플리케이션의 UI 화면에 대한 데이터가 기저장되어 있는지 여부를 판단하며, 기저장된 데이터를 이용하여 판단된 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다.
특히, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션에 대한 정보(예를 들어, 어플리케이션의 ID 정보, 버전 정보 등)를 외부 장치(200)로부터 수신하도록 통신부(110)를 제어할 수 있다. 이때, 전자 장치(100)에 외부 장치(200)에 대응되는 어플리케이션이 기설치된 경우, 프로세서(130)는 기설치된 어플리케이션의 데이터를 이용하여 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다. 전자 장치(100)에 외부 장치(200)에 대응되는 어플리케이션이 설치되지 않거나 최신 버전이 아닌 경우, 프로세서(130)는 최신 버전의 어플리케이션을 설치하기 위하여 외부 장치(200)로부터 수신된 어플리케이션에 대한 정보(예를 들어, 주소 정보)를 이용하여 외부의 서버(50)로부터 최신 버전의 어플리케이션에 대한 데이터를 다운로드 받도록 통신부(110)를 제어할 수 있다. 그리고, 프로세서(130)는 다운 로드된 최신 버전의 어플리케이션에 대한 데이터를 이용하여 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다.
또는, 프로세서(130)는 외부 장치(200)로부터 수신된 어플리케이션에 대한 정보(예를 들어, URL 정보)를 이용하여 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면에 대한 데이터를 획득하기 위해 외부 서버(50)에 접속하도록 통신부(110)를 제어할 수 있다. 그리고, 프로세서(130)는 외부 서버(50)로부터 어플리케이션의 UI 화면에 대한 데이터를 수신하도록 통신부(110)를 제어하고, 수신된 어플리케이션의 UI 화면에 대한 데이터를 이용하여 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다. 상술한 바와 같이, 외부 서버(50)를 이용하여 어플리케이션의 UI 화면을 제공함으로써, 전자 장치(100)는 별도의 설치과정 없이 웹 어플리케이션을 통해 외부 장치(200)를 제어할 수 있게 된다.
또한, 전자 장치(100)가 가리키는 외부 장치(200-1,200-2,200-3)가 복수 개인 경우, 프로세서(130)는 복수 개의 외부 장치(200-1,200-2,200-3)에 대응되는 어플리케이션의 UI 화면을 제공할 수 있다. 예를 들어, 전자 장치(100)가 제1 스피커, 제2 스피커 및 제3 스피커를 가리키는 경우, 프로세서(130)는 복수의 스피커와 대응되는 어플리케이션의 UI 화면을 제공할 수 있다. 이때, 복수의 스피커와 대응되는 어플리케이션의 UI 화면에는 일 예로, 전원 온/오프를 위한 UI 엘리먼트, 음악 컨텐츠 재생을 위한 UI 엘리먼트, 볼륨 조절을 위한 UI 엘리먼트 등이 포함될 수 있다.
또한, 특정 기능을 위한 UI 엘리먼트를 선택하는 트리거 입력이 감지된 후, 전자 장치(100)가 복수의 외부 장치(200-1,200-2,200-3)를 가리키는 경우, 전자 장치(100)는 복수의 외부 장치에 특정 기능을 수행하기 위한 제어 명령을 전송하도록 통신부(110)를 제어할 수 있다. 예를 들어, 전원 오프 버튼을 선택하는 트리거 입력이 감지된 후, 전자 장치(100)가 TV(200-1), 에어컨(200-2)을 가리키는 경우, 전자 장치(100)는 TV(200-1), 에어컨(200-2)에 전원 오프를 위한 제어 명령을 전송하도록 통신부(110)를 제어할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 전자 장치(100)와 전자 장치(100)가 가리키는 외부 장치(200)가 통신 연결되는 동안, 프로세서(130)는 외부의 전자 장치에 외부 장치(200)의 존재 여부 및 연결 관련 정보를 브로드캐스팅할 수 있다. 이에 대해서는 도 9를 참조하여 상세히 설명하기로 한다.
도 3은 본 개시의 일 실시예에 따른, 전자 장치(100')의 구성을 상세히 도시한 블럭도이다. 도 3에 도시된 바와 같이, 전자 장치(100')는 통신부(110), 디스플레이(140), 스피커(150), 메모리(160), 입력부(120), 감지부(170) 및 프로세서(130)를 포함한다.
한편, 도 3에 도시된 전자 장치(100')의 구성은 일 예에 불과하므로, 반드시 전술된 블록도에 한정되는 것은 아니다. 따라서, 전자 장치(100')의 종류 또는 전자 장치(100')의 목적에 따라 도 3에 도시된 전자 장치(100')의 구성의 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 통신부(110)는 외부 장치(200) 또는 외부의 서버(50)와 통신을 수행한다. 특히, 통신부(110)는 도 3에 도시된 바와 같이, BT(Bluetooth) 통신 모듈(111), WiFi 통신 모듈(113), Zigbee 통신 모듈(115)을 포함할 수 있다.
BT 통신 모듈(111) 및 WiFi 통신 모듈(113)은 블루투스 칩 또는 WiFi 칩을 이용하여 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
이때, BT 통신 모듈(111)은 복수의 안테나, 스위치, 트랜시버(transceiver), 프로세서 중 적어도 하나를 포함할 수 있다. 특히, 복수의 안테나를 이용하는 BT 통신 모듈(111)은 원 패쓰(one path) 방식 및 투 패쓰(two path) 방식으로 구현될 수 있다. 원 패쓰 방식은 복수의 안테나를 통해 수신되는 무선 신호를 하나의 트랜시버가 프로세서로 전달하는 방식이다. 특히, 원 패쓰 방식은 트랜시버가 스위치를 이용하여 복수의 안테나를 통해 수신된 무선 신호를 교번적으로 프로세서로 전달할 수 있다. 투 패쓰 방식은 복수의 안테나를 통해 수신되는 무선 신호 각각을 대응되는 복수의 트랜시버가 프로세서로 전달하는 방식이다. 즉, 복수의 트랜시버에 대응되는 안테나를 통해 수신되는 무선 신호를 프로세서로 전달할 수 있다.
한편, 상술한 실시예에서는 BT 통신 모듈(111)이 복수의 안테나를 이용하여 무선 신호를 수신하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, WiFi 통신 모듈(113) 역시 복수의 안테나를 이용하여 무선 신호를 수신할 수 있다.
그 밖에 통신부(110)는 NFC 통신 모듈, 초음파 통신 모듈과 같은 다양한 통신 모듈을 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른, BT 통신 모듈(111)은 Bluetooth 4.0 이상의 규격에서 지원하는 BLE(Bluetooth low energy) 통신 모듈을 포함할 수 있다.
디스플레이(140)는 다양한 영상 데이터 및 UI를 표시한다. 특히, 디스플레이(140)는 어플리케이션의 UI 화면을 제공할 수 있다. 또한, 디스플레이(140)는 복수의 외부 장치 중 하나를 선택할 수 있는 UI, 복수의 서비스 중 하나를 선택하기 위한 UI, 서비스 안내 UI 등과 같은 다양한 UI를 제공할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 디스플레이(140)는 터치 입력부와 결합하여 터치 스크린으로 구현될 수 있으며, 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다. 플렉서블 디스플레이는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 것을 특징으로 할 수 있다.
스피커(150)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 본 발명의 다른 실시예에 따르면, 전자 장치(100')는 오디오를 출력하기 위한 구성으로 출력 단자를 더 포함할 수 있다.
메모리(160)는 전자 장치(100')를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 메모리(160)에는 베이스 모듈, 센싱 소프트웨어 모듈, 통신 소프트웨어 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 전자 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 소프트웨어 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 소프트웨어 모듈은 통신부(110)를 통해 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 애플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 메모리(160)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 전자 장치(100')의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다.
또한, 메모리(160)는 도 4에 도시된 바와 같은 외부 장치(200)를 이용하여 서비스를 이용하기 위한 모듈을 포함한다
정면 탐지 모듈(410)은 전자 장치(100)가 정면으로 가리키는 외부 장치(200)를 판단하는 모듈이다. 특히, 정면 탐지 모듈(410)은 통신부(110)의 복수의 안테나를 이용하여 수신된 무선 신호의 위상 차 및 신호 세기 중 적어도 하나를 이용하여 전자 장치(100)가 정면으로 가리키는 외부 장치(200)를 판단할 수 있다. 또한, 정면 탐지 모듈(410)은 환경 정보를 통해 전자 장치(100)가 정면으로 가리키는 외부 장치(200)를 판단할 수 있다. 이때, 정면 탐지 모듈(410)은 다양한 외부 장치의 정보(예를 들어, UUID, Local name, MAC address 등)를 데이터베이스에 저장할 수 있다.
서비스 판단 모듈(420)은 전자 장치(100)가 가리키는 외부 장치에 대응되는 서비스를 판단하는 모듈이다. 이때 서비스 판단 모듈(420)은 기 저장된 데이터베이스를 이용하여 외부 장치에 대응되는 서비스를 판단할 수 있으며, 외부의 서버(50)로 외부 장치에 대한 정보를 전송하여 외부 장치에 대응되는 서비스에 대한 정보를 수신할 수 있다. 이때, 서비스는 웹 애플리케이션 자체일 수 있다.
프로토콜 관리 모듈(430)은 전자 장치(100')와 외부 장치(200) 사이의 프로토콜을 관리하는 모듈이다. 이때, 프로토콜은 통신 규약으로서, 표준 규약이 명시된 프레임워크일 수도 있고, 비표준 규약으로써 애플리케이션 자체가 될 수 있다. 현재 존재하는 외부 장치(200)를 조작하기 위한 표준 규약 프레임워크는 OIC의 IoTivity와 Allseen Alliance의 Alljoyn 등이 있다. 외부 장치(200)는 IoTivity나 Alljoyn과 같은 표준 프로토콜을 사용하는 경우와 비표준 프로토콜을 사용하는 경우로 나뉜다. 표준 프로토콜을 이용하는 외부 장치들은 표준 프로토콜을 사용하고 있다는 정보를 포함하는 애드버타이징 패킷(Advertising Packet)을 포함하는 무선 신호를 외부로 브로드캐스팅한다. 예를 들어, IoTivity는 "ADE3D529-C784-4F63-A987-EB69F70EE816" 라는 UUID를 브로드캐스트하여 주변기기들에게 IoTivity 호환 기기임을 알린다.
프로토콜 관리 모듈(430)에서는 장치들 간 클래스 구분을 위해 Local Name과 UUID를 이용한다. 특히 표준 규약 프레임워크를 이용하는 경우 프로토콜 관리 모듈(430)은 UUID에 따라 프레임워크를 구분해 매칭시키고, 비표준 프로토콜을 이용하는 경우, 프로토콜 관리 모듈(430)은 Local Name으로 외부 장치(200)의 클래스를 구분해 애플리케이션을 프로토콜로써 매칭시킨다. 기본적으로 매칭 방법은 UUID와 Local Name에 대응되는 데이터베이스가 사전 구축되어 있어 데이터베이스를 이용하는 방식이다.
서비스 제공 모듈(440)은 프로토콜 관리 모듈(430)에서 관리하는 프로토콜로 서비스 판단 모듈(420)에서 판단된 서비스를 제공하는 모듈이다. 예를 들어, 서비스 제공 모듈(440)은 전자 장치(100)가 가리키는(또는 지향하는) 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 제공할 수 있다.
다시 도 3에 대해 설명하면, 입력부(120)는 사용자 명령을 입력받는다. 이때, 입력부(120)는 서비스 제공을 위한 트리거 입력을 감지할 수 있으며, 특정 서비스를 선택하기 위한 사용자 입력을 감지할 수 있다.
한편, 입력부(120)는 터치 입력부로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 버튼 입력부, 마우스, 키보드 등과 같은 다양한 입력 장치로 구현될 수 있다.
감지부(170)는 다양한 센서를 이용하여 다양한 정보를 감지한다. 특히, 감지부(170)는 환경 정보를 감지할 수 있다. 이때, 환경 정보는 움직임 정보, 주변 영상 정보 등이 포함될 수 있다. 예를 들어, 감지부(170)는 움직임 센서(예를 들어, 가속도 센서, 자이로 센서, 지자기 센서 등)를 이용하여 움직임 정보를 감지할 수 있으며, 카메라 센서를 이용하여 영상 정보를 획득할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 특히, 입력부(120)를 통해 트리거 입력이 감지되면, 프로세서(130)는 복수의 외부 장치 중 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 그리고, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다. 어플리케이션의 UI 화면을 통해 사용자 명령이 입력되면, 프로세서(130)는 사용자 명령에 대응되는 제어 신호를 전자 장치(100)가 가리키는 외부 장치(200)에 전송하도록 통신부(110)를 제어할 수 있다.
한편, 본 발명의 일 실시예에 따른, 프로세서(130)는 AP(application processor), CPU(central processing unit), GPU(Graphic processing unit) 등과 같은 다양한 하드웨어로 구현될 수 있다.
이하에서는 도 5를 참조하여 전자 장치의 서비스 제공 방법을 설명하도록 한다.
우선, 전자 장치(100)는 트리거 입력을 감지한다(S510). 이때, 트리거 입력은 물리적 버튼이나 UI 엘리먼트를 조작하는 입력(예를 들어, 롱프레스 입력, 더블 터치 입력 등)이거나 특정 기능을 수행하기 위한 UI 엘리먼트를 선택하는 입력일 수 있다. 또 다른 실시예에 의하면, 트리거 입력은 특정 모션을 취하는 모션 입력일 수 있으며, 특정 단어가 포함된 음성 입력일 수 있다.
트리거 입력이 감지되면(S510-Y), 전자 장치(100)는 통신 모듈(예를 들어, BT 통신 모듈 등)을 활성화한다(S520). 이때, 통신 모듈은 복수의 안테나를 이용하여 외부의 외부 장치(200)가 브로드캐스팅하는 무선 신호를 수신할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 통신 모듈은 트리거 입력이 감지되기 이전에 활성화될 수 있으며, 트리거 입력이 감지되기 이전에 활성화된 경우, S520 단계는 생략될 수 있다.
그리고, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)를 판단한다(S530). 이에 대해서는 도 6a 내지 도 7c를 참조하여 상세히 설명하기로 한다. 우선, 도 6a는 본 개시의 일 실시예에 따른, 전자 장치(100)가 가리키는 외부 장치(200)를 판단하는 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 통신부(110)을 이용하여 외부 장치(200)가 브로드캐스팅하는 무선 신호를 수신한다(S610).
전자 장치(100)는 복수의 안테나를 이용하여 수신된 무선 신호의 위상 차 및 신호 세기 중 적어도 하나를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단한다(S620).
구체적으로, 외부 장치(200)는 외부 장치(200)의 식별 정보를 포함하는 무선 신호(예를 들어, RF 신호, 광신호, 사운드 신호, 초음파 신호 등)를 브로드캐스팅한다. 이때, 외부 장치(200)의 식별 정보라 함은 블루투스의 UUID, 로컬 네임, 디바이스 ID, 맥 어드레스 , WiFi의 SSID, 맥 어드레스 등과 같이 외부 장치(200)를 식별할 수 있는 고유 정보를 말할 수 있다.
그리고, 통신부(110)는 제1 안테나 및 제2 안테나를 이용하여 외부 장치(200)로부터 브로드캐스팅된 무선 신호를 수신한다. 그리고, 통신부(110)는 제1 안테나 및 제2 안테나를 이용하여 수신된 무선 신호의 위상 정보 및 신호 세기 정보(예를 들어, RSSI) 중 적어도 하나를 획득할 수 있다. 이때, 통신부(110)가 원 패쓰 방식의 통신 모듈을 포함하는 경우, 통신부(110)는 스위칭 동작에 따라 복수의 안테나를 이용하여 수신된 무선 신호를 교번적으로 수신할 수 있다. 이때, 복수의 안테나로부터 스위칭을 통해 트랜시버로 수신된 무선 신호에 일정 주기를 가지는 추가 파형이 존재할 때, 통신부(110)의 프로세서는 추가 파형의 주기와 스위칭 시간차를 활용하여 스위칭된 무선 신호의 위상 정보 및 신호 세기 정보 중 적어도 하나를 추정할 수 있다. 또는 통신부(110)가 투 패쓰 방식의 통신 모듈을 포함하는 경우, 통신부(110)는 복수의 트랜시버를 이용하여 복수의 안테나를 통해 수신된 무선 신호를 획득할 수 있다. 이때, 통신부(110)의 프로세서는 복수의 트랜시버를 통해 수신된 복수의 무선 신호 각각의 위상 정보 및 신호세기 정보 중 적어도 하나를 획득할 수 있다.
그리고, 도 7a의 (a)와 (b)와 같은 상태에서는 제1 안테나를 통해 수신된 제1 무선 신호(710)와 제2 안테나를 통해 수신된 제2 무선 신호(720)의 위상 차(θ-θ')가 도 7 b에 도시된 바와 같이, 기설정된 값 이하의 a도일 수 있다. 즉, 위상 차(θ-θ')가 기설정된 값 이하인 경우, 전자 장치(100)가 외부 장치(200)를 정면으로 가리키는 것을 의미하므로, 프로세서(130)는 무선 신호를 브로드캐스팅한 외부 장치(200)를 전자 장치(100)가 가리킨 외부 장치(200)로 판단할 수 있다. 예를 들어, 위상 차(θ-θ')가
Figure pat00001
7.5 도 이하인 경우, 전자 장치(100)가 외부 장치(200)를 가리키는 것으로 판단될 수 있다.
그러나, 도 7a의 (c)와 같은 상태에서는 제1 안테나를 통해 수신된 제1 무선 신호(710)와 제2 안테나를 통해 수신된 제2 무선 신호(720)의 위상 차(θ-θ')가 도 7 c에 도시된 바와 같이,기 설정된 값을 초과한 b도 일 수 있다. 즉, 위상 차(θ-θ')가 기설정된 값 초과인 경우, 프로세서(130)는 무선 신호를 브로드캐스팅한 외부 장치(200)를 전자 장치(100)가 가리킨 외부 장치(200)가 아닌 것으로 판단할 수 있다.
본 발명의 또 다른 실시예에 의하면, 프로세서(130)는 복수의 안테나를 통해 수신된 신호들의 신호 세기를 비교하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 구체적으로, 제1 안테나를 통해 수신된 제1 무선 신호와 제2 안테나를 통해 수신된 제2 무선 신호의 신호 세기의 차가 기 설정된 값 이하인 경우, 프로세서(130)는 무선 신호를 브로드캐스팅한 외부 장치(200)를 전자 장치(100)가 가리킨 외부 장치(200)로 판단할 수 있다. 그러나, 제1 안테나를 통해 수신된 제1 무선 신호와 제2 안테나를 통해 수신된 제2 무선 신호의 신호 세기 차가 기 설정된 값 초과인 경우, 프로세서(130)는 무선 신호를 브로드캐스팅한 외부 장치(200)를 전자 장치(100)가 가리킨 외부 장치(200)가 아닌 것으로 판단할 수 있다.
한편, 상술한 실시예에서는 프로세서(130)가 복수의 안테나를 통해 수신된 무선 신호들의 위상 차 및 신호 세기 차이를 각각 이용하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 위상 차 및 신호 세기를 모두 이용할 수 있다. 즉, 프로세서(130)는 복수의 안테나를 통해 수신된 무선 신호들의 위상 차 및 신호 세기 차이 동시에 이용하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다.
또한, 실내 공간에서 외부 장치(200)가 무선 신호를 브로드캐스팅하는 경우, 통신부(110)는 외부 장치(200)가 브로드캐스팅한 무선 신호 중 바로 전달되는 직접 신호 및 벽과 같은 물체에 반사되어 전달되는 잔향 신호를 수신할 수 있다. 이 경우, 프로세서(130)는 잔향 신호에 의해 전자 장치(100)가 가리키는 외부 장치(200)를 판단하기 어려운 문제점이 발생할 수 있다. 이러한 문제점을 해결하기 위하여, 전자 장치(100)는 브로드캐스팅된 무선 신호로부터 CSI(Channel state information)를 추출할 수 있다. 이때, CSI는 무선 신호의 각 채널 별 신호 진폭, 위상에 대한 정보를 포함한다. 따라서, 프로세서(130)는 CSI를 통해 직접 신호와 잔향 신호를 구분하고, 구분된 직접 신호만을 이용하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 그 밖에, 프로세서(130)는 MUSIC(Multiple Signal Classification) 알고리즘이나 ESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques) 알고리즘을 바탕으로 무선 신호가 수신되는 방향을 추정하여 직접 신호를 구분할 수 있다.
한편, 상술한 실시예에서는 프로세서(130)가 복수의 안테나를 이용하여 수신된 무선 신호들의 위상 차 및 신호세기 차 중 적어도 하나를 이용하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법을 이용하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 예를 들어, 프로세서(130)는 복수의 안테나로부터 수신된 무선 신호의 비행시간 차이를 이용하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 예를 들어, 프로세서(130)는 복수의 안테나를 통해 수신된 무선 신호 각각에 포함된 전송 시작 타임 스탬프에 대한 정보와 무선 신호가 전자 장치(100)에 도착한 타임 스탬프에 대한 정보를 비교하여 비행 시간을 산출할 수 있다. 그리고, 프로세서(130)는 복수의 안테나로부터 수신된 무선 신호의 비행시간 차이가 기 설정된 이하인 경우, 해당 외부 장치를 전자 장치(100)가 가리키는 외부 장치(200)로 판단할 수 있다.
본 발명의 또 다른 실시예에서, 프로세서(130)는 복수의 안테나로부터 수신된 무선 신호의 전파 도달 시간의 차이를 이용하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 이때, 전파 도달 시간은 무선 신호가 복수의 안테나에 도달한 시간에 대한 정보일 수 있다. 그리고, 프로세서(130)는 복수의 안테나로부터 수신된 무선 신호의 전파 도달 시간 차이가 기 설정된 이하인 경우, 해당 외부 장치를 전자 장치(100)가 가리키는 외부 장치(200)로 판단할 수 있다.
본 발명의 또 다른 실시예에서, 프로세서(130)는 복수개의 안테나를 통해 정면 방향의 지향성을 갖는 전파 빔을 생성할 수 있다. 이때, 정면 방향의 전파 빔 내에 위치한 복수 기기의 경우, 전파 빔을 방사한 전자 장치(100)를 향해 응답 신호를 보내게 된다. 응답 신호를 통해 전자 장치(100)는 가리킨 방향의 전파 빔 내에 있는 복수의 기기들을 외부 장치(200)로 판단할 수 있다.. 이때, 빔포밍 특성을 가지는 무선 신호에 대한 응답 신호를 수신한 경우, 프로세서(130)는 응답 신호를 전송한 외부 장치를 전자 장치(100)가 가리키는 외부 장치(200)로 판단할 수 있다.
한편, 상술한 실시예에서는, 통신부(110)의 프로세서가 복수의 안테나를 통해 수신된 무선 신호의 위상 정보와 신호 세기 정보만을 추출하고, 프로세서(130)가 위상 값과 신호세기 값으로부터 위상 차 및 신호 세기 차이를 구하여 전자 장치(100)가 가리키는 외부 장치(200)를 판단하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 통신부(110)의 프로세서 및 프로세서(130)는 상술한 역할과 상이한 역할을 수행할 수 있다. 예를 들어, 통신부(110)의 프로세서는 복수의 안테나를 통해 수신된 무선 신호의 위상 정보와 신호 세기 정보 중 적어도 하나를 이용하여 전자 장치(100)가 지향하는 방향각을 추출하고, 프로세서(130)는 방향각을 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다. 또 다른 예로, 통신부(110)의 프로세서는 복수의 안테나를 통해 수신된 무선 신호의 위상 정보와 신호 세기 정보 중 적어도 하나를 이용하여 전자 장치(100)가 지향하는 방향각을 추출하고, 방향각을 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다.
그리고, 전자 장치(100)는 전자 장치(100)가 가리키는 방향에 복수 개의 외부 장치가 존재하는지 여부를 판단한다(S630).
전자 장치(100)가 가리키는 방향에 하나의 외부 장치가 존재하는 경우(S630-N), 전자 장치(100)는 판단된 외부 장치에 대한 정보를 획득한다(S640). 예를 들어, 전자 장치(100)는 브로드캐스팅된 무선 신호에 포함된 식별 정보를 통해 외부 장치의 Local Name 또는 UUID를 획득하고, 획득된 Local Name 또는 UUID를 통해 기 저장된 외부 장치 리스트를 이용하여 외부 장치(200)에 대한 다양한 정보(예를 들어, 제품명, 제조사, 프토로콜, MAC adress 등)를 획득할 수 있다.
그리고, 전자 장치(100)는 판단된 외부 장치(200)와 통신 연결을 수행한다(S650). 즉, 전자 장치(100)는 외부 장치에 대한 정보(예를 들어, UUID, MAC address 등)를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)와 통신 연결을 수행할 수 있다. 이때, 전자 장치(100)는 BT 통신 모듈(111)을 통해 외부 장치와 통신 연결을 수행할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 통신 모듈(예를 들어, Zigbee 통신 모듈 등)을 통해 외부 장치(200)와 통신 연결을 수행할 수 있다. 또한, 전자 장치(100)는 외부 장치(200)와 최초 연결시 페어링 과정을 거칠 수 있다.
특히, 프로세서(130)는 환경 정보를 감지하여 외부 서버(50)에 전송하도록 통신부(110)를 제어할 수 있다. 구체적으로, 프로세서(130) 는 추후에 전자 장치(100)가 정면으로 가리키는 외부 장치를 더욱 정확하게 판단하기 위하여 다양한 환경 정보를 감지한 후 외부 서버(50)에 전송할 수 있다. 여기서, 환경 정보는, 예컨대, 감지부(170) 에 포함된 GPS 센서, 지자기 센서, 가속도 센서, 자이로 센서 등과 같은 센서들로부터 획득된 값들을 활용하여 나침반 방위와 같은 방향 정보를 추출한 움직임 정보일 수 있으며, 주변 영상 정보, 카메라에 의해 촬영된 주변 영상 정보, 무선 통신 모듈을 통해 획득된 주변 WiFi AP 정보, RSSI 세기 정보, BT/BLE 정보와 RSSI 세기 정보 등이 포함될 수 있다. 이때, 전자 장치(100)는 감지된 환경 정보를 메모리(160)에 저장할 수 있다.
그러나, 전자 장치(100)가 가리키는 방향에 복수의 외부 장치가 존재하는 경우(S630-Y), 전자 장치(100)는 환경 정보를 감지한다(S660). 이때, 환경 정보는 상술한 바와 같이, 움직임 정보, 주변 영상 정보, 연결된 AP 정보 등이 포함될 수 있다.
그리고, 전자 장치(100)는 기 저장된 환경 정보와 감지된 환경 정보를 비교하여 전자 장치가 가리키는 외부 장치를 판단한다(S670). 예를 들어, 동일한 방향의 위쪽에는 TV가 놓여있고, 아래쪽에는 DVD 플레이어가 놓여 있을 때, 전자 장치(100)는 전자 장치(100)를 아래쪽으로 향하는 움직임 정보 또는 촬영된 주변 영상 정보를 바탕으로 전자 장치(100)가 DVD 플레이어를 향하는 것을 더욱 정확하게 판단할 수 있다.
한편, 상술한 실시예에서는 외부 장치(200)가 무선 신호를 브로드캐스팅하는 경우에 무선 신호를 이용하여 전자 장치(100)가 가리키는 외부 장치를 판단하였으나, 이는 일 실시예에 불과할 뿐, 외부 장치(200)가 무선 신호를 브로드캐스팅하지 않거나 무선 신호가 매우 미약한 경우, 전자 장치(100)는 환경 정보를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단할 수 있다.
한편, 도 6b는 본 발명의 다른 실시예에 따른, 전자 장치(100)가 가리키는 외부 장치(200)를 판단하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 적어도 하나의 외부 장치가 브로드캐스팅하는 무선 신호를 수신한다(S680). 이때, 적어도 하나의 외부 장치가 브로드캐스팅하는 무선 신호에는 외부 장치에 대한 식별 정보를 포함하는 애드버타이징 패킷이 삽입될 수 있다.
그리고, 전자 장치(100)는 적어도 하나의 외부 장치(100)와 통신 연결을 수행한다(S682). 즉, 전자 장치(100)는 무선 신호에 포함된 식별 정보를 바탕으로 적어도 하나의 외부 장치(100)와 통신 연결을 수행할 수 있다.
그리고, 전자 장치(100)는 적어도 하나의 외부 장치(100)로 위치 추정을 위한 신호를 요청한다(S684). 적어도 하나의 외부 장치 중 일부가 위치 추정을 위한 신호를 요청하는 요청 신호를 수신할 경우, 요청 신호가 수신된 외부 장치는 위치 추정을 위한 신호를 전송할 수 있다. 이때, 위치 추정을 위한 신호는 복수의 안테나를 통해 수신되는 신호의 위상차를 구하기 위하여, 특징 패턴으로 이루어진 신호일 수 있다.
그리고, 전자 장치(100)는 복수의 안테나를 이용하여 위치 추정을 위한 신호를 수신한다(S686).
그리고, 전자 장치(100)는 수신된 신호의 위상 차 및 신호 세기 중 적어도 하나를 바탕으로 전자 장치(100)가 가리키는 외부 장치(200)를 판단한다(S688). 이때, S688 단계는 S620 단계와 동일하므로, 상세한 설명은 생략한다.
다시, 도 5에 대해 설명하면, 전자 장치(100)는 판단된 외부 장치(200)에 대응되는 어플리케이션의 UI 화면을 제공한다(S540). 일 실시예로, 전자 장치(100)는 메모리에 저장된 어플리케이션의 UI 화면에 대한 데이터를 이용하여 어플리케이션의 UI 화면을 제공할 수 있다. 구체적으로, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션을 판단하고, 판단된 어플리케이션의 UI 화면에 대한 데이터가 기 저장되어 있는지 여부를 판단하며, 기 저장된 데이터를 이용하여 판단된 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다. 예를 들어, 전자 장치(100)가 가리키는 외부 장치(200)가 TV인 경우, 프로세서(130)는 TV에 대응되는 어플리케이션으로 TV 제어 어플리케이션을 판단하며, TV 제어 어플리케이션의 UI 화면이 기 저장되었는지 여부를 판단한다. 그리고, TV 제어 어플리케이션의 UI 화면이 기 저장된 경우, 프로세서(130)는 기 저장된 TV 제어 어플리케이션의 UI 화면을 독출하여 디스플레이(140)를 통해 제공할 수 있다.
또 다른 실시예로, 전자 장치(100)는 외부의 서버(50)로부터 어플리케이션의 UI 화면에 대한 데이터를 수신하여 어플리케이션의 UI 화면을 제공할 수 있다. 구체적으로, 프로세서(130)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 어플리케이션의 UI 화면에 대한 데이터를 외부 서버(50)로부터 요청하도록 통신부(110)를 제어할 수 있다. 이때, 요청 신호에는 전자 장치(100) 및 외부 장치(200) 중 적어도 하나에 대한 정보가 포함될 수 있다. 그리고, 프로세서(130)는 외부 서버(50)로부터 어플리케이션의 UI 화면에 대한 데이터를 수신하도록 통신부(110)를 제어하며, 수신된 어플리케이션의 UI 화면에 대한 데이터를 이용하여 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다. 예를 들어, 전자 장치(100)가 가리키는 외부 장치(200)가 에어컨인 경우, 프로세서(130)는 에어컨 및 전자 장치(100)에 대한 정보를 포함하는 요청 신호를 외부 서버(50)에 전송할 수 있다. 외부 서버(50)는 요청 신호에 포함된 정보를 바탕으로 에어컨에 대응되는 에어컨 제어 어플리케이션의 UI 화면에 대한 데이터를 저자 장치(100)에 전송할 수 있다. 프로세서(130)는 에어컨 제어 어플리케이션의 UI 화면에 대한 데이터를 이용하여 에어컨 제어 어플리케이션의 UI 화면을 제공하도록 디스플레이(140)를 제어할 수 있다.
이때, 외부 서버(50)로부터 제공되는 UI 화면이 제공되는 어플리케이션은 설치 과정이 필요 없는 웹 어플리케이션일 수 있다.
그리고, 전자 장치(100)는 어플리케이션의 UI 화면에 사용자 명령이 입력되었는지 여부를 판단한다(S550).
사용자 명령이 입력된 경우, 전자 장치(100)는 입력된 사용자 명령에 대응되는 제어 신호를 전자 장치(100)가 가리키는 외부 장치(200)로 전송한다(S560).
상술한 바와 같은 본 발명의 일 실시예에 의해, 사용자는 전자 장치(100)를 제어하고자 하는 외부 장치(200)에 가리키는 동작만을 통해 전자 장치(100)와 통신 연결을 수행하며, 외부 장치(200)를 제어할 수 있는 UI를 제공할 수 있게 된다.
도 8은 본 개시의 일 실시예에 따른, 전자 장치가 외부 장치에 대응되는 서비스를 판단하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 프로토콜이 전자 장치(100) 내에 존재하는지 여부를 판단한다(S810). 구체적으로, 프로세서(130)는 무선 신호를 통해 획득된 UUID 또는 Local Name과 매칭되는 프로토콜이 존재하는지 여부를 확인할 수 있다.
외부 장치(200)에 대응되는 프로토콜이 존재하지 않은 경우(S810-N), 전자 장치(100)는 외부 장치(200)에 대한 정보를 서버(50)로 전송한다(S820). 그리고, 전자 장치(100)는 외부 서버(50)를 통해 프로토콜에 대한 정보를 수신한다(S830). 특히, 외부 서버(50)는 UUID에 대한 정보가 수신되는 경우 표준 규약이 명시된 프레임워크에 대한 정보를 전송하고, Local Name에 대한 정보가 수신되는 경우 비표준 프로토콜이 적용된 서비스를 추천한다.
외부 장치(200)에 대응되는 프로토콜이 존재하거나(S810-Y) 외부 서버(50)를 통해 프로토콜에 대한 정보를 수신한 경우(S830), 전자 장치(100)는 프로토콜이 표준 프로토콜인지 여부를 판단한다(S840).
표준 프로토콜인 경우(S840-Y), 전자 장치(100)는 표준 프로토콜에 적합한 서비스를 매칭하여(S850) 서비스를 추출한다(S860). 그러나, 비표준 프로토콜인 경우(S840-N), 전자 장치(100)는 외부 장치(200)에 대응되는 서비스를 추출한다(S860).
또한, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 서비스가 복수 개인지 여부에 대해 판단할 수 있다.
전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 서비스가 하나인 경우, 전자 장치(100)는 해당 서비스를 제공한다. 그러나, 전자 장치(100)가 가리키는 외부 장치(200)에 대응되는 서비스가 복수 개인 경우, 전자 장치(100)는 서비스를 선택하기 위한 UI를 제공할 수 있다. 그리고, 서비스를 선택하기 위한 사용자 입력이 감지되면, 전자 장치(100)는 선택된 서비스를 제공할 수 있다.
구체적으로, 전자 장치(100)는 트리거 입력의 유형 및 외부 장치(200)의 유형에 따라 다양한 서비스를 제공한다. 본 발명의 일 실시예로, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)를 제어하기 위한 애플리케이션의 UI 화면을 제공하는 서비스를 제공할 수 있다. 예를 들어, 트리거 입력이 감지된 후, 전자 장치(100)가 에어컨을 가리키는 경우, 전자 장치(100)는 에어컨을 제어하기 위한 애플리케이션의 UI 화면을 제공하는 서비스를 제공할 수 있다. 이때, 에어컨을 제어하기 위한 애플리케이션은 별도의 설치 과정이 필요 없이 외부 서버(50)로부터 다운로드하여 실행된 웹 애플리케이션일 수 있다. 그러나, 애플리케이션이 웹 애플리케이션이라는 것은 일 실시예에 불과할 뿐, 전자 장치(100)에 설치된 애플리케이션일 수 있다. 이때, 전자 장치(100)에 설치된 애플리케이션은 외부 서버(50)로부터 다운로드받아 설치될 수 있으나, 이는 일 실시예에 불과할 뿐, 외부 장치(200)로부터 직접 전송받아 설치될 수 있다.
또 다른 실시예로, 특정 기능을 위한 UI 엘리먼트를 선택하는 트리거 입력이 입력되면, 전자 장치(100)는 특정 기능을 실행하기 위한 제어 명령을 전자 장치(100)가 가리키는 외부 장치(200)로 전송하는 서비스를 제공할 수 있다. 예를 들어, 음악 컨텐츠를 공유하기 위한 UI 엘리먼트를 선택하는 트리거 입력이 입력된 후, 전자 장치(100가 외부의 오디오 장치를 가리키면, 전자 장치(100)는 음악 컨텐츠를 공유하기 위하여, 음악 컨텐츠 및 실행 명령을 외부의 오디오 장치로 전송할 수 있다.
또한, 트리거 입력이 감지된 후 복수의 외부 장치(200-1,200-2,200-3)를 가리키면, 전자 장치(100)는 복수의 외부 장치(200-1,200-2,200-3)를 제어하는 서비스를 제공할 수 있다. 예를 들어, 전원 온(on)을 위한 UI 엘리먼트가 선택된 후, 전자 장치(100)가 복수의 전등을 가리키면, 전자 장치(100)는 복수의 전등에게 동시에 또는 순차적으로 전원 온 명령을 전송할 수 있다.
또한, 전자 장치(100)는 전자 장치(100)가 외부 장치를 가리킨 후 모션 입력을 통해 외부 장치(100)를 제어할 수 있다. 예를 들어, 트리거 입력이 감지된 후, 전자 장치(100)가 전등을 가리키면, 전자 장치(100)는 전등과 통신 연결을 수행한 후 전등을 제어하기 위한 애플리케이션을 실행한다. 그리고, 애플리케이션의 실행 화면에 나타난 안내 문구에 따라 전자 장치(100)를 위로 향하는 모션이 감지되면, 전자 장치(100)는 전등에게 전원 온 명령을 전송할 수 있다.
한편, 제1 전자 장치(100-1)가 외부 장치(200)에 연결된 경우, 외부 장치(200)는 무선 신호의 브로드캐스팅을 중단하기 때문에, 다른 전자 장치(100-2)는 외부 장치(200)의 존재 여부를 알 수 없다는 문제점이 있다. 따라서, 미리 페어링되지 않은 다른 전자 장치(100-2)의 경우에는 연결이 어렵다는 문제점이 있었다.
이하에서는 도 9를 통해 전자 장치(100-1)가 다른 전자 장치(100-2)가 외부 장치(200)의 점유 사실을 브로드캐스팅하는 실시예의 흐름을 설명한다.
우선, 외부 장치(200)는 무선 신호를 브로드캐스팅한다(S910). 즉, 외부 장치(200)는 전자 장치(100)와 통신 연결이 되지 않은 상태에서 외부 장치(200)의 존재를 알리기 위해 애드버타이징 패킷(advertising packet)을 포함하는 무선 신호를 브로드캐스팅할 수 있다. 그리고, 제1 전자 장치(100-1)는 무선 신호에 응답하여 비컨 신호를 외부 장치(200)에 전송한다(S920). 그리고, 외부 장치(200)와 제1 전자 장치(100-1)는 통신 연결을 수행한다(S930).
외부 장치(200)와 제1 전자 장치(100-1)의 통신 연결이 수행되면, 외부 장치(200)는 무선 신호의 브로드캐스팅을 중단한다(S940). 이와 같이, 외부 장치(200)가 어떤 전자 장치와 통신 연결된 이후에는 자신의 정보에 대한 브로드캐스팅을 중단하기 때문에, 제1 전자 장치(100-1) 이외에 다른 전자 장치는 무선 신호를 통해 외부 장치(200)의 존재 여부를 알 수 없게 되는 것이다.
그러나, 본 발명의 일 실시예에서는 제1 전자 장치(100-1)는 외부 장치(200)를 대신하여 외부 장치(200)의 정보 패킷을 포함하는 신호를 브로드캐스팅한다(S950). 제2 전자 장치(100-2)가 외부 장치(200)의 정보 패킷을 포함하는 신호를 수신한 경우, 제2 전자 장치(100-2)는 신호에 응답하여 비컨 신호를 제1 전자 장치(100-1)로 전송한다(S960). 이로써, 제1 전자 장치(100-1)는 외부 장치(200) 대신에 제2 전자 장치(100-2)로 외부 장치(200)의 존재 사실 및 연결 가능성에 대한 정보를 통지할 수 있으며 제2 전자 장치(100-2)는 사용자 명령에 따라 대기하거나 외부 장치(200)와 통신 연결을 수행한다(S970).
따라서, 도 9와 같이, 외부 장치(200)와 제1 전자 장치(100-1)는 통신 연결이 수행된 후, 제1 전자 장치(100-1)가 외부 장치(200) 대신에 외부 장치(200)의 정보 패킷을 브로드캐스팅함으로써, 다수의 사용자가 하나의 외부 장치(200)를 사용할 때 더욱 편리하게 이용할 수 있게 된다.
이하에서는 도 10a 내지 도 20b를 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다.
본 발명의 일 실시예로, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)를 제어하기 위한 애플리케이션을 실행시키는 서비스를 제공할 수 있다. 구체적으로, 트리거 입력(예를 들어, 기 설정된 버튼 또는 기 설정된 UI 엘리먼트에 대한 롱프레스 입력)이 감지된 후, 전자 장치(100)가 고 10a에 도시된 바와 같이, TV(200-1)를 가리키는 경우, 전자 장치(100)는 TV(200-1)를 제어하기 위한 애플리케이션을 실행시켜, 도 10b에 도시된 바와 같이, TV(200-1)를 제어하기 위한 어플리케이션의 UI 화면을 제공할 수 있다. 특히, 트리거 입력이 감지되기 전에는 전자 장치(100)가 잠금 상태를 유지할 수 있다. 이때, 잠금 상태라 함은 전자 장치(100)를 사용하기 위한 사용자 인증(예를 들어, 비밀번호, 생체 인식)을 수행하기 이전의 상태를 의미하는 것으로서, 전자 장치(100)는 잠금 상태 동안 블랙 화면을 제공하거나 잠금 화면을 제공할 수 있다. 그리고, 잠금 상태에서 트리거 입력이 감지된 후 TV를 가리키면, 전자 장치(100)는 디스플레이(140)에 TV를 제어하기 위한 어플리케이션의 실행 화면을 제공할 수 있다. 이때, TV를 제어하기 위한 애플리케이션은 웹 애플리케이션일 수 있다.
한편, 상술한 실시예에서는 전자 장치(100)가 TV(200-1)를 제어하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)는 선풍기, 전등, 냉장고, 미니카, 커피머신, 자동차 등과 같이 다양한 외부 장치를 제어하기 위한 애플리케이션을 실행시키는 서비스를 제공할 수 있다.
본 발명의 다른 실시예로, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)와 관련된 정보를 획득하는 서비스를 사용자에게 제공할 수 있다. 예를 들어, 트리거 입력이 감지된 후, 도 11a에 도시된 바와 같이, 전자 장치(100)가 정류소(즉, 정류소에 부착된 외부 장치)를 가리키는 경우, 전자 장치(100)는 도 11b에 도시된 바와 같이, 대중교통에 대한 정보(예를 들어, 버스 도착 정보)를 안내받을 수 있다. 즉, 전자 장치(100)가 정류소를 가리키는 경우, 전자 장치(100)는 정류소에 대응되는 어플리케이션인 버스 안내 어플리케이션을 실행시키고, 대중교통에 대한 정보를 제공하는 UI 화면을 제공할 수 있다.
본 발명의 다른 실시예로, 전자 장치(100)는 특정 컨텐츠를 다른 외부 장치와 공유하기 위한 서비스를 제공할 수 있다. 예를 들어, 도 12a에 도시된 바와 같이, 특정 UI 엘리먼트(예를 들어, 컨텐츠 공유 버튼)를 선택한 경우, 전자 장치(100)는 도 12b에 도시된 바와 같이, "홈 버튼을 누른 채로 원하는 기기를 가리키세요."라는 안내 문구를 디스플레이할 수 있다. 그리고, 홈 버튼을 누른 채 외부 장치를 가리키는 경우, 전자 장치(100)는 외부 장치(200)의 유형에 따라 다양한 공유 서비스를 제공할 수 있다. 예를 들어, 전자 장치(100)가 TV를 가리키는 경우, 전자 장치(100)는 TV를 제어하기 위한 애플리케이션을 실행시키고, 도 12c에 도시된 바와 같이, 영상 전송 서비스 또는 미러링 서비스를 제공할 수 있다. 또 다른 예로, 전자 장치(100)가 프린터를 가리키는 경우, 전자 장치(100)는 프린터를 제어하기 위한 애플리케이션을 실행시키고, 도 12d에 도시된 바와 같이, 인쇄 서비스 또는 인쇄 설정 서비스를 제공할 수 있다.
또 다른 예로, 트리거 입력이 감지된 후, 전자 장치(100)가 프린터를 가리키면, 전자 장치(100)는 프린터를 제어하기 위한 애플리케이션을 실행시킬 수 있다. 그리고, 전자 장치(100)는 도 13a에 도시된 바와 같이, 애플리케이션의 실행 화면을 제공할 수 있다. 도 13b에 도시된 바와 같이, 애플리케이션의 실행 화면을 통해 인쇄하고자 하는 영상 컨텐츠를 선택한 경우, 전자 장치(100)는 선택된 영상 컨텐츠에 대한 정보 및 인쇄 명령을 전자 장치(100)가 가리키는 프린터로 전송할 수 있다. 이때, 전자 장치(100)는 도 13c에 도시된 바와 같이, 인쇄 중임을 안내하는 UI를 제공할 수 있다. 또한, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)와 관련된 물품을 구매하기 위한 애플리케이션을 실행(예를 들어, 도 13c에 도시된 바와 같이, 관련 물품에 대한 특가 판매 제공 사이트 연결)시키는 서비스를 제공할 수 있다.
또한, 트리거 입력이 감지된 후, 전자 장치(100)가 전등을 가리키는 경우, 전자 장치(100)는 전등과 관련된 애플리케이션을 실행시키고, 도 14a에 도시된 바와 같은 애플리케이션의 실행 화면을 디스플레이할 수 있다. 그리고, 전자 장치(100)는 사용자 명령에 따라 도 14b에 도시된 바와 같이, 전등과 관련된 소모품을 구매하기 위한 화면을 디스플레이하고, 구매하고자 하는 소모품을 선택하면, 전자 장치(100)는 도 14c에 도시된 바와 같이, 배송 정보를 입력하기 위한 화면을 디스플레이할 수 있다. 그리고, 전자 장치(100)는 소모품 구매를 위한 사용자 인증을 위해 도 14d에 도시된 바와 같이, 지문 인식을 위한 안내 화면을 디스플레이하고, 사용자 인증이 완료된 경우, 전자 장치(100)는 도 14e에 도시된 바와 같이, 구매 완료를 안내하는 안내 화면을 디스플레이할 수 있다.
또 다른 예로, 전자 장치(100)가 가리키는 방향에 스마트 폰과 같은 외부 장치가 존재하는 경우, 전자 장치(100)는 외부 장치로 개인 정보, 송금 정보, 신용 정보 등과 같은 다양한 정보를 전송할 수 있다. 예를 들어, 전자 장치(100)가 스마트 폰인 경우, 다른 스마트 폰을 이용하여 결제 서비스를 수행하고자 할 경우, 트리거 입력이 감지된 후, 전자 장치(100)가 다른 스마트 폰을 가리킴으로써, 전자 장치(100)는 결제를 위한 정보를 다른 스마트 폰으로 전송할 수 있다.
또 다른 예로, 물품 구매를 위한 장치(예를 들어, 포스 기계 등)을 가리키고, 트리거 입력이 감지되면, 전자 장치(100)는 신용카드 애플리케이션을 실행시키고,　 사용자 인증 후 대금 지급 서비스를 제공할 수 있다.
또 다른 예로, 전자 장치(100)가 카페 내의 특정 기기(예를 들어, 안내 메뉴판)를 가리키는 경우, 전자 장치(100)는 도 15a에 도시된 바와 같이, 카페에서 판매하는 커피 메뉴 화면을 디스플레이할 수 있다. 그리고, 커피 메뉴 화면에서 특정 커피가 선택된 경우, 전자 장치(100)는 도 15b에 도시된 바와 같이, 주문 내역을 안내하는 화면을 디스플레이하고, 도 15c와 도시된 바와 같이, 사용자 인증을 위한 화면을 디스플레이할 수 있다. 사용자 인증이 완료된 후, 전자 장치(100)는 커피 주문을 위한 신호를 카페의 서버에 전송하고, 카페의 서버로부터 주문 정보를 전송받아 도 15d에 도시된 바와 같은 주문 대기 정보를 디스플레이할 수 있다. 그리고, 커피가 나왔다는 정보가 서버로부터 수신된 경우, 전자 장치(100)는 진동을 발생시켜 커피가 나왔음을 사용자에게 안내할 수 있다. 이를 통해 사용자는 주문시 점원으로부터 별도의 진동벨을 받지 않더라도 주문한 커피가 나왔음을 알 수 있다.
본 발명의 다른 실시예로, 전자 장치(100)는 복수의 외부 장치를 연결하여 동시에 제어하는 서비스를 제공할 수 있다. 구체적으로, 전자 장치(100)가 노트북, 무선 키보드, 무선 마우스를 연결하기 위한 애플리케이션이 실행된 후, 트리거 입력이 감지되면, 전자 장치(100)는 도 16a와 같은 안내 화면을 디스플레이할 수 있다. 그리고, 전자 장치(100)가 마스터 장치인 노트북을 가리키면, 전자 장치(100)는 노트북을 마스터 장치로 설정하고, 도 16b에 도시된 바와 같은 안내 화면을 디스플레이할 수 있다. 그리고, 전자 장치(100)가 무선 마우스를 가리키면, 전자 장치(100)는 노트북과 무선 마우스에게 통신 연결을 명령하기 위한 제어 신호를 전송하고, 도 16c에 도시된 바와 같은 안내 화면을 디스플레이할 수 있다. 이때, 노트북과 무선 마우스는 통신 연결을 명령하기 위한 제어 신호에 응답하여 통신 연결을 수행할 수 있다. 그리고, 추가 장치를 연결하기 위한 명령이 입력된 후, 전자 장치(100)가 무선 키보드를 가리키면, 전자 장치(100)는 노트북과 무선 키보드에게 통신 연결을 명령하기 위한 제어 신호를 전송하고, 도 16d에 도시된 바와 같은 안내 화면을 디스플레이할 수 있다. 그리고, 통신 연결을 완료하는 사용자 입력이 감지되면, 전자 장치(100)는 노트북과 다른 추가 기기의 연결 서비스를 종료할 수 있다.
또한, 전자 장치(100)는 복수의 외부 장치를 순차적으로 가리키고, 복수의 외부 장치에게 동시에 또는 순차적으로 제어 명령을 전송할 수 있다. 예를 들어, 트리거 입력이 감지된 후, 복수의 외부 장치를 드래그하듯 순차적으로 가리키면, 전자 장치(100)는 복수의 외부 장치(예를 들어, 복수의 오디오 장치)에게 동일한 제어 명령(예를 들어, 볼륨을 높이는 제어 명령)을 전송할 수 있다.
본 발명의 다른 실시예로, 트리거 입력이 감지된 후, 전자 장치(100)가 가리키는 외부 장치(200)가 복수 개인 경우, 전자 장치(100)는 복수 개의 외부 장치와 대응되는 서비스 중 하나를 선택하기 위한 UI를 제공할 수 있다. 예를 들어, 트리거 입력이 감지된 후, 도 17a에 도시된 바와 같이, 토스트기(200-4), 커피 메이커(200-5), TV(200-6) 및 스탠드(200-7)를 가리키는 경우, 전자 장치(100)는 도 17b에 도시된 바와 같이, 복수의 외부 장치(200-4 내지 200-7)에 대응되는 서비스를 포함하는 UI를 제공할 수 있다. 그리고, 복수의 서비스 중 하나가 선택되면, 전자 장치(100)는 선택된 서비스에 대응되는 제어 명령을 복수의 외부 장치(200-4 내지 200-7)로 전송할 수 있다. 이때, 복수의 외부 장치(200-4 내지 200-7)는 UI를 통해 선택 해제 될 수 있다.
본 발명의 다른 실시예로, 전자 장치(100)는 전자 장치(100)가 가리키는 외부 장치(200)를 사용자 모션을 통해 제어할 수 있다. 구체적으로, 트리거 명령이 입력된 후, 도 18a에 도시된 바와 같이, 전자 장치(100)가 스마트 커튼을 가리키는 경우, 전자 장치(100)는 스마트 커튼과 통신 연결을 수행하고, 도 18b에 도시된 바와 같은 UI를 제공할 수 있다. 그리고, 도 18c의 (a)에 도시된 바와 같이, 전자 장치(100)를 위 방향을 가리키는 모션이 감지되면, 전자 장치(100)는 커튼을 올리라는 제어 명령을 스마트 커튼으로 전송하며, 도 18c의 (b)와 같이, 전자 장치(100)를 정면 방향으로 가리키는 모션이 감지되면, 전자 장치(100)는 커튼의 동작을 멈추는 제어 명령을 스마트 커튼으로 전송하며, 도 18c의 (c)와 같이, 전자 장치(100)를 아래 방향을 가리키는 모션이 감지되면, 전자 장치(100)는 커튼을 내리라는 제어 명령을 스마트 커튼으로 전송할 수 있다.
또 다른 예로, 트리거 입력이 감지된 후, 전자 장치(100)가 전등을 가리키면, 전자 장치(100)는 전등과 통신을 연결한 후, 도 19에 도시된 바와 같이, 사용자 모션을 안내하는 UI를 디스플레이할 수 있다.
본 발명의 다른 실시예에 의하면, 특정 기능에 대응되는 UI 엘리먼트를 선택한 후, 전자 장치(100)가 복수의 외부 장치(200-4 내지 200-6)를 가리키면, 전자 장치(100)는 복수의 외부 장치(200-4 내지 200-6)로 선택된 UI 엘리먼트에 대응되는 제어 명령을 전송할 수 있다. 예를 들어, 도 20a에 도시된 바와 같이, 전원 온(on)에 대응되는 UI 엘리먼트를 선택한 후, 도 20b와 같이, 토스트기(200-4), 커피 메이커(200-5), TV(200-6)를 가리키면, 전자 장치(100)는 토스트기(200-4), 커피 메이커(200-5), TV(200-6)로 전원 온을 위한 제어 명령을 전송할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 전자 장치는 사용자가 제어하고자 하는 외부 장치의 명칭이나 서비스 내용을 명확히 알지 못하더라도 외부 장치를 가리키는 사용자의 동작만으로 외부 장치를 인식하여 다양한 서비스를 더욱 편리하게 제공할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 전자 장치의 서비스 제공 방법은 프로그램으로 구현되어 사용자 단말 장치에 제공될 수 있다. 구체적으로, 사용자 단말 장치의 제어 방법을 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 통신부　　　　　　　　　　　　　　　　　　　　　　　　　　　120: 입력부
130: 프로세서　　　　　　　　　　　　　　　　　　　140: 디스플레이
150: 스피커　　　　　　　　　　　　　　　　　　　　　　　　　　　160: 메모리
170: 감지부

Claims (20)

  1. 전자 장치가 외부 장치를 제어하는 제어 방법에 있어서,
    트리거 입력이 감지되면, 복수의 외부 장치 중 상기 전자 장치가 가리키는 외부 장치를 판단하는 단계;
    상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면을 제공하는 단계; 및
    상기 어플리케이션의 UI 화면을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응되는 제어 신호를 상기 전자 장치가 가리키는 외부 장치에 전송하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 판단하는 단계는,
    복수의 안테나를 이용하여 외부 장치가 브로드캐스팅하는 신호를 수신하는 단계;
    상기 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호세기를 바탕으로 상기 전자 장치가 가리키는 외부 장치를 판단하는 단계; 및
    상기 전자 장치가 가리키는 외부 장치와 통신 연결을 수행하는 단계;를 포함하는 제어 방법.
  3. 제2항에 있어서,
    상기 전자 장치가 상기 외부 장치를 가리키고 있는 것으로 판단된 경우, 상기 외부 장치에 대한 정보와 상기 전자 장치가 상기 외부 장치를 가리키는 동안 감지된 환경 정보를 저장하거나 외부의 서버로 전송하는 단계;를 포함하는 제어 방법.
  4. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 전자 장치가 가리키는 방향에 적어도 두 개의 외부 장치가 존재하는 경우, 상기 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호세기와 함께 부가 환경 정보를 이용하여 상기 적어도 두 개의 외부 장치 중 상기 전자 장치가 가리키는 하나의 외부 장치를 판단하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 판단하는 단계는,
    적어도 하나의 외부 장치로부터 브로드캐스팅되는 신호를 수신하는 단계;
    상기 수신된 신호를 바탕으로 상기 적어도 하나의 외부 장치와 통신 연결을 수행하는 단계;
    상기 적어도 하나의 기기에 위치 추정을 위한 신호를 요청하는 단계;
    복수의 안테나를 이용하여 상기 위치 추정을 위한 신호를 수신하는 단계;
    상기 복수의 안테나를 이용하여 수신된 상기 위치 추정을 위한 신호들의 위상 차 및 신호세기를 바탕으로 상기 전자 장치가 가리키는 외부 장치를 판단하는 단계;를 포함하는 제어 방법.
  6. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 전자 장치가 가리키는 방향에 적어도 두 개의 외부 장치가 존재하는 경우, 상기 적어도 두 개의 외부 장치 중 하나를 선택하기 위한 UI 화면을 제공하고, 상기 외부 장치를 선택하기 위한 UI 화면을 통해 하나의 외부 장치가 선택되면, 상기 선택된 외부 장치를 상기 전자 장치가 가리키는 하나의 외부 장치를 판단하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션을 판단하는 단계;
    상기 판단된 어플리케이션의 UI 화면에 대한 데이터가 기저장되어 있는지 여부를 판단하는 단계;
    상기 기저장된 데이터를 이용하여 상기 판단된 어플리케이션의 UI 화면을 제공하는 단계;를 포함하는 제어 방법.
  8. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면에 대한 데이터를 외부 서버로부터 요청하는 단계;
    상기 외부 서버로부터 상기 어플리케이션의 UI 화면에 대한 데이터를 수신하는 단계; 및
    상기 수신된 어플리케이션의 UI 화면에 대한 데이터를 이용하여 상기 어플리케이션의 UI 화면을 제공하는 단계;를 포함하는 제어 방법.
  9. 제1항에 있어서,
    상기 어플리케이션의 UI 화면은,
    상기 전자 장치가 가리키는 외부 장치를 제어하기 위한 적어도 하나의 UI 엘리먼트를 포함하는 것을 특징으로 하는 제어 방법.
  10. 제1항에 있어서,
    상기 전자 장치와 상기 전자 장치가 가리키는 외부 장치가 통신 연결되는 동안 외부의 전자 장치에 외부 장치의 존재 여부 및 연결 관련 정보를 브로드캐스팅하는 단계;를 포함하는 제어 방법.
  11. 전자 장치에 있어서,
    외부 장치와 통신을 수행하는 통신부;
    사용자 입력을 감지하는 입력부;
    영상을 제공하는 디스플레이; 및
    상기 입력부를 통해 트리거 입력이 감지되면, 복수의 외부 장치 중 상기 전자 장치가 가리키는 외부 장치를 판단하고, 상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면을 제공하도록 상기 디스플레이를 제어하고, 상기 어플리케이션의 UI 화면을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 대응되는 제어 신호를 상기 전자 장치가 가리키는 외부 장치에 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하는 전자 장치.
  12. 제11항에 있어서,
    상기 통신부는,
    외부 장치가 브로드캐스팅하는 신호를 수신하는 복수의 안테나;를 포함하며,
    상기 프로세서는,
    상기 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호세기를 바탕으로 상기 전자 장치가 가리키는 외부 장치를 판단하며, 상기 전자 장치가 가리키는 외부 장치와 통신 연결을 수행하는 것을 특징으로 하는 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 상기 외부 장치를 가리키고 있는 것으로 판단된 경우, 상기 외부 장치에 대한 정보와 상기 전자 장치가 상기 외부 장치를 가리키는 동안 감지된 환경 정보를 저장하거나 외부의 서버로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 가리키는 방향에 적어도 두 개의 외부 장치가 존재하는 경우, 상기 복수의 안테나를 이용하여 수신된 신호들의 위상 차 및 신호세기와 함께 부가 환경 정보를 이용하여 상기 적어도 두 개의 외부 장치 중 상기 전자 장치가 가리키는 하나의 외부 장치를 판단하는 것을 특징으로 하는 전자 장치.
  15. 제11항에 있어서,
    상기 통신부는,
    외부 장치가 브로드캐스팅하는 신호를 수신하는 복수의 안테나를 포함하며, 적어도 하나의 외부 장치로부터 브로드캐스팅되는 신호를 수신하여 상기 적어도 하나의 외부 장치와 통신 연결을 수행하며, 상기 적어도 하나의 기기에 위치 추정을 위한 신호를 요청하고, 상기 복수의 안테나를 이용하여 상기 위치 추정을 위한 신호를 수신하고,
    상기 프로세서는,
    상기 복수의 안테나를 이용하여 수신된 상기 위치 추정을 위한 신호들의 위상 차 및 신호세기를 바탕으로 상기 전자 장치가 가리키는 외부 장치를 판단하는 것을 특징으로 하는 전자 장치.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 가리키는 방향에 적어도 두 개의 외부 장치가 존재하는 경우, 상기 적어도 두 개의 외부 장치 중 하나를 선택하기 위한 UI 화면을 제공하도록 상기 디스플레이를 제어하고, 상기 외부 장치를 선택하기 위한 UI 화면을 통해 하나의 외부 장치가 선택되면, 상기 선택된 외부 장치를 상기 전자 장치가 가리키는 하나의 외부 장치를 판단하는 것을 특징으로 하는 전자 장치.
  17. 제11항에 있어서,
    어플리케이션의 UI 화면을 생성하기 위한 데이터를 저장하는 메모리;를 더 포함하며,
    상기 프로세서는,
    상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션을 판단하고, 상기 판단된 어플리케이션의 UI 화면에 대한 데이터가 기저장되어 있는지 여부를 판단하며, 상기 기저장된 데이터를 이용하여 상기 판단된 어플리케이션의 UI 화면을 제공하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  18. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 가리키는 외부 장치에 대응되는 어플리케이션의 UI 화면에 대한 데이터를 외부 서버로부터 요청하도록 상기 통신부를 제어하며, 상기 외부 서버로부터 상기 어플리케이션의 UI 화면에 대한 데이터를 수신하도록 상기 통신부를 제어하며, 상기 수신된 어플리케이션의 UI 화면에 대한 데이터를 이용하여 상기 어플리케이션의 UI 화면을 제공하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  19. 제11항에 있어서,
    상기 어플리케이션의 UI 화면은,
    상기 전자 장치가 가리키는 외부 장치를 제어하기 위한 적어도 하나의 UI 엘리먼트를 포함하는 것을 특징으로 하는 전자 장치.
  20. 제11항에 있어서,
    상기 통신부는,
    상기 전자 장치와 상기 전자 장치가 가리키는 외부 장치가 통신 연결되는 동안 외부의 전자 장치에 외부 장치의 존재 여부 및 연결 관련 정보를 브로드캐스팅하는 것을 특징으로 하는 전자 장치.
KR1020160106116A 2016-04-22 2016-08-22 전자 장치 및 이의 외부 장치 제어 방법 KR102469724B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17786086.3A EP3391659B1 (en) 2016-04-22 2017-03-23 Electronic device and method for controlling external device thereof
CN201780012476.9A CN108702555B (zh) 2016-04-22 2017-03-23 电子设备及其用于控制外部设备的方法
US15/467,054 US20170308248A1 (en) 2016-04-22 2017-03-23 Electronic device and method for controlling external device thereof
PCT/KR2017/003103 WO2017183817A1 (en) 2016-04-22 2017-03-23 Electronic device and method for controlling external device thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160049086 2016-04-22
KR20160049086 2016-04-22

Publications (2)

Publication Number Publication Date
KR20170121027A true KR20170121027A (ko) 2017-11-01
KR102469724B1 KR102469724B1 (ko) 2022-11-22

Family

ID=60382936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160106116A KR102469724B1 (ko) 2016-04-22 2016-08-22 전자 장치 및 이의 외부 장치 제어 방법

Country Status (2)

Country Link
EP (1) EP3391659B1 (ko)
KR (1) KR102469724B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110081923A1 (en) * 2009-10-02 2011-04-07 Babak Forutanpour Device movement user interface gestures for file sharing functionality
US20130081089A1 (en) * 2011-09-26 2013-03-28 Soyoung KIM Contents sharing method and display apparatus using the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363028B2 (en) * 2003-11-04 2008-04-22 Universal Electronics, Inc. System and method for controlling device location determination
US7649456B2 (en) * 2007-01-26 2010-01-19 Sony Ericsson Mobile Communications Ab User interface for an electronic device used as a home controller
US7843333B2 (en) * 2007-01-26 2010-11-30 Sony Ericsson Mobile Communication Ab System, methods, devices and computer program products for controlling electronic appliances within a local area
KR101373612B1 (ko) * 2011-11-24 2014-03-13 전자부품연구원 Ｎｕｉ 제공 방법 및 시스템
US20130249811A1 (en) * 2012-03-23 2013-09-26 Microsoft Corporation Controlling a device with visible light

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110081923A1 (en) * 2009-10-02 2011-04-07 Babak Forutanpour Device movement user interface gestures for file sharing functionality
US20130081089A1 (en) * 2011-09-26 2013-03-28 Soyoung KIM Contents sharing method and display apparatus using the same

Also Published As

Publication number Publication date
EP3391659B1 (en) 2023-05-17
EP3391659A4 (en) 2019-01-02
EP3391659A1 (en) 2018-10-24
KR102469724B1 (ko) 2022-11-22

Similar Documents

Publication Publication Date Title
CN108702555B (zh) 电子设备及其用于控制外部设备的方法
US10485041B1 (en) Method and device for executing application
CN107851351B (zh) 通知装置及其物体位置通知方法
EP2744218A1 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
AU2013313849A1 (en) Method of executing application and terminal using the method
CN105490893B (zh) 电子装置及其控制方法
AU2013203013A1 (en) Management server and method for controlling device, user terminal apparatus and method for controlling device, and user terminal apparatus and control method thereof
CN105575086B (zh) 显示装置、控制方法以及显示系统
KR101658630B1 (ko) 사용자 단말 장치, 전자 장치, 시스템 및 그 제어 방법
US11436918B2 (en) Remote control apparatus and control method thereof
EP2884399A2 (en) Communications method, device and system
EP3391659B1 (en) Electronic device and method for controlling external device thereof
KR102661263B1 (ko) 상점 정보를 수신하는 방법 및 이를 사용하는 전자 장치
TWI572201B (zh) 通用存取方法及行動裝置
KR20140016727A (ko) 원격 제어 장치 및 방법
US11233892B2 (en) Method for providing content and electronic device for supporting same
KR20230072205A (ko) 가전 기기를 서버에 등록하는 장치 및 방법
KR20170009789A (ko) 온오프라인 연결 기반 정보 획득 시스템, 이의 동작 방법, 그리고 어플리케이션
JP2017005684A (ja) 情報処理装置及びプログラム
KR20170078002A (ko) 사용자 장치, 서비스 제공 장치, pos 단말, 그를 포함하는 결제 시스템, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20140030440A (ko) 휴대 장치, 디스플레이 장치, 콘텐츠 제공 장치 및 콘텐츠 제공 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant