KR20170112797A - 디스플레이 장치, 시스템 및 그 제어 방법 - Google Patents

디스플레이 장치, 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20170112797A
KR20170112797A KR1020160040408A KR20160040408A KR20170112797A KR 20170112797 A KR20170112797 A KR 20170112797A KR 1020160040408 A KR1020160040408 A KR 1020160040408A KR 20160040408 A KR20160040408 A KR 20160040408A KR 20170112797 A KR20170112797 A KR 20170112797A
Authority
KR
South Korea
Prior art keywords
external device
image
control
controlling
server
Prior art date
Application number
KR1020160040408A
Other languages
English (en)
Inventor
안우람
함철희
이태영
정주영
구기혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160040408A priority Critical patent/KR20170112797A/ko
Priority to US15/454,474 priority patent/US10163335B2/en
Priority to EP17161155.1A priority patent/EP3226567A1/en
Priority to CN201710205401.4A priority patent/CN107272879B/zh
Publication of KR20170112797A publication Critical patent/KR20170112797A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/04—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

디스플레이 장치가 개시된다. 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 디스플레이 장치는, 디스플레이, 적어도 하나의 외부 기기에 대한 이미지를 획득하는 촬상부, 서버 및 상기 외부 기기 중 적어도 하나와 통신을 수행하는 통신부 및 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 서버로 전송하고, 서버로부터 외부 기기를 제어하기 위한 제어 정보가 수신되면 수신된 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 외부 기기 이미지에 매칭시켜 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함한다. 이에 따라, 사용자는 직접 이미지를 보고 외부 기기를 제어할 수 있어 뛰어난 직관성을 제공할 수 있어 사용자 편의가 증대될 수 있다.

Description

디스플레이 장치, 시스템 및 그 제어 방법{DISPLAY APPARATUS, SYSTEM AND THE CONTROLLING METHOD}
본 발명은 디스플레이 장치, 시스템 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 외부 기기를 제어하기 위한 디스플레이 장치, 시스템 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 특히, 다양한 전자 기기들 상호 간의 정보 송수신이 가능해지면서 하나의 전자 기기를 통해 다른 전자 기기를 제어하고자 하는 필요성이 증대되었다.
예를 들어, 사용자는 스마트 폰이나 웨어러블 장치를 통해 에어컨, TV, 오디오 등과 같은 외부 전자 장치를 제어할 수 있다.
그러나, 현재 사용되는 사용자 인터페이스는 사용자가 쉽게 인지할 수 있는 직관성이 부족하다는 단점이 있다. 또한, 현재 사용되고 있는 기술은 획일화된 통합 제어 창을 제공하므로 환경의 변화를 반영하기 어렵다는 단점이 있다. 예를 들어, 외부 전자 기기의 위치가 변경되는 경우 또는 외부 전자 기기를 치운 경우에는 사용자가 직접 외부 전자 기기의 위치를 새롭게 설정하거나 외부 전자 기기 항목을 삭제하여야 하는 번거로움이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 적어도 하나의 외부 기기에 대한 이미지를 통해 외부 기기를 제어하기 위한 디스플레이 장치, 시스템 및 그 제어 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 디스플레이 장치는, 디스플레이, 상기 적어도 하나의 외부 기기에 대한 이미지를 획득하는 촬상부, 서버 및 상기 외부 기기 중 적어도 하나와 통신을 수행하는 통신부 및 상기 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 상기 서버로 전송하고, 상기 서버로부터 상기 외부 기기를 제어하기 위한 제어 정보가 수신되면 상기 수신된 제어 정보에 기초하여 상기 외부 기기를 제어하기 위한 오브젝트를 상기 외부 기기 이미지에 매칭시켜 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
여기서, 상기 제어 정보는, 상기 외부 기기의 현재 상태, 상기 외부 기기의 제어용 파라미터, 상기 외부 기기의 명칭 및 상기 외부 기기 제어용 오브젝트 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 외부 기기의 제어용 파라미터는, 제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도 중 적어도 하나를 포함할 수 있다.
또한, 상기 오브젝트 정보는, 상기 외부 기기 제어용 스위치 이미지, 상기 외부 기기 제어용 버튼 이미지 및 상기 외부 기기 제어용 리모컨 이미지 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는 사용자 입력을 수신하는 입력부를 더 포함하며, 상기 프로세서는, 상기 오브젝트에 대한 상기 사용자 입력이 수신되면, 상기 오브젝트에 대응되는 상기 외부 기기의 제어용 파라미터에 기초하여 상기 사용자 입력에 대응되는 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송할 수 있다.
또한, 상기 오브젝트는, 상기 사용자 입력에 대응되도록 조작 가능한 이미지이며, 상기 프로세서는, 상기 오브젝트의 조작 상태에 대응되는 상기 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송할 수 있다.
또한, 상기 프로세서는, 상기 생성된 오브젝트가 매칭된 상기 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면을 생성하여 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따른 서버 및 디스플레이 장치를 포함하는 시스템은, 식별용 마커가 각각 부착된 복수의 외부 기기에 대한 이미지를 획득하고 상기 이미지에 포함된 복수의 식별용 마커로부터 획득된 복수의 식별 정보를 상기 서버로 전송하는 디스플레이 장치 및 수신된 상기 복수의 식별 정보 각각에 대응되는 상기 복수의 외부 기기 각각을 제어하기 위한 제어 정보를 상기 디스플레이 장치로 전송하는 서버를 포함하며, 상기 디스플레이 장치는, 상기 수신된 제어 정보에 기초하여 상기 복수의 외부 기기 각각을 제어하기 위한 복수의 오브젝트를 상기 복수의 외부 기기 이미지 각각에 매칭시켜 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따른 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 디스플레이 장치의 제어 방법은, 상기 적어도 하나의 외부 기기에 대한 이미지를 획득하는 단계, 상기 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 서버로 전송하고, 상기 서버로부터 상기 외부 기기를 제어하기 위한 제어 정보를 수신하는 단계 및 상기 수신된 제어 정보에 기초하여 상기 외부 기기를 제어하기 위한 오브젝트를 상기 외부 기기 이미지에 매칭시켜 디스플레이하는 단계를 포함할 수 있다.
여기서, 상기 제어 정보는, 상기 외부 기기의 현재 상태, 상기 외부 기기의 제어용 파라미터, 상기 외부 기기의 명칭 및 상기 외부 기기 제어용 오브젝트 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 외부 기기의 제어용 파라미터는, 제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도 중 적어도 하나를 포함할 수 있다.
또한, 상기 오브젝트 정보는, 상기 외부 기기 제어용 스위치 이미지, 상기 외부 기기 제어용 버튼 이미지 및 상기 외부 기기 제어용 리모컨 이미지 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 상기 오브젝트에 대한 사용자 입력을 수신하는 단계 및 상기 오브젝트에 대응되는 상기 외부 기기의 제어용 파라미터에 기초하여 상기 사용자 입력에 대응되는 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송하는 단계를 더 포함할 수 있다.
여기서, 상기 오브젝트는, 상기 사용자 입력에 대응되도록 조작 가능한 이미지이며, 상기 전송하는 단계는, 상기 오브젝트의 조작 상태에 대응되는 상기 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송할 수 있다.
여기서, 상기 디스플레이하는 단계는, 상기 생성된 오브젝트가 매칭된 상기 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면을 생성하여 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따른 서버 및 디스플레이 장치를 포함하는 시스템의 제어 방법은, 상기 디스플레이 장치는, 식별용 마커가 각각 부착된 복수의 외부 기기에 대한 이미지를 획득하고 상기 이미지에 포함된 복수의 식별용 마커로부터 획득된 복수의 식별 정보를 상기 서버로 전송하는 단계, 상기 서버는, 수신된 상기 복수의 식별 정보 각각에 대응되는 상기 복수의 외부 기기 각각을 제어하기 위한 제어 정보를 상기 디스플레이 장치로 전송하는 단계 및 상기 디스플레이 장치는, 상기 수신된 제어 정보에 기초하여 상기 복수의 외부 기기 각각을 제어하기 위한 복수의 오브젝트를 상기 복수의 외부 기기 이미지 각각에 매칭시켜 디스플레이하는 단계를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자는 직접 이미지를 보고 외부 기기를 제어할 수 있어 뛰어난 직관성을 제공할 수 있어 사용자 편의가 증대될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블럭도이다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 외부 장치에 대한 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치와 서버 간에 정보가 송수신되는 과정을 설명하기 위한 타이밍도이다.
도 5는 본 발명의 일 실시 예에 따른 오브젝트가 외부 기기 이미지 각각에 매칭된 이미지를 도시한 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 디스플레이 장치(100)의 구성을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 오브젝트에 대한 조작을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치가 TV로 구현된 경우를 설명하기 위한 도면이다.
도 9는 도 1에 도시된 디스플레이 장치의 구체적인 구성을 나타내는 블럭도이다.
도 10은 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 시스템의 구성을 도시한 블럭도이다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구체적인 제어 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 시스템의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블럭도이다.
도 1을 참조하면, 디스플레이 장치(100)는 디스플레이(110), 촬상부(120), 통신부(130) 및 프로세서(140)를 포함한다. 여기서, 디스플레이 장치는 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 전자 장치로서, 예를 들어, TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북, 셋탑 박스, 스마트 워치, 웨어러블 장치 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
또한, 디스플레이(110)는 방송 프로그램 또는 다양한 컨텐츠를 디스플레이할 수 있으며, 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다. 또한, 본 발명의 일 실시 예에 따른 디스플레이(110)는 적어도 하나의 외부 기기를 제어하기 위한 오브젝트가 매칭된 이미지 또는 사용자 인터페이스 화면을 디스플레이할 수 있다.
촬상부(120)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
통신부(130)는 서버 및 외부 기기 중 적어도 하나와 통신을 수행할 수 있으며, BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 AP와 통신을 수행할 수 있다.
특히, 본 발명의 일 실시 예에 따른 외부 기기 및 디스플레이 장치는 주로 하나의 엑세스 포인트(Access Point, AP)에 연결되어 있을 수 있다. 여기서, 엑세스 포인트(AP)라 함은, 무선 LAN에서 기지국 역할을 소출력 무선 기기를 의미하는 것으로, AP는 유선 통신과 무선 통신을 잇는 브릿지 역할을 하게 되며, 유선망 관점에서 AP는 라우터 또는 스위치 등에 구현될 수 있고 이에 따라, AP는 유선망을 무선망으로 확장시켜주는 역할을 하게 된다. 예를 들어, 모뎀에 연결되는 IP 공유기, 무선 네트워크 카드 등으로 구현될 수도 있다. 즉, 통신부(130)는 AP와 통신을 수행함으로써, AP를 경유하여 AP에 접속된 다른 외부 기기 또는 서버와 통신을 수행할 수 있다. 물론, 통신부(130)는 WIFI Direct 등을 통해 다른 외부 기기 또는 서버와 직접 통신을 수행할 수도 있다.
프로세서(140)는 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 서버로 전송하고, 서버로부터 외부 기기를 제어하기 위한 제어 정보가 수신되면 수신된 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 외부 기기 이미지에 매칭시켜 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
여기서, 외부 기기는 근거리 통신 또는 무선 통신을 통해 디스플레이 장치(100)와 연결 가능하며, 제어가 가능한 사물로 정의하기로 한다. 또한, 외부 기기 각각에는 디스플레이 장치(100)에 구비된 촬상부(120)를 통해 외부 기기가 촬영되었을 때 외부 기기 각각이 식별될 수 있도록 하는 식별용 마커가 부착되어 있다. 이러한 식별용 마커는 바코드 형태, QR 코드 형태 또는 시리얼 넘버 등과 같이 외부 기기 각각이 식별 가능하도록 하는 정보를 포함하는 형태로 구현될 수 있다.
이에 따라, 디스플레이 장치(100)가 촬상부(120)를 통해 적어도 하나의 외부 기기에 대한 이미지를 획득하게 되면, 획득된 이미지 내에는 외부 기기뿐만 아니라 식별용 마커도 함께 포함되게 된다.
그리고, 프로세서(140)는 이미지에 포함된 식별용 마커로부터 외부 기기의 식별 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 식별용 마커와 이에 대응되는 식별 정보가 저장된 룩업 테이블에 기초하여 이미지에 포함된 식별용 마커로부터 외부 기기의 식별 정보를 획득할 수 있다.
또한, 외부 기기가 복수 개인 경우 디스플레이 장치(100)는 촬상부(120)를 통해 복수 개의 외부 기기에 대한 하나의 이미지를 획득할 수 있으며, 획득된 이미지에는 복수 개의 식별용 마커가 포함될 수 있다. 그리고, 프로세서(140)는 획득된 이미지에 포함된 복수 개의 식별용 마커로부터 복수 개의 외부 기기 각각에 대한 식별 정보를 획득할 수 있다. 이와 관련하여, 도 2 및 도 3을 참조하여 상세히 설명하기로 한다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 외부 장치에 대한 이미지를 설명하기 위한 도면이다.
도 2를 참조하면, 사용자가 스마트폰(220)을 이용하여 TV(200)를 촬영하는 상황이 도시되어 있다. 여기서, 스마트폰(220)은 본 발명의 디스플레이 장치(100)에 대응되고, TV(200)는 외부 기기에 대응된다.
TV(200)에는 TV임을 식별할 수 있도록 하는 식별용 마커(210)가 부착되어 있다. 이에 따라, 스마트폰(220)을 통해 이미지가 획득되면, 획득된 이미지에는 TV에 대한 이미지(200')와 식별용 마커에 대한 이미지(210')가 포함되게 된다. 다만, 본 명세서에서는 TV에 대한 이미지(200')를 획득된 이미지에 포함된 TV로 정의하고, 식별용 마커에 대한 이미지(210')는 획득된 이미지에 포함된 식별용 마커로 정의하기로 한다.
이에 따라, 프로세서(140)는 획득된 이미지에 포함된 식별용 마커(210')로부터 TV(200)에 대한 식별 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 식별용 마커와 이에 대응되는 식별 정보가 저장된 룩업 테이블에 기초하여 획득된 이미지에 포함된 식별용 마커(210')에 대응되는 TV(200)에 대한 식별 정보를 획득할 수 있다.
한편, 도 2와 같이, 사용자는 디스플레이 장치(100)를 이용하여 하나의 외부 기기만을 촬영할 수도 있지만, 복수의 외부 기기를 한꺼번에 하나의 이미지에 포함시켜 촬영할 수도 있다.
이와 관련하여, 도 3을 참조하면, 사용자가 스마트폰(220)을 이용하여 주택 내부의 거실 전경을 촬영하는 상황이 도시되어 있다. 그리고, 거실에는 다양한 외부 기기들(TV(310), 제1 전등(320), 제2 전등(330), 에어컨(340), 제1 커튼(350), 제2 커튼(360), 선풍기(370))이 배치되어 있다.
그리고, 각 외부 기기들에는 식별용 마커가 부착되어 있다. 구체적으로, TV(310)에는 TV임을 식별하기 위한 식별용 마커(311)가 부착되어 있고, 제1 전등(320)에는 제1 전등임을 식별하기 위한 식별용 마커(321)가 부착되어 있으며, 제2 전등(330)에는 제2 전등임을 식별하기 위한 식별용 마커(331)가 부착되어 있고, 에어컨(340)에는 에어컨임을 식별하기 위한 식별용 마커(341)가 부착되어 있으며, 제1 커튼(350)에는 제1 커튼임을 식별하기 위한 식별용 마커(351)가 부착되어 있고, 제2 커튼(360)에는 제2 커튼임을 식별하기 위한 식별용 마커(361)가 부착되어 있으며, 선풍기(370)에는 선풍기임을 식별하기 위한 식별용 마커(371)가 부착되어 있다.
이에 따라, 프로세서(140)는 거실 전경에 대한 이미지에 포함된 복수의 식별용 마커(즉, 각 외부 기기에 부착된 식별용 마커(311, 321, 331, 341, 351, 361, 371)에 대한 이미지)로부터 외부 기기 각각(TV(310), 제1 전등(320), 제2 전등(330), 에어컨(340), 제1 커튼(350), 제2 커튼(360), 선풍기(370))에 대한 식별 정보를 획득할 수 있다.
그리고, 프로세서(140)는 획득된 식별 정보를 통신부(130)를 통해 서버로 전송할 수 있으며, 서버로부터 외부 기기를 제어하기 위한 제어 정보를 수신할 수 있다.
여기서, 제어 정보는, 외부 기기의 현재 상태, 외부 기기의 제어용 파라미터, 외부 기기의 명칭 및 외부 기기 제어용 오브젝트 정보 중 적어도 하나를 포함할 수 있다.
구체적으로, 외부 기기의 현재 상태는 외부 기기가 현재 동작 중인지 여부, 외부 기기가 에어컨이라면 현재 설정 온도가 몇 도로 설정되어 있는지, 외부 기기가 커튼이라면 현재 커튼이 얼마만큼 열려있는지 등에 관한 것을 의미한다.
또한, 외부 기기의 제어용 파라미터는, 제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도 중 적어도 하나를 포함할 수 있다.
예를 들어, 외부 기기가 전등인 경우, 전등의 제어용 파라미터에 포함되는 제어 기능의 타입은 전등의 ON/OFF가 되고 각 타입 별 제어 범위는 0 또는 1(0은 OFF에 대응되고, 1은 ON에 대응)이 되며 각 타입 별 제어 정밀도는 0과 1의 차이인 1이 될 수 있다.
또한, 외부 기기가 선풍기인 경우, 선풍기의 제어용 파라미터에 포함되는 제어 기능의 타입은 풍량의 ON/OFF, 풍향의 ON/OFF, 타이머 설정이 되고, 각 타입 별 제어 범위는 풍량(1단계~4단계), 풍향(0도에서 180도), 타이머(0분에서 360분), 선풍기의 ON/OFF가 될 수 있으며, 각 타입 별 제어 정밀도는 풍량의 경우 1단계씩 제어될 수 있고, 풍향의 경우 10도씩 제어될 수 있으며, 타이머의 경우 1분씩 제어될 수 있고, 선풍기의 ON/OFF는 0이 OFF에 대응되고, 1이 ON에 대응될 경우 1이 될 수 있다.
또한, 외부 기기가 온도조절기인 경우, 온도조절기의 제어용 파라미터에 포함되는 제어 기능의 타입은 온도의 조절, 타이머 설정이 되고, 각 타입 별 제어 범위는 온도(18도~30도), 타이머(0시간에서 24시간)가 될 수 있으며, 각 타입 별 제어 정밀도는 온도의 경우 0.5도씩 제어될 수 있고, 타이머의 경우 1분씩 제어될 수 있다.
또한, 외부 기기가 커튼인 경우, 커튼의 제어용 파라미터에 포함되는 제어 기능의 타입은 커튼을 왼쪽 또는 오른쪽으로 움직이는 조절이 되고, 각 타입 별 제어 범위는 왼쪽으로 움직이는 경우 0, 오른쪽으로 움직이는 경우 1이 될 수 있으며, 각 타입 별 제어 정밀도는 0과 1의 차이인 1이될 수 있다.
상술한 바와 같이, 외부 기기의 종류에 따라 외부 기기의 제어용 파라미터에 포함되는 제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도는 변경될 수 있다.
그리고, 외부 기기 제어용 오브젝트 정보는 프로세서(140)가 이미지에 합성하여 외부 기기를 제어하는데 사용하는 오브젝트를 생성하는데 필요한 정보로서, 외부 기기 제어용 스위치 이미지, 외부 기기 제어용 버튼 이미지 및 외부 기기 제어용 리모컨 이미지 중 적어도 하나를 포함할 수 있다.
예를 들어, 외부 기기 제어용 스위치 이미지는 전등의 ON/OFF 상태를 변경할 수 있도록 ON/OFF가 표시된 스위치 이미지가 될 수 있고, 외부 기기 제어용 버튼 이미지는 커튼을 왼쪽 또는 오른쪽으로 움직이기 위한 방향이 표시된 버튼 이미지가 될 수 있으며, 외부 기기 제어용 리모컨 이미지는 TV 또는 에어컨을 제어하기 위한 리모컨의 기능키가 표시된 리모컨 이미지가 될 수 있다.
또한, 외부 기기 제어용 오브젝트 정보는 3D 모델 정보를 포함할 수도 있으며, 이러한 3D 모델 정보는 증강 현실을 구현하는데 있어서 사용될 수도 있다. 또한, 외부 기기 제어용 스위치 이미지, 외부 기기 제어용 버튼 이미지 및 외부 기기 제어용 리모컨 이미지 등은 하나의 이미지로 구성될 수도 있으나, 조작에 따른 상태 변경을 표현하기 위해 복수의 이미지로 구성될 수도 있다.
또한, 외부 기기의 명칭은 외부 기기를 지칭하는 명칭을 의미하며, 일반적으로는 TV, 에어컨, 온도조절기, 선풍기 등과 같은 명칭이 사용될 수도 있으나, 사용자가 설정한 명칭이 사용될 수도 있다.
한편, 프로세서(140)는 서버로부터 수신된 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 생성하고, 생성된 오브젝트를 외부 기기 이미지에 매칭시켜 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 여기서, 외부 기기 이미지는 이미지에 포함된 외부 기기를 의미하는 것으로 정의하기로 한다.
구체적으로, 프로세서(140)는 외부 기기의 현재 상태, 외부 기기의 제어용 파라미터, 외부 기기의 명칭 및 외부 기기 제어용 오브젝트 정보 중 적어도 하나에 기초하여 외부 기기를 제어하기 위한 오브젝트를 생성할 수 있다.
예를 들어, 프로세서(140)는 외부 기기의 현재 상태에 기초하여 외부 기기가 현재 동작 중인지, 동작 중이라면 어떠한 상태로 동작하고 있는지 등을 판단하고, 외부 기기의 제어용 파라미터에 기초하여 외부 기기를 어떠한 방식으로 얼마만큼 제어할지를 판단하며, 외부 기기 제어용 오브젝트 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 어떠한 형태로 구성할지를 판단하여 상술한 판단 결과에 기초하여 외부 기기 제어용 오브젝트를 생성할 수 있다.
예를 들어, 외부 기기가 온도 조절기이고 현재 설정 온도가 20도인 경우, 프로세서(140)는 온도 조절기의 현재 상태에 기초하여 온도 조절기가 현재 동작 중이고 설정 온도가 20도임을 판단하고, 온도 조절기의 제어용 파라미터에 기초하여 온도 조절기는 18도에서 30도까지 0.5도 단위로 조절 가능하고, 타이머는 0부터 24시간 범위내에서 1시간 단위로 조절 가능함을 판단하며, 온도 조절기 제어용 오브젝트 정보에 기초하여 온도 조절기를 제어하기 위한 리모컨 형태로 구성할지를 판단할 수 있으며, 이에 따라, 프로세서(140)는 온도 조절기가 현재 동작 중이고 설정 온도가 20도임을 나타내고, 온도 조절 범위는 18도에서 30도까지 0.5도 단위로 조절 가능하고 타이머는 0부터 24시간 범위내에서 1시간 단위로 조절 가능하도록 하는 리모컨 형태의 오브젝트를 생성할 수 있다.
한편, 디스플레이 장치(100)와 서버 간에 정보가 송수신되는 과정을 설명하기 위해 도 4를 참조하여 상세히 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치와 서버 간에 정보가 송수신되는 과정을 설명하기 위한 타이밍도이다.
도 4를 참조하면, 사용자가 디스플레이 장치(100)를 사용하여 이미지를 촬영하면 디스플레이 장치(100)는 외부 기기에 대한 이미지를 획득하고(101), 이미지에 포함된 식별용 마커로부터 식별 정보를 획득한다(102).
그리고, 디스플레이 장치(100)는 식별용 마커로부터 식별 정보를 획득한 후 바로 획득된 식별 정보를 서버(400)로 전송한다(103).
이후, 서버(400)는 데이터 베이스로부터 식별 정보에 대응되는 제어 정보를 검색하고(401), 검색된 제어 정보를 디스플레이 장치(100)로 전송한다(104).
그리고, 디스플레이 장치(100)는 수신된 제어 정보에 기초하여 오브젝트를 생성하고(105), 생성된 오브젝트를 외부 기기 이미지에 매칭시켜 디스플레이한다(106).
한편, 프로세서(140)는 생성된 오브젝트를 외부 기기 이미지에 각각 매칭시켜 디스플레이(110)에 디스플레이할 수 있는데, 도 5를 참조하여 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 오브젝트가 외부 기기 이미지 각각에 매칭된 이미지를 도시한 도면이다.
도 5를 참조하면, 도 3에서 이미 설명한 바와 같이 프로세서(140)는 식별용 마커로부터 거실에 배치된 다양한 외부 기기(TV(310), 제1 전등(320), 제2 전등(330), 에어컨(340), 제1 커튼(350), 제2 커튼(360), 선풍기(370))의 식별 정보를 획득하고 획득된 식별 정보를 서버로 전송하며, 서버로부터 수신된 다양한 외부 기기(TV(310), 제1 전등(320), 제2 전등(330), 에어컨(340), 제1 커튼(350), 제2 커튼(360), 선풍기(370))를 제어하기 위한 제어 정보가 수신되면 수신된 제어 정보에 기초하여 다양한 외부 기기(TV(310), 제1 전등(320), 제2 전등(330), 에어컨(340), 제1 커튼(350), 제2 커튼(360), 선풍기(370))를 제어하기 위한 오브젝트를 각각 외부 기기 이미지에 매칭시켜 도 5와 같은 이미지(500)를 디스플레이할 수 있다.
예를 들어, 프로세서(140)는 TV(310)를 제어하기 위한 리모컨 이미지(312)를 생성하고 TV(310) 이미지에 매칭시켜 디스플레이하고, 제1 전등(320)를 제어하기 위한 스위치 이미지(322)를 생성하고 제1 전등(320)에 매칭시켜 디스플레이하며, 제2 전등(330)를 제어하기 위한 스위치 이미지(332)를 생성하고 제2 전등(330)에 매칭시켜 디스플레이하고, 에어컨(340)을 제어하기 위한 리모컨 이미지(342)를 에어컨(340) 이미지에 매칭시켜 디스플레이하며, 제1 커튼(350)을 제어하기 위한 버튼 이미지(352)를 제1 커튼(350) 이미지에 매칭시켜 디스플레이하고, 제2 커튼(360)을 제어하기 위한 버튼 이미지(362)를 제2 커튼(360) 이미지에 매칭시켜 디스플레이하며, 선풍기(370)를 제어하기 위한 다이얼 스위치 이미지(372)를 선풍기(370) 이미지에 매칭시켜 디스플레이할 수 있다.
또한, 프로세서(140)는 도 5에 도시된 이미지(500)를 생성된 오브젝트가 매칭된 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면으로 구현하여 디스플레이할 수도 있다. 이러한 사용자 인터페이스 화면은 생성된 오브젝트 즉, 리모컨 이미지(312, 342), 스위치 이미지(322, 332), 버튼 이미지(352, 362) 및 다이얼 스위치 이미지(372)의 세부 조절을 위한 편집 기능을 사용자에게 제공할 수도 있다. 또한, 이러한 사용자 인터페이스 화면은 실시간 처리를 수행하여 증강 현실로 구현되어 HMD, 스마트폰 등에서 활용될 수도 있다.
또한, 사용자가 오브젝트를 선택하는 경우 프로세서(140)는 오브젝트를 확대시켜 디스플레이함으로써 사용자가 용이하게 조작할 수 있도록 할 수도 있다.
한편, 도 6은 본 발명의 다른 실시 예에 따른 디스플레이 장치(100)의 구성을 도시한 도면이다.
도 6을 참조하면, 디스플레이 장치(100)는 디스플레이(110), 촬상부(120), 통신부(130), 프로세서(140) 및 입력부(150)를 포함한다. 여기서, 디스플레이(110), 촬상부(120), 통신부(13) 및 프로세서(140)는 이미 설명하였으므로 상세한 설명은 생략하기로 한다.
입력부(150)는 사용자 입력을 수신할 수 있으며, 터치 패널로 구현되어 직접 사용자의 터치 입력을 수신할 수도 있고, 신호 수신부로 구현되어 리모컨 장치로부터 수신되는 신호를 수신할 수도 있다.
또한, 프로세서(140)는 오브젝트에 대한 사용자 입력이 수신되면, 오브젝트에 대응되는 외부 기기의 제어용 파라미터에 기초하여 사용자 입력에 대응되는 제어 명령을 생성하고, 생성된 제어 명령을 외부 기기로 전송할 수 있다.
예를 들어, 사용자는 도 5에 도시된 이미지(500) 상에서 제1 전등(320)을 제어하기 위한 오브젝트(322)에 대해 조작을 가하면, 프로세서(140)는 제1 전등(320)을 제어하기 오브젝트(322)에 대응되는 제1 전등(320)의 제어용 파라미터 즉, 제어 기능의 타입(전등의 ON/OFF), 각 타입 별 제어 범위(0 또는 1), 각 타입 별 제어 정밀도(1)에 기초하여 제1 전등(320)을 제어하기 위한 오브젝트를 통해 입력된 사용자 조작에 대응되는 제어 명령을 생성할 수 있고, 생성된 제어 명령을 제1 전등(320)으로 전송할 수 있다.
구체적으로, 제1 전등(320)을 제어하기 위한 오브젝트를 통해 입력된 사용자 조작에 대응되는 제어 명령은 제1 전등(320)을 ON 시킬지 또는 OFF 시킬지에 대한 정보를 포함할 수 있으며, 이러한 제어 명령에 포함되는 정보는 외부 기기의 종류 및, 외부 기기의 종류에 따라 변경되는 제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도에 기초하여 변경될 수 있다.
그리고, 오브젝트는 사용자 입력에 대응되도록 조작 가능한 이미지로 구현될 수 있으며, 프로세서(140)는 오브젝트의 조작 상태에 대응되는 제어 명령을 생성하고, 생성된 제어 명령을 외부 기기로 전송할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 오브젝트에 대한 조작을 설명하기 위한 도면이다.
예를 들어, 현재 제1 전등(320)의 현재 상태가 OFF 인 경우 제1 전등(320)을 제어하기 위한 오브젝트(322)는 제1 전등(320)의 현재 상태를 반영하여 스위치가 OFF에 배치된 상태로 표시될 수 있고, 이때, 사용자가 제1 전등(320)을 ON 시키는 조작을 오브젝트(322)에 가하게 되면, 프로세서(140)는 사용자 입력에 대응하여 스위치가 ON에 배치된 상태의 오브젝트(322)로 변경함으로써, 사용자 입력에 따라 오브젝트가 조작 가능하도록 구현할 수 있다. 이와 동시에, 프로세서(140)는 제1 전등(320)을 ON 시키는 제어 명령을 생성하여 제1 전등(320)으로 전송함으로써, 제1 전등을 실제로 ON 시킬 수 있다.
도 7에서는 제1 전등(320)에 대한 오브젝트(322)를 예로 들어 설명하고 있으나, 다양한 외부 기기에 대한 각각의 오브젝트는 모두 사용자 입력에 대응되도록 조작 가능한 이미지로 구현될 수 있으며, 예를 들어, TV(310)를 제어하기 위한 오브젝트(312)에 대해 채널 변경을 위한 사용자 조작이 입력되면 프로세서(140)는 TV(310)를 제어하기 위한 오브젝트(312)에 구비된 기능키가 눌려지는 효과를 제공할 수 있다.
또한, 프로세서(140)는 사용자 조작에 따라 외부 기기를 제어하기 위한 오브젝트를 확대시켜 디스플레이함으로써 좀더 사용자 조작의 편의를 증진시킬 수도 있다.
물론, 상술한 오브젝트가 사용자 입력에 대응되도록 조작 가능한 이미지로 구현되는 특징은 증강 현실에도 동일하게 적용될 수 있음은 당연하다.
한편, 도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치가 TV로 구현된 경우를 설명하기 위한 도면이다.
도 8을 참조하면, 외부 기기를 제어하기 위한 오브젝트가 외부 기기 이미지에 매칭된 이미지(500)는 TV(800)에서 제공될 수도 있으며, 이때 사용자는 리모트 컨트롤러 장치(810)를 사용하여 각 외부 기기 이미지에 매칭된 오브젝트를 조작할 수도 있다.
예를 들어, 사용자는 리모트 컨트롤러 장치(810)를 사용하여 TV(800)에서 디스플레이되는 이미지(500) 내에 포함된 복수의 오브젝트 중 하나를 선택할 수 있고 선택된 오브젝트를 조작함으로써, TV(800)는 외부 기기를 제어하는 제어 명령을 선택된 오브젝트에 대응되는 외부 기기로 전송할 수 있다.
이와 같이, 외부 기기를 제어하기 위한 오브젝트가 외부 기기 이미지에 매칭된 이미지(500)에 대해 사용자는 직접 터치 입력을 수행하여 오브젝트를 조작할 수도 있고, 리모트 컨트롤러 장치를 이용하여 조작할 수도 있다.
도 9는 도 1에 도시된 디스플레이 장치의 구체적인 구성을 나타내는 블럭도이다.
도 9를 참조하면, 디스플레이 장치(900)는 디스플레이(110), 촬상부(120), 통신부(130), 프로세서(140), 입력부(150) 및 저장부(160)를 포함한다. 도 9에 도시된 구성 중 미리 설명한 구성에 대해서는 자세한 설명은 생략하도록 한다.
프로세서(140)는 디스플레이 장치(900)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(140)는 RAM(141), ROM(142), 메인 CPU(143), 그래픽 처리부(144), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다.
RAM(141), ROM(142), 메인 CPU(143), 그래픽 처리부(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(143)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
특히, 메인 CPU(143)는 이미지에 포함된 식별용 마커로부터 식별 정보를 획득하고, 서버로부터 수신된 외부 기기를 제어하기 위한 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 생성하고, 오브젝트에 대한 사용자 조작에 대응되는 제어 명령을 생성할 수 있다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
특히, 그래픽 처리부(144)는 메인 CPU(143)에 의해 생성된 오브젝트를 GUI(Graphic User Interface), 아이콘, 사용자 인터페이스 화면 등으로 구현할 수 있다.
한편, 상술한 프로세서(140)의 동작은 저장부(160)에 저장된 프로그램에 의해 이루어질 수 있다.
저장부(160)는 디스플레이 장치(900)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
특히, 저장부(160)는 이미지에 포함된 식별용 마커로부터 식별 정보를 획득하고, 외부 기기를 제어하기 위한 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 생성하며, 오브젝트에 대해 입력된 사용자 입력에 대응되는 제어 명령을 생성하는 기능을 실행하기 위한 소프트웨어 모듈을 포함할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 저장부에 저장된 소프트웨어 모듈에 관한 도면이다.
도 10을 참조하면, 저장부(160)에는 마커 인식 모듈(161), 식별 정보 획득 모듈(162), 오브젝트 생성 모듈(163), 제어 명령 생성 모듈(164) 및 UI 생성 모듈(165) 등의 프로그램이 저장되어 있을 수 있다.
한편, 상술한 프로세서(140)의 동작은 저장부(160)에 저장된 프로그램에 의해 이루어질 수 있다. 이하에서는 저장부(160)에 저장된 프로그램을 이용한 프로세서(140)의 세부 동작에 대해 자세히 설명하도록 한다.
구체적으로, 마커 인식 모듈(161)은 이미지에 포함된 외부 기기에 부착된 식별용 마커를 인식하는 기능을 수행할 수 있다. 예를 들어, 식별용 마커는 QR 코드, 바코드 또는 시리얼 넘버의 형태로 구현될 수 있으며, 마커 인식 모듈(161)은 이미지에 포함된 식별용 마커를 모두 검출해내는 기능을 수행할 수 있다.
또한, 식별 정보 획득 모듈(162)은 인식된 식별용 마커로부터 식별 정보를 획득하는 기능을 수행할 수 있다.
또한, 오브젝트 생성 모듈(163)은 외부 기기를 제어하기 위한 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 생성하는 기능을 수행할 수 있다.
또한, 제어 명령 생성 모듈(164)은 오브젝트에 대한 사용자 입력이 수신되면 오브젝트에 대응되는 외부 기기의 제어용 파라미터에 기초하여 사용자 입력에 대응되는 제어 명령을 생성하는 기능을 수행할 수 있다.
또한, UI 생성 모듈(165)은 생성된 오브젝트가 매칭된 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면을 생성하는 기능을 수행할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 시스템의 구성을 도시한 블럭도이다.
도 11을 참조하면, 서버(400) 및 디스플레이 장치(100)를 포함하는 시스템(1000)은 식별용 마커가 각각 부착된 복수의 외부 기기에 대한 이미지를 획득하고 이미지에 포함된 복수의 식별용 마커로부터 획득된 복수의 식별 정보를 서버로 전송하는 디스플레이 장치(100) 및 수신된 복수의 식별 정보 각각에 대응되는 복수의 외부 기기 각각을 제어하기 위한 제어 정보를 디스플레이 장치(100)로 전송하는 서버(400)를 포함하며, 여기서, 디스플레이 장치(100)는 수신된 제어 정보에 기초하여 복수의 외부 기기 각각을 제어하기 위한 복수의 오브젝트를 복수의 외부 기기 이미지 각각에 매칭시켜 디스플레이할 수 있다.
즉, 디스플레이 장치(100)는 복수의 외부 기기를 포함하는 하나의 이미지를 획득하고, 복수의 외부 기기 각각의 식별 정보를 획득하며, 복수의 외부 기기 각각을 제어하기 위한 제어 정보에 기초하여 복수의 오브젝트를 생성하고, 복수의 오브젝트에 대한 개별적인 사용자 조작에 따라 복수의 오브젝트 각각으로 제어 명령을 전송할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12에 도시된 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 디스플레이 장치의 제어 방법은, 적어도 하나의 외부 기기에 대한 이미지를 획득한다(S1210).
그리고, 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 서버로 전송하고 서버로부터 외부 기기를 제어하기 위한 제어 정보를 수신한다(S1220).
그리고, 수신된 제어 정보에 기초하여 외부 기기를 제어하기 위한 오브젝트를 외부 기기 이미지에 매칭시켜 디스플레이한다(S1230).
여기서, 제어 정보는 외부 기기의 현재 상태, 외부 기기의 제어용 파라미터, 외부 기기의 명칭 및 외부 기기 제어용 오브젝트 정보 중 적어도 하나를 포함할 수 있다.
또한, 외부 기기의 제어용 파라미터는, 제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도 중 적어도 하나를 포함할 수 있다.
또한, 오브젝트 정보는, 외부 기기 제어용 스위치 이미지, 외부 기기 제어용 버튼 이미지 및 외부 기기 제어용 리모컨 이미지 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 오브젝트에 대한 사용자 입력을 수신하는 단계 및 오브젝트에 대응되는 외부 기기의 제어용 파라미터에 기초하여 사용자 입력에 대응되는 제어 명령을 생성하고, 생성된 제어 명령을 외부 기기로 전송하는 단계를 더 포함할 수 있다.
여기서, 오브젝트는 사용자 입력에 대응되도록 조작 가능한 이미지이며, 전송하는 단계는, 오브젝트의 조작 상태에 대응되는 제어 명령을 생성하고, 생성된 제어 명령을 외부 기기로 전송할 수 있다.
또한, 디스플레이하는 단계는, 생성된 오브젝트가 매칭된 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면을 생성하여 디스플레이할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구체적인 제어 방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, 디스플레이 장치(100)가 이미지를 획득하고(S1310), 이미지에 포함된 식별용 마커를 인식하여(S1320), 제어권 획득(S1330)을 수행할 수 있다. 여기서, 제어권 획득(S1330)은 제3자가 임의로 외부 기기에 대한 이미지를 촬영하여 제어할 수 있는 권한을 제한하기 위한 것으로서, 사용자 계정을 통해 사용자 인증이 수행된 디스플레이 장치(100)만이 외부 기기에 대한 제어권을 획득할 수 있다.
그리고, 디스플레이 장치(100)는 사물(외부 기기)의 제어 정보를 서버로 쿼리할 수 있고(S1340), 서버로부터 수신된 제어 정보에 기초하여 사물의 제어용 파라미터를 획득하고(S1350), 사물 제어용 오브젝트 정보를 획득하며(S1360), 사물에 설정된 현재값을 획득(S1370)할 수 있다.
그리고, 디스플레이 장치(100)는 이미지에 가상 조작 스위치 이미지를 합성한 UI를 생성할 수 있다(S1380).
또한, 디스플레이 장치(100)는 수동 편집 모드 진입을 판단할 수도 있다(S1390). 구체적으로, 어느 하나의 사물에 부착된 식별용 마커가 정확히 이미지로 포착되지 않아 디스플레이 장치(100)가 식별용 마커를 인식할 수 없는 경우 디스플레이 장치(100)는 수동 편집 모드(S1390-1)에 진입하여 직접 사용자 조작에 따라 인식되지 않은 식별용 마커에 관한 정보를 디스플레이 장치(100)의 저장부(160)에 추가할 수도 있다.
또한, 사물의 위치가 변경된 경우, 디스플레이 장치(100)는 수동 편집 모드(S1390-1)에 진입하여 사물의 위치 변경에 관한 사용자 조작에 따라 이미지 내의 사물의 위치를 변경할 수도 있다.
또한, 디스플레이 장치(100)는 수동 편집 모드(S1390-1)에 진입하여 식별용 마커가 인식이 완료된 경우 제어권 획득(S1320)을 수행할 수 있다.
한편, 디스플레이 장치(100)는 생성된 UI에 대한 사용자 입력이 수신되면(S1391), 사용자 입력에 대응되는 제어 명령을 사물로 전송하여 사물(예를 들어, 전등, 세탁기, 라디오 등)을 제어(S1392)할 수 있다.
한편, 도 14는 본 발명의 일 실시 예에 따른 시스템의 제어 방법을 설명하기 위한 흐름도이다.
도 14에 도시된 서버 및 디스플레이 장치를 포함하는 시스템의 제어 방법은, 디스플레이 장치는 식별용 마커가 각각 부착된 복수의 외부 기기에 대한 이미지를 획득하고 이미지에 포함된 복수의 식별용 마커로부터 획득된 복수의 식별 정보를 서버로 전송하고(S1410), 서버는 수신된 복수의 식별 정보 각각에 대응되는 복수의 외부 기기 각각을 제어하기 위한 제어 정보를 디스플레이 장치로 전송하고(S1420), 디스플레이 장치는 수신된 제어 정보에 기초하여 복수의 외부 기기 각각을 제어하기 위한 복수의 오브젝트를 복수의 외부 기기 이미지 각각에 매칭시켜 디스플레이한다(S1430).
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이
120: 촬상부 130: 통신부
140: 프로세서 150: 입력부

Claims (16)

  1. 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 디스플레이 장치에 있어서,
    디스플레이;
    상기 적어도 하나의 외부 기기에 대한 이미지를 획득하는 촬상부;
    서버 및 상기 외부 기기 중 적어도 하나와 통신을 수행하는 통신부; 및
    상기 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 상기 서버로 전송하고, 상기 서버로부터 상기 외부 기기를 제어하기 위한 제어 정보가 수신되면 상기 수신된 제어 정보에 기초하여 상기 외부 기기를 제어하기 위한 오브젝트를 상기 외부 기기 이미지에 매칭시켜 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어 정보는,
    상기 외부 기기의 현재 상태, 상기 외부 기기의 제어용 파라미터, 상기 외부 기기의 명칭 및 상기 외부 기기 제어용 오브젝트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 외부 기기의 제어용 파라미터는,
    제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 오브젝트 정보는,
    상기 외부 기기 제어용 스위치 이미지, 상기 외부 기기 제어용 버튼 이미지 및 상기 외부 기기 제어용 리모컨 이미지 중 적어도 하나를 포함하는 것을 특징응로 하는 디스플레이 장치.
  5. 제3항에 있어서,
    사용자 입력을 수신하는 입력부;를 더 포함하며,
    상기 프로세서는,
    상기 오브젝트에 대한 상기 사용자 입력이 수신되면, 상기 오브젝트에 대응되는 상기 외부 기기의 제어용 파라미터에 기초하여 상기 사용자 입력에 대응되는 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송하는 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 오브젝트는, 상기 사용자 입력에 대응되도록 조작 가능한 이미지이며,
    상기 프로세서는,
    상기 오브젝트의 조작 상태에 대응되는 상기 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송하는 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 생성된 오브젝트가 매칭된 상기 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면을 생성하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  8. 서버 및 디스플레이 장치를 포함하는 시스템에 있어서,
    식별용 마커가 각각 부착된 복수의 외부 기기에 대한 이미지를 획득하고 상기 이미지에 포함된 복수의 식별용 마커로부터 획득된 복수의 식별 정보를 상기 서버로 전송하는 디스플레이 장치; 및
    수신된 상기 복수의 식별 정보 각각에 대응되는 상기 복수의 외부 기기 각각을 제어하기 위한 제어 정보를 상기 디스플레이 장치로 전송하는 서버;를 포함하며,
    상기 디스플레이 장치는,
    상기 수신된 제어 정보에 기초하여 상기 복수의 외부 기기 각각을 제어하기 위한 복수의 오브젝트를 상기 복수의 외부 기기 이미지 각각에 매칭시켜 디스플레이하는 것인, 시스템.
  9. 식별용 마커가 부착된 적어도 하나의 외부 기기를 제어하기 위한 디스플레이 장치의 제어 방법에 있어서,
    상기 적어도 하나의 외부 기기에 대한 이미지를 획득하는 단계;
    상기 이미지에 포함된 식별용 마커로부터 획득된 식별 정보를 서버로 전송하고, 상기 서버로부터 상기 외부 기기를 제어하기 위한 제어 정보를 수신하는 단계; 및
    상기 수신된 제어 정보에 기초하여 상기 외부 기기를 제어하기 위한 오브젝트를 상기 외부 기기 이미지에 매칭시켜 디스플레이하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 제어 정보는,
    상기 외부 기기의 현재 상태, 상기 외부 기기의 제어용 파라미터, 상기 외부 기기의 명칭 및 상기 외부 기기 제어용 오브젝트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 외부 기기의 제어용 파라미터는,
    제어 기능의 타입, 각 타입 별 제어 범위, 각 타입 별 제어 정밀도 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 오브젝트 정보는,
    상기 외부 기기 제어용 스위치 이미지, 상기 외부 기기 제어용 버튼 이미지 및 상기 외부 기기 제어용 리모컨 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 오브젝트에 대한 사용자 입력을 수신하는 단계; 및
    상기 오브젝트에 대응되는 상기 외부 기기의 제어용 파라미터에 기초하여 상기 사용자 입력에 대응되는 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 오브젝트는, 상기 사용자 입력에 대응되도록 조작 가능한 이미지이며,
    상기 전송하는 단계는,
    상기 오브젝트의 조작 상태에 대응되는 상기 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 외부 기기로 전송하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  15. 제9항에 있어서,
    상기 디스플레이하는 단계는,
    상기 생성된 오브젝트가 매칭된 상기 외부 기기의 제어 및 관리를 위한 사용자 인터페이스 화면을 생성하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 서버 및 디스플레이 장치를 포함하는 시스템의 제어 방법에 있어서,
    상기 디스플레이 장치는, 식별용 마커가 각각 부착된 복수의 외부 기기에 대한 이미지를 획득하고 상기 이미지에 포함된 복수의 식별용 마커로부터 획득된 복수의 식별 정보를 상기 서버로 전송하는 단계;
    상기 서버는, 수신된 상기 복수의 식별 정보 각각에 대응되는 상기 복수의 외부 기기 각각을 제어하기 위한 제어 정보를 상기 디스플레이 장치로 전송하는 단계; 및
    상기 디스플레이 장치는, 상기 수신된 제어 정보에 기초하여 상기 복수의 외부 기기 각각을 제어하기 위한 복수의 오브젝트를 상기 복수의 외부 기기 이미지 각각에 매칭시켜 디스플레이하는 단계;를 포함하는 시스템의 제어 방법.
KR1020160040408A 2016-04-01 2016-04-01 디스플레이 장치, 시스템 및 그 제어 방법 KR20170112797A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160040408A KR20170112797A (ko) 2016-04-01 2016-04-01 디스플레이 장치, 시스템 및 그 제어 방법
US15/454,474 US10163335B2 (en) 2016-04-01 2017-03-09 Display apparatus, system, and method for controlling an external device
EP17161155.1A EP3226567A1 (en) 2016-04-01 2017-03-15 Display apparatus, system, and method for controlling an external device
CN201710205401.4A CN107272879B (zh) 2016-04-01 2017-03-31 用于控制外部设备的显示装置、系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160040408A KR20170112797A (ko) 2016-04-01 2016-04-01 디스플레이 장치, 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20170112797A true KR20170112797A (ko) 2017-10-12

Family

ID=58464147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160040408A KR20170112797A (ko) 2016-04-01 2016-04-01 디스플레이 장치, 시스템 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10163335B2 (ko)
EP (1) EP3226567A1 (ko)
KR (1) KR20170112797A (ko)
CN (1) CN107272879B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211270A1 (ko) * 2021-03-29 2022-10-06 삼성전자주식회사 휴대용 단말 장치, 전자 장치, 서버, 시스템 및 그 제어 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9985699B1 (en) 2014-12-16 2018-05-29 Blazer and Flip Flops, Inc. NFC center
US11062375B1 (en) 2014-12-17 2021-07-13 Blazer and Flip Flops, Inc. Automatic shopping based on historical data
US10679207B1 (en) 2014-12-17 2020-06-09 Blazer and Flip Flops, Inc. Bill splitting and account delegation for NFC
US10262311B1 (en) 2014-12-17 2019-04-16 Blazer and Flip Flops, Inc. NFC-based payments tagging
US10262318B1 (en) 2014-12-17 2019-04-16 Blazer and Flip Flops, Inc. Eligibility verification for real-time offers
US10580011B1 (en) 2014-12-17 2020-03-03 Blazer and Flip Flops, Inc. NFC-based options selection
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10097150B1 (en) * 2017-07-13 2018-10-09 Lenovo (Singapore) Pte. Ltd. Systems and methods to increase volume of audio output by a device
US11131973B2 (en) * 2017-12-06 2021-09-28 Arris Enterprises Llc System and method of IOT device control using augmented reality
JP2019105678A (ja) * 2017-12-11 2019-06-27 京セラドキュメントソリューションズ株式会社 表示装置、及び画像表示方法
CN111382731A (zh) * 2018-12-28 2020-07-07 中兴通讯股份有限公司 一种通用数据采集方法及装置
JP7426579B2 (ja) * 2019-07-30 2024-02-02 パナソニックＩｐマネジメント株式会社 ユーザインタフェース装置及びパラメータの設定方法
JP2021099430A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
JP2022178205A (ja) * 2021-05-19 2022-12-02 キヤノン株式会社 制御装置およびその制御方法
CN113349998B (zh) * 2021-05-31 2022-11-18 力迈德医疗（广州）有限公司 基于护具的康复设备控制方法、装置及设备
US11540052B1 (en) 2021-11-09 2022-12-27 Lenovo (United States) Inc. Audio component adjustment based on location
US11775077B2 (en) 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium
CN116912950A (zh) * 2023-09-12 2023-10-20 湖北星纪魅族科技有限公司 一种识别方法、头戴设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110291971A1 (en) 2010-05-28 2011-12-01 Funai Electric Co., Ltd. Highly Integrated Touch Screen Handheld Device
US8850348B2 (en) 2010-12-31 2014-09-30 Google Inc. Dynamic device-associated feedback indicative of responsible device usage
KR20120079539A (ko) 2011-01-05 2012-07-13 엘지전자 주식회사 공기 조화기의 제어 방법
KR20130022608A (ko) * 2011-08-25 2013-03-07 삼성전자주식회사 디스플레이 장치 및 이의 애플리케이션 실행 방법, 그리고 디스플레이 장치를 원격으로 제어하는 외부기기 및 이의 애플리케이션 조작 화면 제공 방법
JP2013065465A (ja) 2011-09-16 2013-04-11 Idec Corp 照明操作端末
JP2014044916A (ja) 2012-08-28 2014-03-13 Panasonic Corp 照明制御システム
KR101981685B1 (ko) 2012-10-04 2019-08-28 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치, 외부 장치, 디스플레이 방법, 데이터 수신 방법 및 데이터 전송 방법
KR101934099B1 (ko) 2012-12-14 2019-01-02 삼성전자주식회사 컨텐츠 재생 장치, 그 ui 제공 방법, 네트워크 서버 및 그 제어 방법
KR102088866B1 (ko) 2013-04-18 2020-03-13 엘지전자 주식회사 이동 단말기
KR20150125778A (ko) 2014-04-30 2015-11-10 삼성전자주식회사 사용자 단말장치 및 사용자 단말 장치의 데이터 관리 방법
KR101553503B1 (ko) 2015-01-12 2015-09-16 주식회사 월드텍 사물 인식을 통한 외부 디바이스의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211270A1 (ko) * 2021-03-29 2022-10-06 삼성전자주식회사 휴대용 단말 장치, 전자 장치, 서버, 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
CN107272879B (zh) 2020-07-10
US20170287321A1 (en) 2017-10-05
US10163335B2 (en) 2018-12-25
EP3226567A1 (en) 2017-10-04
CN107272879A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107272879B (zh) 用于控制外部设备的显示装置、系统和方法
CN107113226B (zh) 用于识别周边设备的电子装置及其方法
US10209513B2 (en) Wearable device and control method thereof
US9204131B2 (en) Remote control system
US10091451B2 (en) Remote controller and method for controlling screen thereof
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
CN105191330A (zh) 显示装置及其图形用户界面屏幕提供方法
US11609541B2 (en) System and method of IOT device control using augmented reality
KR102413074B1 (ko) 사용자 단말, 전자 장치 및 이들의 제어 방법
JP6283749B2 (ja) 機器接続を促す方法および装置
WO2016035620A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180188944A1 (en) Display apparatus and controlling method thereof
KR20170069600A (ko) 전자 장치 및 그 동작 방법
EP3054651A1 (en) Electronic apparatus, control method and system thereof
US20160065839A1 (en) Display device and method of controlling therefor
KR102242324B1 (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
US20140223349A1 (en) Method and apparatus for controlling electronic device
CN112041803A (zh) 电子设备及其操作方法
KR102292619B1 (ko) 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
JP2017054251A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20150066917A (ko) 장치간 동기화 기반 원격 협업 장치
KR20190018845A (ko) 전자 장치 및 그의 제어 방법
CN117572955A (zh) 设备控制方法、装置、头戴式设备及可读存储介质
TW201430687A (zh) 多媒體檔案分享系統及其方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal