KR20140011203A - 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템 - Google Patents

복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템 Download PDF

Info

Publication number
KR20140011203A
KR20140011203A KR1020120078305A KR20120078305A KR20140011203A KR 20140011203 A KR20140011203 A KR 20140011203A KR 1020120078305 A KR1020120078305 A KR 1020120078305A KR 20120078305 A KR20120078305 A KR 20120078305A KR 20140011203 A KR20140011203 A KR 20140011203A
Authority
KR
South Korea
Prior art keywords
user
display device
control
input
control target
Prior art date
Application number
KR1020120078305A
Other languages
English (en)
Inventor
이상원
이준석
조성구
유경화
정진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120078305A priority Critical patent/KR20140011203A/ko
Priority to EP13176383.1A priority patent/EP2687947A1/en
Priority to JP2013148222A priority patent/JP2014021985A/ja
Priority to US13/945,111 priority patent/US20140022159A1/en
Priority to CN201310303299.3A priority patent/CN103576854A/zh
Publication of KR20140011203A publication Critical patent/KR20140011203A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템이 제공된다. 본 복수의 디스플레이 장치와 연결된 제어 장치의 제어 방법은, 사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하고, 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하며, 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하고, 사용자 명령이 입력되면, 제어 대상 디스플레이 장치에 사용자 명령에 대응되는 제어 신호를 전송한다.

Description

복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템{Control apparatus connected with a plurality of display apparatus and Method for controlling a plurality of display apparatus, and Display apparatus contol system thereof}
본 발명은 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템에 관한 것으로서, 더욱 상세하게는 사용자가 응시하는 디스플레이 장치를 판단하여, 판단된 디스플레이 장치를 제어하는 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템에 관한 것이다.
종래에는 복수의 디스플레이 장치(예를 들어, PC, TV, 모바일 기기 등)를 이용할 때, 사용자는 복수의 디스플레이 장치마다 별도의 입력 장치를 이용하여 복수의 디스플레이 장치를 제어하였다. 예를 들어, 사용자는 TV를 제어하기 위해 리모컨을 사용하고, PC를 제어하기 위해 키보드 및 마우스를 사용하며, 모바일 기기를 제어하기 위해 터치 스크린을 사용하였다.
그러나, 복수의 디스플레이 장치를 동시에 이용할 때, 각각의 입력 장치를 이용할 경우, 사용자는 매번 입력 장치를 바꾸어가며 제어 명령을 입력해야 하는 불편함이 존재한다.
또한, 하나의 입력 장치를 이용하여 복수의 디스플레이 장치를 제어하는 경우라도, 매번 제어하고자 하는 디스플레이 장치로 새롭게 연결을 수행해야 하는 뷸편함이 존재하게 된다.
따라서, 하나의 입력 장치를 이용하여 더욱 쉽고 편하게 복수의 디스플레이 장치를 제어하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 하나의 입력 장치를 이용하여 더욱 쉽고 편하게 복수의 디스플레이 장치를 제어할 수 있도록 사용자가 응시하는 디스플레이 장치를 제어 대상 디스플레이 장치로 판단하여 제어하는 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 복수의 디스플레이 장치와 연결된 제어 장치의 제어 방법은, 사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하는 단계; 상기 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하고, 상기 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하는 단계; 및 사용자 명령이 입력되면, 상기 제어 대상 디스플레이 장치에 상기 사용자 명령에 대응되는 제어 신호를 전송하는 단계;를 포함한다.
그리고, 상기 제어 장치는, 상기 사용자 명령을 입력받는 입력부;를 포함하며, 상기 결정하는 단계는, 상기 입력부의 기 설정된 키가 선택된 후, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정할 수 있다.
또한, 상기 결정하는 단계는, 상기 사용자 촬영 영상에 기초하여 기설정된 모션이 입력되었는지 여부를 판단하는 단계; 및 상기 기설정된 모션이 입력되면, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 단계;를 더 포함할 수 있다.
그리고, 상기 기설정된 모션은, 상기 사용자의 눈이 복수 회 깜빡이는 모션일 수 있다.
또한, 상기 기설정된 모션은, 상기 사용자가 응시하는 디스플레이 장치를 기설정된 시간 이상 동안 모션일 수 있다.
그리고, 상기 결정하는 단계는, 상기 제1 디스플레이 장치를 이용하여 기 설정된 작업을 수행하는 경우, 제2 디스플레이 장치를 상기 사용자가 응시하는 디스플레이 장치로 판단하더라도, 상기 제1 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정할 수 있다.
또한, 상기 기설정된 작업은, 텍스트 작성 작업일 수 있다.
그리고, 상기 결정하는 단계는, 상기 사용자의 안구 움직임을 추적하거나 상기 사용자의 얼굴 방향을 추적하여 상기 복수의 디스플레이 장치 중 상기 사용자가 응시하는 디스플레이를 판단하는 단계:를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 복수의 디스플레이 장치와 연결된 제어 장치는, 사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하는 촬영부; 상기 복수의 디스플레이 장치와 통신을 수행하는 통신부; 및 상기 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하고, 상기 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하며, 사용자 명령이 입력되면, 상기 제어 대상 디스플레이 장치에 상기 사용자 명령에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 제어부;를 포함한다.
그리고, 상기 사용자 명령을 입력받는 입력부;를 포함하며, 상기 제어부는, 상기 입력부의 기 설정된 키가 선택된 후, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정할 수 있다.
또한, 상기 제어부는, 상기 사용자 촬영 영상에 기초하여 기설정된 모션이 입력되었는지 여부를 판단하고, 상기 기설정된 모션이 입력되면, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정할 수 있다.
그리고, 상기 기설정된 모션은, 상기 사용자의 눈이 복수 회 깜빡이는 모션일 수 있다.
또한, 상기 기설정된 모션은, 상기 사용자가 응시하는 디스플레이 장치를 기설정된 시간 이상 동안 모션일 수 있다.
그리고, 상기 제어부는, 상기 제1 디스플레이 장치를 이용하여 기 설정된 작업을 수행하는 경우, 제2 디스플레이 장치를 상기 사용자가 응시하는 디스플레이 장치로 판단하더라도, 상기 제1 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정할 수 있다.
또한, 상기 기설정된 작업은, 텍스트 작성 작업일 수 있다.
그리고, 상기 제어부는, 상기 사용자의 안구 움직임을 추적하거나 상기 사용자의 얼굴 방향을 추적하여 상기 복수의 디스플레이 장치 중 상기 사용자가 응시하는 디스플레이를 판단할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치 제어 시스템은 제어 장치로부터 전송된 제어 신호에 따라 동작하는 복수의 디스플레이 장치; 및 사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하고, 상기 사용자 촬영 영상에 기초하여 상기 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하며, 상기 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하고, 사용자 명령이 입력되면, 상기 제어 대상 디스플레이 장치에 상기 사용자 명령에 대응되는 제어 신호를 전송하는 제어 장치;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 하나의 입력 장치를 이용하여 복수의 디스플레이 장치를 더욱 편리하게 제어할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치 제어 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 제어 장치의 구성을 간략히 도시한 도면, 그리고,
도 3은 본 발명의 일 실시예에 따른, 사용자가 응시하는 디스플레이 장치를 판단하는 방법을 설명하기 위한 도면,
도 4 및 도 5는 본 발명의 다양한 실시예에 따른, 디스플레이 장치 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 자세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치 제어 시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 디스플레이 장치 제어 시스템(10)은 제어 장치(100) 및 복수의 디스플레이 장치(200-1,200-2,200-3)을 포함한다. 이때, 복수의 디스플레이 장치(200-1,200-2,200-3)는 도 1에 도시된 바와 같이, TV, 데스크탑 PC, 태블릿 PC일 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트 폰, 노트북 PC 등 다양한 장치로 구현될 수 있다.
제어 장치(100)는 복수의 디스플레이 장치(200-1,200-2,200-3)와 연결되어, 복수의 디스플레이 장치 중 하나를 제어한다. 이때, 제어 장치(100)는 복수의 디스플레이 장치(200-1,200-2,200-3)와 무선으로 연결될 수 있으나, 이는 일 실시예에 불과할 뿐, 유선으로도 연결될 수 있다.
구체적으로, 제어 장치(100)는 사용자가 위치하는 영역을 촬영하여, 사용자 촬영 영상을 생성한다.
그리고, 제어 장치(100)는 사용자 촬영 영상을 기초하여, 복수의 디스플레이 장치(200-1,200-2,200-3) 중 사용자가 응시하는 디스플레이 장치를 판단한다. 이때, 제어 장치(100)는 사용자 얼굴의 방향을 추적하거나, 사용자의 안구 움직임을 추적하여 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
특히, 제어 장치(100)는 사용자의 제어 대상 디스플레이 장치의 변경 명령이 입력된 이후, 사용자가 응시하는 디스플레이 장치를 판단할 수 있다. 이때, 사용자의 제어 대상 디스플레이 장치의 변경 명령은 사용자 명령을 입력하기 위한 입력부의 기 설정된 키를 선택하는 명령이거나 사용자의 기 설정된 모션(예를 들어, 복수회의 눈 깜빡임)일 수 있다.
그리고, 제어 장치(100)는 사용자가 응시하는 디스플레이 장치를 제어 대상 디스플레이 장치로 결정한다. 그러나, 기존의 디스플레이 장치를 이용하여 기 설정된 작업(예를 들어, 텍스트 작성 작업 등)을 수행하는 경우, 제어 장치(100)는 사용자의 응시 여부와 무관하게 기존의 디스플레이 장치를 제어 대상 디스플레이 장치로 결정할 수 있다.
제어 대상 디스플레이 장치가 결정되고, 사용자 명령이 입력되면, 제어 장치(100)는 제어 대상 디스플레이 장치로 사용자 명령에 대응되는 제어 신호를 전송할 수 있다.
복수의 디스플레이 장치(200-1,200-2,200-3) 중 사용자가 응시한 디스플레이 장치는 제어 장치(100)로부터 제어 신호를 수신하고, 제어 신호에 따라 동작을 수행한다.
상술한 바와 같은 디스플레이 장치 제어 시스템(10)에 의해, 사용자는 하나의 입력 장치를 이용하여 복수의 디스플레이 장치를 더욱 편리하게 제어할 수 있게 된다.
이하에서는 도 2를 참조하여 본 발명의 제어 장치(100)에 대해 더욱 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른, 제어 장치(100)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 제어 장치(100)는 촬영부(110), 입력부(120), 통신부(130) 및 제어부(140)를 포함한다.
촬영부(110)는 사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성한다. 특히, 촬영부(110)는 복수의 디스플레이 장치(200-1,200-2,200-3) 중 하나의 상단에 위치하여 사용자 촬영 영상을 생성할 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자가 응시하는 방향을 촬영할 수 있는 위치라면 본 발명의 기술적 사상이 적용될 수 있다.
또한, 촬영부(110)는 복수 개의 촬영 장치로 구현될 수 있으며, 복수 개의 촬영 장치를 이용하여 사용자 촬영 영상을 획득할 수 있다.
입력부(120)는 디스플레이 장치(200)를 제어하기 위한 사용자 명령을 입력받는다. 특히, 입력부(120)는 리모컨, 키보드, 마우스, 포인팅 디바이스 및 터치 스크린과 같은 입력 장치로 구현될 수 있다.
특히, 입력부(120)는 제어 대상 디스플레이 장치의 변경 명령을 입력받기 위한 기 설정된 키 또는 버튼을 구비할 수 있다.
통신부(130)는 유선 또는 무선으로 외부의 복수의 디스플레이 장치(200-1,200-2,200-3)와 통신을 수행한다. 특히, 통신부(130)는 제어부(140)의 제어에 의해 사용자가 응시하는 디스플레이 장치로 사용자 명령에 대응되는 제어 신호를 전송할 수 있다.
한편, 본 발명의 일 실시예에 따른, 통신부(130)는 적외선 통신 모듈, 블루투스(Bluetooth) 모듈, 와이파이(Wi-fi) 모듈 등으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 통신 모듈을 이용하여 외부의 디스플레이 장치와 통신을 수행할 수 있다.
제어부(140)는 사용자 명령에 의해 제어 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 촬영부(110)에 의해 촬영된 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하고, 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정한다. 그리고, 사용자 명령이 입력되면, 제어부(140)는 제어 대상 디스플레이 장치로 입력된 사용자 명령에 대응되는 제어 신호를 전송하도록 통신부를 제어한다.
구체적으로, 제어부(140)는 촬영부(110)에 의해 촬영된 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단한다. 이때, 제어부(140)는 사용자 촬영 영상에 기초하여 사용자의 얼굴 방향을 추적하여 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
사용자의 얼굴 방향을 추적하여 사용자가 응시하는 디스플레이 장치를 판단하는 방법은 도 3을 참조하여 설명하기로 한다. 우선, 제어부(140)는 촬영부(110)에 의해 촬영된 사용자 촬영 영상 중 사용자 얼굴을 검출한다. 그리고, 제어부(140)는 사용자 얼굴 중 도 3의 (a)에 도시된 바와 같이, 복수 개의 특징점(f1 내지 f6)을 검출한다. 그리고, 제어부(140)는 검출된 특징점(f1 내지 f6)을 이용하여 도 3의 (b)에 도시된 바와 같이 가상의 도형(310)을 생성한다. 그리고, 제어부(140)는 도 3의 (c)에 도시된 바와 같이, 가상의 도형(310)의 변화 여부를 판단하여 사용자 얼굴의 회전 여부를 판단한다. 그리고, 제어부(140)는 사용자 얼굴의 회전 여부를 판단하여 사용자가 응시하는 방향을 검출하고, 기 저장된 복수의 디스플레이 장치의 배치 정보와 사용자가 응시하는 방향을 비교함으로써, 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 사용자 얼굴을 촬영하는 촬영부(110)가 구비된 모니터(200-2)가 중앙에 위치하고, 모니터(200-2)의 좌측에는 스마트 TV(200-1)가 위치하며, 모니터(200-2)의 우측에는 태블릿 PC(200-3)가 위치한 경우, 저장부(미도시)는 스마트 TV(200-1), 모니터(200-2) 및 태블릿 PC(200-3)의 위치가 저장되어 있다. 그리고, 도 3에서 설명한 가상의 도형(310)이 도 6의 (A)에 도시된 바와 같이, 회전이 없다고 판단된 경우, 제어부(140)는 사용자가 중앙에 위치한 모니터(200-2)를 응시하고 있다고 판단할 수 있다. 또는 가상의 도형(310)이 도 6의 (B)에 도시된 바와 같이, 좌측으로 회전되었다고 판단된 경우, 제어부(140)는 사용자가 좌측에 위치한 스마트 TV(200-1)를 응시하고 있다고 판단할 수 있다. 또는, 가상의 도형(310)이 도 6의 (C)에 도시된 바와 같이, 우측으로 회전되었다고 판단된 경우, 제어부(140)는 사용자가 우측에 위치한 태블릿 PC(200-3)를 응시하고 있다고 판단할 수 있다.
또는, 제어부(140)는 촬영부(110)가 촬영한 사용자 촬영 영상을 통해 사용자의 안구 움직임을 추적함으로써, 사용자가 응시하는 디스플레이 장치를 판단할 수 있다. 구체적으로, 제어부(140)는 얼굴 모델링(face modeling) 기술을 통해 촬영부(110)에 의해 생성된 사용자 촬영 영상으로부터 안구 영상을 식별한다. 이때, 얼굴 모델링 기술은 촬영부(110)에 의해 획득된 얼굴 영상의 가공 처리 및 전송을 위한 디지털 정보로 변환하는 분석 과정으로, ASM(Active Shape Modeling) 기법 및 AAM(Active Appearance Modeling) 기법 중 하나가 이용될 수 있다. 여기서, ASM 기법은 얼굴의 부위 중 눈의 위치를 먼저 검출하고, 검출된 눈의 위치를 기준으로 일반적인 모델(generic model)에 따른 다른 부위(예를 들어 코, 입, 눈썹 등)의 모양(shape) 정보를 이용하여 위치를 결정하여 얼굴 부위의 특징점을 검출하는 모델이다. AAM 기법은 모양 정보뿐만 아니라, 질감 정보(texture information)를 더욱 고려하여 얼굴 특징을 효율적으로 설명할 수 있는 특징점을 검출하는 모델이다.
그리고, 제어부(140)는 식별된 안구 영상을 이용하여 안구의 움직임을 판단할 수 있다. 그리고, 제어부(140)는 안구 움직임을 이용하여 사용자가 응시하는 방향을 검출하고, 기 저장된 복수의 디스플레이 장치의 배치 정보와 사용자가 응시하는 방향을 비교함으로써, 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 사용자 얼굴을 촬영하는 촬영부(110)가 구비된 모니터(200-2)가 중앙에 위치하고, 모니터(200-2)의 좌측에는 스마트 TV(200-1)가 위치하며, 모니터(200-2)의 우측에는 태블릿 PC(200-3)가 위치한 경우, 저장부(미도시)는 스마트 TV(200-1), 모니터(200-2) 및 태블릿 PC(200-3)의 위치가 저장되어 있다. 그리고, 도 7의 (가)에 도시된 바와 같이, 기 저장된 사용자의 홍채(710)과 동공(720)의 영상 정보를 바탕으로 촬영된 사용자의 동공(720)이 중앙에 위치하는 것이라고 판단된 경우, 제어부(140)는 사용자가 중앙에 위치한 모니터(200-2)를 응시하고 있다고 판단할 수 있다. 또는, 도 7의 (나)에 도시된 바와 같이 사용자의 동공(720)의 위치가 중앙에서 좌측으로 이동되었다고 판단된 경우, 제어부(140)는 사용자가 좌측에 위치하는 스마트 TV(200-1)를 응시하고 있다고 판단할 수 있다. 또는, 도 7의 (다)에 도시된 바와 같이, 사용자의 동공(720)의 위치가 중앙에서 우측으로 이동된 것이라고 판단된 경우, 제어부(140)는 사용자가 우측에 위치하는 태블릿 PC(200-3)를 응시하고 있다고 판단할 수 있다.
한편, 도 6 및 도 7에서 설명한 실시예에서는 사용자의 얼굴 또는 안구를 촬영하는 촬영부(110)가 한 개인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수 개의 디스플레이 장치(200-1,200-2,200-3)마다 촬영부를 구비할 수 있다. 이 경우, 복수 개의 디스플레이 장치(200-1,200-2,200-3)의 촬영부에서 획득된 영상 중 정면을 응시하고 있는 영상을 획득한 촬영부를 구비하는 디스플레이 장치가 사용자가 응시하는 디스플레이장치라고 판단할 수 있다.
한편, 상술한 바와 같이 사용자의 얼굴 방향을 추적하거나, 안구 움직임을 추적하여 사용자가 응시하는 디스플레이 장치를 판단하는 것은 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자가 응시하는 디스플레이 장치를 판단할 수 있다. 예를 들어, 복수의 디스플레이 장치 각각에 IR 발광부가 구비되고, IR 수신부를 구비하는 안경을 사용자가 착용한 경우, 제어부(140)는 사용자가 바라보는 방향의 디스플레이 장치로부터 발광되는 IR 신호를 수신하여 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
제어부(140)는 사용자의 제어 대상 디스플레이 장치의 변경 명령이 입력된 경우에만 사용자가 응시하는 디스플레이 장치를 판단할 수 있다. 구체적으로, 제어부(140)는 입력부(140)에 구비된 기 설정된 키 또는 버튼이 선택된 이후 사용자가 응시하는 디스플레이 장치를 판단할 수 있다. 또는 제어부(140)는 촬영부(110)를 통해 촬영된 사용자 촬영 영상을 통해 기 설정된 모션이 입력된 이후에 사용자가 응시하는 디스플레이 장치를 판단할 수 있다. 이때, 기 설정된 모션은 사용자의 눈이 복수 회 깜빡이는 모션일 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자가 웃는 표정을 하는 모션이거나, 복수 회 얼굴을 끄덕이는 모션일 수 있다.
그리고, 제어부(140)는 사용자가 응시하는 디스플레이 장치를 제어 대상 디스플레이 장치로 결정한다. 이때, 제어 대상 디스플레이 장치는 복수의 디스플레이 장치(200-1,200-2,200-3) 중 제어 장치(100)의 입력부(100)를 통해 입력된 사용자 명령에 의해 제어되는 디스플레이 장치이다.
다만, 제어부(140)는 제1 디스플레이 장치를 이용하여 기설정된 작업을 하고 있는 경우, 사용자가 응시하는 디스플레이 장치가 제2 디스플레이 장치로 변경되더라도 기존의 제1 디스플레이 장치를 제어 대상 디스플레이 장치로 유지한다. 즉, 사용자가 문서를 작성하거나 문자 메시지를 입력하는 것과 같은 텍스트 작성 작업을 하는 경우, 사용자가 응시하는 디스플레이 장치와 사용자가 제어하고자 하는 디스플레이 장치가 서로 상이할 수 있다. 따라서, 제어부(140)는 사용자가 기 설정된 작업을 하는 경우 사용자의 응시 방향과 무관하게 기존의 제어 대상 디스플레이 장치를 계속해서 유지할 수 있다.
그리고, 입력부(120)를 통해 사용자 명령이 입력되면, 제어부(140)는 사용자 명령에 대응되는 제어 신호를 제어 대상 디스플레이 장치로 전송하도록 통신부(130)를 제어한다. 다만, 제어부(140)가 제어 대상 디스플레이 장치로 사용자 명령에 대응되는 제어 신호를 전송하는 것은 일 실시예에 불과할 뿐, 입력부(120)에서 선택된 키 정보 또는 버튼 정보를 전송할 수도 있다.
상술한 바와 같이, 사용자가 응시하는 디스플레이 장치를 제어 대상 디스플레이 장치로 결정함으로써, 사용자는 하나의 입력 장치를 이용하여 복수의 디스플레이 장치를 더욱 편리하게 제어할 수 있게 된다.
이하에서는 도 4 및 도 5를 참조하여, 디스플레이 장치 제어 방법에 대해 설명하기로 한다. 도 4는 본 발명의 일 실시예에 따른, 제어 장치(100)의 디스플레이 장치 제어 방법을 간략하게 설명하기 위한 흐름도이다.
우선, 제어 장치(100)는 사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성한다(S410).
그리고, 제어 장치(100)는 사용자 촬영 영상에 기초하여 사용자가 응시하는 디스플레이 장치를 판단한다(S420). 이때, 제어 장치(100)는 사용자 얼굴의 방향을 추적하거나, 사용자 안구의 움직임을 추적하여 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
그리고, 제어 장치(100)는 사용자가 응시한 디스플레이 장치를 제어 대상 디스플레이 장치로 결정한다(S430).
그리고, 제어 장치(100)는 제어 대상 디스플레이 장치를 제어하기 위한 사용자 명령이 입력되었는지 판단한다(S440). 이때, 제어 대상 디스플레이 장치는 복수의 디스플레이 장치(200-1,200-2,200-3) 중 제어 장치(100)의 입력부(100)를 통해 입력된 사용자 명령에 의해 제어되는 디스플레이 장치이다.
사용자 명령이 입력되면(S440-Y), 제어 장치(100)는 제어 대상 디스플레이 장치에 사용자 명령에 대응되는 제어 신호를 전송한다(S450).
도 5는 본 발명의 일 실시예에 따른, 제어 장치(100)의 디스플레이 장치 제어 방법을 자세히 설명하기 위한 도면이다.
우선, 제어 장치(100)는 사용자 촬영 영상을 생성한다(S510). 구체적으로, 제어 장치(100)는 촬영부(110)를 이용하여 사용자가 위치하는 영역을 촬영하고, 촬영된 영상을 통해 사용자 촬영 영상을 생성할 수 있다.
그리고, 제어 장치(100)는 제어 대상 디스플레이 장치의 변경 명령이 입력되었는지 여부를 판단한다(S520). 이때, 제어 대상 디스플레이 장치의 변경 명령은 입력부(120, 예를 들어, 키보드)에 구비된 기 설정된 키가 선택되는 명령이거나 촬영부(110)를 통해 입력된 사용자의 기 설정된 모션(예를 들어, 사용자의 눈이 복수회 깜빡이는 모션 또는 사용자의 눈이 기설정된 시간 이상 응시하는 모션)일 수 있다. 또 다른 실시예로, 제어 대상 디스플레이 장치의 변경 명령은 음성 명령(예를 들어, "변경"이라는 사용자 음성)일 수 있으며, 제스쳐 명령(예를 들어, 사용자의 손을 좌에서 우로 슬랩)일 수 있다.
제어 대상 디스플레이 장치의 변경 명령이 입력되면(S520-Y), 제어 장치(100)는 사용자가 응시하는 디스플레이 장치를 판단한다(S530). 구체적으로, 제어 장치(100)는 사용자 촬영 영상을 통해 사용자의 얼굴 방향을 추적하거나 사용자 안구의 움직임을 추적하여, 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단할 수 있다.
그리고, 제어 장치(100)는 기존의 제어 대상 디스플레이 장치를 통해 기설정된 작업을 수행하는지 여부를 판단한다(S540). 이때, 기설정된 작업은 문서 작성 또는 문자 메시지 작성과 같은 텍스트 작성 작업일 수 있다.
기존의 제어 대상 디스플레이 장치를 통해 기설정된 작업을 수행하는 경우(S540-Y), 제어 장치(100)는 기존의 제어 대상 디스플레이 장치를 제어 대상 디스플레이 장치로 유지한다(S545).
기존의 제어 대상 디스플레이 장치를 통해 기설정된 작업을 수행하지 않는 경우(S540-N), 제어 장치(100)는 사용자가 응시하는 디스플레이 장치를 제어 대상 디스플레이 장치로 결정한다(S550).
제어 대상 디스플레이 장치가 결정되면, 제어 장치(100)는 제어 대상 디스플레이 장치를 제어하기 위한 사용자 명령이 입력되었는지 여부를 판단한다(S560).
사용자 명령이 입력되면, 제어 장치(100)는 제어 대상 디스플레이 장치로 제어 신호를 전송한다(S570). 그리고, 제어 대상 디스플레이 장치는 제어 장치(100)로부터 전송된 제어 신호에 의해 사용자 명령에 대응되는 동작을 수행할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 제어 장치(100)는 사용자가 응시하는 디스플레이 장치를 제어함으로써, 더욱 편리하고 직관적으로 디스플레이 장치를 제어할 수 있다.
한편, 상술한 실시예에서는 사용자가 응시하는 방향에 대응되는 디스플레이 장치를 제어하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 하나의 디스플레이 장치에 복수의 창(window)이 디스플레이된 경우에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 하나의 디스플레이 화면에 워드 작업을 위한 창 및 메신저를 위한 창이 동시에 디스플레이된 경우, 사용자가 응시하는 창을 검출하고, 사용자가 키보드를 이용하여 텍스트를 입력한 경우, 제어부(140)는 사용자가 응시하는 창에 텍스트 입력을 수행할 수 있다. 즉, 사용자가 응시하는 창이 워드 작업을 위한 창인 경우, 제어부(140)는 사용자의 텍스트 입력에 따라 워드 작업 창에 텍스트 입력 명령을 수행할 수 있다.
이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 촬영부 120: 입력부
130: 통신부 140: 제어부

Claims (17)

  1. 복수의 디스플레이 장치와 연결된 제어 장치의 제어 방법에 있어서,
    사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하는 단계;
    상기 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하고, 상기 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하는 단계; 및
    사용자 명령이 입력되면, 상기 제어 대상 디스플레이 장치에 상기 사용자 명령에 대응되는 제어 신호를 전송하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 제어 장치는,
    상기 사용자 명령을 입력받는 입력부;를 포함하며,
    상기 결정하는 단계는,
    상기 입력부의 기 설정된 키가 선택된 후, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 사용자 촬영 영상에 기초하여 기설정된 모션이 입력되었는지 여부를 판단하는 단계; 및
    상기 기설정된 모션이 입력되면, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  4. 제3항에 있어서,
    상기 기설정된 모션은,
    상기 사용자의 눈이 복수 회 깜빡이는 모션인 것을 특징으로 하는 제어 방법.
  5. 제3항에 있어서,
    상기 기설정된 모션은,
    상기 사용자가 응시하는 디스플레이 장치를 기설정된 시간 이상 동안 모션인 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 제1 디스플레이 장치를 이용하여 기 설정된 작업을 수행하는 경우, 제2 디스플레이 장치를 상기 사용자가 응시하는 디스플레이 장치로 판단하더라도, 상기 제1 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 것을 특징으로 하는 제어 방법.
  7. 제6항에 있어서,
    상기 기설정된 작업은,
    텍스트 작성 작업인 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 사용자의 안구 움직임을 추적하거나 상기 사용자의 얼굴 방향을 추적하여 상기 복수의 디스플레이 장치 중 상기 사용자가 응시하는 디스플레이를 판단하는 단계:를 포함하는 제어 방법.
  9. 복수의 디스플레이 장치와 연결된 제어 장치에 있어서,
    사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하는 촬영부;
    상기 복수의 디스플레이 장치와 통신을 수행하는 통신부; 및
    상기 사용자 촬영 영상에 기초하여 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하고, 상기 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하며, 사용자 명령이 입력되면, 상기 제어 대상 디스플레이 장치에 상기 사용자 명령에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 제어 장치.
  10. 제9항에 있어서,
    상기 사용자 명령을 입력받는 입력부;를 포함하며,
    상기 제어부는,
    상기 입력부의 기 설정된 키가 선택된 후, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 것을 특징으로 하는 제어 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 사용자 촬영 영상에 기초하여 기설정된 모션이 입력되었는지 여부를 판단하고, 상기 기설정된 모션이 입력되면, 상기 사용자가 응시하는 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 것을 특징으로 하는 제어 장치.
  12. 제11항에 있어서,
    상기 기설정된 모션은,
    상기 사용자의 눈이 복수 회 깜빡이는 모션인 것을 특징으로 하는 제어 장치.
  13. 제11항에 있어서,
    상기 기설정된 모션은,
    상기 사용자가 응시하는 디스플레이 장치를 기설정된 시간 이상 동안 모션인 것을 특징으로 하는 제어 장치.
  14. 제9항에 있어서,
    상기 제어부는,
    상기 제1 디스플레이 장치를 이용하여 기 설정된 작업을 수행하는 경우, 제2 디스플레이 장치를 상기 사용자가 응시하는 디스플레이 장치로 판단하더라도, 상기 제1 디스플레이 장치를 상기 제어 대상 디스플레이 장치로 결정하는 것을 특징으로 하는 제어 장치.
  15. 제14항에 있어서,
    상기 기설정된 작업은,
    텍스트 작성 작업인 것을 특징으로 하는 제어 장치.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 사용자의 안구 움직임을 추적하거나 상기 사용자의 얼굴 방향을 추적하여 상기 복수의 디스플레이 장치 중 상기 사용자가 응시하는 디스플레이를 판단하는 것을 특징으로 하는 제어 장치.
  17. 디스플레이 장치를 제어하기 위한 디스플레이 장치 제어 시스템에 있어서,
    제어 장치로부터 전송된 제어 신호에 따라 동작하는 복수의 디스플레이 장치; 및
    사용자가 위치하는 영역을 촬영하여 사용자 촬영 영상을 생성하고, 상기 사용자 촬영 영상에 기초하여 상기 복수의 디스플레이 장치 중 사용자가 응시하는 디스플레이 장치를 판단하며, 상기 판단된 디스플레이 장치를 제어 대상 디스플레이 장치로 결정하고, 사용자 명령이 입력되면, 상기 제어 대상 디스플레이 장치에 상기 사용자 명령에 대응되는 제어 신호를 전송하는 제어 장치;를 포함하는 디스플레이 장치 제어 시스템.
KR1020120078305A 2012-07-18 2012-07-18 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템 KR20140011203A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120078305A KR20140011203A (ko) 2012-07-18 2012-07-18 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
EP13176383.1A EP2687947A1 (en) 2012-07-18 2013-07-12 Display apparatus control system and method and apparatus for controlling a plurality of displays
JP2013148222A JP2014021985A (ja) 2012-07-18 2013-07-17 複数のディスプレイ装置と接続された制御装置及びその制御方法、そしてディスプレイ装置制御システム
US13/945,111 US20140022159A1 (en) 2012-07-18 2013-07-18 Display apparatus control system and method and apparatus for controlling a plurality of displays
CN201310303299.3A CN103576854A (zh) 2012-07-18 2013-07-18 显示装置控制系统及用于控制多个显示器的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120078305A KR20140011203A (ko) 2012-07-18 2012-07-18 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템

Publications (1)

Publication Number Publication Date
KR20140011203A true KR20140011203A (ko) 2014-01-28

Family

ID=48793931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078305A KR20140011203A (ko) 2012-07-18 2012-07-18 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템

Country Status (5)

Country Link
US (1) US20140022159A1 (ko)
EP (1) EP2687947A1 (ko)
JP (1) JP2014021985A (ko)
KR (1) KR20140011203A (ko)
CN (1) CN103576854A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449300A (zh) * 2022-01-11 2022-05-06 海信集团控股股份有限公司 实时视频流的播放方法及服务器

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261293A1 (en) * 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
JP2015184813A (ja) * 2014-03-20 2015-10-22 富士通株式会社 連携機器選択装置、連携機器選択方法および連携機器選択プログラム
US9342147B2 (en) * 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP6429545B2 (ja) 2014-09-10 2018-11-28 キヤノン株式会社 制御装置、制御方法
DE102014017355A1 (de) * 2014-11-18 2016-05-19 DIPAX e. K. Dirk Pachael Verfahren und Anordnung zur intuitiven Auswahl eines Programms, Programmteils oder eines Computers, insbesondere bei Leitständen, wobei jedes Programm, Programmteil oder jeder Computer durch eine eigene Anzeige oder ein Bereich innerhalb einer Anzeige im
CN104571525B (zh) * 2015-01-26 2018-12-14 联想(北京)有限公司 数据交互方法、终端电子设备和可穿戴电子设备
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
KR101685138B1 (ko) * 2015-10-14 2016-12-09 연세대학교 산학협력단 실공간 사용자 인터페이스 장치 및 그 방법
US9569815B1 (en) 2015-11-13 2017-02-14 International Business Machines Corporation Optimizing electronic display resolution
US10223061B2 (en) 2015-12-17 2019-03-05 International Business Machines Corporation Display redistribution between a primary display and a secondary display
US10664220B2 (en) * 2016-02-29 2020-05-26 Sharp Kabushiki Kaisha Display control device, display system, and display control method
CN106125941B (zh) * 2016-08-12 2023-03-10 东南大学 多设备切换控制装置及多设备控制系统
CN106648053B (zh) * 2016-09-30 2020-01-14 北京金山安全软件有限公司 终端控制方法、装置及终端设备
CN106843501A (zh) * 2017-03-03 2017-06-13 宇龙计算机通信科技(深圳)有限公司 一种设备操作控制方法及装置
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム
WO2020076300A1 (en) * 2018-10-09 2020-04-16 Hewlett-Packard Development Company, L.P. Selecting a display with machine learning
US10897788B2 (en) * 2018-11-29 2021-01-19 Lenovo (Singapore) Pte. Ltd. Wireless connection establishment between devices
TWI763126B (zh) * 2020-11-16 2022-05-01 瑞昱半導體股份有限公司 基於注意力方向之裝置互動方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2000020196A (ja) * 1998-07-01 2000-01-21 Shimadzu Corp 視線入力装置
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5234302B2 (ja) * 2006-09-15 2013-07-10 ソニー株式会社 表示制御システムおよび方法、表示制御装置および方法、並びにプログラム
US8269663B2 (en) * 2007-03-30 2012-09-18 Pioneer Corporation Remote control system and method of controlling the remote control system
JP2009223494A (ja) * 2008-03-14 2009-10-01 Ricoh Co Ltd 情報処理装置
JP2009245376A (ja) * 2008-03-31 2009-10-22 Toshiba Corp 情報処理装置
JP2009301166A (ja) * 2008-06-11 2009-12-24 Panasonic Corp 電子機器制御装置
TW201005578A (en) * 2008-07-22 2010-02-01 Asustek Comp Inc Control apparatus and related method for a computer system
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
JP2011055382A (ja) * 2009-09-04 2011-03-17 Hitachi Consumer Electronics Co Ltd 表示装置
JP5527813B2 (ja) * 2010-04-26 2014-06-25 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9658687B2 (en) * 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449300A (zh) * 2022-01-11 2022-05-06 海信集团控股股份有限公司 实时视频流的播放方法及服务器
CN114449300B (zh) * 2022-01-11 2023-12-15 海信集团控股股份有限公司 实时视频流的播放方法及服务器

Also Published As

Publication number Publication date
JP2014021985A (ja) 2014-02-03
US20140022159A1 (en) 2014-01-23
EP2687947A1 (en) 2014-01-22
CN103576854A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
KR20140011203A (ko) 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
US9996155B2 (en) Manipulation of virtual object in augmented reality via thought
US10289198B2 (en) Technologies for remotely controlling a computing device via a wearable computing device
CN109542213B (zh) 使用注视信息与计算设备交互的系统和方法
EP3005682B1 (en) Manipulation of virtual object in augmented reality via intent
US9280652B1 (en) Secure device unlock with gaze calibration
EP2534554B1 (en) Input command
JP6450709B2 (ja) 虹彩認証装置、虹彩認証方法、及びプログラム
EP3144775B1 (en) Information processing system and information processing method
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
EP3133592B1 (en) Display apparatus and controlling method thereof for the selection of clothes
JP2014021986A (ja) コンテンツ提供方法及びそれを適用したディスプレイ装置
WO2015011703A1 (en) Method and system for touchless activation of a device
US10444831B2 (en) User-input apparatus, method and program for user-input
KR20070043469A (ko) 장애인을 위한 마우스 동작 인식 시스템
US20140152540A1 (en) Gesture-based computer control
US10824850B2 (en) Body information analysis apparatus capable of indicating shading-areas
US20190035126A1 (en) Body information analysis apparatus capable of indicating blush-areas
US8963924B2 (en) Target selection apparatus that detects target, control method therefor, and storage medium
US20160349860A1 (en) Display control method, display control program, and display control device
KR20220113633A (ko) 장애인을 위한 전자책 제어 장치 및 제어 방법
CN117930970A (en) Electronic equipment control method, device, equipment and medium
Kambale et al. Eyeball Movement Based Cursor Control

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid