KR20160039499A - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20160039499A
KR20160039499A KR1020140132664A KR20140132664A KR20160039499A KR 20160039499 A KR20160039499 A KR 20160039499A KR 1020140132664 A KR1020140132664 A KR 1020140132664A KR 20140132664 A KR20140132664 A KR 20140132664A KR 20160039499 A KR20160039499 A KR 20160039499A
Authority
KR
South Korea
Prior art keywords
user
gaze
gesture
display
screen
Prior art date
Application number
KR1020140132664A
Other languages
English (en)
Other versions
KR102337682B1 (ko
Inventor
천가원
김현진
문춘경
노재연
강성훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140132664A priority Critical patent/KR102337682B1/ko
Priority to EP20182969.4A priority patent/EP3737104A1/en
Priority to US14/872,865 priority patent/US10114463B2/en
Priority to EP15187944.2A priority patent/EP3002949A1/en
Priority to CN201510646357.1A priority patent/CN105487652B/zh
Publication of KR20160039499A publication Critical patent/KR20160039499A/ko
Application granted granted Critical
Publication of KR102337682B1 publication Critical patent/KR102337682B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

디스플레이 장치가 개시된다. 본 장치는 외부 장치로부터 사용자의 시선 정보 및 사용자 제스처 정보를 수신하는 통신 인터페이스부, 기설정된 화면을 표시하는 디스플레이부 및 수신된 시선 정보를 이용하여, 사용자의 시선이 화면을 향하는 것으로 판단되고, 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 화면에 기설정된 오브젝트가 표시되도록 디스플레이부를 제어하는 제어부를 포함한다.

Description

디스플레이 장치 및 그의 제어 방법 {Display apparatus and Method for controlling thereof}
본 발명은 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자의 직관적인 움직임에 따라 제어될 수 있는 디스플레이 장치 및 그의 제어방법에 관한 것이다.
근래의 디스플레이 장치는 종래의 방송 수신 기능뿐만 아니라 다양한 기능을 제공한다. 예를 들어, 근래의 디스플레이 장치는 웹 브라우징 기능, SNS 기능, 컨텐츠 검색 기능 등과 같은 다양한 기능을 제공하고 있다.
한편, 디스플레이 장치에 많은 기능이 제공됨에 따라 디스플레이 장치에 제공되는 조작 방법도 다양해 지고 있다. 예를 들어, 종래와 같이, 리모컨을 이용하는 디스플레이 장치를 제어하는 방법뿐만 아니라, 최근에 들어선 음성 인식 등을 이용한 제어 기술이 등장하기도 하였다.
하지만 음성 인식에 의할 경우, 그 인식 부정확성에 따른 오류가 자주 발생하였고, 사용자가 의도하지 않은 경우까지 입력으로 받아들이는 경우도 있었다. 이와 같은 오류 발생이 거의 없다는 점에서 여태까지 사용자에게 가장 편리한 입력수단은 리모컨이었다.
그러나, 디스플레이 장치를 컨트롤하는데 있어서, 전원 온/오프 또는 볼륨 조절과 같은 아주 단순한 기능이라도 리모컨을 찾아야하는 불편함이 있었다.
이에 따라, 리모컨과 같은 별도의 입력 장치 없이도 전자 장치를 제어할 수 있으면서도, 부정확성을 최소화할 수 있는 새로운 제어 방법에 대한 요구가 증대되었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 사용자의 직관적인 움직임에 따라 제어될 수 있는 디스플레이 장치 및 그의 제어방법을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 외부 장치로부터 사용자의 시선 정보 및 사용자 제스처 정보를 수신하는 통신 인터페이스부, 기설정된 화면을 표시하는 디스플레이부 및 상기 수신된 시선 정보를 이용하여, 상기 사용자의 시선이 상기 화면을 향하는 것으로 판단되고, 상기 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 상기 화면에 기설정된 오브젝트가 표시되도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
이 경우, 상기 제어부는, 상기 화면상에서의 상기 사용자 시선을 검출할 수 있다.
이 경우, 상기 제어부는, 상기 검출된 시선이 상기 오브젝트가 표시된 위치에 대응되지 않는 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 검출된 시선과 가장 근접한 오브젝트가 표시된 위치로 시선을 보정할 수 있다.
한편, 상기 제어부는, 입력된 사용자 정보에 기초하여 사용자 인식을 수행하고, 인식된 사용자에 따라 시선 검출을 수행할 수 있다.
한편, 상기 제어부는, 상기 외부 장치로부터 수신된 정보로부터 사용자의 시청 상태를 결정하고, 상기 결정된 시청 상태에 따라 시선 검출을 수행할 수 있다.
한편, 상기 제어부는, 상기 사용자 시선이 상기 표시된 오브젝트에 위치한 것으로 판단되고, 기 설정된 사용자 제스처가 인식되면, 상기 사용자 시선이 위치한 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행할 수 있다.
한편, 상기 제어부는, 상기 오브젝트가 표시되고 기 설정된 시간 이상 동안 사용자 제스처 및 상기 화면으로 향하는 사용자의 시선 중 적어도 하나가 인식되지 않으면, 상기 오브젝트의 표시를 중단하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 제어부는, 복수의 오브젝트를 표시하고, 상기 사용자 시선이 복수의 오브젝트 중 어느 하나에 향한 것으로 판단되면, 상기 사용자 시선에 대응되는 오브젝트를 가변하여 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 제어부는, 상기 사용자 시선에 대응하는 오브젝트를 가변하여 표시하고, 상기 가변된 오브젝트의 표시가 유지된 상태에서, 사용자 시선이 상기 화면에 표시된 오브젝트에 위치하지 않은 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 가변되어 표시된 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행할 수 있다.
한편, 상기 오브젝트는, 음향 조절 오브젝트, 채널 조절 오브젝트, 검색창 활성화 오브젝트, 키보드 오브젝트 및 가이드 오브젝트 중 적어도 하나일 수 있다.
한편, 상기 통신 인터페이스부는, 사용자가 착용한 웨어러블 디바이스로부터 상기 사용자 제스처 정보를 수신할 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법은, 외부 장치로부터 사용자의 시선 정보 및 사용자 제스처 정보를 수신하는 단계 및 상기 수신된 시선 정보를 이용하여, 상기 사용자의 시선이 상기 디스플레이 장치의 화면을 향하는 것으로 판단되고, 상기 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 상기 화면에 기설정된 오브젝트를 표시하는 단계를 포함한다.
이 경우, 본 실시 예에 따른 디스플레이 장치의 제어 방법은, 상기 화면상에서의 상기 사용자 시선을 검출하는 단계를 더 포함할 수 있다.
이 경우, 본 실시 예에 따른 디스플레이 장치의 제어 방법은, 상기 검출된 시선이 상기 오브젝트가 표시된 위치에 대응되지 않는 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 검출된 시선과 가장 근접한 오브젝트가 표시된 위치로 시선을 보정하는 단계를 더 포함할 수 있다.
한편, 상기 검출하는 단계는, 입력된 사용자 정보에 기초하여 사용자 인식을 수행하고, 인식된 사용자에 따라 시선 검출을 수행할 수 있다.
한편, 상기 검출하는 단계는, 상기 외부 장치로부터 수신된 정보로부터 사용자의 시청 상태를 결정하고, 상기 결정된 시청 상태에 따라 시선 검출을 수행할 수 있다.
한편, 본 실시 예에 따른 디스플레이 장치의 제어 방법은, 상기 사용자 시선이 상기 표시된 오브젝트에 위치한 것으로 판단되고, 기 설정된 사용자 제스처가 인식되면, 상기 사용자 시선이 위치한 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행하는 단계를 더 포함할 수 있다.
한편, 본 실시 예에 따른 디스플레이 장치의 제어 방법은, 상기 오브젝트가 표시되고 기 설정된 시간 이상 동안 사용자 제스처 및 상기 화면으로 향하는 사용자의 시선 중 적어도 하나가 인식되지 않으면, 상기 오브젝트의 표시를 중단하는 단계를 더 포함할 수 있다.
한편, 상기 표시하는 단계는, 복수의 오브젝트를 표시하며, 본 실시 예에 따른 디스플레이 장치의 제어 방법은, 상기 사용자 시선이 복수의 오브젝트 중 어느 하나에 향한 것으로 판단되면, 상기 사용자 시선에 대응되는 오브젝트를 가변하여 표시하는 단계를 더 포함할 수 있다.
한편, 본 실시 예에 따른 디스플레이 장치의 제어 방법은, 상기 사용자 시선에 대응하는 오브젝트를 가변하여 표시하며, 상기 가변된 오브젝트의 표시가 유지된 상태에서, 사용자 시선이 상기 화면에 표시된 오브젝트에 위치하지 않은 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 가변되어 표시된 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행하는 단계를 더 포함할 수 있다.
상술한 다양한 실시 예에 따르면, 디스플레이 장치를 제어하기 위해 리모컨과 같은 별도의 장치가 필요 없으며, 사용자의 자연스러운 행동에 기초하여 사용자와 디스플레이 장치 간의 풍부한 인터렉션이 가능하게 된다.
도 1은 본 발명의 일 실시 예에 따른 인터렉션 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블럭도,
도 3 내지 도 11 및 도 17 내지 도 27은 본 발명의 다양한 실시 예에 따른 디스플레이 장치와 사용자 간의 인터렉션을 설명하기 위한 도면,
도 12 내지 도 16은 본 발명의 다양한 실시 예에 따른, 디스플레이 장치의 제어를 위한 다양한 제스처를 설명하기 위한 도면,
도 28 내지 도 29는 본 발명의 다양한 실시 예에 따른 시선 보정을 설명하기 위한 도면, 그리고,
도 30 내지 도 32는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 인터렉션 시스템을 설명하기 위한 도면이다.
도 1을 참고하면, 인터렉션 시스템은 디스플레이 장치와 사용자 간에 인터렉션이 수행되는 환경을 지칭하는 것으로, 디스플레이 장치(100), 디스플레이 장치에 대한 외부 장치(200-1, 200-2)를 포함할 수 있다.
디스플레이 장치(100)는 영상을 표시하는 장치로서, TV(Potable TV, Movable TV, Smart TV 등), PC(Desktop PC, Notebook PC, 등), 휴대폰, 스마트폰, 디지털 카메라, 휴대용 프로젝터, 디지털 액자 등으로 구현될 수 있으며, 디스플레이부가 구비된 오디오, 에어컨 등과 같은 가전제품으로도 구현될 수 있다.
외부 장치(200-1, 200-2)는 사용자의 얼굴, 사용자의 시선 및 사용자의 제스처 등과 같은 사용자 신체에 관한 정보를 촬상 유닛, 가속도 센서, 자이로 센서, 중력 센서 등을 통해 수집할 수 있고, 사용자의 음성을 마이크를 통해 수집할 수 있다. 이들은 디스플레이 장치(100)와 유선 또는 무선으로 연결된다.
여기서 사용자의 제스처란 사용자 신체 일부의 정지 상태, 동적 상태를 모두 포함하는 의미이다.
사용자의 시선에 관련한 정보를 수집하기 위한 외부 장치(200-1)는, 도 1에 도시된 것처럼 스탠드 디바이스 형태이거나 디스플레이 장치(100)에 부착되어 디스플레이 장치(100)의 일 구성으로 동작할 수 있다. 구체적으로 사용자의 시선 정보를 수집하기 위한 외부 장치(200-1)는 촬상 유닛을 포함한다. 외부 장치(200-1)는 촬상된 사용자의 얼굴 영상을 디스플레이 장치(100)로 전송할 수 있다. 또는, 외부 장치(200-1)는 디스플레이 장치(100)의 화면을 향한 사용자의 시선을 검출하고, 검출된 결과를 디스플레이 장치(100)에 전송하도록 구현될 수도 있다.
사용자의 시선 정보를 수집하기 위하여 외부 장치로서 스마트 안경과 같은 웨어러블 디바이스가 이용될 수 있다. 스마트 안경은 사용자 동공을 촬영하기 위한 촬상부를 포함하며, 사용자 동공 영상을 디스플레이 장치(100)에 전달할 수 있다. 또는, 동공의 위치, 동공의 방향, 동공의 크기 등을 검출하고, 검출된 결과를 디스플레이 장치(100)에 전달하도록 구현될 수도 있다.
그리고, 사용자의 제스처를 수집하기 위한 외부 장치(200-2)는 도 1에 도시된 것처럼 스탠드 디바이스 형태도 가능하지만, 디스플레이 장치(100)에 부착되어 디스플레이 장치(100)의 일 구성으로 동작할 수 있다. 구체적으로 사용자의 제스처를 수집하기 위한 외부 장치(200-2)는 촬상 유닛을 포함할 수 있다. 외부 장치(200-2)는 촬상된 사용자 신체의 일부의 영상을 디스플레이 장치(100)로 전송할 수 있다. 또는 촬상된 사용자 신체의 일부 영상을 분석하여 사용자의 제스처를 인식하고, 인식 결과를 디스플레이 장치(100)에 전송하도록 구현될 수도 있다.
사용자의 제스처는 정적 제스처와 동적 제스처를 포함할 수 있고, 정적 제스처는 촬상된 영상의 단일 프레임에 기초하여, 동적 제스처는 촬상된 영상의 복수의 프레임에 기초하여 결정될 수 있다.
또는, 동적 제스처는 스마트 워치와 같은 웨어러블 디바이스에 의해 수집될 수 있고 정적 제스처는 별도의 촬상 장치에 의해 수집될 수 있다. 구체적으로, 사용자가 스마트 워치를 착용하고 움직이면, 스마트 워치는 사용자의 움직임을 가속도 센서, 중력 센서, 자이로 센서 등을 이용하여 데이터 신호로 변환하고, 변환된 데이터를 디스플레이 장치(100)에 전달할 수 있다.
그리고 외부 장치들(200-1, 200-2) 중 적어도 하나는 사용자의 음성을 수집하도록 마이크를 구비하여, 음성 정보를 디스플레이 장치(100)로 전송하거나, 사용자의 음성의 의미를 식별하고, 식별 결과를 디스플레이 장치(100)로 전송할 수도 있다.
이상과 같이 외부 장치는 다양한 형태로 구현 가능하며, 상술한 예에 제한되지 않는다. 또한, 외부 장치가 여러 대 존재하는 것으로 설명하였지만 다수의 기능을 모두 수행할 수 있는 단일 장치로 구현될 수도 있다. 또한, 상술한 외부 장치의 기능을 수행할 수 있도록 디스플레이 장치(100)가 구현될 수도 있어, 이 경우엔 별도의 외부 장치가 요구되지 않는다.
한편, 디스플레이 장치(100)는 이상과 같은 외부 장치들로부터 사용자의 시선 정보, 사용자의 제스처 정보 또는 사용자의 음성 정보를 수신하여, 사용자에 의해 의도된 동작 명령을 수행할 수 있다. 사용자와 디스플레이 장치(100) 간의 구체적인 인터렉션에 대해선 이하에서 좀 더 자세히 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 설명하기 위한 블럭도이다.
도 2를 참조하면, 디스플레이 장치(100)는 통신 인터페이스부(110), 디스플레이부(120) 및 제어부(130)를 포함한다.
통신 인터페이스부(110)는 다양한 외부 장치들과 통신을 수행하기 위한 구성이다.
구체적으로 통신 인터페이스부(110)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩, IR 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩, IR 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식, IR 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신 인터페이스부(110)는 외부 장치로부터 사용자의 얼굴 정보, 사용자의 음성 정보, 사용자의 시선 정보, 사용자의 제스처 정보를 수신할 수 있다.
디스플레이부(120)는 제어부(130)의 제어에 따라 기설정된 화면을 표시하는 구성이다. 구체적으로 디스플레이부(120)는 다양한 영상 데이터 및/또는 오브젝트를 표시할 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어하는 구성으로서, 외부 장치로부터 수신된 정보로부터 사용자가 의도한 명령을 해석하여 대응되는 동작을 수행할 수 있다. 특히 제어부(130)는 다양한 방식으로 인터렉션 모드로 진입할 수 있다.
인터렉션 모드는, 사용자의 시선과 함께, 사용자의 제스처 또는 사용자의 음성 등을 입력 수단으로 하여 디스플레이 장치(100)가 제어될 수 있는 상태를 의미한다. 인터렉션 모드에 진입하면, 디스플레이부(120)의 화면엔 디스플레이 장치(100)의 제어와 관련된 오브젝트들이 사용자 시선을 유도하기 위해 표시된다. 그리고 제어부(130)는 사용자의 시선을 검출하고, 검출된 사용자 시선이 화면에 표시된 오브젝트에 위치하는지 판단할 수 있다.
사용자 시선을 검출하기 위한 예시적인 방법으로 다음과 같은 동작이 수행될 수 있다. 먼저, 제어부(130)는 외부 장치로부터 수신된 정보에 포함된 사용자의 얼굴 영상에서 눈 영상을 검출하고, 검출된 눈 영상에서 동공의 위치를 획득하여, 화면상의 사용자의 시선을 검출할 수 있다.
인터렉션 모드 진입의 일 예로, 제어부(130)는 외부 장치로부터 수신된 시선 정보를 이용하여, 사용자의 시선이 디스플레이 장치(100)의 화면을 향하는 것으로 판단되고, 외부 장치로부터 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 화면에 기설정된 오브젝트가 표시되도록 디스플레이부(120)를 제어함으로써 인터렉션 모드로 진입할 수 있다.
즉, 사용자의 시선이 화면을 향하는 첫 번째 조건과, 사용자의 제스처가 감지되는 두 번째 조건이 모두 만족되면, 제어부(130)는 사용자가 디스플레이 장치(100)와 인터렉션 하려는 의도로 파악하여 인터렉션 모드로 진입한다. 여기서 말하는 인터렉션 모드로 진입하기 위한 사용자 제스처의 '감지'는 특정 제스처의 '인식'을 의미하는 것은 아니다. 다시 말해, 사용자의 시선이 화면을 향하는 와중에 사용자 신체 일부의 존재가 감지되기만 하면 제어부(130)는 인터렉션 모드로 진입할 수 있다. 또 다른 예로, 사용자 시선이 화면을 향하는 와중에 사용자 얼굴의 찡그려짐이 감지되거나, 입이 벌려짐이 감지되면, 제어부(130)는 인터렉션 모드로 진입할 수 있다.
이처럼 사용자 시선이 화면을 향하는 와중에 감지되는 다양한 사용자 제스처에 의해 인터렉션 모드로 진입할 수 있다.
사용자 제스처를 인식하기 위한 예시적인 방법으로 다음과 같은 동작이 수행될 수 있다. 먼저, 제어부(130)는 외부 장치로부터 수신된 제스처 정보에 포함된 영상으로부터 배경 영역을 제거하여 사용자의 신체의 영상을 획득하고, 획득된 사용자의 신체 영상에서 에지, 색상 정보를 이용하여 사용자의 얼굴, 팔, 손, 몸통, 다리 또는 발 영역을 추출하여 추출된 얼굴, 팔, 손, 몸통, 다리 또는 발 등에서 특징점을 추출하여 사용자가 취한 제스처를 인식하고 저장부(미도시)에 저장된 제스처 중 인식된 제스처와 매칭되는 제스처를 검색하고, 검색된 제스처에 대응하는 동작 명령을 식별한다.
한편, 인터렉션 진입의 또 다른 예로, 사용자의 시선이 화면을 향하면서 사용자의 음성이 감지되는 경우에도, 제어부(130)는 기 설정된 오브젝트를 디스플레이부(120)에 표시함으로써 인터렉션 모드로 진입할 수 있다. 이 경우의 사용자 음성은 미리 지정해 놓은 음성이며, 예를 들어 아무 의미 없는 "아(Ah)"와 같은 음성일 수 있다. 또는, 사용자가 손뼉치는 소리일 수도 있다.
이처럼 제어부(130)는 사용자의 시선과 함께 입력되는 영상 또는 음성과 같은 다양한 입력에 따라 인터렉션 모드에 진입할 수 있다. 이하에선 설명의 단순화를 위해, 인터렉션 모드 진입을 위해 사용자가 신체의 일부를 이용하는 실시 예에 관해서만 설명하도록 한다.
도 3 내지 도 4는 본 발명의 일 실시 예에 따른 인터렉션 모드의 진입 과정 및 인터렉션 모드에서 표시되는 다양한 오브젝트들을 설명하기 위한 도면이다.
도 3을 참고하면, 예를 들어 사용자의 시선이 화면을 향하는 도중에 사용자의 신체의 일부(예를 들어, 손가락)가 감지되면, 제어부(130)는 인터렉션 모드에 진입하여 오브젝트들(30, 32, 34)을 표시할 수 있다. 30은 볼륨 제어를 위한 오브젝트이며, 32는 채널 제어를 위한 오브젝트, 그리고 34는 검색칭 활성화를 위한 오브젝트이다. 이 경우, 오브젝트들(30, 32, 34)은 선택 가능하지 않은 상태(비활성화 상태)를 나타내도록 투명하게 표시될 수 있다.
이어서 도 4를 참고하면, 사용자의 시선이 볼륨 제어를 위한 오브젝트(30)가 표시된 영역(30-1)에 향한 것으로 판단되면, 제어부(130)는 사용자 시선에 대응하는 볼륨 제어를 위한 오브젝트(30)를 가변하여 표시하도록 디스플레이부(120)를 제어할 수 있다. 예컨대, 제어부는 선택 가능한 상태(활성화 상태)임을 나타내도록 불투명한 오브젝트(30a)로 변경하여 표시하거나, 오브젝트의 크기를 확대시키거나, 오브젝트에 테두리를 입힐 수 있다. 이 경우, 사용자의 시선이 향하지 않은 나머지 오브젝트들(32, 34)은 디스플레이부(120) 상에 더 이상 표시되지 않거나, 표시 상태를 그대로 유지하고 있을 수 있다. 즉, 사용자 시선이 위치한 오브젝트만이 가변되어 표시된다.
계속하여 도 4를 참고하면, 사용자의 시선이 볼륨 제어를 위한 오브젝트(30a)에서 볼륨 증가 오브젝트(30a-1)가 포함된 영역(30-2)을 향한 것으로 판단되면, 제어부(130)는 볼륨 증가 오브젝트(30a-1)를 가변하여(예컨대, 하이라이트하여) 디스플레이부(120) 상에 표시할 수 있다.
이러한 상태에서 기 설정된 제스처가 인식되면, 예컨대 사용자가 손가락을 이용해 두드리는 제스처(10a)가 감지되면, 볼륨 증가 오브젝트(30a-1) 및 기 설정된 제스처에 해당하는 이벤트로서, 제어부(130)는 볼륨을 증가시킨다.
만약, 오브젝트가 표시된 이후에 기 설정된 시간 이상 동안 사용자 제스처 및 화면으로 향하는 사용자의 시선 중 적어도 하나가 인식되지 않으면, 제어부(130)는 오브젝트의 표시를 중단하도록 디스플레이부(120)를 제어할 수 있다.
이상과 같이 제어부(130)는 사용자 의도가 있을 때 시선 유도를 위한 비활성화 상태의 오브젝트(가이드 오브젝트)를 표시하고, 특정 오브젝트를 향한 사용자 시선이 검출되면, 시선에 대응되는 오브젝트를 다른 오브젝트들과 다르게 표시하거나 시선에 대응되는 오브젝트만을 표시하도록 디스플레이부(120)를 제어할 수 있다.
한편, 상술한 실시 예에선 사용자 시선이 특정 오브젝트에 고정된 상태에서 기 설정된 제스처가 인식되어야지만 특정 이벤트가 수행되는 것으로 설명하였으나, 사용자가 시선을 오랫동안 한 곳에 고정하고 있기란 쉬운 일이 아니다. 이에 따라, 본 발명의 또 다른 실시 예에 따르면, 사용자의 시선이 특정 오브젝트에 위치에 있다가 다른 곳으로 옮겨 가더라도, 그 특정 오브젝트의 선택 상태가 유지될 수 있다. 본 실시 예에 대해선 이하에서 좀 더 자세히 살펴보기로 한다.
먼저 설명의 편의를 위해, 디스플레이부(120)의 화면을 구성하는 영역들을 도 5와 같이 구분하기로 한다. 구체적으로, 도 5에 도시된 바와 같이 디스플레이부(120)의 화면은 복수의 영역으로 구분될 수 있으며, 화면상의 각 영역을 지칭할 때, LU(Left Upper), LL(Left Lower) 등과 같은 축약형을 사용하겠다. 하지만 이는 설명의 편의를 위한 것일 뿐이지, 이에 의해 발명이 제한 해석되어선 안될 것이다.
본 실시 예에선, 제어부(130)는 사용자 시선에 대응하는 오브젝트를 가변하여 표시할 수 있다. 예컨대 제어부(130)는 사용자 시선에 대응하는 오브젝트를 하이라이트하여 표시하거나, 더 크게 표시할 수 있다. 그리고 가변된 오브젝트의 표시가 유지된 상태에서, 사용자 시선이 화면에 표시된 오브젝트에 위치하지 않은 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 가변되어 표시된 오브젝트 및 기설정된 사용자 제스처에 해당하는 이벤트를 수행한다. 구체적인 예를 도 6을 통해 설명하기로 한다.
도 6을 참고하면, 디스플레이부(120) 상의 LU 영역, LL 영역, CU 영역, RU 영역, RL 영역에 오브젝트들이 위치한다. 사용자의 시선이 LU에 향한 것으로 판단되면, 제어부(130)는 LU에 포함된 오브젝트(60)를 하이라이트 하여 표시하도록 디스플레이부(120)를 제어한다. 이후 사용자 시선이 화면상에 표시된 어떠한 오브젝트에도 위치하지 않은 것으로 판단되면, 다시 말해, 사용자 시선이 오브젝트(60)를 벗어나더라도 다른 오브젝트가 표시되지 않은 영역 CM 또는 CL에 위치하는 것으로 판단되면, 오브젝트(60)의 하이라이트 상태는 계속 유지된다. 이러한 상태에서 사용자 제스처(10a)가 감지되면, 제어부(130)는 오브젝트(60) 및 사용자의 제스처(10a)에 대응하는 기능을 수행한다. 이 경우, 볼륨 증가가 수행된다.
이상과 같은 실시 예에 따르면, 사용자는 특정 오브젝트에 시선을 계속적으로 집중하지 않더라도 편하게 디스플레이 장치(100)와 인터렉션할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 텍스트 입력을 위한 사용자 인터렉션을 설명하기 위한 도면이다.
도 7을 참고하면, 사용자의 시선이 CU에 향한 것으로 판단되면, 제어부(130)는 CU에 포함된 오브젝트(70)를 하이라이트 하여 표시하도록 디스플레이부(120)를 제어한다. 이후 사용자 시선이 오브젝트(70)를 벗어나더라도, C 영역에 존재하면, 오브젝트(70)의 하이라이트 상태가 계속 유지될 수 있다. 이러한 상태에서 사용자 시선이 C 영역에 위치하고, 사용자의 제스처(10a)가 감지되면, 제어부(130)는 오브젝트(70) 및 사용자의 제스처(10a)에 대응하는 기능을 수행한다. 이 경우, 도 7에 도시된 바와 같이 웹 서치 기능이 실행되면서 웹 검색 화면이 표시되고, 키보드 오브젝트(62)가 표시된다.
사용자가 시선을 이용해 텍스트를 입력하는 방식은 다음과 같다. 도 7을 참고하면, 사용자가 입력하고자 하는 자판을 응시하고 기 설정된 제스처(10a)를 취하면, 시선에 해당되는 자판이 선택된다. 도 7의 경우에선 "y"가 입력된다.
이하에선 인터렉션 모드에서의 다양한 오브젝트의 형태에 대해 살펴보도록 한다.
도 8 내지 도 10은 본 발명의 다양한 실시 예에 따른 인터렉션 모드에서의 오브젝트들 및 사용자 제스처들을 설명하기 위한 도면이다.
도 8을 참조하면, 제어부(130)는 인터렉션 모드에 진입하면 휠(wheel) 형태의 오브젝트(80, 82)를 표시하도록 디스플레이부(120)를 제어할 수 있다. 그리고 시계 방향 또는 시계 반대 방향으로 손가락을 돌리는 제스처(10b)가 감지되면, 사용자 시선에 대응하는 휠 형태의 오브젝트가 손가락 회전방향에 따라 회전한다. 예를 들어, 사용자는 원하는 지점에서 손가락 회전을 멈춤으로써 볼륨 선택 또는 채널 선택을 할 수 있다.
도 9를 참조하면, 제어부(130)는 인터렉션 모드에 진입하면 바(bar) 형태의 오브젝트(90, 92)를 표시하도록 디스플레이부(120)를 제어할 수 있다. 그리고 손가락을 위로 또는 아래로 움직이는 제스처(10c)가 감지되면, 사용자 시선에 대응하는 바 형태의 오브젝트가 손가락이 움직이는 방향에 따라 이동한다. 여기서 손가락을 위로 움직이는 제스처란, 예컨대 손가락을 위로 이동 후 유지하는 제스처이거나, 손가락을 아래에서 위로 움직이는 동작을 반복하는 제스처일 수 있다. 손가락을 아래로 움직이는 제스처는 예컨대 손가락을 아래로 이동 후 유지하는 제스처이거나, 손가락을 위에서 아래로 움직이는 동작을 반복하는 제스처일 수 있다.
도 10의 (a) 및 도 10의 (b)를 참조하면, 제어부(130)는 인터렉션 모드에 진입하면 쌓여진 벽돌 형태의 오브젝트(11, 13)를 표시하도록 디스플레이부(120)를 제어할 수 있다. 그리고 도 10의 (a)를 참조하면, 볼륨 오브젝트(11)에 대하여, 손가락으로 하나의 벽돌을 빼는 제스처, 즉 손가락을 왼쪽에서 화면 중앙으로 향하는 제스처(10d)가 감지되면, 제어부(130)는 빠진 벽돌에 해당하는 볼륨이 되도록 디스플레이 장치(100)의 볼륨을 변경할 수 있다. 그리고 도 10의 (b)를 참조하면, 채널 오브젝트(13)에 대하여, 손가락을 오른쪽에서 화면 중앙으로 향하는 제스처(10d')가 감지되면, 제어부(130)는 빠진 벽돌에 해당하는 채널로 이동되도록 디스플레이 장치(100)를 제어할 수 있다.
도 11은 사용자 제스처에 따른 특정 기능 실행의 일 예를 설명하기 위한 도면이다.
도 11을 참고하면, 제어부(130)는 사용자의 시선이 화면을 향하는 것으로 판단되고 사용자 제스처가 감지되면, 출력되는 화면에서 제어 가능한 기능들에 해당하는 오브젝트들(30, 32, 34)이 표시된다. 추가적으로, 화면 중앙(CM, CL)에 대한 인터렉션이 가능함을 알리는 가이드 오브젝트(36)가 표시될 수 있다. 그리고 사용자의 시선이 화면 중앙(CM, CL)을 향하는 것으로 판단되고, 기 설정된 제스처가 감지되면, 예컨대 도 11에 도시된 것처럼 손가락을 돌리는 제스처(10b)가 감지되면, 제어부(130)는 화면 중앙 영역 및 감지된 제스처에 해당하는 이벤트를 수행한다. 예를 들어, 도 11의 경우처럼 선호 채널 목록이 디스플레이될 수 있다. 그리고 손가락을 돌리는 제스처(10b)의 방향에 따라 채널들에 해당하는 썸네일들이 순차적으로 표시될 수 있고, 이후, 손가락으로 두드리는 제스처가 감지되면, 목록들 중 가장 위에 있는 썸네일(38)이 선택되어 해당하는 채널로 이동될 수 있다.
선호 채널 목록이 표시되는 것은 일 예에 불과하고, 사용자가 임의로 화면 중앙 영역에 자주 쓰는 기능을 설정해둘 수 있다. 즉, 인터렉션 모드에선 볼륨 제어, 채널 이동 등과 같은 미리 정해진 기능만 이용 가능한 것이 아니라, 사용자가 임의로 설정해둔 기능도 이용될 수 있다.
한편 본 발명의 다양한 실시 예에선 상술한 제스처들 이외에도 다양한 제스처가 이용될 수 있다. 제스처들은 방향성, 선택성, 조작성, 형태성, 연속성의 카테고리로 구분될 수 있으며 각 카테고리에 속하는 몇몇의 예들을 아래에서 설명하도록 한다.
방향성을 나타내는 제스처로서, 도 12에 도시된 바와 같은 다양한 제스처가 이용될 수 있다. 이러한 제스처들은 볼륨 제어 또는 채널 이동을 위해 사용될 수 있다.
선택성을 나타내는 제스처로서, 도 13에 도시된 바와 같은 다양한 제스처가 이용될 수 있다. 이러한 제스처들은 오브젝트 선택을 위해 사용될 수 있다. 도 13의 (a) 제스처는 손가락으로 두드리는 제스처이고, (b) 제스처는 주먹을 쥐었다 엄지를 드는 제스처이고, (c)는 손을 폈다 오므리는 제스처이다. 그리고 도 13엔 도시하지 않았지만, 무언가를 집어드는 제스처가 오브젝트의 선택을 위해 사용될 수 있다. 이는 도 17의 (c)에 도시되어 있다. 도 17의 (c)를 참고하면, 제어부(130)는 채널들을 대표하는 이미지들을 배열하여 표시하도록 디스플레이부(120)를 제어할 수 있고, 이 중 어느 하나의 이미지를 집어 올리는 제스처(10n)가 인식되면, 제어부(130)는 해당 채널로 이동하도록 디스플레이 장치(100)를 제어할 수 있다.
조작성을 나타내는 제스처로서, 도 14에 도시된 바와 같은 다양한 제스처가 이용될 수 있다. 도 14의 (a) 제스처는 주먹을 쥐었다 폈다 하는 제스처로서, 예컨대 휠(wheel) 오브젝트를 회전시키는데 사용될 수 있다. 도 14의 (b) 제스처는 손가락을 회전시키는 제스처로, 휠 오브젝트를 회전시키는데 사용될 수 있다. 또는 앞서 설명한 것처럼 화면의 중앙 영역에 맵핑된 기능을 실행하는데 사용될 수 있다. 도 14의 (c) 제스처는 무언가를 잡고 비트는 제스처이다. 도 14의 (c) 제스처의 활용 예는 도 17의 (a)에 도시되어 있다.
형태성을 나타내는 제스처로서, 도 15에 도시된 바와 같은 다양한 제스처가 이용될 수 있다. 특히, 형태성을 나타내는 제스처를 통해 특정 기능이 바로 실행될 수 있다. 예컨대 도 15의 (a) 제스처와 같은 제스처가 인식되면 제어부(130)는 곧바로 특정 채널로 이동되도록 디스플레이 장치(100)를 제어할 수 있다. 도 15의 (b) 제스처와 같은 제스처가 인식되면 제어부(130)는 음소거가 되도록 디스플레이 장치(100)를 제어할 수 있다. 그리고 도 15의 (c) 제스처와 같은 제스처가 인식되면 제어부(130)는 메인 메뉴를 표시하도록 디스플레이부(120)를 제어할 수 있다.
연속성을 나타내는 제스처로서, 도 16에 도시된 바와 같은 다양한 제스처가 이용될 수 있다. 연속성을 나타내는 제스처가 인식되면 제어부(130)는 연속적인 이벤트를 수행할 수 있다. 예를 들어, 도 16의 (a) 제스처와 같이 무엇을 잡고 돌린 후, 그 상태를 유지하는 제스처가 입식되면, 제어부(130)는 사용자 시선이 위치한 오브젝트에 해당된 이벤트를 연속적으로 수행할 수 있다. 예컨대 볼륨 조절 이벤트라면, 제어부(130)는 볼륨을 한 단계씩 계속적으로 증가시킬 수 있다. 도 17의 (b) 제스처는 무언가를 검지 손가락과 엄지 손가락을 이용해 집은 뒤 아래로 끌어내리거나, 위로 끌어올리는 제스처이다. 예컨대 사용자가 볼륨 제어를 위한 오브젝트를 바라보면서 (b) 제스처처럼 집게 손을 만들고 아래로 끌어내린 뒤 그 상태를 유지하면, 제어부(130) 볼륨이 계속적으로 한 단계씩 내려가도록 디스플레이 장치(100)를 제어할 수 있다.
도 17 내지 도 18은 상술한 제스처들의 활용 예를 보여주는 도면이다. 도 17의 (a)를 참고하면, 제어부(130)는 인터렉션 모드에서 손잡이 오브젝트(44)를 표시하도록 디스플레이부(120)를 제어할 수 있고, 손을 집게 모양으로 하여 돌리는 제스처가 인식되면(10e), 손잡이 오브젝트(44)에 맵핑된 볼륨 제어가 수행될 수 있다. 도 17의 (b)를 참고하면, 사용자 시선이 볼륨 제어 오브젝트(94)를 향하는 것으로 판단되고 손바닥을 아래로 향하여 아래 위로 움직이는 제스처(10e)가 인식되면, 움직이는 방향에 따라 볼륨 제어가 수행될 수 있다. 도 17의 (c)를 참고하면, 제어부(130)는 인터렉션 모드에서 채널을 대표하는 이미지들을 나열하여 표시하도록 하고, 사용자 제스처에 따라 이미지들을 순차적으로 표시하도록 디스플레이부(120)를 제어할 수 있다. 여기서 집어 올리는 제스처(10n)가 인식되면, 제어부(130)는 사용자 시선이 검출된 곳에 위치한 이미지에 해당되는 채널로 이동하도록 디스플레이 장치(100)를 제어할 수 있다.
도 18의 (a)를 참조하면, 제어부(130)는 인터렉션 모드에서 레버 오브젝트(84)를 표시하도록 디스플레이부(120)를 제어할 수 있고, 레버를 잡고 당기는 제스처(10f)가 인식되면, 당기는 방향에 따라 레버 오브젝트(84)에 맵핑된 볼륨 제어가 수행될 수 있다. 구체적으로, 레버를 한 번씩 당기면 볼륨이 하나씩 증가하고, 한번 당긴 후 제스처를 유지하면 볼륨이 순차적으로 증가된다. 도 18의 (b)를 참고하면, 제어부(130)는 사용자 시선이 볼륨 제어 오브젝트(30)에 향한 것으로 판단되고, 손목을 꺽어 손을 위로 올리는 제스처(10g)가 인식되면, 그 제스처가 유지되는 동안에 볼륨을 순차적으로 증가시킨다. 도 18의 (c)를 참고하면, 제어부(130)는 사용자 시선이 볼륨 제어를 위한 오브젝트(30)에 향한 것으로 판단되고, 손목을 꺽어 아래로 내리는 제스처(10h)가 인식되면, 그 제스처가 유지되는 동안에 볼륨을 순차적으로 감소시킨다.
한편, 오브젝트들이 표시되는 위치는 사용자가 임의로 지정할 수도 있다. 이에 대해선 도 19 내지 도 20을 통해 설명하도록 한다.
도 19를 참조하면, 사용자의 시선이 위치한 곳에 오브젝트를 배치될 수 있다. 구체적으로, 제어부(130)는 사용자 시선이 화면을 향한 것으로 판단되고 사용자 제스처가 인식되면, 화면상의 사용자 시선을 검출하고, 검출된 시선의 위치에 오브젝트를 표시하도록 디스플레이부(120)를 제어한다. 이후, 사용자가 오브젝트를 바라보면서 기 설정된 제스처를 취하면, 이를 인식하여 제어부(130)는 오브젝트와 사용자가 취한 제스처에 해당하는 이벤트를 실행한다.
한편, 사용자 시선이 위치하는 곳에 표시될 수 있는 오브젝트의 형태는 다양하다. 도 21을 참고하면, 제어부(130)는 사용자의 시선이 검출된 곳에 손 모양의 가이드 오브젝트(50)를 표시하고, 각 손가락에 실행될 수 있는 기능을 지시하는 텍스트가 표시되도록 디스플레이부(120)를 제어한다. 이후, 예를 들어, 검지 손가락을 구부리는 사용자 제스처가 인식되면, 제어부(130)는 스포츠를 방영하는 채널 중 어느 하나의 채널로 이동되도록 디스플레이 장치(100)를 제어하거나, 스포츠를 방송하는 모든 채널들을 포함한 목록을 표시하도록 디스플레이 장치(100)를 제어할 수 있다. 즉, 스포츠 모드가 실행될 수 있다.
한편, 사용자 시선을 이용하는 대신 화면의 특정 방향을 가리키는 사용자 제스처를 통해서도 오브젝트의 표시 위치가 결정될 수 있다. 도 21을 참조하면, 제어부(130)는 사용자 시선이 화면을 향한 것으로 판단되고, 화면의 특정 방향을 가리키는 제스처가 감지되면, 해당 방향에 오브젝트를 표시하도록 디스플레이부(120)를 제어할 수 있다.
도 19 내지 도 21에서 설명한 실시 예에 따르면, 화면의 특정 영역을 가리지 않기를 바라는 사용자의 의도가 만족될 수 있다.
한편, 도 21과 같이 별개의 기능을 수행하는 오브젝트들이 인접하여 배치된 경우에 있어선, 사용자의 시선의 정확도가 떨어질 수 있다. 이러한 경우를 대비하여, 본 발명의 일 실시 예에 따르면 도 22에 도시된 바와 같이, 사용자가 오브젝트들을 바라보면서, 왼쪽(①)에서 오른쪽으로(②), 아래(②)에서 위로(③) 연결되는 제스처를 취하면, 볼륨이 증가될 수 있다. 본 실시 예에 따르면, 손가락 끝으로 마치 점들을 따라서 궤적을 그리는 듯한 제스처로 기능이 실행될 수 있으며, 익숙해지고 나면 앞서 설명한 제스처들보다 사용자는 보다 빠르게 기능을 실행할 수도 있다.
한편, 사용자는 손으로 허공에 숫자 혹은 알파벳 등과 같은 문자를 드로잉하는 제스처를 취하여 원하는 기능을 실행시킬 수도 있다. 구체적인 예시는 도 23을 참조해 설명하도록 한다.
도 23을 참조하면, 사용자의 시선이 화면을 바라보는 것으로 판단되고, 사용자의 제스처가 인식되면 제어부(130)는 디스플레이 장치(100)의 제어와 관련된 오브젝트를 표시한다. 예를 들어 제어부(130)는 볼륨 제어를 위한 오브젝트(30), 채널 제어를 위한 오브젝트(32)를 표시할 수 있으며, 추가적으로 드로잉 영역(33)를 표시할 수 있다. 사용자의 시선이 볼륨 제어를 위한 오브젝트(30)를 향한 것으로 판단되면, 제어부(130)는 볼륨 제어를 위한 오브젝트(30)와 볼륨 제어와 관련된 드로잉 영역(33')을 확대하여 표시할 수 있다. 이 상태에서 예컨대 숫자 '7'을 그리는 제스처(10j)가 인식되면, 제어부(130)는 인식된 제스처의 궤적을 드로잉 영역(33')에 표시하도록 디스플레이부(120)를 제어하며, '7'에 해당하는 볼륨을 가지도록 디스플레이 장치(100)를 제어할 수 있다.
또 다른 실시 예를 설명하기 위하여 도 24를 참조하면, 사용자 시선이 화면 하단 영역을 향하는 것으로 판단되고 사용자 제스처가 감지되면, 채널 목록이 화면 하단 영역에 표시될 수 있다. 이 상태에서 오른쪽에서 왼쪽으로, 혹은 왼쪽에서 오른쪽으로 향하는 제스처(10d)가 인식되면, 제어부(130)는 채널 목록을 제스처 방향에 따라 순차적으로 포커싱하여 표시하도록 디스플레이부(120)를 제어한다. 이후 두드리는 제스처(10a)가 감지되면, 제어부(130)는 두드리는 시점에 포커싱된 채널로 채널을 변경하도록 디스플레이 장치(100)를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 화면을 향하는 사용자의 시선이 더이상 감지되지 않는 것으로 판단되고, 이 상태에서 기 설정된 시간 이내에 특정 제스처가 감지되면, 제어부(130)는 특정 제스처에 대응되는 이벤트를 수행할 수 있다. 예를 들어, 도 25를 참고하면, 사용자의 시선이 감지되던 중(a), 사용자의 시선이 더이상 감지되지 않는 것으로 판단되고 기 설정된 시간 이내에 손바닥이 화면을 향하는 제스처(10k)가 인식되고 나서(b) 주먹 제스처(10m)가 인식되면, 제어부(130)는 디스플레이 장치(100)가 무음으로 동작하도록 제어할 수 있다(c). 이후 사용자의 시선이 화면을 향하는 것으로 다시 인식되고 손바닥이 화면을 향하는 제스처(10k)가 인식되면, 제어부(130)는 다시 무음 상태를 해제하도록 디스플레이 장치(100)를 제어할 수 있다. 본 실시 예에 따르면, 예컨대 TV 시청중 전화가 왔을 경우, 사용자는 보다 직관적으로, 보다 신속하게 TV를 무음 상태로 전환시킬 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면 사용자는 신속하고 편리하게 컨텐츠에 대한 상세 정보를 제공받을 수 있다. 도 26을 참조하면, 제어부(130)는 사용자 시선이 화면을 바라보고 있는 것으로 판단되면 화면상의 사용자 시선을 검출하고, 제스처가 감지되면 검출된 사용자 시선에 해당하는 오브젝트에 하이라이트(테두리)(24)를 표시하도록 디스플레이부(120)를 제어할 수 있다(a). 이 상태에서 기 설정된 시간이 지나면 해당 오브젝트의 상세 정보(26)가 자동으로 표시되도록 하며(b), 사용자 제스처가 더 이상 감지되지 않으면 상세 정보(26)의 표시를 중단하도록 디스플레이부(120)를 제어할 수 있다(c). 한편, 상세 정보(26)가 자동으로 표시된 상태에서 선택하는 제스처, 예를 들어 손가락으로 두드리는 제스처가 인식되면, 제어부(130)는 상세 정보가 화면 전체에 채워지도록 확대하여 표시한다. 상세 정보가 화면 전체에 표시된 상태에선 사용자 제스처가 감지되지 않더라도, 제어부(130)는 상세 정보의 표시가 유지되도록 디스플레이부(120)를 제어한다.
본 발명의 또 다른 실시 예에 따르면, 많은 정보가 한 화면에서 제공되고 있는 경우, 사용자가 필요한 정보를 신속하고 빠르게 접근할 수 있다. 도 27을 참고하면, 수많은 컨텐츠의 썸네일이 한 화면에 표시되고 있는 상태에서, 사용자 시선이 화면을 향하는 것으로 판단되고 사용자 제스처가 감지되면(a), 제어부(130)는 사용자 시선을 검출하여, 검출된 위치를 중심으로 그 주변 영역을 줌-인한다(b). 화면의 특정 영역이 줌-인된 상태에서 사용자 시선이 화면 가장자리에 위치한 것으로 판단되면, 제어부(130)는 시선이 위치한 가장자리 바깥의 영역이 표시되도록 화면을 이동한다(c). 사용자 시선과 제스처 둘 중 어느 하나라도 인식되지 않으면, 제어부(130)는 다시 원래의 화면, 즉 수많은 컨텐츠의 썸네일이 한꺼번에 표시되는 화면으로 돌아가도록 디스플레이부(120)를 제어한다.
한편, 이상과 같은 다양한 실시 예들에선 오브젝트의 선택을 위해 사용자 시선을 이용하므로, 정확한 시선 검출이 중요하다. 시선 검출의 정확도를 높이기 위해 검출된 시선에 대한 보정이 수행될 수 있으며, 본 발명의 일 실시 예에 따르면 이러한 시선 보정은 번거로운 과정을 거치지 않고도 이루어질 수 있다. 본 실시 예에 대해선 아래에서 좀 더 구체적으로 살펴보도록 한다.
제어부(130)는 외부 장치로부터 수신된 시선 정보에 기초하여 화면상의 사용자 시선을 검출할 수 있다. 하지만 검출된 시선이 항상 정확한 것은 아니기에, 제어부(130)는 시선 보정을 추가로 수행할 수 있다.
구체적으로 제어부(130)는, 검출된 시선이 오브젝트가 표시된 위치에 대응되지 않는 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 검출된 시선과 가장 근접한 오브젝트가 표시된 위치로 시선을 보정할 수 있다. 다시 말해, 오브젝트를 선택하려는 사용자 제스처가 있다는 것은, 사용자가 그 오브젝트를 바라보고 있다는 의미이므로, 따라서, 그 오브젝트의 위치로 사용자 시선이 보정될 수 있는 것이다. 도 28은 본 실시 예에 따른 시선 보정을 좀 더 자세히 설명하기 위한 도면이다.
도 28을 참고하면, 제어부(130)는 오브젝트의 선택을 위한 제스처(10a)가 감지되었을 때, 검출된 시선(①)이 화면상에 표시된 어떠한 오브젝트에도 위치하지 않은 경우, 검출된 시선(①)에 가장 근접하여 표시된 오브젝트(28b)로 시선을 보정한다. ②는 보정된 시선을 나타낸다. 이와 같은 보정 과정이 수행되고 나면, 추후에 사용자의 시선이 다시 ① 위치에서 검출되더라도, 제어부(130)는 실제 사용자 시선이 ②에 위치한 것으로 판단할 수 있다.
한편, 이상과 같은 시선 보정을 수행함에 있어선, 시선 유도가 중요하다. 이를 위하여, 본 발명의 일 실시 예에 따르면, 제어부(130)는 시선 보정 전에 검출된 시선을 이용하여, 검출된 시선과 가장 가까운 최적의 오브젝트들만 표시하도록 디스플레이부(120)를 제어할 수 있다. 이를 도 29를 통해 좀 더 자세히 설명하도록 한다.
도 29를 참조하면, 제어부(130)는 외부 장치로부터 수신된 정보에 기초하여 사용자 시선이 화면을 향한 것으로 판단되고 사용자 제스처가 인식되면, 사용자 시선을 검출한다(a). 그리고 화면상에 볼륨 제어 오브젝트들(52) 및 채널 제어 오브젝트(54)가 표시될 수 있는 경우일 때, 제어부(130)는 볼륨 제어 오브젝트들(52) 및 채널 제어 오브젝트(54)와 검출된 시선과의 거리를 고려하여(b), 제어부(130)는 검출된 시선과 가장 가까이 있는 볼륨 제어 오브젝트(52)만을 표시하도록 디스플레이부(120)를 제어한다(c). 이후 사용자는 볼륨 제어를 위해 시선을 볼륨 제어를 위한 오브젝트(52) 쪽으로 이동시킬 수 있고(d), 이 상태에서 오브젝트를 선택하기 위한 사용자 제스처가 입력되면, 제어부(130)는 볼륨 제어를 위한 오브젝트(52)에서 선택 가능한 오브젝트들(28a, 28b) 중 검출된 사용자 시선과 가장 근접한 오브젝트(28b)로 시선을 보정한다.
이상과 같은 시선 보정 메커니즘에 따르면, 시선 보정을 위한 번거로운 과정(종래엔, 복수의 점들을 포함한 화면이 표시된 상태에서 사용자가 점들 각각에 시선을 맞춰야 했음)이 생략될 수 있고, 사용자가 디스플레이 장치(100)를 조작하는 과정에서 자연스럽게 시선 보정이 이루어질 수 있다.
한편, 사용자마다 눈의 위치, 눈에서의 동공의 위치 등이 다르기 때문에 개별 사용자에게 적합한 시선 보정이 필요하다. 또한, 같은 사용자라도 시청 형태(사용자의 자세, 사용자와 디스플레이 장치와의 거리 등)에 따라 다른 시선 보정을 적용해야 할 것이다. 이러한 점에서 본 발명의 일 실시 예에 따르면 제어부(130)는 사용자를 인식할 수 있으며, 사용자의 상태를 결정할 수 있고, 인식된 사용자 및/또는 결정된 사용자 상태에 따라 시선 검출을 수행할 수 있다.
구체적으로, 제어부(130)는 입력된 사용자 정보에 기초하여 사용자 인식을 수행할 수 있고, 인식된 사용자에 따라 시선 검출을 수행할 수 있다. 여기서 사용자 정보란 사용자 아이디 또는 비밀번호일 수 있고, 바람직하게는 사용자를 촬영한 영상일 수 있다. 제어부(130)는 외부 장치로부터 수신된 사용자를 촬영한 영상으로부터 배경 영역을 제거하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상에서 에지, 색상 정보를 이용하여 얼굴 영역을 추출하며, 이 얼굴 영역에서 눈, 코, 입 등의 특징점을 추출함으로써 얼굴을 인식하고, 인식된 얼굴과 미리 등록된 얼굴 영상을 비교하여 인식된 얼굴이 미리 등록된 사용자의 얼굴인지 판단할 수 있다. 이 경우, 인식 속도 향상을 위한 방안으로, 비교시, 가장 최근에 인식된 사용자의 얼굴 정보부터 현재 사용자의 얼굴 정보와 비교한다.
이와 같이 인식된 사용자에 해당되는 보정을 적용하여 시선 보정이 수행될 수 있다. 예컨대 디스플레이 장치(100)의 저장부(미도시)엔 사용자별로 시선 보정의 수행 결과(예를 들어, A 사용자의 보정 계수, B 사용자의 보정계수 등)가 저장되어 있을 수 있다. 즉, 도 28 내지 도 29에서 설명된 것과 같은 디스플레이 장치의 조작 과정에서 수행된 시선 보정의 결과가 사용자별로 저장부에 저장되어 있을 수 있다.
도 28을 다시 참고하여 설명하자면, A 사용자가 도 28에서 설명한 것과 같은 인터렉션을 과거에 수행하여 시선 보정이 수행된 적이 있는 경우, 추후에 A 사용자가 다시 인식되고 A 사용자의 시선이 ① 위치에서 검출되면, 제어부(130)는 저장되어 있던 A 사용자의 보정 수행 결과를 검출된 시선에 적용하여 시선을 ② 위치로 보정할 수 있다.
또 다른 실시 예에 따르면, 제어부(130)는 외부 장치로부터 수신된 정보로부터 사용자의 시청 상태를 결정하고, 결정된 시청 상태에 따라 시선 검출을 수행할 수 있다. 외부 장치로부터 수신되는 정보는 사용자 시청 상태를 구분하는데 필요한 정보를 포함한다. 예컨대, 사용자의 신체 일부를 촬상한 영상을 포함할 수 있다.
시청 상태를 결정하는 예시적인 방법으로, 제어부(130)는 외부 장치로부터 수신된 정보를 분석하여 사용자 눈의 위치를 구분할 수 있다. 예를 들어, 제어부(130)는 사용자를 촬상한 영상으로부터 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상에서 에지, 색상 정보를 이용하여 얼굴 영역을 추출하며, 이 얼굴 영역에서 눈, 코, 입 등의 특징점을 추출할 수 있다. 제어부(130)는 촬상된 영상에서 눈에 해당하는 특징점이 어느 곳에 위치하는지 식별하고, 사용자를 촬상한 외부 장치와 디스플레이 장치(100) 간의 위치 관계를 고려하여, 사용자의 눈이 디스플레이 장치(100)와의 관계에서 어느 곳에 위치하는지 결정할 수 있다.
그리고 추가적으로, 제어부(130)는 외부 장치로부터 수신된 정보를 분석하여 사용자의 눈의 기울기를 구분할 수 있다. 예를 들어, 제어부(130)는 상술한 바와 같이 얼굴 영상에서의 두 눈의 특징점의 위치를 검출하고, 두 눈을 잇는 직선의 기울기를 계산할 수 있다.
그리고 더 추가적으로 제어부(130)는 사용자와 디스플레이 장치(100)와의 거리를 구분할 수 있다. 예를 들어, 제어부(130)는 사용자의 얼굴 영상에서의 눈, 코, 입 중 적어도 하나의 크기를 계산하고, 원근 관계를 고려하여 사용자의 얼굴이 사용자를 촬상한 외부 장치와 얼마나 떨어져 있는지 계산할 수 있다. 그리고 외부 장치와 디스플레이 장치(120) 간의 거리를 외부 장치와 사용자 얼굴 간의 거리와 더한 값을 이용하거나, 또는 단순하게 외부 장치와 사용자 얼굴 간의 거리 값만을 이용하여 사용자와 디스플레이 장치(100) 간의 거리를 결정할 수 있다.
제어부(130)는 사용자 눈의 위치, 눈의 기울기 및 디스플레이 장치와 사용자의 거리 중 적어도 하나 또는 이 중 적어도 두 가지 이상의 정보의 조합으로 사용자의 시청 상태를 결정할 수 있다. 그리고 결정된 시청 상태에 따라 시선 검출을 수행할 수 있다.
예를 들어, 제어부(130)는 제1 시청 상태, 제2 시청 상태, 제3 시청 상태마다 다르게 설정된 보정 계수를 저장부에 저장해두고, 제1 시청 상태가 감지되면 제1 시청 상태에 해당되는 보정 계수를 적용하여 사용자 시선을 검출할 수 있다.
또는, 예컨대 제1 시청 상태가 결정되고 나서 도 28 내지 도 29에서 설명한 바와 같은 보정이 수행되면, 제어부(130)는 수행된 보정 결과를 제1 시청 상태에 매칭시켜 저장부에 저장해둘 수 있다. 그리고 이후에 제1 시청 상태가 다시 감지되면, 제어부(130)는 제1 시청 상태와 매칭되어 저장된 보정 수행 결과를 이용하여, 사용자 시선을 보정하여 사용자 시선을 검출할 수 있다.
한편, 이상에선 인식된 사용자 또는 결정된 사용자 시청 상태에 따라 제어부(130)가 시선 검출을 수행하는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 제어부(130)는 인식된 사용자와 결정된 사용자 시청 상태의 조합으로 시선 검출을 수행할 수 있다. 따라서 시선 검출의 정확도를 한층 더 높일 수 있다.
상술한 다양한 실시 예에 따르면, 제스처와 시선의 조합(또는 음성과 시선의 조합 등)으로 인터렉션 모드에 진입할 수 있으므로, 제스처나 시선을 단독으로 사용하는 것보다 사용자 의도가 더 정확하게 파악할 수 있게 된다. 또한, 인터렉션 수행 중에 자연스럽게 시선 보정이 수행되므로, 시선 보정을 위해 별도로 수행되어야 했던 종래의 번거로운 과정이 생략될 수 있다.
이하에서는 도 30을 참조하여 디스플레이 장치(100)의 디스플레이 방법에 대해 설명하도록 한다.
우선 디스플레이 장치(100)는 외부 장치로부터 사용자의 시선 정보 및 사용자 제스처 정보를 수신한다(S310). 이때 외부 장치는 사용자 시선 정보 및 사용자 제스처 정보 등을 수집하기 위해 사용자와 비교적 가깝게 배치되어 있는 장치일 수 있다. 특정 경우에 있어선 외부 장치는 디스플레이 장치(100)의 내부 구성으로도 구현 가능하다. 외부 장치는 시선 정보 및 제스처 정보뿐만 아니라, 사용자의 음성 정보도 수집할 수 있다. 그리고 수집된 정보를 디스플레이 장치(100)로 전송한다.
이때 전송되는 정보는 가공되지 않거나, 가공된 정보일 수 있다. 가공되지 않은 정보란 예컨대 사용자의 신체 일부를 촬상한 영상 그 자체를 의미하고, 가공된 정보란 사용자의 신체 일부를 촬상한 영상에 포함된 사용자 제츠처를 식별한 정보이다. 가공되지 않은 정보가 디스플레이 장치(100)로 전송되는 경우엔 상술한 다양한 실시 예에서와 같이 디스플레이 장치(100)의 제어부에서 정보가 가공될 수 있다.
그리고, 디스플레이 장치(100)는 외부 장치로부터 수신된 시선 정보를 이용하여, 사용자의 시선이 상기 화면을 향하는 것으로 판단되고, 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 화면에 기설정된 오브젝트를 디스플레이 한다(S320). 즉, 사용자의 시선과 함께 사용자의 제스처가 인식되는 경우에 기 설정된 오브젝트가 디스플레이될 수 있다. 제스처 말고도 사용자 음성이 대신 이용될 수도 있다.
여기서 오브젝트는 사용자 선택이 불가능한 비활성화 상태로 디스플레이될 수 있고, 사용자 시선이 오브젝트에 위치한 것으로 판단되고나면, 활성화 상태로 디스플레이 될 수 있다. 활성화되었음을 나타내기 위해, 오브젝트의 크기가 커지거나, 하이라이트, 테두리가 오브젝트에 표시될 수 있다. 다시 말해, 사용자 시선이 위치하는 오브젝트는 사용자 시선이 위치하지 않은 나머지 오브젝트와 구별될 수 있도록 가변될 수 있다.
도 31은 본 발명의 일 실시 예에 따른 디스플레이 장치의 전반적인 동작을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 전반적인 동작은 <1. 인식>, ,<2-1 네비게이션>, <2-2. 실행>, <3. 해제>와 같은 동작들로 구분될 수 있다. 도 31을 참고하면, 먼저, 사용자의 시선과 함께 사용자의 신체의 일부가 감지되면 디스플레이 장치(100)는 인터렉션 모드에 진입한 것으로 인식한다(S3110). 이 경우, 현재 디스플레이부(100) 상에 표시되는 화면과 관련된 정보, 혹은 현재 상태에서 실행 가능한 기능에 대한 정보가 텍스트, 이미지, 영상, 음향 등 다양한 형태로 사용자에게 제공될 수 있다. 예컨대, 선택가능한 메뉴 혹은 아이콘 등과 같은 오브젝트들이 디스플레이 장치(100) 상에 표시될 수 있다.
이후, 디스플레이 장치(100)에 표시된 메뉴 혹은 아이콘 등과 같은 오브젝트 상에 시선의 이동이 감지되면, 그 시선의 이동에 따라 네비게이션 동작이 수행된다(S3120a). 이 경우, 시선이 위치한 곳을 알려주기 위한 시각적 효과가 제공될 수 있다. 예컨대, 시선이 위치한 아이콘의 형태가 시선이 위치하지 않은 아이콘의 형태와 상이하게 변화(예컨대, 하이라이트)될 수 있다.
사용자의 시선이 디스플레이 장치(100)에 표시된 특정 오브젝트에 상에 위치한 상태에서, 기 설정된 제스처가 감지되면, 그 특정 오브젝트 및 기 설정된 제스처에 대응하는 기능이 실행된다(S3120b). 이러한 동작은 상술한 실시 예들에서 구체적으로 설명한바 있으므로 중복되는 범위 내에서 반복 설명은 생략하기로 한다.
한편, 이와 같은 사용자와 디스플레이 장치(100) 간의 인터렉션은 사용자의 시선과 사용자의 신체의 일부가 감지된 경우에 한해서만 이루어질 수 있다. 즉, 둘 중 어느 하나라도 감지가 되지 않는다면, 인터렉션 모드는 해제된다(S3130).
도 32는 본 발명의 일 실시 예에 따른 디스플레이 장치의 전반적인 동작을 좀 더 구체적으로 설명하기 위한 흐름도이다.
도 32를 참고하면, 디스플레이 장치(100)가 비-인터렉션 모드(Non-interaction mode)인 상태에 있다(S3201). 비-인터렉션 모드에서, 디스플레이 장치(100)는 시선과 함께 제스처, 즉 사용자의 신체의 일부가 감지되었는지 판단한다(S3201). 감지된 것으로 판단되지 않으면, 비-인터렉션 모드를 유지하며, 감지된 것으로 판단되면, 이후, 기 설정된 제스처가 인식되는지 판단한다(S3205). 여기서 기 설정된 제스처란 디스플레이 장치(100)가 인터렉션 모드로 진입하도록 발화하는 제스처로서, 특정한 손의 형태, 특정한 음성, 특정한 소리 등 다양한 형태를 의미한다.
기 설정된 제스처가 인식된 것으로 판단되면, 디스플레이 장치(100)는 인터렉션 모드로 진입한다(S3207). 즉, 사용자와 인터렉션을 위한 UI 화면이 디스플레이 장치(100)의 디스플레이부 상에 표시된다. UI 화면엔 선택가능한 오브젝트들이 포함되고, 오브젝트들은 디스플레이 장치(100)의 기능 실행과 연관된다.
인터렉션 모드에서 시선이 인식되었는지 판단되고(S3209), 제스처가 감지된 것으로 판단되고(S3211), 시선 움직임이 발생된 것으로 판단되면(S3213), 디스플레이 장치(100)는 시선이 위치한 곳에 오브젝트가 존재하는지 판단한다(S3215). 시선이 위치한 곳에 오브젝트가 존재하면, 디스플레이 장치(100)는 시선에 대응되는 오브젝트를 활성화한다(S3217). 여기서 오브젝트를 활성화한다는 것은, 시선에 대응되는 오브젝트를 시선에 대응되지 않은 오브젝트와 차별되게 표시하는 것을 의미한다. 이후, 기 설정된 제스처가 인식된 것으로 판단되면(S3219), 제스처 및 오브젝트에 대응하는 기능이 실행된다(S3221). 기능 실행 이후엔 디스플레이 장치(100)는 다시 비-인터렉션 모드로 진입할 수 있다.
한편, 디스플레이 장치(100)는 이상과 같은 일련의 단계들에서, 검출된 사용자 시선을 보정할 수 있다. 이러한 동작들에 대해서는 상술한 다양한 실시 예들에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
상술한 다양한 실시 예에 따른 디스플레이 장치의 디스플레이 방법에 의해 사용자는 시선과 제스처가 함께 인식된 경우에만 디스플레이 장치(100) 제어를 위한 오브젝트를 제공받을 수 있다. 따라서 사용자가 의도치 않은 경우에 화면을 가리는 오브젝트의 표시를 방지할 수 있다. 또한 사용자와 디스플레이 장치 간의 인터렉션 중에 자연스럽게 시선 보정이 수행되므로, 시선 보정을 위해 별도로 수행되어야 했던 종래의 번거로운 과정이 생략될 수 있다.
한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 200-1, 200-2: 외부 장치
110: 통신 인터페이스부 120: 디스플레이부
130: 제어부

Claims (20)

  1. 디스플레이 장치에 있어서,
    외부 장치로부터 사용자의 시선 정보 및 사용자 제스처 정보를 수신하는 통신 인터페이스부;
    기설정된 화면을 표시하는 디스플레이부; 및
    상기 수신된 시선 정보를 이용하여, 상기 사용자의 시선이 상기 화면을 향하는 것으로 판단되고, 상기 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 상기 화면에 기설정된 오브젝트가 표시되도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 화면상에서의 상기 사용자 시선을 검출하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 검출된 시선이 상기 오브젝트가 표시된 위치에 대응되지 않는 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 검출된 시선과 가장 근접한 오브젝트가 표시된 위치로 시선을 보정하는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 제어부는,
    입력된 사용자 정보에 기초하여 사용자 인식을 수행하고, 인식된 사용자에 따라 시선 검출을 수행하는 것을 특징으로 하는 디스플레이 장치.
  5. 제2항에 있어서,
    상기 제어부는,
    상기 외부 장치로부터 수신된 정보로부터 사용자의 시청 상태를 결정하고, 상기 결정된 시청 상태에 따라 시선 검출을 수행하는 것을 특징으로 하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 사용자 시선이 상기 표시된 오브젝트에 위치한 것으로 판단되고, 기 설정된 사용자 제스처가 인식되면, 상기 사용자 시선이 위치한 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행하는 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 오브젝트가 표시되고 기 설정된 시간 이상 동안 사용자 제스처 및 상기 화면으로 향하는 사용자의 시선 중 적어도 하나가 인식되지 않으면, 상기 오브젝트의 표시를 중단하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    복수의 오브젝트를 표시하고,
    상기 사용자 시선이 복수의 오브젝트 중 어느 하나에 향한 것으로 판단되면, 상기 사용자 시선에 대응되는 오브젝트를 가변하여 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 사용자 시선에 대응하는 오브젝트를 가변하여 표시하고,
    상기 가변된 오브젝트의 표시가 유지된 상태에서, 사용자 시선이 상기 화면에 표시된 오브젝트에 위치하지 않은 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 가변되어 표시된 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행하는 것을 특징으로 하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 오브젝트는,
    음향 조절 오브젝트, 채널 조절 오브젝트, 검색창 활성화 오브젝트, 키보드 오브젝트 및 가이드 오브젝트 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
  11. 제1항에 있어서,
    상기 통신 인터페이스부는,
    사용자가 착용한 웨어러블 디바이스로부터 상기 사용자 제스처 정보를 수신하는 것을 특징으로 하는 디스플레이 장치.
  12. 디스플레이 장치의 제어방법에 있어서,
    외부 장치로부터 사용자의 시선 정보 및 사용자 제스처 정보를 수신하는 단계; 및
    상기 수신된 시선 정보를 이용하여, 상기 사용자의 시선이 상기 디스플레이 장치의 화면을 향하는 것으로 판단되고, 상기 수신된 제스처 정보에 대응되는 사용자 제스처가 감지되면, 상기 화면에 기설정된 오브젝트를 표시하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 화면상에서의 상기 사용자 시선을 검출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  14. 제13항에 있어서,
    상기 검출된 시선이 상기 오브젝트가 표시된 위치에 대응되지 않는 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 검출된 시선과 가장 근접한 오브젝트가 표시된 위치로 시선을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  15. 제13항에 있어서,
    상기 검출하는 단계는,
    입력된 사용자 정보에 기초하여 사용자 인식을 수행하고, 인식된 사용자에 따라 시선 검출을 수행하는 것을 특징으로 하는 제어 방법.
  16. 제13항에 있어서,
    상기 검출하는 단계는,
    상기 외부 장치로부터 수신된 정보로부터 사용자의 시청 상태를 결정하고, 상기 결정된 시청 상태에 따라 시선 검출을 수행하는 것을 특징으로 하는 제어 방법.
  17. 제12항에 있어서,
    상기 사용자 시선이 상기 표시된 오브젝트에 위치한 것으로 판단되고, 기 설정된 사용자 제스처가 인식되면, 상기 사용자 시선이 위치한 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  18. 제12항에 있어서,
    상기 오브젝트가 표시되고 기 설정된 시간 이상 동안 사용자 제스처 및 상기 화면으로 향하는 사용자의 시선 중 적어도 하나가 인식되지 않으면, 상기 오브젝트의 표시를 중단하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  19. 제12항에 있어서,
    상기 표시하는 단계는,
    복수의 오브젝트를 표시하며,
    상기 사용자 시선이 복수의 오브젝트 중 어느 하나에 향한 것으로 판단되면, 상기 사용자 시선에 대응되는 오브젝트를 가변하여 표시하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  20. 제12항에 있어서,
    상기 사용자 시선에 대응하는 오브젝트를 가변하여 표시하며, 상기 가변된 오브젝트의 표시가 유지된 상태에서, 사용자 시선이 상기 화면에 표시된 오브젝트에 위치하지 않은 것으로 판단되고 기 설정된 사용자 제스처가 인식되면, 상기 가변되어 표시된 오브젝트 및 상기 기설정된 사용자 제스처에 해당하는 이벤트를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.


KR1020140132664A 2014-10-01 2014-10-01 디스플레이 장치 및 그의 제어 방법 KR102337682B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140132664A KR102337682B1 (ko) 2014-10-01 2014-10-01 디스플레이 장치 및 그의 제어 방법
EP20182969.4A EP3737104A1 (en) 2014-10-01 2015-10-01 Display apparatus and method for controlling the same
US14/872,865 US10114463B2 (en) 2014-10-01 2015-10-01 Display apparatus and method for controlling the same according to an eye gaze and a gesture of a user
EP15187944.2A EP3002949A1 (en) 2014-10-01 2015-10-01 Display apparatus and method for controlling the same
CN201510646357.1A CN105487652B (zh) 2014-10-01 2015-10-08 显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140132664A KR102337682B1 (ko) 2014-10-01 2014-10-01 디스플레이 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20160039499A true KR20160039499A (ko) 2016-04-11
KR102337682B1 KR102337682B1 (ko) 2021-12-09

Family

ID=54293055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140132664A KR102337682B1 (ko) 2014-10-01 2014-10-01 디스플레이 장치 및 그의 제어 방법

Country Status (4)

Country Link
US (1) US10114463B2 (ko)
EP (2) EP3002949A1 (ko)
KR (1) KR102337682B1 (ko)
CN (1) CN105487652B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117560A1 (ko) * 2016-12-19 2018-06-28 삼성전자 주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
WO2020101048A1 (ko) * 2018-11-12 2020-05-22 엘지전자 주식회사 전자 제어 장치 및 그것을 포함하는 차량

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594740B2 (en) 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
US10152495B2 (en) 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
DE202015006142U1 (de) * 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
JP6549693B2 (ja) * 2015-02-25 2019-07-24 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US10565287B2 (en) * 2016-06-17 2020-02-18 International Business Machines Corporation Web content layout engine instance sharing across mobile devices
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
EP3361352B1 (en) * 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle
US11237691B2 (en) 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
US11093100B2 (en) * 2018-03-08 2021-08-17 Microsoft Technology Licensing, Llc Virtual reality device with varying interactive modes for document viewing and editing
US20210165484A1 (en) * 2018-08-24 2021-06-03 Sony Corporation Information processing device, information processing method, and program
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN111176594B (zh) * 2019-09-23 2023-02-28 广东小天才科技有限公司 一种智能音箱的屏幕显示方法及智能音箱、存储介质
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
JP7387493B2 (ja) * 2020-03-06 2023-11-28 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) * 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US20220308660A1 (en) * 2021-03-25 2022-09-29 International Business Machines Corporation Augmented reality based controls for intelligent virtual assistants
EP4327185A1 (en) * 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
JP2022171056A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム
US11789530B2 (en) * 2021-11-17 2023-10-17 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications
WO2023113204A1 (ko) * 2021-12-13 2023-06-22 삼성전자 주식회사 기능 자동 실행 과정에서 가변형 ui와 사용자 반응을 활용한 기능 실행 및 취소 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110108647A (ko) * 2010-03-29 2011-10-06 에스케이텔레콤 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
JP2012221498A (ja) * 2011-04-08 2012-11-12 Sony Computer Entertainment Inc ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
US20130169560A1 (en) * 2012-01-04 2013-07-04 Tobii Technology Ab System for gaze interaction

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP3541765B2 (ja) 1999-12-21 2004-07-14 日本電気株式会社 テレビ電話装置
JP2002269544A (ja) 2001-03-09 2002-09-20 Sensor:Kk 目の動きと口の形状認識を利用した文字入力装置
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US8896531B2 (en) 2008-04-24 2014-11-25 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
JP5541487B2 (ja) 2009-11-27 2014-07-09 ソニー株式会社 表示制御装置、及び、表示制御システム
KR20120051212A (ko) 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
JP5653206B2 (ja) 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
DE102011009162A1 (de) 2011-01-22 2012-07-26 Markus Rehm Gesteuerte Großsignal Kapazität und Induktivität
KR20130052749A (ko) * 2011-04-15 2013-05-23 엘지전자 주식회사 터치 기반 사용자 인터페이스 장치 및 방법
EP2842014A4 (en) * 2012-04-27 2015-12-02 Hewlett Packard Development Co USER-SECURE AUDIO INPUT
EP2877909B1 (en) 2012-07-27 2018-12-26 Nokia Technologies Oy Multimodal interaction with near-to-eye display
KR102095765B1 (ko) 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR101984590B1 (ko) 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
ES2731560T3 (es) * 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US20160089980A1 (en) * 2013-05-23 2016-03-31 Pioneer Corproation Display control apparatus
US9990034B2 (en) * 2013-11-15 2018-06-05 Lg Electronics Inc. Transparent display device and control method therefor
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110108647A (ko) * 2010-03-29 2011-10-06 에스케이텔레콤 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
JP2012221498A (ja) * 2011-04-08 2012-11-12 Sony Computer Entertainment Inc ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
US20130169560A1 (en) * 2012-01-04 2013-07-04 Tobii Technology Ab System for gaze interaction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117560A1 (ko) * 2016-12-19 2018-06-28 삼성전자 주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
US10962785B2 (en) 2016-12-19 2021-03-30 Samsung Electronics Co., Ltd. Electronic device, mobile electronic device, and display device, which are controlled on basis of user gaze and input
WO2020101048A1 (ko) * 2018-11-12 2020-05-22 엘지전자 주식회사 전자 제어 장치 및 그것을 포함하는 차량

Also Published As

Publication number Publication date
KR102337682B1 (ko) 2021-12-09
CN105487652A (zh) 2016-04-13
EP3737104A1 (en) 2020-11-11
EP3002949A1 (en) 2016-04-06
CN105487652B (zh) 2019-09-17
US10114463B2 (en) 2018-10-30
US20160098093A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
KR102337682B1 (ko) 디스플레이 장치 및 그의 제어 방법
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
US9710085B2 (en) Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US9367202B2 (en) Information processing method and electronic device
US20170134790A1 (en) Display apparatus and control method thereof
EP1980937B1 (en) Object search method and terminal having object search function
EP3117622B1 (en) Display apparatus and controlling method thereof
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
WO2018133593A1 (zh) 智能终端的控制方法和装置
US20140362002A1 (en) Display control device, display control method, and computer program product
EP2595045A2 (en) Display apparatus and control method thereof
US9374547B2 (en) Input apparatus, display apparatus, and control methods thereof
US20130293460A1 (en) Computer vision based control of an icon on a display
TW201035815A (en) Gesture-based remote control system
US8779894B2 (en) Method for setting remote controller and remote controller applying the same
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
WO2017165023A1 (en) Under-wrist mounted gesturing
WO2014106849A1 (en) Method for motion path identification
KR20150101703A (ko) 디스플레이 장치 및 제스처 입력 처리 방법
CN109240590A (zh) 用于虚拟键盘的输入控制方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant