KR20130094023A - 디스플레이장치 및 그 시선추적방법 - Google Patents

디스플레이장치 및 그 시선추적방법 Download PDF

Info

Publication number
KR20130094023A
KR20130094023A KR1020120015335A KR20120015335A KR20130094023A KR 20130094023 A KR20130094023 A KR 20130094023A KR 1020120015335 A KR1020120015335 A KR 1020120015335A KR 20120015335 A KR20120015335 A KR 20120015335A KR 20130094023 A KR20130094023 A KR 20130094023A
Authority
KR
South Korea
Prior art keywords
user
image
tracking
unit
tracking unit
Prior art date
Application number
KR1020120015335A
Other languages
English (en)
Other versions
KR101922589B1 (ko
Inventor
이동진
최성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120015335A priority Critical patent/KR101922589B1/ko
Priority to US13/768,528 priority patent/US9218056B2/en
Priority to EP20130155395 priority patent/EP2629179A1/en
Publication of KR20130094023A publication Critical patent/KR20130094023A/ko
Application granted granted Critical
Publication of KR101922589B1 publication Critical patent/KR101922589B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 디스플레이장치 및 그 시선추적방법에 관한 것이다. 본 발명에 따른 디스플레이장치는 소정 영상을 표시하는 디스플레이부와; 상기 디스플레이부에 대하여 사용자의 위치정보를 출력하는 제1추적부와; 상기 제1추적부에서 출력한 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 제2추적부를 포함한다. 이에 의해 원거리에 위치한 사용자의 시선추적을 실시간으로 수행할 수 있는 디스플레이장치 및 그 시선추적방법이 제공된다.

Description

디스플레이장치 및 그 시선추적방법{DISPLAY APPARATUS AND EYE TRACKING METHOD THEREOF}
본 발명은 디스플레이장치 및 그 시선추적방법에 관한 것으로서, 보다 상세하게는 두 개의 추적부를 이용하여 사용자의 시선을 추적할 수 있는 디스플레이장치 및 그 시선추적방법에 대한 것이다.
시선 추적(eye tracking) 기술은 사용자가 어느 위치를 응시하고 있는지를 파악하는 기술이다. 일반적으로 시선 추적 기술은 단일 카메라를 이용하여 사용자의 안구를 추적하는데, 이러한 단일 카메라의 경우 상기 단일 카메라와 사용자와의 거리가 90cm 미만의 근거리에서 효과적으로 사용자의 시선추적이 가능하므로, 상기 카메라와 사용자와의 거리가 90cm를 초과하는 경우에는 정확한 사용자의 시선추적이 불가능한 문제점이 있다.
또한 상기 문제점을 해결하기 위한 방편으로 원거리에서도 사용자의 시선추적이 원활한 고해상도 카메라를 이용하는 방안도 있으나, 이는 고해상도 이미지를 처리하여 사용자의 시선을 추적해야 하므로 그 만큼 이미지 처리 시간이 많이 소요되고, 이로 인하여 실시간으로 사용자의 시선추적이 어려운 문제점이 있다.
따라서, 본 발명의 목적은 원거리에 위치한 사용자의 시선추적을 실시간으로 수행할 수 있는 디스플레이장치 및 그 시선추적방법을 제공하는 것이다.
상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 소정 영상을 표시하는 디스플레이부와; 상기 디스플레이부에 대하여 사용자의 위치정보를 출력하는 제1추적부와; 상기 제1추적부에서 출력한 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 제2추적부를 포함하는 디스플레이장치에 의하여 달성될 수 있다.
상기 제1추적부는, 상기 디스플레이부에 대하여 사용자의 거리를 감지하여 사용자의 위치정보를 출력하는 센서를 포함할 수 있다.
상기 센서는, 상기 사용자의 헤드 위치정보를 출력할 수 있다.
상기 제1추적부는, 상기 사용자의 제1이미지를 촬상하는 제1카메라와; 상기 제1이미지로부터 사용자의 헤드 위치정보를 출력하는 위치 추적부를 포함할 수 있다.
상기 제2추적부는, 상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 제2카메라와; 상기 제2이미지로부터 사용자의 시선을 추적하는 시선 추적부를 포함할 수 있다.
상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지를 포함할 수 있다.
또한 상기 목적은 본 발명에 따라, 디스플레이장치에 있어서, 소정 영상을 표시하는 디스플레이부와; 상기 디스플레이부에 대하여 사용자의 제1이미지를 촬상하는 제1카메라를 포함하는 주변장치와 통신하는 통신부와; 사용자의 시선을 추적하는 추적부와; 상기 주변장치로부터 수신되는 제1이미지에 기초하여 사용자의 위치정보를 산출하고, 상기 사용자의 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하도록 상기 제2추적부를 제어하는 제어부를 포함하는 디스플레이장치에 의하여 달성될 수 있다.
상기 사용자의 위치정보는, 상기 제1이미지내의 사용자의 헤드 위치정보를 포함할 수 있다.
상기 추적부는, 상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 제2카메라와; 상기 제2이미지로부터 사용자의 시선을 추적하는 시선 추적부를 포함할 수 있다.
상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지를 포함할 수 있다.
또한 상기 목적은, 본 발명에 따라, 디스플레이장치의 시선추적방법에 있어서, 소정 영상을 표시하는 단계와; 상기 표시되는 영상에 대하여 사용자의 위치정보를 출력하는 단계와; 상기 출력한 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 단계를 포함하는 디스플레이장치의 시선추적방법에 의하여 달성될 수 있다.
상기 위치정보 출력단계는, 상기 디스플레이부에 대하여 사용자의 거리를 감지하여 사용자의 위치정보를 출력하는 단계를 포함할 수 있다.
상기 사용자의 위치정보는, 사용자의 헤드 위치정보를 포함할 수 있다.
상기 위치정보 출력단계는, 상기 사용자의 제1이미지를 촬상하는 단계와; 상기 제1이미지로부터 사용자의 헤드위치 정보를 출력하는 단계를 포함할 수 있다.
상기 시선추적 단계는, 상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 단계와; 상기 제2이미지로부터 사용자의 시선을 추적하는 단계를 포함할 수 있다.
상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지를 포함할 수 있다.
또한 상기 목적은 본 발명에 따라, 디스플레이장치의 시선추적방법에 있어서, 소정 영상을 표시하는 단계와; 주변장치로부터 상기 표시되는 영상에 대하여 사용자의 제1이미지를 수신하는 단계와; 상기 수신된 제1이미지에 기초하여 사용자의 위치정보를 산출하는 단계와; 상기 산출된 사용자의 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 단계를 포함하는 디스플레이장치의 시선추적방법에 의하여 달성될 수 있다.
상기 사용자의 위치정보는, 상기 제1이미지내의 사용자의 헤드 위치정보를 포함할 수 있다.
상기 시선추적 단계는, 상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 단계와; 상기 제2이미지로부터 사용자의 시선을 추적하는 단계를 포함할 수 있다.
상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지를 포함할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 원거리에 위치한 사용자의 시선추적을 실시간으로 수행할 수 있는 디스플레이장치 및 그 시선추적방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치의 제어블록도이고;
도 2는 도 1의 디스플레이장치의 개략도이고;
도 3은 본 발명의 다른 일 실시예에 따른 디스플레이장치의 제어블록도이고;
도 4는 도 3의 디스플레이장치의 개략도이고;
도 5는 본 발명의 또 다른 일 실시예에 따른 디스플레이장치의 제어블록도이고;
도 6은 도 5의 디스플레이장치의 개략도이고;
도 7은 도 1의 디스플레이장치의 제어 흐름도이고;
도 8은 도 5의 디스플레이장치의 제어 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치의 제어 블록도이다.
도 1을 참조하면, 디스플레이장치(100)는 제1수신부(110), 제1신호처리부(120), 제1디스플레이부(130), 제1추적부(140), 제2추적부(150) 및 이들을 제어하는 제1제어부(160)를 포함한다.
디스플레이장치(100)는 방송국으로부터 송출되어 수신되는 방송신호/방송정보/방송데이터에 기초한 방송 영상을 표시하는 TV로 구현될 수 있다. 그러나, 본 발명의 사상이 디스플레이장치(100)의 구현 예시에 한정되지 않는 바, 디스플레이장치(100)는 TV 이외에도 영상을 표시할 수 있는 다양한 종류의 구현 예시가 적용될 수 있다. 또한 디스플레이장치(100)는 표시 가능한 영상의 종류가 방송 영상에 한정되지 않는 바, 외부의 다양한 영상소스로부터 수신되는 신호/데이터에 기초하여 동영상, 정지영상, 어플리케이션, OSD(On-screen display), 다양한 동작 제어를 위한 GUI(Graphic User Interface) 등의 영상을 표시할 수 있다.
본 발명의 일 실시예에 따르면, 디스플레이장치(100)는 스마트 TV로 구현될 수 있다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우저 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐츠 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 TV이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐츠, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
제1수신부(110)는 외부의 영상소스(미도시)로부터 수신되는 영상신호를 제1신호처리부(120)로 전달하며, 제1수신부(110)는 방송국의 송출장치(미도시)로부터 송출되는 방송신호를 수신할 수 있다. 예를 들어, 수신부(310)는 상기 방송신호를 수신하기 위하여 안테나(미도시) 및/또는 튜너(미도시)를 포함할 수 있다. 또한 제1수신부(110)는 외부의 영상소스(미도시)로부터 영상신호를 수신할 수 있다. 제1수신부(110)는 상기 수신되는 영상신호의 규격이나 영상소스(미도시) 및 디스플레이장치(100)의 구현방식에 대응하여 다양한 방식을 가진다. 예를 들어, 제1수신부(110)는 는 HDMI(High Definition Multimedia Interface), USB, 컴포넌트(component) 등의 규격에 따른 신호/데이터를 수신할 수 있으며, 이들 각각의 규격에 대응하는 복수의 접속단자(미도시)를 포함할 수 있다.
제1신호처리부(120)는 제1수신부(110)로부터 수신되는 영상신호를 처리하여 제1디스플레이부(130)로 출력한다. 제1신호처리부(120)는 예를 들어, 각 특성별 신호로 분배하는 디멀티플렉싱(de-multiplexing), 영상신호의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상신호를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함하는 다양한 영상처리 프로세스 중 적어도 어느 하나를 수행할 수 있다.
제1신호처리부(120)는 상기 기재한 영상처리 이외에 음성신호를 처리할 수 있는 음성신호처리부(미도시)를 더 포함할 수 있으며, 이에 따라 디스플레이장치(100)는 상기 음성신호처리부(미도시)에 의하여 처리된 음성신호에 대응하는 음성을 출력할 수 있는 스피커(미도시)를 더 포함할 수 있다.
제1디스플레이부(130)는 제1신호처리부(120)로부터 출력되는 영상신호에 대응하는 영상을 표시할 수 있다. 제1디스플레이부(130)는 디스플레이 패널(미도시) 및 상기 디스플레이 패널을 구동시키는 패널 구동부(미도시)를 포함할 수 있다. 상기 디스플레이 패널은, 예를 들어, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
제1추적부(140)는 상기 제1디스플레이부(130)에 대한 사용자의 위치정보를 감지하여 출력한다. 제1추적부(140)는 제1디스플레이부(130)와 제1디스플레이부(130) 앞에 위치한 사용자와의 거리를 감지하여 사용자의 위치정보를 감지하여 출력할 수 있다. 이를 위하여, 제1추적부(140)는 거리 감지 센서로 구현될 수 있으며, 예를 들어 초음파 센서, PIR(Passive Infra Red) 센서 등으로 구현될 수 있다. 바람직하게는, 상기 제1추적부(140)는 제1디스플레이부(130) 앞에 위치한 사용자의 헤드 위치정보를 감지하는데, 상기 사용자의 헤드 위치정보는 제1디스플레이부(130)에 대한 상대적인 위치좌표를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 제1추적부(140)는 디스플레이장치(100)의 내부에 마련될 수 있으며, 복수 개의 센서로 구현될 수 있다.
제1추적부(140)는 상기 사용자의 위치정보 또는 사용자의 헤드 위치정보를 제2추적부(150)로 출력한다.
제2추적부(150)는 제1추적부(140)로부터 수신한 사용자의 위치정보에 기초하여 제1디스플레이부(130)에서 표시되는 영상 상에서 사용자의 시선을 추적한다.
제2추적부(150)는 제1추적부(140)로부터 수신한 사용자의 위치정보(사용자의 헤드 위치정보)에 기초하여 사용자의 이미지를 촬상하는 제1카메라(151)와; 상기 사용자 이미지로부터 사용자의 시선을 추적하는 제1시선 추적부(153)를 포함한다.
제1추적부(140)가 제1디스플레이부(130)로부터 사용자의 상대적인 위치정보, 예를 들어 사용자의 상대적인 헤드 위치정보(위치 좌표)를 제2추적부(150)로 출력하면, 제1카메라(151)는 상기 사용자의 위치정보, 예를 들어 사용자의 헤드 위치정보를 바탕으로 사용자의 헤드 부위 또는 사용자의 눈 부위에 포커스를 맞추어 사용자 이미지를 촬상할 수 있다. 제1카메라(151)는 줌인, 줌아웃 기능이 가능한 카메라로서, 아이 트랙킹용 카메라를 포함할 수 있다. 제1카메라(151)는 상기 사용자의 헤드 위치정보를 바탕으로 사용자의 정지 영상 또는 동영상을 촬상하여 이를 제1시선추적부(153)로 출력한다.
제1시선추적부(153)는 제1카메라(151)가 촬상한 사용자의 이미지를 분석하여 동공의 움직임 및/또는 시선방향을 검출하는 이미지 프로세싱을 통하여 제1디스플레이부(130)에서 표시되고 있는 영상 상에 대하여 사용자의 시선이 어디에 머무르는지를 추적할 수 있다. 이를 위하여 제1시선추적부(153)는 일반적으로 알려진, 비디오 분석을 통한 사용자의 시선 추적에 필요한 이미지 프로세싱 알고리즘 등을 포함할 수 있다.
제1추적부(140)는 주기적으로 사용자의 위치를 감지하여, 사용자의 위치가 변화된 경우 변화된 사용자의 위치정보를 제2추적부(150)로 출력하고, 제2추적부(150)는 상기 변화된 사용자의 위치정보에 기인하여 사용자의 시선을 추적할 수 있다.
제1제어부(160)는 디스플레이장치(100)의 각 구성요소의 동작을 총괄적으로 제어한다. 사용자로부터 시선추적을 요청하는 사용자 선택이 입력되면, 제1추적부(140)를 제어하여 사용자의 위치정보를 감지하여 제2추적부(150)로 출력하도록 한다.
도시되지는 않았으나, 디스플레이장치(100)는 사용자 선택을 입력할 수 있는 사용자입력부(미도시)를 더 포함할 수 있다. 따라서, 상기 사용자입력부(미도시)를 통하여 사용자는 시선추적을 요청하는 사용자 선택을 입력할 수 있다. 상기 사용자입력부(미도시)는 사용자의 조작 및 입력에 의해, 기 설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 제1제어부(160)에 전달할 수 있다. 사용자입력부(미도시)는 디스플레이장치(100) 외측에 설치된 메뉴 키(menu-key) 및 입력 패널(panel)이나, 디스플레이장치(100)와 분리 이격된 리모트 컨트롤러(remote controller) 등으로 구현된다. 또는, 사용자입력부(미도시)는 제1디스플레이부(130)와 일체형으로 구현될 수 있다. 즉, 제1디스플레이부(130)가 터치스크린(touch-screen)인 경우, 사용자는 제1디스플레이부(130)에 표시된 입력메뉴(미도시)를 통해 기 설정된 커맨드를 제1제어부(160)에 전달할 수도 있다.
제1제어부(160)는 제2추적부(150)의 제1카메라(151)를 제어하여 상기 사용자의 위치정보를 바탕으로 사용자 눈 부위 또는 사용자 헤드 부위에 포커스를 두고 사용자의 이미지를 촬상하도록 한다. 이렇게 사용자 눈 부위 또는 사용자 헤드 부위가 확대되어 촬상된 사용자 이미지는 비디오 분석을 통하여 사용자의 시선을 추적하는데 용이하게 된다. 제1시선추적부(153)를 제어하여 제1디스플레이부(130)에서 표시되는 영상 상에서 사용자의 시선을 추적하도록 한다.
도 2는 도 1의 디스플레이장치(100)의 개략도를 도시하고 있는 바, 도 2를 참조하면, 디스플레이장치(100)에 제1추적부(140)로서 두 개의 센서 및 제2추적부(150)의 제1카메라(151)가 도시되고 있다. 제1카메라(151) 및 제1추적부(140)는 디스플레이장치(100)의 프레임(또는 베젤)에 내장 또는 외장될 수 있다. 상기 프레임(또는 베젤)에 내장되는 경우, 상기 프레임(또는 베젤)의 일부를 제거하여 그 위치에 상기 제1카메라(151) 및 제1추적부(140)를 마련할 수 있다. 또는 제1카메라(151) 및 제1추적부(140)는 별도의 장치로 마련되어 디스플레이장치(100) 프레임(또는 베젤)의 외부에 장착될 수도 있다. 또한 제1카메라(151)는 디스플레이장치(100)의 프레임 상단의 중앙에 위치하고, 제1추적부(140)는 제1카메라(151)를 중심으로 디스플레이장치(100) 프레임 상단의 양 말단에 위치할 수 있다. 따라서, 제1카메라(151) 및 제1추적부(140)는 도 2의 도면의 실시예에 한정되지 않고, 디스플레이장치(100)의 다양한 디자인에 대응하여 마련될 수 있다.
시선추적을 요청하는 사용자의 입력이 수신되면, 제1제어부(160)의 제어 하에서 제1추적부(140)는 사용자의 위치를 감지한다. 즉, 제1추적부(140)는 디스플레이장치(100) 앞에 사용자가 어느 위치에 있는지를 감지한다. 제1추적부(140)는 상기 언급한 바와 같이 거리 감지 센서 등으로 구현될 수 있으므로, 디스플레이장치(100)로부터 사용자가 어느 거리만큼 떨어져 위치해 있는지를 감지할 수 있다. 제1추적부(140)의 감지 범위는 도 2의 A와 같다. 사용자의 위치를 감지한 후, 그것을 바탕으로 사용자의 헤드 위치정보를 산출할 수 있다. 제1추적부(140)는 상기 산출된 헤드 위치정보를 제2추적부(150)로 출력한다. 제2추적부(150)는 상기 사용자의 헤드 위치정보에 기초하여 줌인 하여 사용자의 헤드 부위 또는 사용자의 눈 부위에 포커스를 맞추어 사용자 이미지를 촬상할 수 있다. 즉, 제2추적부(150)의 감지 범위는 도 2의 B와 같다. 이는 제1추적부(140)로부터 사용자의 헤드 위치정보를 입력받기에 가능하다.
제1추적부(140)는 디스플레이장치(100)와 사용자와의 거리가 90cm 이상이 되는 원거리에서도 사용자의 위치를 감지할 수 있고, 제2추적부(150)는 제1추적부(140)로부터 입력받은 사용자의 헤드 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 또는 눈 부위를 포커스로 하여 확대된 이미지를 촬상할 수 있게 된다. 이렇게 확대된 이미지는 이미지 분석을 통한 사용자의 시선을 추적을 좀더 빨리 수행할 수 있어 사용자의 시선추적의 실시간성을 반영할 수 있다. 따라서, 본 실시예에 따르면 디스플레이장치(100)로부터 원거리에 위치한 사용자의 시선도 실시간으로 추적할 수 있는 이점을 갖는다.
도 3은 본 발명의 다른 일 실시예에 따른 디스플레이장치의 제어 블록도이다.
도 3을 참조하면, 디스플레이장치(200)는 제2수신부(210), 제2신호처리부(220), 제2디스플레이부(230), 제3추적부(240), 제4추적부(250), 및 이들을 제어하는 제2제어부(260)를 포함한다. 도 1의 디스플레이장치(100)와 비교하면, 제3추적부(240)를 제외하고는 모두 동일 또는 유사한 기능을 수행하므로, 여기에서 동일한 설명은 생략하기로 한다. 본 실시예의 디스플레이장치(200) 역시 사용자 선택을 입력할 수 있는 사용자입력부(미도시)를 더 포함할 수 있으며, 이는 도 1에서 설명한 바와 같다.
제3추적부(240)는 제2카메라(241) 및 위치추적부(243)를 포함한다. 제1추적부(140)가 사용자의 위치를 감지할 수 있는 센서로 구현되었다면, 제3추적부(240)는 사용자의 이미지를 촬상하는 카메라로 구현되는 점이 상이할 뿐, 그 목적 및 효과는 유사하다.
사용자로부터 시선추적을 요청하는 사용자 선택이 입력되면, 제2카메라(241) 는 제2제어부(260)의 제어 하에서, 제2디스플레이부(230)로부터 사용자의 위치정보를 출력하기 위하여, 줌아웃으로 사용자의 제1이미지를 촬상한다. 상기 제1이미지는 사용자의 전신 또는 상반신을 포함하는 줌아웃 이미지를 포함한다. 제2카메라(241)는 줌인, 줌아웃 기능이 가능한 카메라로서, 사용자의 정지 영상 또는 동영상을 촬상할 수 있다.
위치추적부(240)는 상기 제2카메라(241)로부터 수신되는 사용자의 제1이미지를 수신하여 이미지 분석을 통하여 사용자의 상대적인 위치정보를 산출한다. 이때 위치추적부(240)는 상기 이미지 분석을 통하여 사용자의 헤드 위치정보를 산출하여 이를 제4추적부(250)로 출력한다.
제4추적부(250)는 상기 제2추적부(150)와 유사한 기능을 수행하는 바, 제3카메라(251) 및 제2시선추적부(253)를 포함한다. 제3카메라(251) 는 제3추적부(240)로부터 수신되는 사용자의 위치정보(또는 사용자의 헤드 위치정보)를 바탕으로 사용자의 헤드 부위 또는 사용자의 눈 부위에 포커스를 맞추어 사용자의 제2이미지를 촬상할 수 있다. 즉, 사용자의 제2이미지는 사용자의 제1이미지의 일부 영역을 확대한 이미지를 포함할 수 있다. 제3카메라(251) 는 줌인, 줌아웃 기능이 가능한 카메라로서, 아이 트랙킹용 카메라를 포함할 수 있다. 제3카메라(251) 는 상기 사용자의 헤드 위치정보를 바탕으로 사용자의 정지 영상 또는 동영상을 촬상하여 이를 제2시선추적부(253)로 출력한다.
제2시선추적부(253)는 제3카메라(251) 가 촬상한 사용자의 이미지를 분석하여 동공의 움직임 및/또는 시선방향을 검출하는 이미지 프로세싱을 통하여 제2디스플레이부(230)에서 표시되고 있는 영상 상에 대하여 사용자의 시선이 어디에 머무르는지를 추적할 수 있다. 이를 위하여 제2시선추적부(253)는 일반적으로 알려진, 비디오 분석을 통한 사용자의 시선 추적에 필요한 이미지 프로세싱 알고리즘 등을 포함할 수 있다.
제3추적부(240)는 사용자의 위치 변화를 감지하기 위하여 주기적으로 사용자의 제1이미지를 촬상하고, 상기 제1이미지의 분석을 통하여 사용자의 위치가 변한 것으로 판단되면, 변화된 위치정보를 산출하여 이를 제4추적부(250)로 출력한다. 제4추적부(250)는 상기 변화된 사용자의 위치정보에 기인하여 사용자의 시선을 추적할 수 있다.
본 발명의 다른 실시예에 의하면, 제2제어부(260)는 시선추적을 요청하는 사용자 선택이 입력되면, 제3추적부(240)를 제어하여 사용자의 제1이미지를 촬상하도록 하고, 제4추적부(250)를 제어하여 사용자의 제2이미지를 촬상하도록 할 수 있다. 제2제어부(260)는 위치추적부(240)를 제어하여 상기 두 개의 이미지를 비교 분석하여 제2디스플레이부(230)로부터 사용자의 상대적인 위치정보를 판단할 수도 있다. 이렇게 판단한 사용자의 위치정보를 제4추적부(250)로 전송하고, 제2제어부(260)는 제3카메라(251)를 제어하여 상기 사용자의 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 눈 부위를 확대한 이미지를 촬상하도록 할 수 있다.
도 4는 도 3의 디스플레이장치(200)의 개략도를 도시하고 있는 바, 도 4를 참조하면, 디스플레이장치(200)에 제3추적부(240)로써 제2카메라(241)와 제4추적부(250)로써 제3카메라(251)가 마련되어 있다. 제3추적부(240)의 제2카메라(241)은 줌아웃 기능을 이용하여 사용자 전신 또는 사용자 상반신을 제1이미지로써 촬상할 수 있으며, 제2카메라(241)의 촬상 범위는 도 4의 A에서 도시된 바와 같다. 제3추적부(240)가 상기 제1이미지 분석을 통하여 사용자의 헤드 위치정보를 파악하면, 이를 제4추적부(250)로 출력한다. 제4추적부(250)는 상기 사용자의 헤드 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 사용자의 눈 부위에 포커스를 맞추어 사용자의 제2이미지를 촬상하여, 제2디스플레이부(230)에서 표시되는 영상 상에서 사용자의 시선을 추적할 수 있다. 따라서, 본 실시예에 따르면 디스플레이장치(200)로부터 원거리에 위치한 사용자의 시선도 실시간으로 추적할 수 있는 이점을 갖는다.
도 5는 본 발명의 또 다른 일 실시예에 따른 디스플레이장치(300)의 제어 블록도로서, 디스플레이장치(300)는 제3수신부(310), 제3신호처리부(320), 제3디스플레이부(330), 제1통신부(350), 제5추적부(340) 및 이들을 제어하는 제3제어부(360)를 포함하고, 제1통신부(350)를 통하여 통신하는 주변장치(400)는 제2통신부(410) 및 제5카메라(420)를 포함한다. 도 1의 디스플레이장치(100)와 비교하면, 본 발명의 디스플레이장치(300)는 사용자의 제1이미지를 주변장치(400)가 촬상하여 디스플레이장치(300)로 전송하고, 제5추적부(340)가 주변장치(400)로부터 수신한 사용자의 제1이미지에 기초하여 사용자의 제2이미지를 촬상하여, 디스플레이장치(300)에서 표시하는 영상에 대한 사용자의 시선을 추적한다는 점이다. 따라서, 도 5의 디스플레이장치(300)는 도 1의 디스플레이장치(100)의 제1추적부(140)에 대응하는 구성이 없고, 대신 주변장치(400)와 통신을 수행하는 제1통신부(350)를 포함하고 있다. 기타 다른 구성요소는 도 1의 디스플레이장치(100)의 대응 구성요소와 동일 또는 유사한 기능을 수행하므로, 여기에서 동일한 설명은 생략하기로 한다. 본 실시예의 디스플레이장치(300) 역시 사용자 선택을 입력할 수 있는 사용자입력부(미도시)를 더 포함할 수 있으며, 이는 도 1에서 설명한 바와 같다.
디스플레이장치(300)의 제1통신부(350)는 주변장치(400)와 통신을 수행하며, 유선 또는 무선 통신을 수행할 수 있다. 제1통신부(350)를 통하여 디스플레이장치(300)와 주변장치(400)는 각종 데이터 신호, 영상신호, 제어신호 등을 송수신할 수 있다. 사용자로부터 시선추적을 요청하는 사용자 선택이 입력되면, 제3제어부(360)는 제1통신부(350)를 제어하여 사용자의 제1이미지 촬상을 명령하는 제어 커맨드를 주변장치(400)로 전송하고, 주변장치(400)로부터 상기 제어 커맨드에 따른 사용자의 제1이미지를 수신하도록 할 수 있다.
제3제어부(360)는 상기 수신된 사용자의 제1이미지로부터 사용자의 위치정보를 산출할 수 있다. 예를 들어, 제3제어부(360)는 상기 제1이미지를 분석하여, 사용자의 헤드 위치정보를 산출할 수 있다. 제3제어부(360)는 상기 사용자의 헤드 위치정보를 제5추적부(340)로 전달한다.
제5추적부(340)는 상기 제2추적부(150)와 유사한 기능을 수행하는 바, 제4카메라(341) 및 제3시선추적부(343)를 포함한다. 제4카메라(341)는 제3제어부(360)의 제어 하에서 상기 수신한 사용자의 헤드 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 사용자의 눈 부위에 포커스를 맞추어 사용자의 제2이미지를 촬상할 수 있다. 즉, 사용자의 제2이미지는 사용자의 제1이미지의 일부 영역을 확대한 이미지를 포함할 수 있다. 제4카메라(341)는 줌인, 줌아웃 기능을 제공하는 카메라로서, 아이 트랙킹용 카메라를 포함할 수 있다. 제3시선추적부(343)는 제4카메라(341)가 촬상한 사용자의 제2이미지를 분석하여 동공의 움직임 및/또는 시선방향을 검출하는 이미지 프로세싱을 통하여 제3디스플레이부(330)에서 표시되고 있는 영상 상에 대한 사용자의 시선이 어디에 머무르는지를 추적할 수 있다. 이를 위하여 제3시선추적부(343)는 일반적으로 알려진, 비디오 분석을 통한 사용자의 시선 추적에 필요한 이미지 프로세싱 알고리즘 등을 포함할 수 있다.
제3제어부(360)는 사용자의 위치변화를 감지하기 위하여 주기적으로 사용자의 제1이미지 촬상을 위한 제어 커맨드를 주변장치(400)로 전송하고, 상기 제1이미지의 분석을 통하여 사용자의 위치가 변한 것으로 판단되면, 변화된 위치정보를 산출하여 이를 제5추적부(340)로 출력한다. 제5추적부(340)는 상기 변화된 사용자의 위치정보에 기인하여 사용자의 시선을 추적할 수 있다.
본 발명의 다른 실시예에 의하면, 제3제어부(360)는 시선추적을 요청하는 사용자 선택이 입력되면, 사용자 이미지 촬상을 위한 제어 커맨드를 주변장치(400)로 전송하고, 또한 제5추적부(340)의 제4카메라(341)로 전송한다. 주변장치(400)로부터 사용자의 제1이미지를 수신하고, 제4카메라(341)로부터 제2이미지를 수신하여, 상기 두 개의 이미지를 비교 분석하여 제3디스플레이부(330)로부터 사용자의 상대적인 위치정보를 판단할 수도 있다. 이렇게 판단한 사용자의 위치정보를 제5추적부(340)로 전송하고, 제3제어부(360)는 제4카메라(341)를 제어하여 상기 사용자의 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 눈 부위를 확대한 이미지를 촬상하도록 할 수 있다.
주변장치(400)는 소정의 이미지를 촬상할 수 있는 제5카메라(420) 및 디스플레이장치(300)와 통신을 수행하는 제2통신부(410)를 포함한다.
주변장치(400)는 카메라를 포함하고 있는 어떠한 종류의 포터블 디바이스를 포함할 수 있다. 예를 들어, 전자 카메라, 스마트폰, 카메라를 포함한 셀룰러폰, 태블릿 PC, 랩탑 등을 포함할 수 있다.
제2통신부(410)는 디스플레이장치(300)의 제1통신부(350)와 통신을 수행할 수 있다. 제2통신부(410)는 디스플레이장치(300)로부터 사용자 이미지 촬상의 제어 커맨드를 수신하게 되면, 상기 커맨드를 제5카메라(420)로 전송한다.
제5카메라(420)는 상기 커맨드에 따라 사용자의 제1이미지를 촬상하고 이를 제2통신부(410)로 전달하면, 제2통신부(410)는 이를 디스플레이장치(300)로 전송한다.
도 6은 도 5의 디스플레이장치(300)의 개략도를 도시하고 있는 바, 도 6을 참조하면, 디스플레이장치(300)로 시선추적을 요청하는 사용자 선택이 입력되면, 제3제어부(360)는 사용자 이미지 촬상을 위한 제어커맨드를 주변장치(400)로 전송한다. 주변장치(400)의 제5카메라(420)는 상기 커맨드에 따라 줌아웃 기능을 이용하여 사용자 전신 또는 사용자 상반신을 제1이미지로써 촬상할 수 있으며, 제5카메라(420)의 촬상 범위는 도 6의 A에서 도시된 바와 같다. 주변장치(400)는 상기 제1이미지를 디스플레이장치(300)로 전송하고, 제3제어부(360)는 상기 제1이미지를 분석하여 사용자의 헤드 위치정보를 파악하면, 이를 제5추적부(340)로 출력한다. 제5추적부(340)는 상기 사용자의 헤드 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 사용자의 눈 부위에 포커스를 맞추어 사용자의 제2이미지를 촬상하여, 제3디스플레이부(330)에서 표시되는 영상 상에서 사용자의 시선을 추적할 수 있다. 따라서, 본 실시예에 따르면 디스플레이장치(300)로부터 원거리에 위치한 사용자의 시선도 실시간으로 추적할 수 있는 이점을 갖는다.
도 7은 도 1 및 도 3의 디스플레이장치의 제어 흐름도이다.
도 7을 참조하면, 디스플레이장치(100)의 제1디스플레이부(130)에서 소정의 영상을 표시하고 있고(S401), 사용자입력부(미도시)를 통하여 시선추적을 요청하는 사용자 선택이 입력되면(S402), 제1제어부(160)는 제1추적부(140)를 제어하여 제1디스플레이부(130)에 대하여 사용자의 위치정보를 감지하도록 한다. 제1추적부(140)로부터 감지된 사용자의 위치정보는 제2추적부(150)로 출력되고(S403), 제2추적부(150)의 제1카메라(151)는 상기 사용자의 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 사용자의 눈 부위를 확대하여 사용자 이미지를 촬상한다(S404). 상기 사용자 이미지는 제1시선추적부(153)로 전송되고, 제1시선추적부(153)는 상기 사용자 이미지를 분석하여 제1디스플레이부(130)에서 표시되고 있는 영상 상에서 사용자의 시선이 머무르는 곳을 추적한다(S405).
S403단계에서, 디스플레이장치(200)의 경우에는 제2제어부(260)가 제3추적부(340)의 제2카메라(341)를 제어하여 사용자 전신 또는 상반신을 포함하는 사용자 제1이미지를 촬상하도록 하고, 위치추적부(343)를 제어하여 상기 제1이미지를 분석하여 사용자의 위치정보를 산출하도록 한다. 그 외 단계는 디스플레이장치(100)의 제어 흐름도와 거의 동일/유사하다.
도 8은 도 5의 디스플레이장치의 제어 흐름도이다.
도 8을 참조하면, 디스플레이장치(300)의 제3디스플레이부(330)에서 소정의 영상을 표시하고 있고(S411), 사용자입력부(미도시)를 통하여 시선추적을 요청하는 사용자 선택이 입력되면(S412), 제3제어부(360)는 사용자 이미지 촬상의 제어 커맨드를 주변장치(400)로 전송한다(S413), 주변장치(400)는 상기 커맨드에 대응하여 사용자 전신 또는 사용자 상반신을 포함하는 사용자의 제1이미지를 촬상하여, 이를 디스플레이장치(300)로 전송한다(S414).
제3제어부(360)는 상기 주변장치(400)로부터 수신한 사용자의 제1이미지를 분석하여 사용자의 위치정보를 산출한다(S415). 제3제어부(360)는 상기 위치정보를 제5추적부(540)로 전송하고, 제5추적부(540)의 제4카메라(341)를 제어하여 상기 사용자의 위치정보에 기초하여 줌인 기능을 이용하여 사용자의 헤드 부위 또는 사용자의 눈 부위를 확대하여 사용자 제2이미지를 촬상하도록 한다(S416). 상기 사용자 제2이미지는 제3시선추적부(343)로 전송되고, 제3시선추적부(343)는 상기 사용자 제2이미지를 분석하여 제3디스플레이부(330)에서 표시되고 있는 영상 상에서 사용자의 시선이 머무르는 곳을 추적한다(S417).
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100: 디스플레이장치 110: 수신부
120: 신호처리부 130: 디스플레이부
140: 제1추적부 150: 제2추적부
160: 제어부

Claims (20)

  1. 디스플레이장치에 있어서,
    소정 영상을 표시하는 디스플레이부와;
    상기 디스플레이부에 대한 사용자의 위치정보를 출력하는 제1추적부와;
    상기 제1추적부에서 출력한 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 제2추적부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제1추적부는, 상기 디스플레이부에 대하여 사용자의 거리를 감지하여 사용자의 위치정보를 출력하는 센서를 포함하는 것인 디스플레이장치.
  3. 제2항에 있어서,
    상기 센서는, 상기 사용자의 헤드 위치정보를 출력하는 것인 디스플레이장치.
  4. 제1항에 있어서,
    상기 제1추적부는, 상기 사용자의 제1이미지를 촬상하는 제1카메라와;
    상기 제1이미지로부터 사용자의 헤드 위치정보를 출력하는 위치 추적부를 포함하는 디스플레이장치.
  5. 제3항 또는 제4항에 있어서,
    상기 제2추적부는, 상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 제2카메라와;
    상기 제2이미지로부터 사용자의 시선을 추적하는 시선 추적부를 포함하는 디스플레이장치.
  6. 제5항에 있어서,
    상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지인 것인 디스플레이장치.
  7. 디스플레이장치에 있어서,
    소정 영상을 표시하는 디스플레이부와;
    상기 디스플레이부에 대하여 사용자의 제1이미지를 촬상하는 제1카메라를 포함하는 주변장치와 통신하는 통신부와;
    사용자의 시선을 추적하는 추적부와;
    상기 주변장치로부터 수신되는 제1이미지에 기초하여 사용자의 위치정보를 산출하고, 상기 사용자의 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하도록 상기 제2추적부를 제어하는 제어부를 포함하는 디스플레이장치.
  8. 제7항에 있어서,
    상기 사용자의 위치정보는, 상기 제1이미지내의 사용자의 헤드 위치정보를 포함하는 것인 디스플레이장치.
  9. 제8항에 있어서,
    상기 추적부는,
    상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 제2카메라와;
    상기 제2이미지로부터 사용자의 시선을 추적하는 시선 추적부를 포함하는 것인 디스플레이장치.
  10. 제9항에 있어서,
    상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지인 것인 디스플레이장치.
  11. 디스플레이장치의 시선추적방법에 있어서,
    소정 영상을 표시하는 단계와;
    상기 표시되는 영상에 대하여 사용자의 위치정보를 출력하는 단계와;
    상기 출력한 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 단계를 포함하는 디스플레이장치의 시선추적방법.
  12. 제11항에 있어서,
    상기 위치정보 출력단계는,
    상기 디스플레이부에 대하여 사용자의 거리를 감지하여 사용자의 위치정보를 출력하는 단계를 포함하는 것인 디스플레이장치의 시선추적방법.
  13. 제12항에 있어서,
    상기 사용자의 위치정보는, 사용자의 헤드 위치정보를 포함하는 것인 디스플레이장치의 시선추적방법.
  14. 제11항에 있어서,
    상기 위치정보 출력단계는,
    상기 사용자의 제1이미지를 촬상하는 단계와;
    상기 제1이미지로부터 사용자의 헤드위치 정보를 출력하는 단계를 포함하는 것인 디스플레이장치의 시선추적방법.
  15. 제13항 또는 제14항에 있어서,
    상기 시선추적 단계는,
    상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 단계와;
    상기 제2이미지로부터 사용자의 시선을 추적하는 단계를 포함하는 것인 디스플레이장치의 시선추적방법.
  16. 제15항에 있어서,
    상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지인 것인 디스플레이장치의 시선추적방법.
  17. 디스플레이장치의 시선추적방법에 있어서,
    소정 영상을 표시하는 단계와;
    주변장치로부터 상기 표시되는 영상에 대하여 사용자의 제1이미지를 수신하는 단계와;
    상기 수신된 제1이미지에 기초하여 사용자의 위치정보를 산출하는 단계와;
    상기 산출된 사용자의 위치정보에 기초하여 상기 표시되는 영상 상에서 사용자의 시선을 추적하는 단계를 포함하는 디스플레이장치의 시선추적방법.
  18. 제17항에 있어서,
    상기 사용자의 위치정보는, 상기 제1이미지내의 사용자의 헤드 위치정보를 포함하는 것인 디스플레이장치의 시선추적방법.
  19. 제18항에 있어서,
    상기 시선추적 단계는,
    상기 사용자의 헤드 위치정보에 기초하여 상기 사용자의 제2이미지를 촬상하는 단계와;
    상기 제2이미지로부터 사용자의 시선을 추적하는 단계를 포함하는 것인 디스플레이장치의 시선추적방법.
  20. 제19항에 있어서,
    상기 제2이미지는 상기 제1이미지의 소정 영역을 확대하여 촬상한 이미지인 것인 디스플레이장치의 시선추적방법.
KR1020120015335A 2012-02-15 2012-02-15 디스플레이장치 및 그 시선추적방법 KR101922589B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120015335A KR101922589B1 (ko) 2012-02-15 2012-02-15 디스플레이장치 및 그 시선추적방법
US13/768,528 US9218056B2 (en) 2012-02-15 2013-02-15 Eye tracking method and display apparatus using the same
EP20130155395 EP2629179A1 (en) 2012-02-15 2013-02-15 Eye tracking method and display apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120015335A KR101922589B1 (ko) 2012-02-15 2012-02-15 디스플레이장치 및 그 시선추적방법

Publications (2)

Publication Number Publication Date
KR20130094023A true KR20130094023A (ko) 2013-08-23
KR101922589B1 KR101922589B1 (ko) 2018-11-27

Family

ID=47900514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120015335A KR101922589B1 (ko) 2012-02-15 2012-02-15 디스플레이장치 및 그 시선추적방법

Country Status (3)

Country Link
US (1) US9218056B2 (ko)
EP (1) EP2629179A1 (ko)
KR (1) KR101922589B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317120B2 (en) 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
US9958947B2 (en) 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
GB2533366A (en) 2014-12-18 2016-06-22 Ibm Methods of controlling document display devices and document display devices
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
JP6668942B2 (ja) * 2016-05-23 2020-03-18 富士通株式会社 撮影制御装置、プログラム及び方法
US11153465B2 (en) * 2017-06-21 2021-10-19 Dell Products L.P. System and method of processing video of a tileable wall
JP2022534338A (ja) 2019-03-27 2022-07-29 インテル コーポレイション スマート・ディスプレイ・パネル装置および関連する方法
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US20230004222A1 (en) * 2019-11-27 2023-01-05 Hewlett-Packard Development Company, L.P. Providing inputs to computing devices
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2211799A (en) * 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
DE19819961A1 (de) * 1998-05-05 1999-11-11 Dirk Kukulenz Automatische Blickpunktanalyse mit Methoden der Bilderkennung zur Computersteuerung
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
WO2010003410A1 (en) 2008-07-08 2010-01-14 It-University Of Copenhagen Eye gaze tracking
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US20110267374A1 (en) * 2009-02-05 2011-11-03 Kotaro Sakata Information display apparatus and information display method
KR101626157B1 (ko) * 2009-06-05 2016-06-13 삼성전자주식회사 화상통화시 음성 신호의 출력 레벨 제어 방법 및 장치
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
CN102301316B (zh) * 2009-12-14 2015-07-22 松下电器（美国）知识产权公司 用户界面装置以及输入方法
KR101694820B1 (ko) * 2010-05-07 2017-01-23 삼성전자주식회사 사용자 위치 인식 방법 및 장치
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US20120268359A1 (en) * 2011-04-19 2012-10-25 Sony Computer Entertainment Inc. Control of electronic device using nerve analysis
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device

Also Published As

Publication number Publication date
US9218056B2 (en) 2015-12-22
EP2629179A1 (en) 2013-08-21
US20130207895A1 (en) 2013-08-15
KR101922589B1 (ko) 2018-11-27

Similar Documents

Publication Publication Date Title
KR101922589B1 (ko) 디스플레이장치 및 그 시선추적방법
US10891012B2 (en) Mobile terminal, image display device and user interface provision method using the same
CN111010510B (zh) 一种拍摄控制方法、装置及电子设备
KR102220118B1 (ko) 디스플레이장치 및 그 제어방법
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
CN111031398A (zh) 一种视频控制方法及电子设备
US20150220295A1 (en) User terminal apparatus, display apparatus, and control methods thereof
US20230405435A1 (en) Home training service providing method and display device performing same
US20180367836A1 (en) A system and method for controlling miracast content with hand gestures and audio commands
US20110084915A1 (en) Adjustment system and method for camera lens
US20120206348A1 (en) Display device and method of controlling the same
US20130181894A1 (en) Display device and method for large screen
KR102442084B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
KR102078132B1 (ko) 영상 통화 시 관심 대상을 표시하기 위한 장치 및 그 방법
KR20170101389A (ko) 적외선 신호 처리를 위한 필터링 방법, 그를 이용한 적외선 신호 처리 장치 및 적외선 기반 전자 칠판 시스템
KR101439178B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
US11153491B2 (en) Electronic device and method for operating same
KR20170101390A (ko) 전자 칠판 시스템을 위한 화각 설정 방법, 그를 수행하는 단말 장치 및 적외선 기반 전자 칠판 시스템
WO2014188549A1 (ja) 機器制御方法、機器制御装置、プログラムおよび電子機器
KR101386840B1 (ko) 아이알 광원 및 영상 이미지 인식을 동시 처리하는 듀얼 인터랙티브 방법
KR20240028868A (ko) 디스플레이 장치 및 그의 동작 방법
CN115766981A (zh) 基于增强现实的图像显示方法及装置
JP2013171275A (ja) 映像表示装置及び映像表示制御方法
KR20170101387A (ko) 적외선 신호 처리를 위한 파라미터 자동 설정 방법, 그를 이용한 적외선 신호 처리 장치 및 적외선 기반 전자 칠판 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant