KR20110012128A - 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 - Google Patents

사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 Download PDF

Info

Publication number
KR20110012128A
KR20110012128A KR1020090069701A KR20090069701A KR20110012128A KR 20110012128 A KR20110012128 A KR 20110012128A KR 1020090069701 A KR1020090069701 A KR 1020090069701A KR 20090069701 A KR20090069701 A KR 20090069701A KR 20110012128 A KR20110012128 A KR 20110012128A
Authority
KR
South Korea
Prior art keywords
digital object
information
gaze
user
block
Prior art date
Application number
KR1020090069701A
Other languages
English (en)
Other versions
KR101596890B1 (ko
Inventor
유병인
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090069701A priority Critical patent/KR101596890B1/ko
Priority to US12/801,839 priority patent/US9261958B2/en
Publication of KR20110012128A publication Critical patent/KR20110012128A/ko
Application granted granted Critical
Publication of KR101596890B1 publication Critical patent/KR101596890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법이 개시된다. 디지털 오브젝트 탐색 장치는 사용자의 시선 정보 또는 제스쳐 정보를 수집하고, 이를 이용하여 줌 비율, 렌더링 퀄리티 또는 부가 정보의 세기를 포함하는 디지털 오브젝트에 대한 탐색 정보를 결정하며, 탐색 정보에 기초하여 디지털 오브젝트를 탐색할 수 있다. 사용자는 별도의 조작없이 응시하는 것으로 디지털 오브젝트를 탐색할 수 있다.
디지털 오브젝트, 줌 비율, 렌더링 퀄리티, 부가 정보, 시선 정보, 제스쳐 정보

Description

사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법{APPARATUS AND METHOD FOR NAVIGATION DIGITAL OBJECT USING GAZE INFORMATION OF USER}
본 발명의 일실시예들은 디지털 오브젝트 탐색 장치 및 방법에 관한 것으로, 보다 구체적으로, 사용자의 시선 정보에 따라 줌인/줌아웃을 수행하고, 퀄리티 렌더링을 수행하며, 부가정보를 출력하는 디지털 오브젝트 탐색 장치 및 방법에 관한 것이다.
최근 디지털 기기가 발달하면서 사용자들은 사진, 동영상, 음악과 같은 디지털 오브젝트를 매우 빈번하게 활용한다. 일반적으로, 사용자는 키보드, 마우스와 같은 사용자 인터페이스를 사용하여 디지털 오브젝트를 처리할 수 있다. 그러나, 사용자가 키보드, 마우스 등을 통해 원하는 명령을 입력할 수 없는 대형 Wall Display의 경우, 디지털 오브젝트를 처리하기 어렵다. 또한 IPTV와 같은 네트워크 기반의 디지털 TV의 경우, 사용자가 리모콘을 이용하여 수백 개 이상의 채널에서 EPG 사용 및 뉴스/날씨/교통정보/금융정보 등을 위한 위젯(Widget) 사용하는 것은 어려움이 있다.
이러한 문제를 해결하기 위해 사용자의 행위를 추적하여 이를 반영함으로써 디지털 오브젝트의 실시간 출력 품질을 조정할 수 있는 방법이 주목되고 있다. 그러나, 아직까지 이와 같은 방법을 효율적으로 수행하는 기술은 개발되지 못하고 있다.
본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치는 복수의 블록으로 구성된 디지털 오브젝트에 대해 사용자의 시선 정보 및 제스쳐 정보를 수집하는 정보 수집부, 상기 수집된 시선 정보를 이용하여 상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 정보 결정부 및 상기 디지털 오브젝트에 대한 탐색 정보를 이용하여 상기 디지털 오브젝트를 탐색하는 오브젝트 탐색부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 정보 결정부는 상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 줌 비율(zoom rate)을 계산하는 줌 비율 계산부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 정보 결정부는 상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 렌더링 퀄리티(rendering quality)를 계산하는 렌더링 퀄리티 계산부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 정보 결정부는 상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 부가 정보(annotation)의 세기를 계산하는 부가 정보 세기 계산부를 포함할 수 있다.
본 발명의 일측면에 따르면 상기 정보 결정부는 상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트의 3D Position 및 Rotation 정보를 계산하는 Motion Parallax 계산부를 포함할 수 있다.
본 발명의 일실시예에 따른 디지털 오브젝트 탐색 방법은 복수의 블록으로 구성된 디지털 오브젝트에 대해 사용자의 시선 정보 및 제스쳐 정보를 수집하는 단계, 상기 수집된 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 단계 및 상기 디지털 오브젝트에 대한 탐색 정보를 이용하여 상기 디지털 오브젝트를 탐색하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선 정보 및 제스쳐 정보를 통해 줌 인/줌 아웃에 대한 줌 비율을 결정하여 디지털 오브젝트를 탐색함으로써, 별도의 부가 장비없이 자연스러운 Zoomable User Ineration이 제공될 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선 정보를 통해 현재 블록 중심으로 렌더링 퀄리티를 향상시킴으로써, 사용자의 시선 주변의 디지털 오브젝트의 출력 품질을 증가시키고, 디지털 오브젝트에 대한 몰입감 및 사용성을 향상시킬 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선 정보를 통해 디지털 오브젝트에 미리 저장된 부가 정보를 제공함으로써, 사용자가 디지털 오브젝트에 표시된 구성 요소의 정보를 별도의 부가 장비 없이 획득할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선정보에 맞추어서 오브젝트(채널 이나 위젯)의 위치를 조정하여 출력하거나, 사용자와 가까운 곳은 작게, 먼곳은 크게 출력하여 사용자에게 최적화된 View를 제공할 수 있다. 또한 본 발명의 일실시예에 따르면, 대형 화면에서 대각선 방향에서 화면을 볼 경우 시야 확보에 어려움이 있으므로 출력 UI가 사용자의 위치를 따라다니면서 출력할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 디지털 오브젝트 탐색 방법은 디지털 오브젝트 탐색 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 디지털 오브젝트의 탐색 장치의 동작을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치(101)는 사진, 동영상, 음악 등의 다양한 디지털 오브젝트를 사용하는 사용자(100)는 시선 정보(103) 및 손동작과 같은 제스쳐 정보(104)를 추적하여 시선 주변의 디지털 오브젝트의 출력 품질을 증가시킬 수 있다. 그러면, 사용자(100)가 디지털 오브젝트에 대한 몰입감 및 사용성을 향상시키고, 디지털 오브젝트의 처리에 대한 부하를 줄일 수 있다. 디지털 오브젝트 탐색 장치(101)는 디스플레이(102) 내부 또는 외부에 존재할 수 있다.
본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치(101)는 다음과 같은 동작을 수행할 수 있다.
(1)Visual Attentive ZUI (Zoomable User Interaction)
사용자(100)가 디지털 오브젝트를 재생할 때, 디지털오브젝트 탐색 장치(101)는 디지털 오브젝트에서 사용자(100)의 시선이 위치한 지점을 중심으로 줌 인(Zoom In)하고, 시선이 벗어나면 줌 아웃(Zoom Out)한다.
(2) Visual Attentive Rendering
사용자(100)가 디지털 오브젝트를 재생할 때, 디지털 오브젝트 탐색 장치(101)는 디지털 오브젝트에서 사용자(100)의 시선이 위치한 지점의 해상도를 High Quality로 렌더링하고, 시선이 벗어나면 Normal Quality로 렌더링할 수 있다. 그리고, 사용자(100)가 비주얼화된 음악을 재생하는 경우, 음악 재생 화면에서 사용자(100)의 시선이 위치한 지점의 볼륨 및 Decoding Quality를 증가시키고, 사용자(100)의 시선이 벗어나면 볼륨 및 Decoding Quality를 감소시킬 수 있다.
(3) Visual Attentive Annotation
사용자(100)가 디지털 오브젝트를 재생할 때, 디지털 오브젝트 탐색 장치(100)는 디지털 오브젝트에서 사용자(100)의 시선이 위치한 지점에 인접한 부가 정보를 출력할 수 있다. 예를 들어, 디지털 오브젝트 탐색 장치(100)는 사용자(100)의 시선이 위치한 지점과 인접한 지점에 저장된 이미지, 오디오, 텍스트와 같은 형태의 부가 정보를 출력할 수 있다.
(4) Motion Parallax UI
사용자 인터페이스 오브젝트의 위치 및 방향을 조정하여 사용자(100)가 실제 3D 오브젝트를 보는 것과 같은 view를 출력할 수 있다. 그리고, 사용자(100)의 위치에 따라 화면에서 가까운 곳은 작게, 먼 곳은 크게 출력하도록 사용자 인터페이스(UI)의 Projection을 조정하여 사용자(100)에게 최적화된 View를 제공할 수 있다. 또는 사용자(100)가 대각선 방향에서 대형 화면을 보는 경우, 대형화면에 위 젯 등이 사용자(100)의 반대편에 출력되는 경우 사용자(100)는 위젯에 대한 시야 확보에 어려움이 존재하므로, 사용자(100)의 위치에 따라 출력 UI도 이동하여 출력될 수 있다.
도 2는 본 발명의 일실시예에 따른 디지털 오브젝트의 상세 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 디지털 오브젝트 탐색 장치(101)는 정보 수집부(201), 정보 결정부(202) 및 오브젝트 탐색부(203)를 포함할 수 있다.
정보 수집부(201)는 디지털 오브젝트(208)에 대해 사용자의 시선 정보(209)와 사용자의 제스쳐 정보(210)를 수집할 수 있다. 시선 정보에는 2D화면상의 사용자의 시선 위치, 눈 깜박임 여부, 사용자의 위치 정보 등이 포함될 수 있다. 이 때, 디지털 오브젝트(208)는 복수의 블록으로 분할될 수 있다. 사용자의 시선은 매우 급격하게 변경되는데, 이 경우 정보 수집부(201)가 수집하는 시선 정보(209)에 오차가 증가할 수 있다. 따라서, 디지털 오브젝트 탐색 장치(101)는 디지털 오브젝트(208)를 복수의 블록으로 분할하여 미세하게 흔들리는 사용자의 시선을 블록 단위로 필터링할 수 있다. 그리고, 복수의 블록 각각에 블록 ID가 부여될 수 있다.
정보 결정부(202)는 수집된 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 탐색 정보를 결정할 수 있다. 일례로, 정보 결정부(202)는 줌 비율 계산부(204), 렌더링 퀄리티 계산부(205), 부가 정보 세기 계산부(206) 및 모션 패럴랙스 계산부(207)를 포함할 수 있다.
줌 비율 계산부(204)는 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 줌 비율을 계산할 수 있다. 구체적으로, 줌 비율 계산부(204)는 시선 정보(209)에 포함된 블록의 ID와 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 디지털 오브젝트(208)의 줌 인 또는 줌 아웃에 대한 줌 비율을 계산할 수 있다.
이 때, 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 줌 비율 계산부(204)는 시선 유지 시간을 이용하여 디지털 오브젝트(208)의 줌 인에 대한 줌 비율을 계산할 수 있다. 그리고, 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 다른 경우, 줌 비율 계산부(204)는 시선 유지 시간을 이용하여 디지털 오브젝트(208)의 줌 아웃에 대한 줌 비율을 계산할 수 있다.
일례로, 줌 비율 계산부(204)는 시선 유지 시간이 미리 설정한 임계 시간을 초과하는 경우, 디지털 오브젝트(208)의 줌 인에 대한 줌 비율을 계산할 수 있다.
렌더링 퀄리티 계산부(205)는 사용자의 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 렌더링 퀄리티를 계산할 수 있다. 일례로, 렌더링 퀄리티 계산부(205)는 시선 정보에 포함된 블록의 ID와 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 디지털 오브젝트(208)의 렌더링 퀄리티를 계산할 수 있다. 렌더링 퀄리티는 사용자의 시선이 위치한 지점을 중심으로 감소하도록 결정될 수 있다.
시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 렌더링 퀄리티 계산부(205)는 시선 유지 시간을 이용하여 디지털 오브젝트(208)에 대해 렌 더링 퀄리티를 계산할 수 있다. 반대로, 시선 유지 시간 동안 상기 사용자가 응시하는 블록의 ID가 다른 경우, 렌더링 퀄리티 계산부(205)는 디지털 오브젝트(208)에 대해 초기화할 수 있다.
구체적으로, 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 렌더링 퀄리티 계산부(205)는 시선 유지 시간에 대해 블록의 렌더링 퀄리티를 증가시키고, 상기 블록의 주변 블록에 대한 렌더링 퀄리티를 감소시킬 수 있다. 이 때, 렌더링 퀄리티 계산부(205)는 사용자가 응시하는 블록에 인접하는 주변 블록부터 순차적으로 렌더링 퀄리티를 감소시킬 수 있다.
부가 정보 세기 계산부(206)는 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 부가 정보의 세기를 계산할 수 있다. 이 때, 부가 정보는 디지털 오브젝트(208)의 특정 지점에 저장된 텍스트, 오디오, 이미지 등의 형태일 수 있다. 일례로, 부가 정보 세기 계산부(206)는 (a)사용자가 응시하는 시선 위치와 부가 정보와의 거리, (b) 깊이맵(211) 상에서 사용자가 응시하는 시선 위치와 시선 위치의 거리 및 (c) 사용자의 관심도를 나타내는 히트맵(212) 상에서 시선 위치의 거리 중 적어도 하나를 이용하여 디지털 오브젝트(208)에 대해 부가 정보의 세기를 계산할 수 있다.
디지털 오브젝트(208)에 적어도 하나의 부가 정보가 저장된 경우, 사용자가 응시하는 시선 위치에 대해 부가 정보의 세기가 가장 큰 부가 정보가 출력될 수 있다.
모션 패럴랙스 계산부(207)는 사용자의 시선 정보(209) 및 제스쳐 정보(210) 를 이용하여 디지털 오브젝트의 3D 위치 정보 및 회전 정보를 계산할 수 있다.
오브젝트 탐색부(203)는 디지털 오브젝트에(208) 대한 탐색 정보를 이용하여 디지털 오브젝트(208)를 탐색할 수 있다. 예를 들어, 디스플레이(213)에 이미지, 동영상과 같은 디지털 오브젝트(208)가 재생되면, 오브젝트 탐색부(203)는 사용자의 시선 정보(208)에 기초하여 재생되는 디지털 오브젝트(208)를 탐색할 수 있다.
일례로, 오브젝트 탐색부(203)는 줌 비율에 기초하여 디지털 오브젝트(208)에 대해 줌인/줌 아웃을 수행할 수 있다. 그리고, 오브젝트 탐색부(203)는 렌더링 퀄리티에 기초하여 디지털 오브젝트(208)에 대해 사용자가 응시하는 시선 위치를 중심으로 렌더링 퀄리티를 변경할 수 있다. 또한, 오브젝트 탐색부(203)는 부가 정보의 세기에 기초하여 디지털 오브젝트(208)에 대해 사용자가 응시하는 시선 위치를 중심으로 부가 정보를 탐색할 수 있다. 또한 오브젝트 탐색부(203)는 사용자의 위치 정보와 시선 정보(210)에 따라 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하여 디지털 오브젝트를 탐색할 수 있다.
도 3은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 시선 정보를 수집할 수 있다(S301). 그리고, 디지털 오브젝트 탐색 장치는 시선 정보를 통해 사용자가 눈을 깜빡였는 지 여부를 판단할 수 있다(S302). 이 때, 눈 깜빡임은 디지털 오브젝트의 탐색을 홀딩(Holding)할 것인지 또는 릴리즈(Release)할 것인지 판단하는 기준이 될 수 있다.
만약, 사용자가 눈을 깜빡인 경우, 디지털 오브젝트 탐색 장치는 눈 깜빡임 이전에 디지털 오브젝트의 탐색이 Enable인지 판단할 수 있다(S303). 만약, 디지털 오브젝트의 탐색이 Enable이 아닌 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색이 Disable 될 때의 블록 아이디와 동일한 지 여부를 판단할 수 있다(S307).
만약, 동일한 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색을 Enable로 변경할 수 있다(S308). 반대로, 동일하지 않은 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314). 이 때, 디지털 오브젝트의 탐색이 Enable이라는 것은 디지털 오브젝트의 탐색이 수행되는 것을 의미하고, 디지털 오브젝트의 탐색이 Disable이라는 것은 디지털 오브젝트의 탐색이 중단되는 것을 의미할 수 있다.
단계(S303)에서, 디지털 오브젝트의 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트 탐색을 Disable로 변경할 수 있다(S305). 그리고, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색이 Disable 될 때의 블록의 ID를 저장할 수 있다(S306). 이 때, 블록의 ID는 사용자의 시선이 위치하는 블록에 관한 것이다. 그런 후에, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314).
단계(S302)에서 사용자가 눈을 깜빡이지 않은 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색이 Enable인 지 여부를 판단할 수 있다(S304). 이 때, 디지털 오브젝트의 탐색이 Enable이 아닌 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314). 만약, 디지털 오브젝트의 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선이 위치한 블록(현재 블록)이 이전에 사용자의 시선이 위치한 블록인 이전 블록과 동일한 지 여부를 판단할 수 있다(S309).
이 때, 현재 블록과 이전 블록의 ID가 동일한 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선이 현재 블록을 응시하는 시선 유지 시간(T)와 미리 설정한 임계시간(Th)를 초과하는 지 여부를 판단할 수 있다(S310). 단계(S310)에서, 시선 유지 시간(T)가 미리 설정한 임계 시간(Th)를 초과하지 못하는 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314).
반대로, 시선 유지 시간(T)가 미리 설정한 임계 시간(Th)를 초과하면, 디지털 오브젝트 탐색 장치는 현재 블록에서 줌 인에 대한 줌 배율을 계산할 수 있다(S311). 단계(S309)에서 현재 블록과 이전 블록의 ID가 다른 경우, 디지털 오브젝트 탐색 장치는 이전 블록에서 현재 블록으로 줌 아웃에 대한 줌 배율을 계산할 수 있다(S312). 이 때, 줌 배율은 줌 조정 계수(K)와 시선 유지 시간(T)을 이용하여 결정될 수 있다.
그러면, 디지털 오브젝트 탐색 장치는 계산된 줌 배율에 기초하여 디지털 오브젝트를 탐색하고(S313), 화면을 갱신할 수 있다(S314). 만약, 사용자가 현재 블록을 계속적으로 응시한다면, 디지털 오브젝트 탐색 장치는 현재 블록을 중심으로 시선 유지 시간 동안 줌 배율에 따라 줌 인을 수행할 수 있다. 그리고, 만약 사용자가 이전 블록에서 현재 블록으로 시선을 옮기는 경우, 디지털 오브젝트 탐색 장치는 현재 블록을 중심으로 시선 유지 시간 동안 줌 배율에 따라 줌 아웃을 수행할 수 있다.
화면이 갱신된 이후, 디지털 오브젝트 탐색 장치는 다시 시선 정보를 수집하는 과정을 반복할 수 있다(S301).
도 4는 본 발명의 일실시예에 따라 시선 정보 및 제스쳐 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
이 때, 도 3은 사용자의 시선 정보에 기초하여 디지털 오브젝트에 대한 탐색 여부를 결정하고, 줌인/줌아웃의 동작을 수행하는 과정을 설명한다. 그리고, 도 4는 사용자의 제스쳐 정보에 기초하여 디지털 오브젝트에 대한 탐색 여부를 결정하고, 사용자의 시선 정보에 기초하여 줌인/줌아웃의 동작을 수행하는 과정을 설명한다.
디지털 오브젝트 탐색 장치는 시선 정보 및 제스쳐 정보를 수집할 수 있다(S401). 이 때, 제스쳐 정보는 사용자의 손 동작을 포함할 수 있다. 디지털 오브젝트 탐색 장치는 제스쳐 정보를 통해 사용자가 손을 쥐었는 지 여부를 판단할 수 있다(S403). 만약, 사용자가 손을 쥐었다면, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색을 Disable로 변경할 수 있다(S404).
만약, 사용자가 손을 쥐지 않았다면, 디지털 오브젝트 탐색 장치는 사용자가 손을 폈는 지 여부를 판단할 수 있다(S406). 만약, 사용자가 손을 폈다면, 사용자가 응시하는 블록의 ID가 디지털 오브젝트에 대한 탐색이 Disable 때의 블록 ID와 동일한 지 여부를 판단할 수 있다(S407). 블록 ID가 동일한 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색을 Enable로 변경할 수 있다(S408). 나머지 단계는 도 3의 설명을 참고할 수 있다.
결국, 디지털 오브젝트 탐색 장치는 사용자의 눈 깜빡임 여부 또는 사용자가 손을 쥐었는 지 또는 폈는 지에 대한 손 동작에 기초하여 디지털 오브젝트에 대한 탐색을 수행하거나 또는 중단할 수 있다.
본 발명의 일실시예에 따르면, 손의 제스쳐는 쥐거나 펴는 동작에 한정되지는 않으며 다른 동작으로 변경 될 수 있다. 또한, 본 발명의 일실시예에 따르면, 제스쳐 동작은 손에 한정되지 않으며, 사용자의 다른 신체 부위에 대한 제스쳐 동작도 포함될 수 있다.
도 5는 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 줌 인 또는 줌 아웃으로 탐색하는 일례를 도시한 도면이다.
도 5는 사용자의 눈 깜빡임 또는 손 동작을 통해 디지털 오브젝트의 탐색이 Enable 상태인 것을 나타낸다. 만약, 디지털 오브젝트의 탐색이 Disable인 경우, 사용자의 눈 깜빡임 또는 손 동작으로 인해 디지털 오브젝트의 탐색이 Enable이 되어야 도 5에서 설명되는 동작이 수행될 수 있다.
<줌 인(Zoom In)>
프레임(501)과 프레임(502)은 동일한 디지털 오브젝트를 구성한다. 시간 T1에서 사용자가 복수의 블록으로 분할된 프레임(501) 중 블록(503)을 응시한다고 가정한다. 그리고, 일정 시간이 경과 후 시간 T2에서, 사용자의 시선이 프레임(501) 의 블록(503)과 동일한 위치에 있는 블록(504)에 위치하고 있다고 가정한다. 블록(503)과 블록(504)은 동일한 블록 ID를 나타낸다.
만약, 사용자의 시선 유지 시간이 미리 설정한 임계 시간을 초과한 경우, 디지털 오브젝트 탐색 장치는 시선 유지 시간과 줌 조정 계수를 이용하여 줌 배율을 계산할 수 있다. 그런 후, 디지털 오브젝트 탐색 장치는 줌 배율에 기초하여 프레임(502)의 블록(504)을 중심으로 줌 인(Zoom In)을 수행할 수 있다. 그러면, 프레임(502)에 표시된 이미지, 동영상은 블록(504)을 중심으로 확대될 수 있다.
<줌 아웃(Zoom Out)>
프레임(505)과 프레임(506)은 동일한 디지털 오브젝트를 구성한다. 시간 T1에서, 사용자가 복수의 블록으로 분할된 프레임(505) 중 블록(507)을 응시한다고 가정한다. 그리고, 일정 시간이 경과 후, T2에서 사용자의 시선이 프레임(506)의 블록(508)에 위치한다고 가정한다.
그러면, 디지털 오브젝트 탐색 장치는 시선 유지 시간과 줌 조정 계수를 이용하여 줌 배율을 계산할 수 있다. 이 때, 시선 유지 시간은 블록(507)에서 블록(508)로 시선이 이동할 때의 시간을 의미할 수 있다. 그런 후, 디지털 오브젝트 탐색 장치는 줌 배율에 기초하여 프레임(505)의 블록(507)에서 프레임(506)의 블록(508)로 줌 아웃(Zoom Out)을 수행할 수 있다. 그러면, 프레임(505)에서 프레임(506)으로 진행되는 동안 표시된 이미지, 동영상이 축소될 수 있다.
도 6은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 블록에 따라 렌더링 퀄리티를 달리하여 탐색하는 일례를 도시한 플로우차트이 다.
디지털 오브젝트 탐색 장치는 사용자의 시선 정보를 수집할 수 있다(S601). 그리고, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색이 Enable인지 여부를 판단할 수 있다(S602). 만약, 디지털 오브젝트에 대한 탐색이 Disable인 경우, 디지털 오브젝트 탐색 장치는 화면 갱신을 수행할 수 있다(S608).
만약, 디지털 오브젝트에 대한 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선이 위치하는 블록의 ID와 이전 블록 ID가 서로 동일한 지 여부를 판단할 수 있다(S603). 만약, 블록의 ID가 동일하지 않은 경우, 디지털 오브젝트 탐색 장치는 사용자가 응시하였던 이전 블록을 초기화할 수 있다(S606). 즉, 이전 블록의 해상도 등이 원래 상태로 복구될 수 있다.
그리고, 블록의 ID가 동일한 경우, 디지털 오브젝트 탐색 장치는 사용자가 응시하고 있는 현재 블록의 렌더링 퀄리티를 계산할 수 있다(S604). 그리고, 디지털 오브젝트 탐색 장치는 현재 블록의 주변 블록의 렌더링 퀄리티를 계산할 수 있다(S605). 이 때, 현재 블록의 렌더링 퀄리티는 주변 블록의 렌더링 퀄리티보다 더 큰 값일 수 있다. 일례로, 렌더링 퀄리티는 시선 유지 시간과 렌더링 조정 계수를 통해 결정될 수 있다.
렌더링 퀄리티가 계산되면, 디지털 오브젝트 탐색 장치는 디지털 오브젝트를 탐색할 수 있다(S607). 그런 후, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 화면을 갱신할 수 있다.
도 7은 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 렌더링 퀄리티를 블록마다 다르게 결정하는 일례를 도시한 도면이다.
도 7은 디지털 오브젝트를 구성하는 복수의 프레임 중 하나의 프레임을 나타낸다. 이 때, 프레임은 복수의 블록으로 분할될 수 있다. 만약, 사용자가 복수의 블록 중 어느 하나의 블록을 응시하면, 디지털 오브젝트 탐색 장치는 상기 블록의 렌더링 퀄리티를 증가시킬 수 있다. 즉, 상기 블록의 품질(해상도, 음질, 볼륨 등)이 향상될 수 있다. 그리고, 사용자가 응시하는 블록을 중심으로 주변에 위치한 블록들의 렌더링 퀄리티는 순차적으로 품질이 낮아질 수 있다.
도 7에서 "3"을 나타내는 블록(현재 블록)이 사용자가 현재 응시하고 있는 블록을 의미한다. 이 때, 3은 렌더링 퀄리티를 의미한다. 그러면, 디지털 오브젝트 탐색 장치는 현재 블록을 중심으로 주변으로 갈수록 렌더링 퀄리티를 감소시키는 것을 알 수 있다. 즉, 사용자가 응시하는 블록을 중심으로 품질이 향상되어, 사용자는 응시하고 있는 블록을 중심으로 디지털 오브젝트를 몰입할 수 있다.
도 8은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 부가 정보의 세기를 계산하여 디지털 오브젝트를 탐색하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 사용자의 시선 정보를 수집할 수 있다(S801). 그런 후, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색이 Enable인지 여부를 판단할 수 있다(S802). 만약, 디지털 오브젝트에 대한 탐색이 Disable인 경우, 디지털 오브젝트 탐색 장치는 화면을 갱신할 수 있다(S811).
반대로, 디지털 오브젝트에 대한 탐색이 Enable인 경우, 디지털 오브젝트 탐 색 장치는 사용자의 시선 위치와 부가 정보와의 거리(XDist, YDist)를 계산할 수 있다(S803). 그리고, 디지털 오브젝트 탐색 장치는 깊이 맵 상에서 사용자의 시선 위치의 거리(DDist)를 계산할 수 있다(S804). 이 때, 깊이 맵은 디지털 오브젝트에 포함된 구성 요소와 사용자와의 거리를 나타낸 맵을 의미할 수 있다. 또한, 디지털 오브젝트 탐색 장치는 히트 맵 상에서 사용자의 시선 위치의 거리(IDist)를 계산할 수 있다(S805). 이 때, 히트 맵은 사용자가 관심을 가지는 지역을 표시한 맵을 의미할 수 있다.
그런 후, 디지털 오브젝트 탐색 장치는 계산된 거리를 이용하여 부가 정보의 세기를 계산할 수 있다(S806). 이 때, 부가 정보의 세기는 사용자가 응시하고 있는 위치에 대해 디지털 오브젝트에 저장된 적어도 하나의 부가 정보 중 어느 것을 표시할 것인지를 결정하는 기준이 될 수 있다.
디지털 오브젝트 탐색 장치는 부가 정보의 세기에 따라 텍스트 부가 정보를 설정하거나(S807), 비디오 부가 정보를 설정하거나(S808) 또는 오디오 부가 정보를 설정할 수 있다(S809). 예를 들어, 텍스트의 경우, 디지털 오브젝트 탐색 장치는 텍스트의 크기, 폰트 또는 색을 조정할 수 있다. 그리고, 비디오의 경우, 디지털 오브젝트 탐색 장치는 비디오의 크기, 해상도, 볼륨을 조정할 수 있다. 또한, 오디오의 경우, 디지털 오브젝트 탐색 장치는 오디오 볼륨, 주파수 레이트를 조정할 수 있다.
디지털 오브젝트 탐색 장치는 디지털 오브젝트를 탐색하여 부가 정보를 표시 할 수 있다(S801). 그런 후, 디지털 오브젝트 탐색 장치는 화면을 갱신할 수 있다(S811).
도 9는 본 발명의 일실시예에 따라 사용자의 시선 위치에 따른 부가 정보의 세기를 계산하는 일례를 도시한 도면이다.
디지털 오브젝트 탐색 장치는 디지털 오브젝트(901)에서 사용자의 시선 위치와 부가 정보와의 거리(XDist, YDist)를 계산할 수 있다. 그리고, 디지털 오브젝트 탐색 장치는 디지털 오브젝트(901)에 대한 깊이 맵 상에서 사용자의 시선 위치의 거리(DDist)를 계산할 수 있다. 이 때, 깊이 맵은 디지털 오브젝트에 포함된 구성 요소와 사용자와의 거리를 나타낸 맵을 의미할 수 있다.
일례로, 디지털 오브젝트 탐색 장치는 하기 수학식 1에 따라 사용자의 시선 위치와 부가 정보와의 거리(XDist, YDist)를 계산할 수 있다. 그리고, 디지털 오브젝트 탐색 장치는 하기 수학식 2에 따라 디지털 오브젝트(901)에 대한 깊이 맵 상에서 사용자의 시선 위치의 거리(DDist)를 계산할 수 있다.
XDist=｜Annot X-CurX｜, YDist=｜Annot Y-CurY｜
이 때, Annot X, Annot Y는 각각 부가 정보의 X, Y 성분을 나타내고, CurX, Cur Y는 각각 사용자의 시선 위치의 X, Y 성분을 나타낸다.
DDist=│Depth Map(x,y)-CurZ│
이 때, Depth Map(x,y)는 깊이 맵 상에서 부가 정보의 성분을 나타내고, CurZ는 깊이 맵 상에서 사용자의 시선 위치를 나타낸다. 이 때, CurZ는 줌 비율이 적용된 값일 수 있다.
또한, 디지털 오브젝트 탐색 장치는 히트 맵(902) 상에서 사용자의 시선 위치의 거리(IDist)를 계산할 수 있다. 이 때, 히트 맵은 사용자가 관심을 가지는 지역을 표시한 맵을 의미할 수 있다. 일례로, 디지털 오브젝트 탐색 장치는 하기 수학식 3에 따라 히트 맵(902) 상에서 사용자의 시선 위치의 거리(IDist)를 계산할 수 있다.
IDist=│HitMap (x,y)│
일례로, 부가 정보의 세기(D)는 하기 수학식 4에 따라 결정될 수 있다.
Figure 112009046708176-PAT00001
도 10은 본 발명의 일실시예에 따라 사용자의 시선 위치에 따라 부가 정보가 표시되는 일례를 도시한 도면이다.
도 10를 참고하면, 디지털 오브젝트에 부가 정보가 A, B, C, D, E 지점에 저장되어 있다고 가정한다. 이 때, 사용자의 시선 위치가 디지털 오브젝트 상의 특정 지점에 존재하는 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선 위치를 중 심으로 부가 정보의 세기를 계산할 수 있다. 부가 정보의 세기는 도 9의 수학식 1, 2, 3 및 4에 따라 결정될 수 있다. 즉, 부가 정보의 세기는 미리 저장된 부가 정보의 위치와 사용자의 시선 위치의 거리와 관련이 있다.
도 10에서 사용자의 시선 위치에 가장 가까운 D위치에 저장된 부가 정보의 세기가 가장 크게 결정될 수 있다. 그러면, D 위치에 저장된 부가 정보가 텍스트, 비디오 또는 오디오 타입으로 표시될 수 있다. 예를 들어, 디지털 오브젝트가 지도인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선 위치에 가장 가까운 음식점 D의 상세 정보를 텍스트, 오디오 또는 비디오 형태로 표시할 수 있다. 결국, 사용자는 디지털 오브젝트에서 특정 지점을 응시하는 것으로도 미리 저장된 부가 정보를 획득할 수 있다.
도 11은 본 발명의 일실시예에 따른 사용자의 시선 위치에 따라 채널을 탐색하는 일례를 도시한 도면이다.
도 11을 참고하면, 사용자의 시선에 따라 3D 형태의 디지털 오브젝트인 방송 채널들이 변경하는 과정이 도시되어 있다. 즉, 본 발명에 따르면, 사용자의 시선 정보와 제스쳐 정보를 이용하여 디지털 오브젝트의 3D 위치 정보 및 회전 정보가 계산된다. 그러면, 사용자가 응시하는 시선 위치를 중심으로 디지털 오브젝트의 3D 위치 정보 및 회전 정보가 결정되어, 디지털 오브젝트가 탐색될 수 있다.
도 11에 의하면, 사용자는 리모컨과 같은 별도의 조작 장치 없이도 현재 위치에서 시선만으로 수많은 채널을 검색할 수 있다. 도 11에서, 사용자가 화면의 왼쪽을 응시하면, 복수의 채널들은 사용자가 응시하는 시선의 위치에서 표시될 수 있다. 그리고, 사용자가 화면의 왼쪽에서 오른쪽으로 시선을 이동시키면, 화면 상에 표시된 채널도 사용자의 시선에 따라 이동할 수 있다.
도 12는 본 발명의 일실시예에 따른 사용자의 위치에 따라 사용자 인터페이스를 달리 결정하는 일례를 도시한 도면이다.
도 12를 참고하면, 화면에 표시되는 디지털 오브젝트는 사용자의 방향으로 크게 출력되고, 사용자와의 반대 방향으로 작게 출력되도록 조절될 수 있다. 특히, 대형 화면의 경우, 멀리 떨어진 디지털 오브젝트는 사용자가 시각적으로 인식하기 어렵기 때문에, 사용자와 가까운 곳에 위치할 때보다 더 크게 표시될 수 있다.
따라서, 디지털 오브젝트 탐색 장치는 사용자 인터페이스의 프로젝션을 조정하여 사용자의 위치에 따라 디지털 오브젝트를 사용자의 방향으로 크게 사용자의 반대방향으로 작게 출력되도록 디지털 오브젝트의 위치 및 회전 속성을 변경시킴으로써, 사용자에게 최적화된 view를 제공할 수 있다. 즉 도 12에 의하면, 사용자가 화면을 보는 위치에 따라 Perspetive한 view를 제공할 수 있다.
도 13은 본 발명의 일실시예에 따른 사용자 인터페이스가 사용자의 위치에 따라 출력되는 일례를 도시한 도면이다.
도 13을 참고하면, 디지털 오브젝트는 사용자의 위치에 따라 이동하여 출력될 수 있다. 즉, 사용자가 화면의 왼쪽에 위치하는 경우 출력되는 디지털 오브젝트도 왼쪽으로 이동하고, 사용자가 화면의 오른쪽에 위치하는 경우 출력되는 디지털 오브젝트도 오른쪽으로 이동할 수 있다.
특히, 대형 화면에서, 사용자가 대각선 방향으로 화면을 보면 디지털 오브젝트를 인식하기 어렵기 때문에, 본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치는 사용자의 위치 정보에 따라 디지털 오브젝트를 이동시켜 출력할 수 있다. 또한, 사용자와 화면과의 거리가 증가하는 경우, 화면에 표시되는 디지털 오브젝트도 상기 증가된 거리만큼 크기가 증가되어 표시될 수 있다.
도 14는 본 발명의 일실시예에 따라 사용자의 위치 정보와 시선 정보에 따라 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 사용자의 위치 정보를 수집할 수 있다(S1401). 이 때, 디지털 오브젝트 탐색 장치는 도 13에서 도시된 바와 같이 디지털 오브젝트가 사용자를 따라다니는 모드(제1 모드)인지 여부를 판단할 수 있다(S1402). 만약, 제1 모드인 경우, 디지털 오브젝트 탐색 장치는 사용자의 위치에 따라 디지털 오브젝트의 위치를 변경시킬 수 있다(S1403).
반대로, 제1 모드가 아닌 경우, 디지털 오브젝트 탐색 장치는 도 12와 같이 디지털 오브젝트가 사용자의 방향으로 출력되는 모드(제2 모드)인지 여부를 판단할 수 있다. 만약, 제2 모드인 경우, 디지털 오브젝트 탐색 장치는 사용자가 위치한 방향으로 디지털 오브젝트를 크게, 사용자가 위치한 반대 방향으로 작게 출력되도록 디지털 오브젝트의 위치 및 회전 속성을 변경시킬 수 있다(S1405).
만약, 제2 모드가 아닌 경우, 디지털 오브젝트 탐색 장치는 도 11과 같이 디지털 오브젝트가 사용자의 시선에 따라 출력되는 모드(제3 모드)인지 여부를 판단 할 수 있다. 만약, 제3 모드인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선에 의한 시점에 따라 화면에 출력되는 디지털 오브젝트의 위치 및 회전 속성을 변경할 수 있다.
단계(S1403), 단계(S1405), 단계(S1406) 및 단계(S1407)를 거친 후, 디지털 오브젝트가 표시된 화면은 갱신될 수 있다.
또한 본 발명의 일실시예에 따른 디지털 오브젝트 탐색 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명 되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 디지털 오브젝트의 탐색 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 디지털 오브젝트의 상세 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
도 4는 본 발명의 일실시예에 따라 시선 정보 및 제스쳐 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
도 5는 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 줌 인 또는 줌 아웃으로 탐색하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 블록에 따라 렌더링 퀄리티를 달리하여 탐색하는 일례를 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 렌더링 퀄리티를 블록마다 다르게 결정하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 부가 정보의 세기를 계산하여 디지털 오브젝트를 탐색하는 일례를 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따라 사용자의 시선 위치에 따른 부가 정보의 세기를 계산하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따라 사용자의 시선 위치에 따라 부가 정보가 표시되는 일례를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 사용자의 시선 위치에 따라 채널을 탐색하는 일례를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 사용자의 위치에 따라 사용자 인터페이스를 달리 결정하는 일례를 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 사용자 인터페이스가 사용자의 위치에 따라 출력되는 일례를 도시한 도면이다.
도 14는 본 발명의 일실시예에 따라 사용자의 위치 정보와 시선 정보에 따라 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하는 일례를 도시한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 사용자
101: 디지털 오브젝트 탐색 장치
102: 디스플레이
103: 시선 정보
104: 제스쳐 정보

Claims (24)

  1. 복수의 블록으로 구성된 디지털 오브젝트에 대해 사용자의 시선 정보 및 상기 사용자의 제스쳐 정보를 더 수집하는 정보 수집부;
    상기 수집된 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 정보 결정부; 및
    상기 디지털 오브젝트에 대한 탐색 정보를 이용하여 상기 디지털 오브젝트를 탐색하는 오브젝트 탐색부
    를 포함하는 디지털 오브젝트 탐색 장치.
  2. 제1항에 있어서,
    상기 정보 결정부는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 줌 비율(zoom rate)을 계산하는 줌 비율 계산부
    를 포함하고,
    상기 오브젝트 탐색부는,
    상기 사용자가 응시하는 블록을 중심으로 줌 비율에 기초하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  3. 제2항에 있어서,
    상기 줌 비율 계산부는,
    상기 시선 정보에 포함된 블록의 ID와 상기 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 상기 디지털 오브젝트의 줌 인 또는 줌 아웃에 대한 줌 비율을 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  4. 제3항에 있어서,
    상기 줌 비율 계산부는,
    상기 시선 유지 시간 동안 상기 사용자가 응시하는 블록의 ID가 동일한 경우, 상기 시선 유지 시간을 이용하여 상기 디지털 오브젝트의 줌 인에 대한 줌 비율을 계산하고,
    상기 시선 유지 시간 동안 상기 사용자가 응시하는 블록의 ID가 다른 경우, 상기 시선 유지 시간을 이용하여 상기 디지털 오브젝트의 줌 아웃에 대한 줌 비율을 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  5. 제3항에 있어서,
    상기 줌 비율 계산부는,
    상기 시선 유지 시간이 미리 설정한 임계 시간을 초과하는 경우, 상기 디지털 오브젝트의 줌 인에 대한 줌 비율을 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  6. 제1항에 있어서,
    상기 오브젝트 탐색부는,
    상기 시선 정보에 포함된 눈 깜빡임 또는 상기 사용자의 제스쳐 정보에 포함된 손 동작 중 어느 하나에 기초하여 상기 디지털 오브젝트를 탐색할 지 여부를 결정하는 것을 특징으로 하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  7. 제1항에 있어서,
    상기 정보 결정부는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 렌더링 퀄리티(rendering quality)를 계산하는 렌더링 퀄리티 계산부
    를 포함하고,
    상기 오브젝트 탐색부는,
    상기 사용자가 응시하는 블록을 중심으로 상기 렌더링 퀄리티에 기초하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  8. 제7항에 있어서,
    상기 렌더링 퀄리티 계산부는,
    상기 시선 정보에 포함된 블록의 ID와 상기 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 상기 디지털 오브젝트의 렌더링 퀄리티를 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  9. 제8항에 있어서,
    상기 렌더링 퀄리티 계산부는,
    상기 시선 유지 시간 동안 상기 사용자가 응시하는 블록의 ID가 동일한 경우, 상기 시선 유지 시간을 이용하여 상기 디지털 오브젝트에 대해 렌더링 퀄리티를 계산하고,
    상기 시선 유지 시간 동안 상기 사용자가 응시하는 블록의 ID가 다른 경우, 상기 디지털 오브젝트에 대해 초기화하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  10. 제9항에 있어서,
    상기 렌더링 퀄리티 계산부는,
    상기 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 상기 시선 유지 시간에 대해 상기 블록의 렌더링 퀄리티를 증가시키고,
    상기 사용자가 응시하는 블록의 주변 블록의 렌더링 퀄리티를 감소시키는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  11. 제9항에 있어서,
    상기 렌더링 퀄리티 계산부는,
    상기 사용자가 응시하는 블록에 인접하는 주변 블록부터 순차적으로 렌더링 퀄리티를 감소시키는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  12. 제1항에 있어서,
    상기 정보 결정부는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 부가 정보(annotation)의 세기를 계산하는 부가 정보 세기 계산부
    를 포함하고,
    상기 오브젝트 탐색부는,
    상기 사용자가 응시하는 시선 위치를 중심으로 상기 부가 정보의 세기에 기초하여 상기 부가 정보를 출력하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  13. 제12항에 있어서,
    상기 부가 정보 세기 계산부는,
    상기 사용자가 응시하는 시선 위치와 상기 부가 정보와의 거리, 상기 깊이맵 상에서 상기 시선 위치의 거리 및 상기 사용자의 관심도를 나타내는 히트맵 상에서 상기 시선 위치의 거리 중 적어도 하나를 이용하여 상기 디지털 오브젝트에 대해 부가 정보의 세기를 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  14. 제1항에 있어서,
    상기 정보 결정부는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트의 3D 위치정보 및 회전 정보를 계산하는 모션 패럴랙스 계산부
    를 포함하고,
    상기 오브젝트 탐색부는,
    상기 사용자가 응시하는 시선 위치를 중심으로 상기 3D 위치 정보 및 회전 정보에 기초하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  15. 제14항에 있어서,
    상기 오브젝트 탐색부는,
    상기 사용자의 위치 정보와 시선 정보에 따라 상기 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 장치.
  16. 복수의 블록으로 구성된 디지털 오브젝트에 대해 사용자의 시선 정보 및 상기사용자의 제스쳐 정보를 수집하는 단계;
    상기 수집된 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 단계; 및
    상기 디지털 오브젝트에 대한 탐색 정보를 이용하여 상기 디지털 오브젝트를 탐색하는 단계
    를 포함하는 디지털 오브젝트 탐색 방법.
  17. 제16항에 있어서,
    상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 단계는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 줌 비율(zoom rate)을 계산하는 단계
    를 포함하고,
    상기 디지털 오브젝트를 탐색하는 단계는,
    상기 사용자가 응시하는 블록을 중심으로 줌 비율에 기초하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  18. 제17항에 있어서,
    상기 디지털 오브젝트에 대해 줌 비율(zoom rate)을 계산하는 단계는,
    상기 시선 정보에 포함된 블록의 ID와 상기 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 상기 디지털 오브젝트의 줌 인 또는 줌 아웃에 대한 줌 비율을 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  19. 제16항에 있어서,
    상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 단계는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 렌더링 퀄리티를 계산하는 단계
    를 포함하고,
    상기 디지털 오브젝트를 탐색하는 단계는,
    상기 사용자가 응시하는 블록을 중심으로 상기 렌더링 퀄리티에 기초하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  20. 제19항에 있어서,
    상기 디지털 오브젝트에 대해 렌더링 퀄리티를 계산하는 단계는,
    상기 시선 정보에 포함된 블록의 ID와 상기 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 상기 디지털 오브젝트의 렌더링 퀄리티를 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  21. 제16항에 있어서,
    상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 단계는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트에 대해 부가 정보(annotation)의 세기를 계산하는 단계
    를 포함하고,
    상기 디지털 오브젝트를 탐색하는 단계는,
    상기 사용자가 응시하는 시선 위치를 중심으로 상기 부가 정보의 세기에 기 초하여 상기 부가 정보를 출력하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  22. 제21항에 있어서,
    상기 디지털 오브젝트에 대해 부가 정보의 세기를 계산하는 단계는,
    상기 사용자가 응시하는 시선 위치와 상기 부가 정보와의 거리, 상기 깊이맵 상에서 상기 시선 위치의 거리 및 상기 사용자의 관심도를 나타내는 히트맵 상에서 상기 시선 위치의 거리 중 적어도 하나를 이용하여 상기 디지털 오브젝트에 대해 부가 정보의 세기를 계산하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  23. 제16항에 있어서,
    상기 디지털 오브젝트에 대해 탐색 정보를 결정하는 단계는,
    상기 시선 정보 및 제스쳐 정보를 이용하여 상기 디지털 오브젝트의 3D 위치정보 및 회전 정보를 계산하는 단계
    를 포함하고,
    상기 디지털 오브젝트를 탐색하는 단계는,
    상기 사용자가 응시하는 시선 위치를 중심으로 상기 3D 위치 정보 및 회전 정보에 기초하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
  24. 제23항에 있어서,
    상기 디지털 오브젝트를 탐색하는 단계는,
    상기 사용자의 위치 정보와 시선 정보에 따라 상기 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하여 상기 디지털 오브젝트를 탐색하는 것을 특징으로 하는 디지털 오브젝트 탐색 방법.
KR1020090069701A 2009-07-29 2009-07-29 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 KR101596890B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090069701A KR101596890B1 (ko) 2009-07-29 2009-07-29 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US12/801,839 US9261958B2 (en) 2009-07-29 2010-06-28 Apparatus and method for navigation in digital object using gaze information of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090069701A KR101596890B1 (ko) 2009-07-29 2009-07-29 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160015197A Division KR101640393B1 (ko) 2016-02-05 2016-02-05 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110012128A true KR20110012128A (ko) 2011-02-09
KR101596890B1 KR101596890B1 (ko) 2016-03-07

Family

ID=43528170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090069701A KR101596890B1 (ko) 2009-07-29 2009-07-29 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Country Status (2)

Country Link
US (1) US9261958B2 (ko)
KR (1) KR101596890B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307192B1 (ko) * 2011-07-01 2013-09-11 타임디지탈 주식회사 3차원 전자 판서 시스템
US10055015B2 (en) 2014-11-03 2018-08-21 Samsung Electronics Co., Ltd Electronic device and method for controlling external object

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8659562B2 (en) 2010-11-05 2014-02-25 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US9436381B2 (en) 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
CN106125921B (zh) * 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9554229B2 (en) * 2011-10-31 2017-01-24 Sony Corporation Amplifying audio-visual data based on user's head orientation
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
DE102012005886B4 (de) * 2012-03-23 2023-02-16 Audi Ag Verfahren zur Bedienung einer Bedienvorrichtung eines Kraftfahrzeugs
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
CN103809733B (zh) * 2012-11-07 2018-07-20 北京三星通信技术研究有限公司 人机交互系统和方法
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
DE102013001327B4 (de) * 2013-01-26 2017-12-14 Audi Ag Verfahren und Anzeigesystem zum blickrichtungsabhängigen Skalieren einer Darstellung
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US20150077381A1 (en) * 2013-09-19 2015-03-19 Qualcomm Incorporated Method and apparatus for controlling display of region in mobile device
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9310886B2 (en) * 2014-02-13 2016-04-12 Lenovo (Singapore) Pte. Ltd. Transient message display control
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
JP6432449B2 (ja) * 2015-06-02 2018-12-05 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、及び情報処理方法
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
US10345898B2 (en) * 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
JP6828508B2 (ja) * 2017-02-27 2021-02-10 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN109246463B (zh) * 2017-06-02 2020-06-26 腾讯科技（深圳）有限公司 用于显示弹幕的方法和装置
GB2567164A (en) 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040063153A (ko) * 2001-11-19 2004-07-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치
KR20080091547A (ko) * 2007-04-09 2008-10-14 삼성전자주식회사 단말 및 주시와 선택에 의한 그의 문자 입력 방법

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL117133A (en) * 1996-02-14 1999-07-14 Olivr Corp Ltd Method and system for providing on-line virtual reality movies
US6721952B1 (en) * 1996-08-06 2004-04-13 Roxio, Inc. Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
US6717578B1 (en) * 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US20010033287A1 (en) * 2000-01-11 2001-10-25 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer which utilizes a window ID to specify pixel characteristics
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
JP4162398B2 (ja) 2001-11-19 2008-10-08 株式会社日立製作所 映像表示システムおよびその方法
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
JP4305752B2 (ja) 2003-10-24 2009-07-29 ソニー株式会社 映像配信システム、映像配信装置、映像配信方法及び映像配信プログラム
KR20050042399A (ko) 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
JP2006202181A (ja) 2005-01-24 2006-08-03 Sony Corp 画像出力方法および装置
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
JP5015926B2 (ja) * 2005-08-04 2012-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 物件に関心を有する個人を監視する装置及び方法
JP2007274621A (ja) 2006-03-31 2007-10-18 Victor Co Of Japan Ltd 画像伝送システム及び画像伝送方法
JP2008003816A (ja) 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 操作誘導装置及び操作誘導方法
CN103823556B (zh) * 2006-07-28 2017-07-04 飞利浦灯具控股公司 用于被凝视物品的信息显示的凝视交互
WO2008012716A2 (en) * 2006-07-28 2008-01-31 Koninklijke Philips Electronics N. V. Private screens self distributing along the shop window
JP2008040576A (ja) 2006-08-02 2008-02-21 Sharp Corp 画像処理システム及び該システムを備えた映像表示装置
JP2008129775A (ja) 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
JP2008244922A (ja) 2007-03-28 2008-10-09 Mitsubishi Electric Corp 映像生成方法及び映像生成装置
JP5086711B2 (ja) 2007-07-11 2012-11-28 シャープ株式会社 映像表示装置
US20090089682A1 (en) * 2007-09-27 2009-04-02 Rockwell Automation Technologies, Inc. Collaborative environment for sharing visualizations of industrial automation data
US20100054526A1 (en) * 2008-09-03 2010-03-04 Dean Eckles Method, apparatus and computer program product for providing gaze information
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040063153A (ko) * 2001-11-19 2004-07-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치
KR20080091547A (ko) * 2007-04-09 2008-10-14 삼성전자주식회사 단말 및 주시와 선택에 의한 그의 문자 입력 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307192B1 (ko) * 2011-07-01 2013-09-11 타임디지탈 주식회사 3차원 전자 판서 시스템
US10055015B2 (en) 2014-11-03 2018-08-21 Samsung Electronics Co., Ltd Electronic device and method for controlling external object

Also Published As

Publication number Publication date
US20110029918A1 (en) 2011-02-03
US9261958B2 (en) 2016-02-16
KR101596890B1 (ko) 2016-03-07

Similar Documents

Publication Publication Date Title
KR20110012128A (ko) 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US10134364B2 (en) Prioritized display of visual content in computer presentations
KR102079832B1 (ko) 시각 초점에 기반한 결합형 디스플레이의 제어 기법
CA2942377C (en) Object tracking in zoomed video
US10042420B2 (en) Gaze-aware control of multi-screen experience
US9398349B2 (en) Comment information generation device, and comment display device
US10969949B2 (en) Information display device, information display method and information display program
US11070894B2 (en) Methods, systems, and media for presenting interactive elements within video content
US20140253417A1 (en) Colony desktop hive display: creating an extended desktop display from multiple mobile devices using near-field or other networking
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
Nguyen et al. Depth conflict reduction for stereo vr video interfaces
JP2017126899A (ja) 画像処理装置および画像処理方法
JPWO2019224866A1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
KR101640393B1 (ko) 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
CN107479692B (zh) 虚拟现实场景的控制方法、设备及虚拟现实设备
Schoeffmann et al. Video navigation on tablets with multi-touch gestures
US20180097865A1 (en) Video processing apparatus and method
EP4250061A1 (en) User control in augmented reality
JP6214365B2 (ja) 画像再生装置、その制御方法、および制御プログラム
KR20170099661A (ko) 영상 표시 장치, 영상 생성 장치, 영상 제공 서버, 영상 표시 방법, 영상 생성 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 5