KR20160109443A - 시선 추적을 이용한 디스플레이 장치 및 방법 - Google Patents

시선 추적을 이용한 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR20160109443A
KR20160109443A KR1020150033823A KR20150033823A KR20160109443A KR 20160109443 A KR20160109443 A KR 20160109443A KR 1020150033823 A KR1020150033823 A KR 1020150033823A KR 20150033823 A KR20150033823 A KR 20150033823A KR 20160109443 A KR20160109443 A KR 20160109443A
Authority
KR
South Korea
Prior art keywords
area
screen
gazing point
user
determining
Prior art date
Application number
KR1020150033823A
Other languages
English (en)
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020150033823A priority Critical patent/KR20160109443A/ko
Publication of KR20160109443A publication Critical patent/KR20160109443A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—

Abstract

디스플레이 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 디스플레이 장치는 화면 상에 컨텐츠를 표시하는 디스플레이부, 상기 화면 상에서 사용자의 시선 위치를 판단하는 시선 추적부 및 상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하고, 상기 응시 지점에 대응하는 기능이 수행되도록 제어하는 제어부를 포함한다.

Description

시선 추적을 이용한 디스플레이 장치 및 방법{DISPLAY APPARATUS USING EYE-TRACKING AND METHOD THEREOF}
본 발명의 실시예들은 시선 추적을 이용한 디스플레이 장치 및 방법과 관련된다.
최근, 시선 추적 기술의 적용 대상 기기가 넓어지고 있으며, 정확한 시선 검출을 위한 기술 개발이 지속적으로 이루어지고 있다. 특히 별도의 입력 장치를 사용하는 것이 사용자에게 부담을 줄 수 있는 가전 제품의 사용 시, 오큘러스 리프트(Occulus Rift)등의 장비를 사용하는 가상 현실 또는 증강현실 기술에 의한 인터페이스 사용시 또는 장애인들의 정보기술 장치 사용시 키보드 등의 별도의 입력 도구 없이 사용자의 시선을 추적하여 사용자로부터 정보를 입력 받기 위한 입력 장치로서 시선 추적 기술을 이용하는 기술이 대두되고 있다.
한국공개특허 제10-2008-0051664호 (2008. 06. 11)
본 발명의 실시예들은 시선 추적을 이용하한 디스플레이 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 시선 추적을 이용한 디스플레이 장치는 화면 상에 컨텐츠를 표시하는 디스플레이부, 상기 화면 상에서 사용자의 시선 위치를 판단하는 시선 추적부 및 상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하고, 상기 응시 지점에 대응하는 기능이 수행되도록 제어하는 제어부를 포함한다.
상기 제어부는, 상기 시선 위치가 일정 시간 이상 변동이 없는 경우, 상기 시선 위치에 대응하는 지점을 상기 응시 지점으로 결정할 수 있다.
상기 제어부는, 상기 시선 위치가 일정 영역 내에 일정 시간 이상 머무르는 경우, 상기 일정 영역을 상기 응시 지점으로 결정할 수 있다.
상기 제어부는, 상기 응시 지점에 기초하여 포커싱 영역을 결정하고, 상기 포커싱 영역이 시각적으로 구분되어 표시되도록 제어할 수 있다.
상기 제어부는, 상기 응시 지점을 기준으로 기 설정된 크기의 영역을 상기 포커싱 영역으로 결정할 수 있다.
상기 제어부는, 상기 응시 지점에 대응하는 객체가 표시된 영역을 상기 포커싱 영역으로 결정할 수 있다.
상기 제어부는, 상기 컨텐츠가 깊이 정보를 가진 이미지 또는 동영상인 경우, 상기 응시 지점의 깊이 정보에 기초하여 상기 포커싱 영역을 결정할 수 있다.
상기 제어부는, 상기 화면에서 상기 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리할 수 있다.
상기 제어부는, 상기 화면에서 상기 포커싱 영역을 확대할 수 있다.
상기 제어부는, 상기 응시 지점이 메뉴 활성화 영역에 해당하는 경우, 상기 메뉴 활성화 영역에 대응하는 메뉴 화면이 표시되도록 제어할 수 있다.
상기 제어부는, 상기 화면에 사용자 선택 영역이 포함되어 있는 경우, 상기 사용자 선택 영역을 시각적으로 구분하여 표시되도록 제어할 수 있다.
상기 제어부는, 상기 응시 지점이 상기 사용자 선택 영역에 해당하는 경우, 상기 사용자 선택 영역에 대응하는 기능이 수행되도록 제어할 수 있다.
본 발명의 일 실시예에 따른 시선 추적을 이용한 디스플레이 방법은 화면 상에 컨텐츠를 표시하는 단계, 상기 화면 상에서 사용자의 시선 위치를 판단하는 단계, 상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하는 단계 및 상기 응시 지점에 대응하는 기능을 수행하는 단계를 포함한다.
상기 결정하는 단계는, 상기 시선 위치가 일정 시간 이상 변동이 없는 경우, 상기 시선 위치에 대응하는 지점을 상기 응시 지점으로 결정할 수 있다.
상기 결정하는 단계는, 상기 시선 위치가 일정 영역 내에 일정 시간 이상 머무르는 경우, 상기 일정 영역을 상기 응시 지점으로 결정할 수 있다.
상기 수행하는 단계는, 상기 응시 지점에 기초하여 포커싱 영역을 결정하는 단계 및 상기 포커싱 영역을 시각적으로 구분하여 표시하는 단계를 포함할 수 있다.
상기 포커싱 영역을 결정하는 단계는, 상기 응시 지점을 기준으로 기 설정된 크기의 영역을 상기 포커싱 영역으로 결정할 수 있다.
상기 포커싱 영역을 결정하는 단계는, 상기 응시 지점에 대응하는 객체가 표시된 영역을 상기 포커싱 영역으로 결정할 수 있다.
상기 포커싱 영역을 결정하는 단계는, 상기 컨텐츠가 깊이 정보를 가진 이미지 또는 동영상인 경우, 상기 응시 지점의 깊이 정보에 기초하여 상기 포커싱 영역을 결정할 수 있다.
상기 표시하는 단계는, 상기 화면에서 상기 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리할 수 있다.
상기 표시하는 단계는, 상기 화면에서 상기 포커싱 영역을 확대할 수 있다.
상기 수행하는 단계는, 상기 응시 지점이 메뉴 활성화 영역에 해당하는 경우, 상기 메뉴 활성화 영역에 대응하는 메뉴 화면을 표시할 수 있다.
상기 시선 추적을 이용한 디스플레이 방법은 상기 화면에 사용자 선택 영역이 포함되어 있는 경우, 상기 사용자 선택 영역을 시각적으로 구분하여 표시하는 단계를 더 포함할 수 있다.
상기 수행하는 단계는, 상기 응시 지점이 상기 사용자 선택 영역에 해당하는 경우, 상기 사용자 선택 영역에 대응하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 기록매체에 저장된 컴퓨터 프로그램은 하드웨어와 결합되어, 화면 상에 컨텐츠를 표시하는 단계, 상기 화면 상에서 사용자의 시선 위치를 판단하는 단계, 상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하는 단계 및 상기 응시 지점에 대응하는 기능을 수행하는 단계를 실행시킨다.
본 발명의 실시예들에 따르면, 사용자의 시선에 따라 화면 상에서 컨텐츠의 표시를 변경시키거나, 특정 기능이 수행되도록 함으로써, 사용자의 편의성을 증대시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성도
도 2a 내지 도 2c는 응시 지점이 포커싱되는 예를 나타낸 도면
도 3a 및 도 3b는 메뉴 화면을 표시하는 예를 나타낸 도면
도 4a 및 도 4b는 사용자 선택 영역을 표시하는 예를 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 시선 추적을 이용한 디스플레이 방법의 순서도
도 6은 본 발명의 다른 실시예에 따른 시선 추적을 이용한 디스플레이 방법의 순서도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치(100)의 구성도이다.
디스플레이 장치(100)는 디스플레이 화면 상에 컨텐츠를 표시하기 위한 장치를 의미하며, 예를 들어, 스마트 TV, 스마트 폰, PDA, 퍼스널 컴퓨터, 랩톱 컴퓨터, 사용자의 두부에 착용할 수 있도록 구성된 가상 현실 장치, 스마트 글래스(Smart Glass), 헤드 업 디스플레이(Head Up Display, HUD) 등 다양한 형태로 구현될 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 디스플레이부(110), 시선 추적부(130) 및 제어부(150)를 포함한다.
디스플레이부(110)는 화상 표시 수단을 이용하여 화면 상에 컨텐츠를 표시한다. 이때, 화상 표시 수단은 다양한 형태의 컨텐츠를 시각적으로 표시하기 위한 것으로 예를 들어, LCD 패널, OLED 패널, PDP, 투명 디스플레이 등을 포함할 수 있다. 또한, 컨텐츠는 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등 화상 표시 수단을 이용하여 화면 상에 시각적으로 표시할 수 있는 다양한 형태의 컨텐츠를 포함할 수 있다.
시선 추적부(130)는 사용자의 시선을 추적하여, 디스플레이부(110)에 표시되는 화면에서 사용자의 시선 위치를 산출한다. 구체적으로, 시선 추적부(130)는 다양한 형태의 센서 내지는 카메라를 이용하여, 사용자 시선 움직임 정보를 수집하고, 수집된 시선 움직임 정보를 이용하여 사용자의 시선 위치를 산출할 수 있다.
사용자 시선을 추적하기 위한 기술의 예시로는 비디오 분석 방식, 콘택트렌즈 방식, 센서 부착 방식의 3가지 방식을 들 수 있다. 이 중 비디오 분석 방식은 카메라를 이용하여 촬영된 카메라 이미지의 실시간 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 위치를 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하며, 눈을 감고 있는 경우(수면 등)에도 눈의 움직임 검출이 가능하다. 다만, 본 발명의 실시예들은 특정한 시선 추적 방식 내지 알고리즘에 한정되는 것은 아님을 유의한다.
제어부(150)는 화면 상에서 사용자의 시선 위치에 따른 기능이 수행되도록 제어한다.
본 발명의 일 실시예에 따르면, 제어부(150)는 시선 추적부(130)에서 판단된 시선 위치에 기초하여, 디스플레이부(110)에 표시되는 화면 상에서 사용자의 응시 지점을 결정하고, 응시 지점에 대응하는 기능이 수행되도록 제어할 수 있다. 이때, 응시 지점은 화면 상에서 사용자가 시선을 움직이지 않고 일정 시간 이상 응시하고 있는 지점을 의미한다.
예를 들어, 제어부(150)는 화면 상에서 시선 위치가 일정 시간 이상 변동이 없는 경우, 해당 시선 위치에 대응하는 지점을 응시 지점으로 결정할 수 있다. 이때, 응시 지점을 결정하기 위한 시간은 미리 설정된 값을 이용하거나 사용자에 의해 설정된 값을 이용할 수 있다.
다른 예로, 제어부(150)는 화면 상에서 시선 위치가 일정 영역 내에 일정 시간 이상 머무르는 경우, 해당 영역을 응시 지점으로 결정할 수 있다. 이때, 일정 영역의 크기 및 응시 지점을 결정하기 위한 시간은 미리 설정된 값을 이용하거나 사용자에 의해 설정된 값을 이용할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 제어부(150)는 응시 지점이 결정된 경우, 결정된 응시 지점에 기초하여 화면 상에서 포커싱 영역을 결정하고, 포커싱 영역이 시각적으로 구분되어 표시되도록 제어할 수 있다.
제어부(150)는 예를 들어, 응시 지점을 기준으로 기 설정된 크기의 영역을 포커싱 영역으로 결정할 수 있다. 이때, 포커싱 영역의 크기는 미리 설정된 값을 이용하거나, 사용자에 의해 설정된 값을 이용할 수 있다.
다른 예로, 제어부(150)는 응시 지점에 대응하는 객체가 표시된 영역을 포커싱 영역으로 결정할 수 있다. 이때, 객체는 아이콘, 텍스트, 게임 상의 캐릭터, 이미지 또는 영상에 포함된 사람이나 물건 등 표시되는 컨텐츠의 종류에 따라 다양한 형태가 있을 수 있다.
또 다른 예로, 제어부(150)는 화면 상에 표시되는 컨텐츠가 3차원 영상이나 다중 깊이 영상(multi-depth image)과 같이 깊이 정보를 가진 이미지 또는 동영상인 경우, 응시 지점의 깊이 정보에 기초하여 포커싱 영역을 결정할 수 있다. 구체적인 예로, 제어부(150)는 3차원 영상이나 다중 깊이 영상에서 응시 지점의 깊이를 판단하고, 응시 지점을 중심으로 동일한 깊이를 가지는 영역을 포커싱 영역으로 결정할 수 있다.
한편, 제어부(150)는 예를 들어, 화면에서 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리하여, 포커싱 영역이 시각적으로 구분되어 표시되도록 제어할 수 있다. 다른 예로, 제어부(150)는 화면에서 포커싱 영역을 확대하여, 포커싱 영역이 시각적으로 구분되어 표시되도록 제어할 수 있다.
한편, 포커싱 영역을 시각적으로 구분하여 표시하는 방식은 상기 예에 한정되는 것은 아니며, 포커싱 영역의 색상, 밝기 등을 다른 영역과 달리하여 표시하는 것과 같이 사용자가 포커싱 영역과 다른 영역을 시각적으로 구분하여 인식할 수 있도록 하는 다양한 형태의 변형 실시예를 포함한다.
한편, 본 발명의 일 실시예에 따르면, 제어부(150)는 응시 지점이 메뉴 활성화 영역에 위치한 경우, 메뉴 활성화 영역에 대응하는 메뉴 화면이 표시되도록 제어할 수 있다. 이때, 메뉴 활성화 영역은 화면에 표시되는 컨텐츠에서 사용자의 입력에 따라 소정의 메뉴 화면을 활성화하여 표시하도록 미리 설정된 영역을 의미한다. 이때, 메뉴 화면은 예를 들어, 사용자에게 선택 가능한 소정의 리스트를 표시하고, 표시된 리스트에 대한 사용자의 선택을 입력받기 위한 그래픽 사용자 인터페이스(GUI)의 형태로 표시될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 제어부(150)는 디스플레이부(110)에 표시되는 화면에 사용자 선택 영역이 존재하는 경우, 사용자 선택 영역을 시각적으로 구분하여 표시할 수 있다. 이때, 사용자 선택 영역은 사용자의 선택에 따라 연관된 기능을 실행하기 위한 객체가 표시된 영역을 의미할 수 있다. 이때, 객체는 아이콘, 이미지, 하이퍼 텍스트 등을 포함할 수 있다.
제어부(150)는 사용자 선택 영역을 시각적으로 구분하여 표시한 이후 결정된 응시 지점이 사용자 선택 영역에 해당하는 경우, 사용자 선택 영역에 대응하는 기능이 실행되도록 할 수 있다. 즉, 제어부(150)는 사용자의 시선 위치가 시각적으로 구분하여 표시된 사용자 선택 영역으로 이동하여 일정 시간 이상 응시하고 있는 경우, 해당 사용자 선택 영역에 대응하는 기능이 실행되도록 제어할 수 있다. 이때, 사용자 선택 영역에 대응하는 기능은 예를 들어, 말 풍선 등과 같은 관련 정보 표시, 화면 전환, 동영상 재생 또는 멈춤, 애플리케이션 실행, 사운드 출력 등과 같이 사용자 선택 영역의 선택에 따라 미리 수행되도록 설정된 다양한 형태의 기능을 포함할 수 있다.
도 2a 내지 2c는 응시 지점이 포커싱되는 예를 나타낸 도면이다.
도 2a 내지 도 2c를 참조하면, 디스플레이부(110)의 화면 상에 도 2a에 도시된 이미지(200)가 표시되고 있을 때, 사용자가 표시된 이미지(200) 중 펜(210)을 응시하고 있는 경우, 제어부(150)는 도 2b 도시된 예와 같이 이미지(200)에서 펜(210)을 제외한 영역을 블러 처리하여, 펜(210)이 포커싱되도록 할 수 있다.
이후, 사용자가 시선을 변경하여 컵(220)을 응시하고 있는 경우, 도 2c에 도시된 예와 같이 이미지(200)에서 컵(220)을 제외한 영역을 블러 처리하여, 컵(220)이 포커싱되도록 할 수 있다.
도 3a 및 3b는 메뉴 화면을 표시하는 예를 나타낸 도면이다.
도 3a 및 도 3b를 참조하면, 디스플레이부(110)의 화면에 도 3a에 도시된 예와 같은 메뉴 활성화 영역(310)을 포함하는 컨텐츠(300)가 표시되고 있을 때, 사용자가 도시된 컨텐츠(300) 중 메뉴 활성화 영역(310)으로 시선을 이동하여 응시하고 있는 경우(320), 제어부(150)는 도 3b에 도시된 예와 같이 메뉴 활성화 영역(310)에 대응하는 메뉴 화면(330)이 표시되도록 할 수 있다.
도 4a 및 도 4b는 사용자 선택 영역을 표시하는 예를 나타낸 도면이다.
도 4a 및 도 4b를 참조하면, 디스플레이부(110)의 화면에 도 4a에 도시된 예와 같이 디스플레이부(100)의 화면(400)에 사용자 선택 영역(410)을 포함하는 컨텐츠(300)가 표시되고 있는 경우, 제어부(150)는 화면(400)에 포함된 사용자 선택 영역(410)이 다른 영역과 시각적으로 구분되어 표시되도록 함으로써, 사용자의 시선을 사용자 선택 영역(410)으로 유도할 수 있다. 한편, 사용자 선택 영역(410)의 표시는 도시된 예와 같이 화살표를 이용하여 표시할 수 있으나, 이는 예시적인 것에 불과하며, 화면 상에 표시된 다른 영역과 시각적으로 구별할 수 있는 다양한 형태로 변형 실시 가능함을 유의하여야 한다. 예를 들어, 제어부(150)는 사용자 선택 영역(410)을 다른 영역과 구별되는 특정 색상을 이용하여 표시하거나, 밝기를 달리 하거나, 확대하여 표시할 수 있다.
한편, 도 4b에 도시된 예와 같이, 사용자의 시선 위치(420)가 사용자 선택 영역(410)으로 이동하는 경우, 제어부(150)는 사용자 선택 영역(410)과 관련된 기능(430)이 실행되도록 제어할 수 있다. 구체적으로, 도시된 예와 같이 사용자 선택 영역(410)이 표시되는 컨텐츠의 언어를 선택하기 위한 것으로 가정하면, 제어부(150)는 사용자의 시선 위치(420)가 사용자 선택 영역(410)으로 이동하여 일정 시간 응시하고 있는 경우, 언어 선택 창(430)이 화면 상에 표시되도록 제어할 수 있다. 또한, 표시된 언어 선택 창(430)에 추가적인 사용자 선택 영역(440)이 존재 하는 경우, 제어부(150)는 해당 사용자 선택 영역(440)으로 사용자의 시선을 유도하기 위하여 사용자 선택 영역(440)을 다른 영역과 시각적으로 구분되어 표시되도록 제어할 수 있다.
한편, 사용자 선택 영역(410, 440)과 관련된 기능은 도시된 예에 한정되는 것은 아니며, 도시된 예와 달리, 화면 전환, 동영상 재생 또는 멈춤, 사운드 출력, 말 풍선과 같은 관련 정보 표시, 애플리케이션 실행 등과 같은 다양한 기능을 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 시선 추적을 이용한 디스플레이 방법의 순서도이다.
도 5를 참조하면, 디스플레이 장치(100)는 화면 상에 컨텐츠를 표시한다(510).
이후, 디스플레이 장치(100)는 화면 상에서 사용자의 시선 위치를 판단한다(520).
이후, 디스플레이 장치(100)는 사용자의 시선 위치에 기초하여 화면 상에서 사용자의 응시 지점을 결정한다(530). 이때, 디스플레이 장치(100)는 예를 들어, 사용자의 시선 위치가 일정 시간 이상 변동이 없는 경우, 해당 시선 위치에 대응하는 지점을 응시 지점으로 결정할 수 있다.
다른 예로, 디스플레이 장치(100)는 사용자의 시선 위치가 일정 영역 내에 일정 시간 이상 머무르는 경우, 해당 영역을 응시 지점으로 결정할 수 있다.
이후, 디스플레이 장치(100)는 응시 지점에 대응하는 기능을 수행한다(540).
본 발명의 일 실시예에 따르면, 디스플레이 장치(100)는 응시 지점이 결정된 경우, 응시 지점에 기초하여 포커싱 영역을 결정하고, 포커싱 영역을 시각적으로 구분하여 표시할 수 있다.
이때, 포커싱 영역은 예를 들어, 응시 지점을 기준으로 기설정된 크기의 영역으로 결정될 수 있다.
다른 예로, 포커싱 영역은 응시 지점에 대응하는 객체가 표시된 영역으로 결정될 수 있다.
또 다른 예로, 화 상에 표시되는 컨텐츠가 깊이 정보를 가진 이미지 또는 동영상인 경우, 포커싱 영역은 응시 지점의 깊이 정보에 기초하여 결정될 수 있다.
한편, 디스플레이 장치(100)는 포커싱 영역이 결정된 경우, 예를 들어, 화면 상에서 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리하여, 포커싱 영역을 시각적으로 구분하여 표시할 수 있다.
다른 예로, 디스플레이 장치(100)는 포커싱 영역이 결정된 경우, 화면 상에서 포커싱 영역을 확대하여 포커싱 영역을 시각적으로 구분하여 표시할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 디스플레이 장치(100)는 결정된 응시 지점이 메뉴 활성화 영역인 경우, 메뉴 활성화 영역에 대응하는 메뉴 화면을 표시할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 시선 추적을 이용한 디스플레이 방법의 순서도이다.
도 6을 참조하면, 디스플레이 장치(100)는 화면 상에 컨텐츠를 표시한다(610).
이후, 디스플레이 장치(100)는 화면 상에 표시된 컨텐츠 중 사용자 선택 영역을 시각적으로 구분하여 표시한다(620).
이후, 디스플레이 장치(100)는 화면 상에서 사용자의 시선 위치에 기초하여 화면 상에서 사용자의 응시 지점을 결정한다(630).
이후, 디스플레이 장치(100)는 결정된 응시 지점이 사용자 선택 영역에 해당하는지 여부를 판단한다(640).
이후, 디스플레이 장치(100)는 응시 지점이 사용자 선택 영역에 해당하는 경우, 해당 사용자 선택 영역에 대응하는 기능을 수행한다(650). 이때, 사용자 선택 영역에 대응하는 기능은 예를 들어, 화면 전환, 동영상 재생 또는 멈춤, 사운드 출력, 말 풍선과 같은 관련 정보의 표시, 애플리케이션 실행 등 다양한 기능을 포함할 수 있다.
한편, 도 5 및 도 6에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 디스플레이 장치
110: 디스플레이부
130: 시선 추적부
150: 제어부

Claims (25)

  1. 화면 상에 컨텐츠를 표시하는 디스플레이부;
    상기 화면 상에서 사용자의 시선 위치를 판단하는 시선 추적부; 및
    상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하고, 상기 응시 지점에 대응하는 기능이 수행되도록 제어하는 제어부를 포함하는 시선 추적을 이용한 디스플레이 장치.
  2. 청구항 1에 있어서,
    상기 제어부는, 상기 시선 위치가 일정 시간 이상 변동이 없는 경우, 상기 시선 위치에 대응하는 지점을 상기 응시 지점으로 결정하는 시선 추적을 이용한 디스플레이 장치.
  3. 청구항 1에 있어서,
    상기 제어부는, 상기 시선 위치가 일정 영역 내에 일정 시간 이상 머무르는 경우, 상기 일정 영역을 상기 응시 지점으로 결정하는 시선 추적을 이용한 디스플레이 장치.
  4. 청구항 1에 있어서,
    상기 제어부는, 상기 응시 지점에 기초하여 포커싱 영역을 결정하고, 상기 포커싱 영역이 시각적으로 구분되어 표시되도록 제어하는 시선 추적을 이용한 디스플레이 장치.
  5. 청구항 4에 있어서,
    상기 제어부는, 상기 응시 지점을 기준으로 기 설정된 크기의 영역을 상기 포커싱 영역으로 결정하는 시선 추적을 이용한 디스플레이 장치.
  6. 청구항 4에 있어서,
    상기 제어부는, 상기 응시 지점에 대응하는 객체가 표시된 영역을 상기 포커싱 영역으로 결정하는 시선 추적을 이용한 디스플레이 장치.
  7. 청구항 4에 있어서,
    상기 제어부는, 상기 컨텐츠가 깊이 정보를 가진 이미지 또는 동영상인 경우, 상기 응시 지점의 깊이 정보에 기초하여 상기 포커싱 영역을 결정하는 시선 추적을 이용한 디스플레이 장치.
  8. 청구항 4에 있어서,
    상기 제어부는, 상기 화면에서 상기 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리하는 시선 추적을 이용한 디스플레이 장치.
  9. 청구항 4에 있어서,
    상기 제어부는, 상기 화면에서 상기 포커싱 영역을 확대하는 시선 추적을 이용한 디스플레이 장치.
  10. 청구항 1에 있어서,
    상기 제어부는, 상기 응시 지점이 메뉴 활성화 영역에 해당하는 경우, 상기 메뉴 활성화 영역에 대응하는 메뉴 화면이 표시되도록 제어하는 시선 추적을 이용한 디스플레이 장치.
  11. 청구항 1에 있어서,
    상기 제어부는, 상기 화면에 사용자 선택 영역이 포함되어 있는 경우, 상기 사용자 선택 영역이 시각적으로 구분되어 표시되도록 제어하는 시선 추적을 이용한 디스플레이 장치.
  12. 청구항 11에 있어서,
    상기 제어부는, 상기 응시 지점이 상기 사용자 선택 영역에 해당하는 경우, 상기 사용자 선택 영역에 대응하는 기능이 수행되도록 제어하는 시선 추적을 이용한 디스플레이 장치.
  13. 화면 상에 컨텐츠를 표시하는 단계;
    상기 화면 상에서 사용자의 시선 위치를 판단하는 단계;
    상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하는 단계; 및
    상기 응시 지점에 대응하는 기능을 수행하는 단계를 포함하는 시선 추적을 이용한 디스플레이 방법.
  14. 청구항 13에 있어서,
    상기 결정하는 단계는, 상기 시선 위치가 일정 시간 이상 변동이 없는 경우, 상기 시선 위치에 대응하는 지점을 상기 응시 지점으로 결정하는 시선 추적을 이용한 디스플레이 방법.
  15. 청구항 13에 있어서,
    상기 결정하는 단계는, 상기 시선 위치가 일정 영역 내에 일정 시간 이상 머무르는 경우, 상기 일정 영역을 상기 응시 지점으로 결정하는 시선 추적을 이용한 디스플레이 방법.
  16. 청구항 13에 있어서,
    상기 수행하는 단계는,
    상기 응시 지점에 기초하여 포커싱 영역을 결정하는 단계; 및
    상기 포커싱 영역을 시각적으로 구분하여 표시하는 단계를 포함하는 시선 추적을 이용한 디스플레이 방법.
  17. 청구항 16에 있어서,
    상기 포커싱 영역을 결정하는 단계는, 상기 응시 지점을 기준으로 기 설정된 크기의 영역을 상기 포커싱 영역으로 결정하는 시선 추적을 이용한 디스플레이 방법.
  18. 청구항 16에 있어서,
    상기 포커싱 영역을 결정하는 단계는, 상기 응시 지점에 대응하는 객체가 표시된 영역을 상기 포커싱 영역으로 결정하는 시선 추적을 이용한 디스플레이 방법.
  19. 청구항 16에 있어서,
    상기 포커싱 영역을 결정하는 단계는, 상기 컨텐츠가 깊이 정보를 가진 이미지 또는 동영상인 경우, 상기 응시 지점의 깊이 정보에 기초하여 상기 포커싱 영역을 결정하는 시선 추적을 이용한 디스플레이 방법.
  20. 청구항 16에 있어서,
    상기 표시하는 단계는, 상기 화면에서 상기 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리하는 시선 추적을 이용한 디스플레이 방법.
  21. 청구항 16에 있어서,
    상기 표시하는 단계는, 상기 화면에서 상기 포커싱 영역을 확대하는 시선 추적을 이용한 디스플레이 방법.
  22. 청구항 13에 있어서,
    상기 수행하는 단계는, 상기 응시 지점이 메뉴 활성화 영역에 해당하는 경우, 상기 메뉴 활성화 영역에 대응하는 메뉴 화면을 표시하는 시선 추적을 이용한 디스플레이 방법.
  23. 청구항 13에 있어서,
    상기 화면에 사용자 선택 영역이 포함되어 있는 경우, 상기 사용자 선택 영역을 시각적으로 구분하여 표시하는 단계를 더 포함하는 시선 추적을 이용한 디스플레이 방법.
  24. 청구항 23에 있어서,
    상기 수행하는 단계는, 상기 응시 지점이 상기 사용자 선택 영역에 해당하는 경우, 상기 사용자 선택 영역에 대응하는 기능을 수행하는 시선 추적을 이용한 디스플레이 방법.
  25. 하드웨어와 결합되어,
    화면 상에 컨텐츠를 표시하는 단계;
    상기 화면 상에서 사용자의 시선 위치를 판단하는 단계;
    상기 시선 위치에 기초하여 상기 화면 상에서 상기 사용자의 응시 지점을 결정하는 단계; 및
    상기 응시 지점에 대응하는 기능을 수행하는 단계를 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.













KR1020150033823A 2015-03-11 2015-03-11 시선 추적을 이용한 디스플레이 장치 및 방법 KR20160109443A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150033823A KR20160109443A (ko) 2015-03-11 2015-03-11 시선 추적을 이용한 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150033823A KR20160109443A (ko) 2015-03-11 2015-03-11 시선 추적을 이용한 디스플레이 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160109443A true KR20160109443A (ko) 2016-09-21

Family

ID=57080353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150033823A KR20160109443A (ko) 2015-03-11 2015-03-11 시선 추적을 이용한 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20160109443A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547358A (zh) * 2016-11-25 2017-03-29 维沃移动通信有限公司 一种终端时间信息的显示方法及终端
KR20180083252A (ko) * 2015-08-15 2018-07-20 구글 엘엘씨 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법
KR20190002831A (ko) * 2017-06-30 2019-01-09 연세대학교 산학협력단 착시 ui를 이용하여 명령을 입력하는 방법 및 장치
KR20190020633A (ko) 2017-08-21 2019-03-04 경희대학교 산학협력단 시선 추적에 기초한 디스플레이의 영역별 밝기 조절 장치 및 그 방법
KR20190072762A (ko) * 2017-12-18 2019-06-26 광주과학기술원 도슨트 서비스를 제공하는 증강 현실 글래스의 동작 방법
KR20200059509A (ko) * 2018-11-21 2020-05-29 네이버웹툰 주식회사 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말
KR20200140488A (ko) * 2019-06-07 2020-12-16 네이버웹툰 유한회사 사용자 얼굴 정보를 인식하여 움직이는 캐릭터를 표현하는 방법 및 시스템
WO2022085853A1 (ko) * 2020-10-20 2022-04-28 빅픽쳐스 주식회사 객체 인지 여부 결정 방법 및 이를 이용한 장치
CN116795212A (zh) * 2023-06-19 2023-09-22 深圳市晚成辉电子有限公司 一种等离子显示屏的控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051664A (ko) 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051664A (ko) 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083252A (ko) * 2015-08-15 2018-07-20 구글 엘엘씨 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법
CN106547358A (zh) * 2016-11-25 2017-03-29 维沃移动通信有限公司 一种终端时间信息的显示方法及终端
CN106547358B (zh) * 2016-11-25 2019-06-04 维沃移动通信有限公司 一种终端时间信息的显示方法及终端
KR20190002831A (ko) * 2017-06-30 2019-01-09 연세대학교 산학협력단 착시 ui를 이용하여 명령을 입력하는 방법 및 장치
KR20190020633A (ko) 2017-08-21 2019-03-04 경희대학교 산학협력단 시선 추적에 기초한 디스플레이의 영역별 밝기 조절 장치 및 그 방법
KR20190072762A (ko) * 2017-12-18 2019-06-26 광주과학기술원 도슨트 서비스를 제공하는 증강 현실 글래스의 동작 방법
KR20200059509A (ko) * 2018-11-21 2020-05-29 네이버웹툰 주식회사 시선인식 인터페이스 제공방법 및 이를 위한 사용자 단말
KR20200140488A (ko) * 2019-06-07 2020-12-16 네이버웹툰 유한회사 사용자 얼굴 정보를 인식하여 움직이는 캐릭터를 표현하는 방법 및 시스템
WO2022085853A1 (ko) * 2020-10-20 2022-04-28 빅픽쳐스 주식회사 객체 인지 여부 결정 방법 및 이를 이용한 장치
CN116795212A (zh) * 2023-06-19 2023-09-22 深圳市晚成辉电子有限公司 一种等离子显示屏的控制方法
CN116795212B (zh) * 2023-06-19 2024-03-01 深圳市晚成辉电子有限公司 一种等离子显示屏的控制方法

Similar Documents

Publication Publication Date Title
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10705602B2 (en) Context-aware augmented reality object commands
US10627900B2 (en) Eye-signal augmented control
US11017257B2 (en) Information processing device, information processing method, and program
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101811909B1 (ko) 제스처 인식을 위한 장치 및 방법
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
KR20200029631A (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
JP2017526078A5 (ko)
KR20150023702A (ko) 투명 헤드 마운티드 디스플레이들에 대한 사용자 인터페이스 상호작용
JP2012137970A (ja) 情報処理装置及び方法、並びにプログラム
KR20220137770A (ko) 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
US20180284950A1 (en) Display method and terminal
US20230333646A1 (en) Methods for navigating user interfaces
US11402646B2 (en) Display apparatus, display control method, and program
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
WO2023238703A1 (ja) 情報処理装置、情報処理方法、プログラム
CN116670627A (zh) 对环境中的用户界面进行分组的方法

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment