KR20130014275A - 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기 - Google Patents

디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기 Download PDF

Info

Publication number
KR20130014275A
KR20130014275A KR1020110076288A KR20110076288A KR20130014275A KR 20130014275 A KR20130014275 A KR 20130014275A KR 1020110076288 A KR1020110076288 A KR 1020110076288A KR 20110076288 A KR20110076288 A KR 20110076288A KR 20130014275 A KR20130014275 A KR 20130014275A
Authority
KR
South Korea
Prior art keywords
user
eyes
display screen
distance
eye
Prior art date
Application number
KR1020110076288A
Other languages
English (en)
Inventor
박용태
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110076288A priority Critical patent/KR20130014275A/ko
Publication of KR20130014275A publication Critical patent/KR20130014275A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Abstract

본 발명의 실시예에 따른 영상 표시 기기는 사용자의 눈을 촬영하는 카메라 모듈; 상기 카메라 모듈이 촬영한 영상으로부터 상기 사용자의 눈과 상기 카메라 모듈까지의 거리를 산출하는 거리측정부; 상기 산출된 거리가 임계거리 이하인 경우, 상기 사용자의 눈동자의 이동 방향에 따라 상기 디스플레이 화면을 이동시키는 제어신호를 생성하는 제어부; 및 상기 제어신호에 따라 이동된 디스플레이 화면을 표시하는 디스플레이부를 포함한다.

Description

디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기{Method for controlling display screen and display apparatus thereof}
본 발명은 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기에 관한 것으로, 보다 상세하게는 영상 표시 기기에서 표시되는 디스플레이 화면을 사용자 눈의 움직임을 통해 제어하는 방법 및 그를 이용한 영상 표시 기기에 관한 것이다.
시선 위치 추적이란, 컴퓨터 모니터 등과 같은 스크린 장치에서 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다. 즉, 시선 위치 추적은 기존 마우스 작동 프로토콜과 같이 사용자가 응시하는 곳을 포인팅하여, 손이 불편한 사용자에게 입력 장치 역할을 수행하며, 가상현실환경의 사용자에게 높은 몰입감을 제공하는 기능을 수행한다.
현재 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트 렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법으로 나누어져 있다.
이 중, 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시위치를 계산하는 방법으로, 양 눈의 응시위치를 모두 파악할 수 있는 점과, 저렴한 가격, 간편한 사용방법을 장점으로 가진다.
하지만, 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다는 문제점을 가진다.
콘텍트 렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법으로, 정확성이 높은 장점을 가지나, 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다는 단점을 가진다.
한편, 두부 장착형 디스플레이는 안경이나 헬멧처럼 착용하는(Wearable) 모니터로 눈앞에 바로 있는 스크린을 보는 영상장치로, 양쪽 눈에 근접한 위치에 소형디스플레이가 설치되어 입체영상을 투영함으로써 사용자에게 3차원 공간 체험이 가능하도록 한다. 이와 같은 두부 장착형 디스플레이는 미국공군에서 군사용으로 처음 개발되어 현재는 3D, 게임, 의학 등 다양한 분야의 가상현실(Virtual Reality)에 응용하고 있으며, 의료분야의 진단, 치료, 수술 등에 사용하는 의료장비의 모니터나, 교육, 학습, 훈련 등 다양한 분야의 시뮬레이션 장비로 활용할 수 있다.
두부 장착형 디스플레이 부착 기반 방법은 이와 같은 두부 장착형 디스플레이에 부착되어 사용자 시선 위치를 파악하는 방법으로, 헤드밴드 또는 헬멧 밑에 작은 카메라를 장착하여 응시위치를 계산하고 있다. 따라서, 두부장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있는 장점을 가지나, 카메라가 사용자 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하며, 두부 장착형 디스플레이에만 적용된다는 단점을 가진다.
또한, 현재 제시되고 있는 방법들은 사용자 눈의 움직임에 민감하게 반응하지 못하며, 동공의 움직임에 따라 디스플레이 화면을 다양한 동작으로 변화시킬 수 없었다.
본 발명은 사용자 눈의 움직임을 통해 디스플레이 화면을 용이하게 제어하는 것을 목적으로 한다.
본 발명의 실시예에 따른 영상 표시 기기는 사용자의 눈을 촬영하는 카메라 모듈; 상기 카메라 모듈이 촬영한 영상으로부터 상기 사용자의 눈과 상기 카메라 모듈까지의 거리를 산출하는 거리측정부; 상기 산출된 거리가 임계거리 이하인 경우, 상기 사용자의 눈동자의 이동 방향에 따라 상기 디스플레이 화면을 이동시키는 제어신호를 생성하는 제어부; 및 상기 제어신호에 따라 이동된 디스플레이 화면을 표시하는 디스플레이부를 포함한다.
본 발명의 또 다른 실시예에 따른 영상 표시 기기의 화면 제어 방법은 사용자의 눈을 촬영하는 단계; 상기 촬영한 영상으로부터 상기 사용자의 눈과 상기 카메라 모듈까지의 거리를 산출하는 단계; 상기 산출된 거리가 임계거리 이하인 경우, 상기 사용자의 눈동자의 이동 방향에 따라 상기 디스플레이 화면을 이동시키는 제어신호를 생성하는 단계; 및 상기 제어신호에 따라 이동된 디스플레이 화면을 표시하는 단계를 포함한다.
한편, 상기 영상 표시 기기의 화면 제어 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 실시예에 따르면, 사용자 눈동자의 움직임만으로 영상 표시 기기의 디스플레이 화면의 동작을 용이하게 변화시킬 수 있다.
또한, 사용자 눈의 움직임 패턴에 대응하는 디스플레이 화면 동작을 설정하여 사용자 편리성이 향상되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 표시 기기의 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 영상 표시 기기의 화면 제어 방법을 나타내는 순서도이다.
도 3은 본 발명의 제2 실시예에 따른 영상 표시 기기의 화면 제어 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 표시 기기의 블록도이다.
영상 표시 기기(100)는 발광부(110), 카메라 모듈(120), 거리측정부(130), 제어부(140), 디스플레이부(150), 저장부(160)를 포함한다.
상기 발광부(110)는 적외선을 발광하며 사용자의 두 눈을 조명할 수 있다. 발광부(110)는 실시예에 따라 위치와 개수는 달라질 수 있다. 발광부(110)는 적외선 LED일 수 있으며, 적외선 LED를 기판에 실장한 LED 어레이일 수 있다. 바람직하게는 균일한 조명을 위해 광축을 중심으로 대칭이 되도록 배치될 수 있다.
상기 카메라 모듈(120)은 사용자의 눈 영상을 촬영하기 위한 것으로 발광부(110)에 의해 적외선이 조명되고, 사용자가 카메라 모듈(120)부분을 응시하면 사용자의 눈 영상을 촬영한다. 상기 카메라 모듈(120)은 복수의 이미지 센서를 포함할 수 있다. 이미지 센서는 소정의 곡률을 갖는 렌즈를 포함하여 구성되며 피사체, 예를 들어 홍채의 광신호를 입력받는 역할을 수행한다. 이미지 센서는 복수의 픽셀(pixel)을 구비하는 CCD(Charge Coupled Device) 또는 CMOS 소자 등으로 구현될 수 있다.
또한, 카메라 모듈(120)은 이미지 센서 이외에 피사체 즉, 홍채의 미세한 이미지를 근거리에서 촬영하기 위해 접사 렌즈를 사용할 수 있다.
카메라 모듈(120)은 영상 표시 기기(200)의 일면에 설치될 수 있다. 카메라 모듈(120)은 복수개가 영상 표시 기기(100)에 설치되어 사용자의 눈 영상을 촬영할 수 있다.
상기 거리측정부(130)는 카메라 모듈(120)이 촬영한 영상으로부터 상기 사용자의 눈과 상기 카메라 모듈(120)까지의 거리를 산출할 수 있다.
거리측정부(130)는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency)센서, 자이로(gyro) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있다.
거리측정부(130)는 사용자를 감지하여 감지신호를 제어부(140)로 출력한다. 감지신호는 카메라 모듈(120)과 사용자 눈 간의 거리 산출에 필요한 거리 정보를 포함한다. 거리정보는 사용자 감지에 사용된 소스, 예컨대 적외선, 초음파 등의 조사 속도, 사용자 눈을 감지한 시간, 촬영 영상 중에 적어도 하나를 포함할 수 있다.
사용자의 눈(300)과 상기 카메라 모듈(120)까지의 거리는 카메라 비전 방식, 적외선 방식, 자이로-가속도 방식 및 초음파 방식 중 적어도 어느 하나의 방식을 이용하여 산출할 수 있다. 예컨대 카메라 비전 방식은 카메라 모듈(120)로 촬영한 사용자의 눈 영상 크기로부터 거리를 산출하는 방식으로 카메라 모듈(120)로 촬영한 사용자의 눈 영상 크기는 카메라 모듈(120)과 사용자 눈 간의 거리에 반비례함을 이용한다.
적외선(또는 초음파) 방식은 발광부(110)에서 사용자 눈으로 조명되는 적외선의 반사파를 수신하여 카메라 모듈(120)과 사용자 눈 간의 거리를 산출하는 방식이다. 발광부(110)에서 사용자 눈으로 적외선을 조명한 후, 반사되는 반사파를 거리측정부(130)에서 수신하고, 감지신호를 제어부(140)로 전송한다. 이때 감지신호는 거리정보로서 반사파의 수신시간을 포함한다. 제어부(140)는 감지신호에 포함된 반사파의 수신시간과 적외선의 조사속도로부터 카메라 모듈(120)과 사용자 눈 간의 거리를 산출할 수 있다. 예컨대 적외선의 조사속도와 반사파의 속도가 동일하다고 가정할 때, 카메라 모듈(120)과 사용자 눈 간의 거리는 수신시간과 조사속도를 곱한 후 2로 나누어 산출할 수 있다.
자이로-가속도 방식은 사용자 눈의 이동을 자이로 센서와 가속도 센서로 감지하여 사용자 눈동자의 이동 거리 또는 변위를 산출하는 방식이다. 즉 사용자 눈(300)이 시작점에서 특정 방향으로 이동하면, 제어부(140)는 자이로 센서 및 가속도 센서로부터 각각 감지신호를 수신한다. 이때 제어부(140)는 자이로 센서로부터 수신한 감지신호로부터 사용자 눈동자의 이동 방향을 산출한다. 제어부(140)는 가속도 센서로부터 수신한 감지신호로부터 사용자 눈동자의 이동에 따른 가속도값을 산출하고, 산출한 가속도값을 두 번 적분하여 거리를 산출한다. 그리고 제어부(140)는 시작점에 대한 거리와 방향으로부터 사용자 눈동자의 변위를 산출한다.
상기 제어부(140)는 영상 표시 기기(100)의 전반적인 제어 동작을 수행한다. 제어부(140)는 사용자 눈과 카메라 모듈(120)까지의 거리가 임계거리 이하인 경우, 상기 사용자의 눈동자 이동 방향에 따라 디스플레이 화면의 움직임을 조절하는 제어신호를 생성한다. 여기서, 임계거리는 사용자의 눈동자의 이동 방향을 인식할 수 있는 최대거리를 의미한다.
만약, 사용자 눈과 카메라 모듈(120)까지의 거리가 임계거리를 초과하는 경우, 제어부(140)는 디스플레이부(150)에 사용자의 눈을 카메라 모듈(120)에 조금 더 가까이 위치하라는 OSD를 출력하도록 제어신호를 보낼 수 있다. 디스플레이부(150)는 상기 제어부(140)의 제어신호에 따라 사용자의 눈을 카메라 모듈(120)에 가까이 위치하라는 OSD를 출력한다. 이에 따라 사용자는 카메라 모듈(120)에 눈의 시선을 가까이 위치할 수 있다.
제어부(140)는 다음과 같이 사용자의 눈동자 이동 방향을 추적할 수 있다. 제어부(140)는 카메라 모듈(120)에서 촬영한 사용자의 눈동자를 추출하고 추출한 눈동자의 위치변화로부터 사용자 눈동자 이동 방향을 추적한다. 제어부(140)는 사용자의 눈동자 이동 방향 추적 중 시선이 집중되는 객체 부분의 위치를 산출한다. 이때 제어부(140)는 시선 추적 중 시선이 정지하는 시간을 산출한다. 제어부는(140) 산출된 시간이 기설정된 임계시간을 초과하는지 여부를 판단한다. 상기 임계시간은 사용자의 설정에 의해 가변된 값을 가질 수 있다. 임계시간을 초과하는 경우 제어부(140)는 사용자가 눈동자의 시선을 집중하고 있는 것으로 판단하고, 눈동자가 이동한 방향에 따라 디스플레이 화면이 움직이도록 제어신호를 생성한다.
제어부(140)는 사용자 눈의 개폐 유지 시간을 측정하여, 눈 깜박임에 소요되는 시간범위 이상 눈이 감겨있다고 판단될 경우, 새로운 디스플레이 화면을 표시할 수 있다. 여기서 새로운 디스플레이 화면이란, 사용자가 E-Book과 같은 전자책을 영상 표시 기기(100)에서 읽는 경우를 예로 들면, 페이지가 넘어가는 동작 화면을 의미할 수 있다. 또한, 제어부(140)는 사용자 눈의 개폐 유지 시간을 측정하여 사용자의 눈 깜박임의 횟수에 따라 새로운 디스플레이 화면을 표시하도록 제어할 수도 있다. 일 예로 사용자 눈 깜박임이 연속적으로 2회 일어난 경우, 새로운 디스플레이 화면이 표시될 수 있다.
디스플레이부(150)는 상기 제어부(140)의 제어신호에 따라 이동된 디스플레이 화면을 출력한다. 디스플레이부(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등을 이용할 수 있으며, 또는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
저장부(160)는 사용자 눈의 깜박임 횟수 및 사용자 눈의 개폐 유지 시간에 따라 디스플레이 화면의 변화 동작을 저장할 수 있다. 일 예로 제어부(140)는 사용자 눈 깜박임이 연속적으로 2회 일어난 경우, 새로운 디스플레이 화면을 표시하는 동작을 저장하도록 하고, 사용자는 후에 이를 이용할 수 있다.
저장부(160)는 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2는 본 발명의 제1 실시예에 따른 영상 표시 기기의 화면 제어 방법을 나타내는 순서도이다.
사용자가 영상 표시 기기(100)의 전원을 켜면, 발광부(110)는 사용자의 눈(300)을 향해 적외선을 조명한다(S11). 발광부(110)는 실시예에 따라 위치와 개수는 달라질 수 있다. 발광부(110)는 적외선 LED일 수 있으며, 적외선 LED를 기판에 실장한 LED 어레이일 수 있다. 바람직하게는 균일한 조명을 위해 광축을 중심으로 대칭이 되도록 배치될 수 있다.
카메라 모듈(120)은 상기 조명되는 사용자의 눈을 촬영한다(S12). 상기 카메라 모듈(120)은 사용자의 눈 영상을 촬영하기 위한 것으로 발광부(110)에 의해 적외선이 조명되고, 사용자가 카메라 모듈(120)부분을 응시하면 사용자의 눈 영상을 촬영한다. 상기 카메라 모듈(120)은 복수의 이미지 센서를 포함할 수 있다. 이미지 센서는 소정의 곡률을 갖는 렌즈를 포함하여 구성되며 피사체, 예를 들어 홍채의 광신호를 입력받는 역할을 수행한다. 이미지 센서는 복수의 픽셀(pixel)을 구비하는 CCD(Charge Coupled Device) 또는 CMOS 소자 등으로 구현될 수 있다.
거리측정부(130)는 카메라 모듈(120)이 촬영한 영상으로부터 상기 사용자의 눈(300)과 상기 카메라 모듈(120)까지의 거리를 산출한다(S13).
거리측정부(130)는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency)센서, 자이로(gyro) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있다.
거리측정부(130)는 사용자를 감지하여 감지신호를 제어부(140)로 출력한다. 감지신호는 카메라 모듈(120)과 사용자 간의 거리 산출에 필요한 거리 정보를 포함한다. 거리정보는 사용자 감지에 사용된 소스, 예컨대 적외선, 초음파 등의 조사 속도, 사용자를 감지한 시간, 촬영 영상 중에 적어도 하나를 포함할 수 있다.
제어부(140)는 사용자 눈(300)과 카메라 모듈(120)까지의 거리가 임계거리 이하인 경우(S14), 상기 사용자의 눈동자 이동을 감지할 수 있다(S15). 제어부(140)는 사용자의 눈동자 이동 방향에 따라 디스플레이 화면의 움직임을 조절하는 제어신호를 생성한다(S16). 여기서, 임계거리는 사용자의 눈동자 이동 방향을 인식할 수 있는 최대거리를 의미한다. 제어부(140)는 카메라 모듈(120)에서 촬영한 사용자의 눈동자를 추출하고, 추출한 눈동자의 위치변화로부터 사용자의 눈동자 이동 방향을 추적할 수 있다. 제어부(140)은 상기 제어신호에 따라 사용자의 눈동자 이동 방향에 맞추어 디스플레이 화면을 이동시킨다. 이 때, 사용자 눈동자는 디스플레이 화면의 중앙에 위치하도록 하여 사용자가 디스플레이 화면을 보다 편리하게 볼 수 있는 효과가 있다.
도 3은 본 발명의 제2 실시예에 따른 영상 표시 기기의 화면 제어 방법을 나타내는 순서도이다.
사용자가 영상 표시 기기(100)의 전원을 켜면, 발광부(110)는 사용자의 눈(300)을 향해 적외선을 조명한다(S21). 발광부(110)는 실시예에 따라 위치와 개수는 달라질 수 있다. 발광부(110)는 적외선 LED일 수 있으며, 적외선 LED를 기판에 실장한 LED 어레이일 수 있다. 바람직하게는 균일한 조명을 위해 광축을 중심으로 대칭이 되도록 배치될 수 있다.
카메라 모듈(120)은 상기 조명되는 사용자의 눈을 촬영한다(S22). 상기 카메라 모듈(120)은 사용자의 눈 영상을 촬영하기 위한 것으로 발광부(110)에 의해 적외선이 조명되고, 사용자가 카메라 모듈(120)부분을 응시하면 사용자의 눈 영상을 촬영한다. 상기 카메라 모듈(120)은 복수의 이미지 센서를 포함할 수 있다. 이미지 센서는 소정의 곡률을 갖는 렌즈를 포함하여 구성되며 피사체, 예를 들어 홍채의 광신호를 입력받는 역할을 수행한다. 이미지 센서는 복수의 픽셀(pixel)을 구비하는 CCD(Charge Coupled Device) 또는 CMOS 소자 등으로 구현될 수 있다.
거리측정부(130)는 카메라 모듈(120)이 촬영한 영상으로부터 상기 사용자의 눈(300)과 상기 카메라 모듈(120)까지의 거리를 산출한다(S23).
거리측정부(130)는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency)센서, 자이로(gyro) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있다.
거리측정부(130)는 사용자를 감지하여 감지신호를 제어부(140)로 출력한다. 감지신호는 카메라 모듈(120)과 사용자 간의 거리 산출에 필요한 거리 정보를 포함한다. 거리정보는 사용자 감지에 사용된 소스, 예컨대 적외선, 초음파 등의 조사 속도, 사용자를 감지한 시간, 촬영 영상 중에 적어도 하나를 포함할 수 있다.
제어부(140)는 사용자 눈(300)과 카메라 모듈(120)까지의 거리가 임계거리 이하인 경우(S24), 사용자 눈의 개폐 상태 유지 시간을 측정할 수 있다(S25). 여기서 사용자 눈의 개폐 상태 유지 시간은 눈동자의 화소 수를 계산하여 판단 가능하다. 사용자가 눈을 뜨고 있을 경우와 감고 있을 경우의 화소 수는 차이가 나기 때문에 제어부(140)는 이를 인식하여 눈의 개폐 상태 유지 시간을 측정할 수 있다.
상기와 같이 눈동자의 화소 수에 의해 눈의 개폐 상태를 판단하는 방법은 사람에 따라 눈의 크기에 많은 차이가 있는 점을 감안할 때, 정확한 판단을 유도 해줄 수 있는 장점이 있다.
상기 제어부(140)는 측정된 사용자 눈의 개폐 유지 시간을 통해 눈 깜박임에 소요되는 시간범위 이상 눈이 감겨있다고 판단될 경우(S26), 새로운 디스플레이 화면을 표시하도록 제어신호를 생성한다. 상기 제어신호에 따라 디스플레이부(150)는 새로운 디스플레이 화면을 표시할 수 있다(S27). 여기서 새로운 디스플레이 화면이란, 사용자가 E-Book과 같은 전자책을 영상 표시 기기(100)에서 읽는 경우를 예로 들면, 페이지가 넘어가는 동작 화면을 의미할 수 있다.
상기와 같은 과정을 통해 사용자 눈의 움직임 패턴에 대응하는 디스플레이 화면 동작을 설정하여 사용자 편리성이 향상되는 효과가 있다.
상술한 본 발명에 따른 소셜 네트워크 서비스 통합 로그인 메뉴 제공방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
100 : 영상 표시 기기
110 : 발광부
120 : 카메라 모듈
130 : 거리측정부
140 : 제어부
150 : 디스플레이부
160 : 저장부

Claims (14)

  1. 디스플레이 화면을 변화시키는 영상 표시 기기에 있어서,
    사용자의 눈을 촬영하는 카메라 모듈;
    상기 카메라 모듈이 촬영한 영상으로부터 상기 사용자의 눈과 상기 카메라 모듈까지의 거리를 산출하는 거리측정부;
    상기 산출된 거리가 임계거리 이하인 경우, 상기 사용자의 눈동자의 이동 방향에 따라 상기 디스플레이 화면을 이동시키는 제어신호를 생성하는 제어부; 및
    상기 제어신호에 따라 이동된 디스플레이 화면을 표시하는 디스플레이부를 포함하는 영상 표시 기기.
  2. 제 1항에 있어서,
    사용자의 눈을 향해 적외선을 조명하는 발광부를 더 포함하는 영상 표시 기기.
  3. 제 1항에 있어서, 상기 임계거리는
    상기 사용자의 눈동자의 이동 방향을 인식할 수 있는 최대거리인 영상 표시 기기.
  4. 제 1항에 있어서, 상기 거리측정부는
    근접 센서, 적외선 센서, RF(Radio Frequency)센서, 자이로(gyro) 센서 및 초음파 센서 중 적어도 어느 하나를 포함하는 영상 표시 기기.
  5. 제 1항에 있어서,
    상기 사용자 눈의 깜박임 횟수 및 사용자 눈의 개폐 유지 시간에 따라 상기 디스플레이 화면의 변화 동작을 저장하는 저장부를 더 포함하는 영상 표시 기기.
  6. 제 1항에 있어서, 상기 제어부는
    상기 사용자 눈의 개폐 유지 시간을 측정하여, 눈 깜박임에 소요되는 시간범위 이상 눈이 감겨있다고 판단될 경우, 새로운 디스플레이 화면을 표시하도록 제어하는 영상 표시 기기.
  7. 제 1항에 있어서, 상기 제어부는
    상기 사용자 눈의 개폐 유지 시간을 측정하여, 눈 깜박임이 연속적으로 2회 일어난 경우, 새로운 디스플레이 화면을 표시하도록 제어하는 영상 표시 기기.
  8. 디스플레이 화면을 변화시키는 영상 표시 기기에 있어서,
    사용자의 눈을 촬영하는 단계;
    상기 촬영한 영상으로부터 상기 사용자의 눈과 상기 카메라 모듈까지의 거리를 산출하는 단계;
    상기 산출된 거리가 임계거리 이하인 경우, 상기 사용자의 눈동자의 이동 방향에 따라 상기 디스플레이 화면을 이동시키는 제어신호를 생성하는 단계; 및
    상기 제어신호에 따라 이동된 디스플레이 화면을 표시하는 단계를 포함하는 디스플레이 화면 제어 방법.
  9. 제 8항에 있어서,
    상기 사용자의 눈을 향해 적외선을 조명하는 단계를 더 포함하는 디스플레이 화면 제어 방법.
  10. 제 8항에 있어서, 상기 임계거리는
    상기 사용자의 눈동자의 이동 방향을 인식할 수 있는 최대거리인 디스플레이 화면 제어 방법.
  11. 제 8항에 있어서,
    상기 사용자 눈의 깜박임 횟수 또는 눈의 개폐 상태 유지 시간에 따라 상기 디스플레이 화면의 변화 동작을 저장하는 단계를 더 포함하는 디스플레이 화면 제어 방법.
  12. 제 8항에 있어서,
    상기 사용자 눈의 개폐 상태 유지시간을 측정하여, 눈 깜박임에 소요되는 시간범위 이상 눈이 감겨있다고 판단될 경우, 새로운 디스플레이 화면을 표시하는 단계를 더 포함하는 디스플레이 화면 제어 방법.
  13. 제 8항에 있어서,
    상기 눈의 개폐 상태 유지시간을 측정하여, 눈 깜박임이 연속적으로 2회 일어난 경우, 새로운 디스플레이 화면을 표시하는 단계를 더 포함하는 디스플레이 화면 제어 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110076288A 2011-07-29 2011-07-29 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기 KR20130014275A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110076288A KR20130014275A (ko) 2011-07-29 2011-07-29 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110076288A KR20130014275A (ko) 2011-07-29 2011-07-29 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기

Publications (1)

Publication Number Publication Date
KR20130014275A true KR20130014275A (ko) 2013-02-07

Family

ID=47894555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110076288A KR20130014275A (ko) 2011-07-29 2011-07-29 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기

Country Status (1)

Country Link
KR (1) KR20130014275A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150014772A (ko) * 2013-07-30 2015-02-09 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
KR101492832B1 (ko) * 2013-05-28 2015-02-12 성균관대학교산학협력단 영상 제어 방법 및 이를 이용한 영상 표시 장치
WO2015178613A1 (ko) * 2014-05-21 2015-11-26 이동형 패턴 인식을 통한 지능형 화면 표시 방법
KR20170055939A (ko) * 2017-04-27 2017-05-22 안성욱 눈 건강 관리 장치 및 방법
KR20200034168A (ko) * 2018-09-21 2020-03-31 주식회사 아이닉스 조명 제어가 가능한 감시용 카메라 및 그 조명 제어 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492832B1 (ko) * 2013-05-28 2015-02-12 성균관대학교산학협력단 영상 제어 방법 및 이를 이용한 영상 표시 장치
KR20150014772A (ko) * 2013-07-30 2015-02-09 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
WO2015178613A1 (ko) * 2014-05-21 2015-11-26 이동형 패턴 인식을 통한 지능형 화면 표시 방법
KR20170055939A (ko) * 2017-04-27 2017-05-22 안성욱 눈 건강 관리 장치 및 방법
KR20200034168A (ko) * 2018-09-21 2020-03-31 주식회사 아이닉스 조명 제어가 가능한 감시용 카메라 및 그 조명 제어 방법

Similar Documents

Publication Publication Date Title
US10650533B2 (en) Apparatus and method for estimating eye gaze location
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US10878236B2 (en) Eye tracking using time multiplexing
US10310597B2 (en) Portable eye tracking device
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
KR101968455B1 (ko) 휴대용 눈 추적 디바이스
CN110646938B (zh) 近眼显示器系统
KR20180115285A (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
EP3353633A1 (en) Eye-tracking enabled wearable devices
CN109923499B (zh) 便携式眼睛追踪装置
US20130301007A1 (en) Apparatus to measure accommodation of the eye
WO2013175701A1 (ja) 映像解析装置、映像解析方法、および注視点表示システム
US20160170482A1 (en) Display apparatus, and control method for display apparatus
KR20130014275A (ko) 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기
KR101467529B1 (ko) 착용형 정보 제공 시스템
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP2016101498A (ja) 可視映写手段を有する、眼球運動を測定する頭部装着可能デバイス
JP5834941B2 (ja) 注目対象特定装置、注目対象特定方法、及びプログラム
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
EP3922166B1 (en) Display device, display method and display program
US11270451B2 (en) Motion parallax in object recognition
KR20150085896A (ko) 골프스윙 자동분석기
EP3023827A1 (en) Head mountable device for measuring eye movement having visible projection means
JP2022113973A (ja) 表示方法、表示装置、及び、プログラム
KR20170090877A (ko) 인터랙티브 사용자 캘리브레이션 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application