KR20140139743A - 영상 제어 방법 및 이를 이용한 영상 표시 장치 - Google Patents

영상 제어 방법 및 이를 이용한 영상 표시 장치 Download PDF

Info

Publication number
KR20140139743A
KR20140139743A KR1020130060160A KR20130060160A KR20140139743A KR 20140139743 A KR20140139743 A KR 20140139743A KR 1020130060160 A KR1020130060160 A KR 1020130060160A KR 20130060160 A KR20130060160 A KR 20130060160A KR 20140139743 A KR20140139743 A KR 20140139743A
Authority
KR
South Korea
Prior art keywords
user
image
eyeball
unit
eye
Prior art date
Application number
KR1020130060160A
Other languages
English (en)
Other versions
KR101492832B1 (ko
Inventor
조준동
박종률
신한수
강성묵
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR20130060160A priority Critical patent/KR101492832B1/ko
Publication of KR20140139743A publication Critical patent/KR20140139743A/ko
Application granted granted Critical
Publication of KR101492832B1 publication Critical patent/KR101492832B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 따른 사용자의 안구를 추적하여 영상을 표시하는 영상 표시 장치는 제어신호에 따른 위치, 배율 또는 회전각을 가지고 영상을 표시하는 디스플레이부, 안구 추적 모드의 실행 여부를 판단하는 모드전환 판단부, 사용자의 안구를 촬영하는 카메라 모듈부, 카메라 모듈부가 촬영한 이미지로부터 상기 사용자 안구의 운동 변화를 분석하는 안구 운동 분석부 및 안구 운동 분석부로부터 분석 결과 신호를 받아서, 디스플레이부에 표시되는 영상의 위치, 배율 또는 회전각 중 적어도 하나를 조정하는 제어신호를 생성하는 제어부를 포함할 수 있다.

Description

영상 제어 방법 및 이를 이용한 영상 표시 장치{Method for controlling display screen and display apparatus thereof}
본 발명은 영상 제어 방법 및 이를 이용한 영상 표시 장치에 관한 것으로, 보다 상세하게는 사용자 안구의 운동을 분석하여 영상 표시 장치에 표시되는 영상을 제어하는 영상 제어 방법 및 이를 이용한 영상 표시 장치에 관한 것이다.
휴대용 단말기 또는 개인용 컴퓨터의 영상 출력 화면은 오랜 시간 꾸준히 보는 경우가 존재한다. 이렇게 장시간 사용하는 경우에는 사용자의 의도와는 달리 작업 도중 집중력의 저하나 졸음 등에 의해 사용자가 응시하고자 하는 화면과 실제 사용자가 응시하는 화면에 차이가 발생하게 된다.
일정 작업시간 이후 쉬는 시간을 가진 후에 다시 작업을 하여 집중력을 높이는 방법이 있지만, 작업의 특성상 정해진 특정시간에 쉬는 시간을 못 갖는 경우가 많다. 오랜 시간 작업으로 인한 집중력 저하현상 또는 피로로 인한 영향은 사용자의 자세 변화, 안구 운동의 둔화를 야기한다.
전체 작업 과정에서의 편의성 향상이 있다면 체력을 더 효율적으로 사용할 수 있다. 특히, 집중력 저하로 인한 자세변화로 인해 올바르지 않은 자세를 취했을 경우, 작업을 수행함에 있어서 체력의 소모는 더 커지게 되어 업무의 효율성에 있어서 악영향을 미친다.
따라서, 사용자의 안구 운동에 따라 화면이 이동 및 변화하는 영상 표시 장치 및 영상 표시 방법의 개발이 필요하다.
한국공개특허 10-2012-0040320호
본 발명의 일 기술적 과제는 사용자 안구의 운동을 분석하여 영상 표시 장치에 표시되는 영상을 제어하는 영상 제어 방법 및 이를 이용한 영상 표시 장치를 제공하는 데에 있다.
본 발명의 일 측면에 따른 영상 표시 장치는,
사용자의 안구를 추적하여 영상을 표시하는 영상 표시 장치로서,
제어신호에 따른 위치, 배율 또는 회전각을 가지고 영상을 표시하는 디스플레이부;
안구 추적 모드의 실행 여부를 판단하는 모드전환 판단부;
사용자의 안구를 촬영하는 카메라 모듈부;
상기 카메라 모듈부가 촬영한 이미지로부터 상기 사용자 안구의 운동 변화를 분석하는 안구 운동 분석부; 및,
상기 안구 운동 분석부로부터 분석 결과 신호를 받아서, 상기 디스플레이부에 표시되는 영상의 위치, 배율 또는 회전각 중 적어도 하나를 조정하는 상기 제어신호를 생성하는 제어부를 포함할 수 있다.
일 실시예에 따라, 상기 모드전환 판단부는,
일정 시간의 경과 여부를 카운트하는 타이머; 및,
상기 타이머에 의해 설정된 시간 동안 사용자의 입력 여부를 검출하는 입력 감지 유닛을 포함할 수 있다.
일 실시예에 따라, 상기 모드전환 판단부는,
사용자에 의해 선택되어 모드전환이 실행되도록 하는 모드선택 유닛을 포함할 수 있다.
일 실시예에 따라,
상기 사용자의 입력은 키보드 입력, 마우스 입력, 터치 입력, 음성 입력 중 적어도 어느 하나 이상을 통해 수신될 수 있다.
일 실시예에 따라,
사용자의 안구를 향해 적외선을 조명하는 발광부를 더 포함할 수 있다.
일 실시예에 따라, 상기 제어부는
상기 안구 운동 분석부로부터 분석 결과 신호를 받아서, 사용자 안구의 응시 지점을 중심으로 영상이 표시되도록 영상의 위치를 조정하거나, 사용자와 상기 영상 표시 장치 사이의 거리에 따라 영상의 배율을 조정하거나, 사용자의 두 안구가 이루는 직선에 나란하게 영상이 표시되도록 회전각을 조정하도록, 상기 제어신호를 생성할 수 있다.
일 실시예에 따라,
상기 카메라 모듈부가 촬영한 이미지로부터 사용자의 안구의 면적 변화 또는 두 안구 사이의 간격을 기초로 상기 사용자의 안구와 상기 카메라 모듈부까지의 거리를 산출하는 거리 측정부를 더 포함할 수 있다.
일 실시예에 따라,
근접 센서, 적외선 센서, RF(Radio Frequency)센서 및 초음파 센서 중 적어도 어느 하나를 이용하여 상기 사용자의 안구와 상기 카메라 모듈부까지의 거리를 산출하는 거리 측정부를 더 포함할 수 있다.
본 발명의 다른 측면에 따른 사용자의 안구를 추적하여 디스플레이부에 영상을 표시하는 영상 제어 방법은
안구 추적 모드의 실행 여부를 판단하는 단계;
사용자의 안구를 촬영하는 단계;
상기 촬영한 이미지로부터 상기 사용자 안구 운동의 변화를 분석하는 단계; 및
상기 분석 결과를 이용하여 상기 디스플레이부에 표시되는 영상의 위치, 배율 또는 회전각 중 적어도 하나를 조정하는 상기 제어신호를 생성하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 디스플레이부는 사용자 입력 수단과 전기적으로 연결되고,
상기 안구 추적 모드의 실행 여부를 판단하는 단계는,
상기 사용자 입력 수단을 통한 사용자 입력이 검출된 후, 일정 시간이 경과하기 전에, 사용자의 입력이 재검출되지 않으면 안구 추적 모드를 실행할 수 있다.
일 실시예에 따라,
상기 사용자 입력 수단은 키보드 입력, 마우스 입력, 터치 입력, 음성 입력 중 적어도 어느 하나 이상을 이용할 수 있다.
일 실시예에 따라,
상기 사용자 안구 운동의 변화를 분석하는 단계는, 상기 사용자 안구의 응시 방향의 변화, 상기 디스플레이부로의 상기 사용자 안구의 접근 여부, 상기 사용자 안구의 응시 각도의 변화 여부를 분석할 수 있다.
일 실시예에 따라,
상기 디스플레이부로의 상기 사용자 안구의 접근 여부를 분석하는 단계는, 상기 촬영된 이미지로부터 사용자의 안구의 크기 변화 또는 사용자의 두 안구 사이의 거리를 분석할 수 있다.
일 실시예에 따라,
상기 디스플레이부로의 상기 사용자 안구의 접근 여부를 분석하는 단계는,
상기 촬영된 이미지로부터 상기 사용자의 안구와 상기 디스플레이부까지의 거리를 산출하여 분석할 수 있다.
일 실시예에 따라, 상기 제어 신호는
상기 분석 결과에 기초하여, 사용자 안구의 응시 지점을 중심으로 영상이 표시되도록 영상의 위치를 조정하거나, 사용자와 상기 영상 표시 장치 사이의 거리에 따라 영상의 배율을 조정하거나, 사용자의 두 안구가 이루는 직선에 나란하게 영상이 표시되도록 회전각을 조정하도록 생성될 수 있다.
본 발명은 실시예들에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 영상 제어 방법 및 이를 이용한 영상 표시 장치에 따르면, 사용자의 장시간 사용에 의해 사용자 안구의 응시 방향에 변화가 생겨도, 현재의 사용자 응시 방향에 맞추어 화면 자체가 이동하므로 사용자가 원래 응시하던 형태로 화면을 계속 응시할 수 있다.
또한, 사용자 안구가 디스플레이부에 접근하는 등의 응시 거리에 변화가 생겨도, 사용자가 원래 응시하던 화면 형태가 유지되는 화면을 계속 응시할 수 있다.
또한, 사용자 안구의 응시 각도에 변화가 생겨도, 현재의 응시 각도에 맞추어 화면 자체를 회전하므로, 사용자가 원래 응시하던 형태로 화면을 계속 응시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 표시 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 표시 장치의 카메라 모듈부에서 획득한 사용자 안구 이미지를 이용하여 사용자 안구의 응시 방향 분석을 위한 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 영상 표시 장치의 영상 제어 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상 제어 방법을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
본 발명의 일 실시예에 따른 영상 표시 장치는, 도 1에 도시된 바와 같이, 영상이 표시되는 디스플레이부(700)와, 안구 추적 모드의 실행 여부를 판단하는 모드전환 판단부(100)와, 사용자의 안구를 촬영하는 카메라 모듈부(400)와, 상기 카메라 모듈부가 촬영한 이미지로부터 상기 사용자 안구의 응시 방향을 분석하는 안구 운동 분석부(500)와, 상기 안구 운동 분석부로부터 분석 결과 신호를 받아서 상기 디스플레이부에 표시되는 영상을 이동시키거나 배율을 조정하거나 회전각을 조정하는 제어신호를 생성하는 제어부(200)를 포함한다.
또한, 실시예에 따라 사용자의 안구를 향해 적외선을 조명하는 발광부(300), 상기 카메라 모듈부가 촬영한 이미지로부터 상기 사용자의 안구와 상기 카메라 모듈부까지의 거리를 산출하는 거리측정부(600)를 더 포함할 수 있다.
본 발명은 컴퓨터 모니터나 이동 통신 단말의 액정 화면을 사용자가 장시간 사용할 경우 발생하는 집중력 저하, 피로도 증가에 따른 의도하지 않은 사용자의 안구 응시 방향의 변화를 감지하여 변화된 안구 응시 방향에 따라 컴퓨터 모니터의 출력 화면이나 이동 통신 단말의 액정 화면을 이동시키는 것으로, 사용자의 사용 상태가 일반적인 사용인지, 장시간 사용에 따른 비정상적인 사용인지를 판단하는 것이 필요하다. 따라서, 영상 표시 장치가 안구 추적 모드를 실행할 지 여부를 판단하는 것이 필요하다.
실시예에 따라, 이러한 판단은 모드전환 판단부(100)에서 이루어지는데, 이를 위해 상기 모드전환 판단부(100)는 타이머(timer, 110) 및 입력 감지 유닛(120)을 포함하여 구성될 수 있다. 상기 타이머(110)는 일정 시간의 경과 여부를 카운트한다. 상기 입력 감지 유닛(120)은 사용자 입력 수단을 통해 사용자에 의해 입력이 이루어진 후, 상기 타이머(110)에 의해 설정된 시간이 경과하기 전에 다시 사용자에 의한 재입력이 있는지 여부를 검출한다. 설정된 시간 이내에 재입력이 있다면, 현재 사용자의 사용 상태가 정상적인 일반적인 사용으로 판단하고, 설정된 시간 이내에 재입력이 없다면, 현재 사용자의 사용 상태를 비정상적인 사용으로 판단한다. 상기 설정된 시간은 사용자에 의해 설정 가능한 시간일 수 있다.
여기서 사용자 입력 수단을 통한 사용자의 입력은, 키보드를 통해 문자 숫자 등을 입력하는 키보드 입력, 마우스를 통한 커서의 이동 또는 마우스를 통한 좌우 클릭/상하 스크롤을 실행하는 마우스 입력, 터치 스크린의 스크린을 터치하여 입력하는 터치 입력, 영상 표시 장치(모니터, 이동 통신 단말 등)에 형성된 마이크에 일정한 음성을 입력하는 음성 입력 등이 있다. 이는 예시일 뿐, 이에 한정되지는 않는다.
한편, 타이머(110) 및 입력 감지 유닛(120)에 의한 자동적인 모드전환 판단뿐만 아니라, 수동적으로 사용자 선택에 의해 안구 추적 모드를 실행하도록 하는 모드선택 유닛(130)을 포함할 수 있다. 이러한 모드선택 유닛(130)은 본 발명의 일 실시예에 따른 영상 표시 장치에 하드웨어적으로 또는 소프트웨어적으로 구현될 수 있다. 즉, 컴퓨터 모니터 소정의 위치에 버튼으로 구현할 수도 있으며, 이동 통신 단말의 터치 메뉴로도 구현될 수 있다.
상기 모드전환 판단부(100)에 의해 일반 모드에서 안구 추적 모드로 전환되어 실행되면, 카메라 모듈부(400)가 사용자의 안구를 촬영하여 사용자 안구 이미지를 획득한다.
실시예에 따라, 사용자의 안구를 효과적으로 촬영하기 위해 사용자의 두 눈을 조명하는 발광부(300)를 더 포함할 수 있다.
상기 발광부(300)는 적외선을 발광하며 사용자의 두 눈을 조명할 수 있다. 발광부(300)는 실시예에 따라 위치와 개수는 달라질 수 있다. 발광부(300)는 적외선 LED일 수 있으며, 적외선 LED를 기판에 실장한 LED 어레이일 수 있다. 바람직하게는 균일한 조명을 위해 광축을 중심으로 대칭이 되도록 배치될 수 있다.
발광부(300)에 의해 적외선이 조명되면, 카메라 모듈부(400)에 의해 사용자의 안구 이미지가 촬영된다. 상기 카메라 모듈부(400)는 복수의 이미지 센서를 포함할 수 있다. 이미지 센서는 소정의 곡률을 갖는 렌즈를 포함하여 구성되며 피사체, 예를 들어 홍채의 광신호를 입력받는 역할을 수행한다. 이미지 센서는 복수의 픽셀(pixel)을 구비하는 CCD(Charge Coupled Device) 또는 CMOS 소자 등으로 구현될 수 있다.
또한, 카메라 모듈부(400)는 이미지 센서 이외에 피사체 즉, 홍채의 미세한 이미지를 근거리에서 촬영하기 위해 접사 렌즈를 사용할 수 있다. 카메라 모듈부(400)는 영상 표시 장치의 일면에 설치될 수 있다. 카메라 모듈부(400)는 복수개가 영상 표시 장치에 설치되어 사용자의 안구 이미지를 촬영할 수 있다.
상기 안구 운동 분석부(500)는 상기 카메라 모듈부(400)가 촬영한 이미지로부터 사용자 안구의 응시 방향을 분석할 수 있다. 안구 운동 분석부(500)에 의한 사용자 안구 응시 방향 분석을 도 2를 참조하여 설명하면 다음과 같다.
예를 들어, 안구 운동 분석부(500)는 카메라 모듈부(400)가 촬영한 사용자의 안구 이미지를 화상 신호로 입력받고, 카메라 모듈부(400)로부터 입력받은 이미지에서 사용자의 눈동자(12) 및 사용자 눈의 외곽 모양(13)을 식별하고, 식별된 이미지에서 눈동자(12)와 눈의 외곽 모양(13) 변화를 계속적으로 감시한다.
사용자 눈동자(12)의 중심(12a)이 눈의 외곽 모양(13) 중심에서 이탈되는 경우를 검출하여 눈동자(12)의 중심이 눈의 외곽 모양(13) 중심에서 이탈되는 방향과 거리에 대응하게 디스플레이부(700)에 표시되는 화면을 이동시키는 분석 결과 신호를 생성한다. 여기서, 안구 운동 분석부(500)는 눈동자(12)의 중심(12a)에 관한 최초 좌표 정보(안구 추적 모드가 시작되었을 때 촬영된 안구의 좌표)를 눈의 외곽모양(13) 중심으로 기억하여 눈동자(12)의 중심(12a)의 변화를 인식하게 되고, 변화에 대한 분석 결과 신호를 생성하여 제어부(200)에 보낸다.
또한, 상기 안구 운동 분석부(500)는 상기 디스플레이부(700)로의 상기 사용자 안구의 접근 여부를 분석한다. 상기 안구 운동 분석부(500)에 의한 사용자 안구의 접근 여부 분석은 다음과 같다.
첫째, 상기 카메라 모듈부에 의해 촬영된 이미지로부터 사용자의 안구의 크기 변화를 분석하여 접근 여부를 판단할 수 있다. 사용자가 영상 표시 장치 쪽으로 접근하면 카메라 모듈부에 의해 촬영된 이미지에서 안구가 점유하는 면적이 커지고, 반대의 경우에는 면적이 작아진다. 따라서, 안구 운동 분석부(500)는 촬영된 이미지에서 사용자의 안구 크기 변화를 분석하여 접근 여부를 판단할 수 있다.
둘재, 상기 카메라 모듈부에 의해 촬영된 이미지로부터 사용자의 두 안구 사이의 거리 변화를 분석하여 접근 여부를 판단할 수 있다. 사용자가 영상 표시 장치 쪽으로 접근하면 카메라 모듈부에 의해 촬영된 이미지에서 두 안구 사이의 거리가 작아지고, 반대의 경우에는 거리가 커진다. 따라서, 안구 운동 분석부(500)는 촬영된 이미지에서 사용자의 두 안구 사이의 거리 변화를 분석하여 접근 여부를 판단할 수 있다.
셋째, 상기 카메라 모듈부가 촬영한 이미지로부터 상기 사용자의 안구와 상기 카메라 모듈부까지의 거리를 직접 산출하여 접근 여부를 판단할 수 있다. 이 거리를 산출하기 위해 거리측정부(600)를 포함할 수 있다.
상기 거리측정부(600)는 카메라 모듈부(400)가 촬영한 영상으로부터 상기 사용자의 안구와 상기 카메라 모듈부(400)까지의 거리를 산출할 수 있다. 이러한 거리측정부(600)는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency)센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있다. 거리측정부(600)는 사용자를 감지하여 감지신호를 제어부(200)로 출력한다. 감지신호는 카메라 모듈부(400)와 사용자 안구 간의 거리 산출에 필요한 거리 정보를 포함한다. 거리정보는 사용자 감지에 사용된 소스, 예컨대 적외선, 초음파 등의 조사 속도, 사용자 안구를 감지한 시간, 촬영 영상 중에 적어도 하나를 포함할 수 있다.
사용자의 안구와 상기 카메라 모듈부(400)까지의 거리는 카메라 비전 방식, 적외선 방식 및 초음파 방식 중 적어도 어느 하나의 방식을 이용하여 산출할 수 있다. 예컨대 카메라 비전 방식은 카메라 모듈부(400)로 촬영한 사용자의 안구 이미지 크기로부터 거리를 산출하는 방식으로 카메라 모듈부(400)로 촬영한 사용자의 안구 이미지 크기는 카메라 모듈부(400)과 사용자 안구 간의 거리에 반비례함을 이용한다.
적외선(또는 초음파) 방식은 발광부(300)에서 사용자 눈으로 조명되는 적외선의 반사파를 수신하여 카메라 모듈부(400)와 사용자 안구 간의 거리를 산출하는 방식이다. 발광부(300)에서 사용자 안구로 적외선을 조명한 후, 반사되는 반사파를 거리측정부(600)에서 수신하고, 감지신호를 제어부(200)로 전송한다. 이때 감지신호는 거리정보로서 반사파의 수신시간을 포함한다. 제어부(200)는 감지신호에 포함된 반사파의 수신시간과 적외선의 조사속도로부터 카메라 모듈부(400)과 사용자 안구 간의 거리를 산출할 수 있다. 예컨대 적외선의 조사속도와 반사파의 속도가 동일하다고 가정할 때, 카메라 모듈부(400)과 사용자 안구 간의 거리는 수신시간과 조사속도를 곱한 후 2로 나누어 산출할 수 있다.
상기 제어부(200)는 모드전환 판단부(100)로부터 모드전환 신호를 받으면 영상 표시 장치의 모드를 안구 추적 모드로 전환하고, 발광부(300), 카메라 모듈부(400), 안구 운동 분석부(500), 거리측정부(600), 디스플레이부(700)의 전반적인 제어 동작을 수행한다. 특히, 상기 안구 운동 분석부(500)로부터 분석 결과 신호를 받아서 상기 디스플레이부(700)에 표시되는 영상을 이동시키거나 배율을 조정하거나 회전각을 조정하는 제어신호를 생성한다.
예를 들어, 도 3에 도시된 바와 같이, 안구 추적 모드 개시 후, 사용자 안구의 응시 방향이 디스플레이부(700)의 중심에서 우하 방향으로 변화(도면 부호 a 참조)된 것으로 분석된 경우, 사용자 안구 운동의 최소화를 위해 현재의 응시 방향이 현재 화면의 새로운 중심이 되도록 디스플레이되는 화면을, 예를 들어, 좌상 방향(도면 부호 b 참조)으로 이동시키는 제어신호를 생성한다.
또한, 예를 들어, 안구 추적 모드 개시 후, 사용자 안구가 상기 디스플레이부로 접근하는 것으로 분석된 경우, 상기 디스플레이부에 표시되는 영상의 배율을 축소하고, 상기 사용자 안구가 상기 디스플레이부로부터 멀어지는 경우, 상기 디스플레이부에 표시되는 영상의 배율을 확대하는 제어신호를 생성한다. 보다 구체적으로, 안구 추적 모드 개시 시의 안구 크기 값을 기준으로 변화된 안구 크기값이 50% 증가하면, 영상의 배율을 70%로 지정하고, 상기 기준에서 50% 감소하면, 상기 배율을 150%로 지정할 수 있다. 이러한 배율 지정은 예시일 뿐, 이에 한정되는 것은 아니다.
따라서 디스플레이부는 사용자가 자세를 바꾸더라도 거의 동일한 크기의 영상을 계속 보는 듯한 경험을 제공할 수 있다.
또한, 예를 들어, 도 4에 도시된 바와 같이, 안구 추적 모드 개시 후, 사용자 안구가 수평을 기준으로 일정 각도 회전한 것(도면 부호 c 참조)으로 분석된 경우, 사용자 안구 운동의 최소화를 위해 현재의 응시 각도가 현재 화면의 새로운 수평이 되도록 디스플레이되는 화면을 시계 또는 반시계 방향으로 회전(도면 부호 d 참조)시키는 제어신호를 생성한다. 회전 범위는 안구 추적 모드 개시 전의 수평에 대해 시계 방향으로 20도 범위가 되도록 제한하는 것이 바람직하나, 각도 범위가 이에 한정되는 것은 아니다.
따라서 디스플레이부는 사용자가 자세를 바꾸더라도 사용자의 머리 기울기에 따라 함께 기울어지도록 영상을 표시할 수 있고, 사용자는 두 안구가 이루는 평면을 기준으로 항상 그 평면에 수평인 영상을 감상할 수 있다.
다음으로, 도 5를 참조하여 본 발명의 일 실시예에 따른 영상 제어 방법을 설명한다.
먼저, 현재 영상이 표시된 상태(S10)에서 안구 추적 모드의 실행 여부를 판단한다.(S20) 예를 들어, 안구 추적 모드의 실행 여부는 사용자 입력이 검출된 후, 일정 시간이 경과하기 전에, 사용자 입력 수단을 통해 사용자의 입력이 재검출되는 지 여부로 판단할 수 있다. 이를 위해, 타이머(110)와 입력 감지 유닛(120)에 의한 입력 감지가 필요하며 이는 상술한 바와 같다. 또한, 사용자에 의해 안구 추적 모드가 선택되었는 지 여부로 판단할 수 있다.
상기 S20 단계의 판단 결과, 안구 추적 모드로 전환되지 않은 경우에는 현재의 일반모드를 계속 유지(S30)하고, 안구 추적 모드로 전환되는 경우에는 안구 추적 모드를 실행한다.(S40)
안구 추적 모드가 실행되면, 카메라 모듈부(400)에서 사용자의 안구를 촬영(S50)하고, 상기 촬영한 이미지로부터 상기 사용자 안구의 응시 방향의 변화, 상기 디스플레이부로의 상기 사용자 안구의 접근 여부, 상기 사용자 안구의 응시 각도의 변화 여부와 같은 안구 운동의 변화를 분석한다.(S60) 사용자 응시 방향의 변화, 사용자 안구의 접근, 사용자 안구의 응시 각도의 변화에 대한 설명은 상술한 바와 같으므로, 자세한 설명은 생략한다.
다음으로, 상기 분석 결과를 이용하여 디스플레이부(700)에 표시되는 영상의 위치, 배율 또는 회전각 중 적어도 하나를 조정하는 제어신호를 생성한다.(S70) 여기서, 상기 제어신호는 사용자 안구의 응시 방향 변화에 따른 영상 이동 신호, 사용자 안구의 접근에 따른 영상의 배율을 확대 축소하는 영상 배율신호, 또한 사용자 안구의 응시 각도 변화에 따른 화면을 회전하는 영상 회전신호 등을 포함할 수 있다.
이와 같은, 본 발명의 일 실시예에 따른 영상 제어 방법 및 이를 이용한 영상 표시 장치에 의하면, 사용자의 장시간 사용에 의해 사용자 안구의 응시 방향에 변화가 생겨도, 현재의 사용자 응시 방향에 맞추어 화면을 이동하므로 사용자가 원래 응시하던 화면을 계속 응시할 수 있다.
또한, 사용자 안구가 디스플레이부에 접근하는 등의 응시 거리에 변화가 생겨도, 사용자가 원래 응시하던 화면 배율과 유사한 화면을 계속 응시할 수 있다.
또한, 사용자 안구의 응시 각도에 변화가 생겨도, 현재의 응시 각도에 맞추어 화면을 회전하므로, 사용자가 원래 응시하던 화면을 계속 응시할 수 있다.
이상과 같이 본 발명에 따른 영상 제어 방법 및 이를 이용한 영상 표시 장치을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
100 : 모드변환 판단부 200 : 제어부
300 : 발광부 400 : 카메라 모듈부
500 : 안구 운동 분석부 600 : 거리측정부

Claims (16)

  1. 사용자의 안구를 추적하여 영상을 표시하는 영상 표시 장치로서,
    제어신호에 따른 위치, 배율 또는 회전각을 가지고 영상을 표시하는 디스플레이부;
    안구 추적 모드의 실행 여부를 판단하는 모드전환 판단부;
    사용자의 안구를 촬영하는 카메라 모듈부;
    상기 카메라 모듈부가 촬영한 이미지로부터 상기 사용자 안구의 운동 변화를 분석하는 안구 운동 분석부; 및,
    상기 안구 운동 분석부로부터 분석 결과 신호를 받아서, 상기 디스플레이부에 표시되는 영상의 위치, 배율 또는 회전각 중 적어도 하나를 조정하는 상기 제어신호를 생성하는 제어부를 포함하는 영상 표시 장치.
  2. 청구항 1에 있어서, 상기 모드전환 판단부는,
    일정 시간의 경과 여부를 카운트하는 타이머; 및,
    상기 타이머에 의해 설정된 시간 동안 사용자의 입력 여부를 검출하는 입력 감지 유닛을 포함하는 것을 특징으로 하는 영상 표시 장치.
  3. 청구항 1에 있어서, 상기 모드전환 판단부는,
    사용자에 의해 선택되어 모드전환이 실행되도록 하는 모드선택 유닛을 포함하는 것을 특징으로 하는 영상 표시 장치.
  4. 청구항 2에 있어서,
    상기 사용자의 입력은 키보드 입력, 마우스 입력, 터치 입력, 음성 입력 중 적어도 어느 하나 이상을 통해 수신되는 것을 특징으로 하는 영상 표시 장치.
  5. 청구항 1에 있어서,
    사용자의 안구를 향해 적외선을 조명하는 발광부를 더 포함하는 것을 특징으로 하는 영상 표시 장치.
  6. 청구항 1에 있어서, 상기 제어부는
    상기 안구 운동 분석부로부터 분석 결과 신호를 받아서, 사용자 안구의 응시 지점을 중심으로 영상이 표시되도록 영상의 위치를 조정하거나, 사용자와 상기 영상 표시 장치 사이의 거리에 따라 영상의 배율을 조정하거나, 사용자의 두 안구가 이루는 직선에 나란하게 영상이 표시되도록 회전각을 조정하도록, 상기 제어신호를 생성하는 것을 특징으로 하는 영상 표시 장치.
  7. 청구항 1에 있어서,
    상기 카메라 모듈부가 촬영한 이미지로부터 사용자의 안구의 면적 변화 또는 두 안구 사이의 간격을 기초로 상기 사용자의 안구와 상기 카메라 모듈부까지의 거리를 산출하는 거리 측정부를 더 포함하는 것을 특징으로 하는 영상 표시 장치.
  8. 청구항 1에 있어서,
    근접 센서, 적외선 센서, RF(Radio Frequency)센서 및 초음파 센서 중 적어도 어느 하나를 이용하여 상기 사용자의 안구와 상기 카메라 모듈부까지의 거리를 산출하는 거리 측정부를 더 포함하는 것을 특징으로 하는 영상 표시 장치.
  9. 사용자의 안구를 추적하여 디스플레이부에 영상을 표시하는 영상 제어 방법으로,
    안구 추적 모드의 실행 여부를 판단하는 단계;
    사용자의 안구를 촬영하는 단계;
    상기 촬영한 이미지로부터 상기 사용자 안구 운동의 변화를 분석하는 단계; 및
    상기 분석 결과를 이용하여 상기 디스플레이부에 표시되는 영상의 위치, 배율 또는 회전각 중 적어도 하나를 조정하는 상기 제어신호를 생성하는 단계를 포함하는 영상 제어 방법.
  10. 청구항 9에 있어서, 상기 디스플레이부는 사용자 입력 수단과 전기적으로 연결되고,
    상기 안구 추적 모드의 실행 여부를 판단하는 단계는,
    상기 사용자 입력 수단을 통한 사용자 입력이 검출된 후, 일정 시간이 경과하기 전에, 사용자의 입력이 재검출되지 않으면 안구 추적 모드를 실행하는 것을 특징으로 하는 영상 제어 방법.
  11. 청구항 10에 있어서,
    상기 사용자 입력 수단은 키보드 입력, 마우스 입력, 터치 입력, 음성 입력 중 적어도 어느 하나 이상을 이용하는 것을 특징으로 하는 영상 제어 방법.
  12. 청구항 9에 있어서,
    상기 사용자 안구 운동의 변화를 분석하는 단계는, 상기 사용자 안구의 응시 방향의 변화, 상기 디스플레이부로의 상기 사용자 안구의 접근 여부, 상기 사용자 안구의 응시 각도의 변화 여부를 분석하는 것을 특징으로 하는 영상 제어 방법.
  13. 청구항 12에 있어서,
    상기 디스플레이부로의 상기 사용자 안구의 접근 여부를 분석하는 단계는, 상기 촬영된 이미지로부터 사용자의 안구의 크기 변화 또는 사용자의 두 안구 사이의 거리를 분석하여 접근 여부를 판단하는 것을 특징으로 하는 영상 제어 방법.
  14. 청구항 12에 있어서,
    상기 디스플레이부로의 상기 사용자 안구의 접근 여부를 분석하는 단계는,
    상기 촬영된 이미지로부터 상기 사용자의 안구와 상기 디스플레이부까지의 거리를 산출하여 분석하는 것을 특징으로 하는 영상 제어 방법.
  15. 청구항 9에 있어서, 상기 제어 신호는
    상기 분석 결과에 기초하여, 사용자 안구의 응시 지점을 중심으로 영상이 표시되도록 영상의 위치를 조정하거나, 사용자와 상기 영상 표시 장치 사이의 거리에 따라 영상의 배율을 조정하거나, 사용자의 두 안구가 이루는 직선에 나란하게 영상이 표시되도록 회전각을 조정하도록 생성되는 것을 특징으로 하는 영상 제어 방법.
  16. 청구항 9 내지 청구항 14 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20130060160A 2013-05-28 2013-05-28 영상 제어 방법 및 이를 이용한 영상 표시 장치 KR101492832B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130060160A KR101492832B1 (ko) 2013-05-28 2013-05-28 영상 제어 방법 및 이를 이용한 영상 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130060160A KR101492832B1 (ko) 2013-05-28 2013-05-28 영상 제어 방법 및 이를 이용한 영상 표시 장치

Publications (2)

Publication Number Publication Date
KR20140139743A true KR20140139743A (ko) 2014-12-08
KR101492832B1 KR101492832B1 (ko) 2015-02-12

Family

ID=52457885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130060160A KR101492832B1 (ko) 2013-05-28 2013-05-28 영상 제어 방법 및 이를 이용한 영상 표시 장치

Country Status (1)

Country Link
KR (1) KR101492832B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093533A1 (en) * 2014-12-12 2016-06-16 Samsung Electronics Co., Ltd. Electronic device and display method thereof
CN113867541A (zh) * 2021-10-19 2021-12-31 歌尔光学科技有限公司 显示画面调节控制方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100656630B1 (ko) * 2002-08-13 2006-12-11 엘지전자 주식회사 이동통신 단말기의 메뉴 이동 방법
KR20130014275A (ko) * 2011-07-29 2013-02-07 엘지이노텍 주식회사 디스플레이 화면 제어 방법 및 그를 이용한 영상 표시 기기

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093533A1 (en) * 2014-12-12 2016-06-16 Samsung Electronics Co., Ltd. Electronic device and display method thereof
CN107003741A (zh) * 2014-12-12 2017-08-01 三星电子株式会社 电子设备及其显示方法
CN113867541A (zh) * 2021-10-19 2021-12-31 歌尔光学科技有限公司 显示画面调节控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR101492832B1 (ko) 2015-02-12

Similar Documents

Publication Publication Date Title
US11196917B2 (en) Electronic system with eye protection
CN108700933B (zh) 能够进行眼睛追踪的可穿戴设备
US10747995B2 (en) Pupil tracking device
US20210258474A1 (en) Adjusting Motion Capture Based on the Distance Between Tracked Objects
US9785233B2 (en) Systems and methods of eye tracking calibration
TWI545947B (zh) 具有影像擷取及分析模組之顯示裝置
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
US20140022371A1 (en) Pupil detection device
JP6263617B2 (ja) 表示制御方法及び装置、電子機器
US20130215322A1 (en) Document camera with automatically switched operating parameters
US20170351327A1 (en) Information processing apparatus and method, and program
JP5655644B2 (ja) 視線検出装置及び視線検出方法
WO2011136213A1 (ja) 表示装置
KR101492832B1 (ko) 영상 제어 방법 및 이를 이용한 영상 표시 장치
WO2011136211A1 (ja) 操作装置
JP5229928B1 (ja) 注視位置特定装置、および注視位置特定プログラム
JP6613865B2 (ja) 読書範囲検出装置、読書範囲検出方法及び読書範囲検出用コンピュータプログラム
Lee et al. A new eye tracking method as a smartphone interface
KR20150089541A (ko) 영상 촬영 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 5