KR101369775B1 - 사용자 응시점 빔 주사 장치 및 동작 방법 - Google Patents

사용자 응시점 빔 주사 장치 및 동작 방법 Download PDF

Info

Publication number
KR101369775B1
KR101369775B1 KR1020100016735A KR20100016735A KR101369775B1 KR 101369775 B1 KR101369775 B1 KR 101369775B1 KR 1020100016735 A KR1020100016735 A KR 1020100016735A KR 20100016735 A KR20100016735 A KR 20100016735A KR 101369775 B1 KR101369775 B1 KR 101369775B1
Authority
KR
South Korea
Prior art keywords
gaze point
user
change amount
laser beam
scanning
Prior art date
Application number
KR1020100016735A
Other languages
English (en)
Other versions
KR20110019316A (ko
Inventor
안창근
박래만
성건용
박선희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/762,484 priority Critical patent/US8500281B2/en
Publication of KR20110019316A publication Critical patent/KR20110019316A/ko
Application granted granted Critical
Publication of KR101369775B1 publication Critical patent/KR101369775B1/ko

Links

Images

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Position Input By Displaying (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)

Abstract

본 발명은 사용자 응시점 빔 주사 장치 및 그의 동작 방법에 관한 것으로, 그 장치는 사용자 눈동자 움직임을 분석하여 사용자 응시점을 감지하는 응시점 감지부; 및 상기 응시점 감지부를 통해 감지된 사용자 응시점에 빔을 주사하는 빔 주사부를 포함하여, 사용자가 현재 응시하고 있는 지점을 파악하고 그 지점에 빔을 주사하고, 이에 따라 보다 정확한 제어 동작이 수행될 수 있도록 해준다.

Description

사용자 응시점 빔 주사 장치 및 동작 방법{APPARATUS FOR BEAMING AT THE EYE-GAZE POINT AND OPERATION METHOD THEREOF}
본 발명은 사용자 응시점 빔 주사 장치에 관한 것으로, 특히 사용자 응시점에 빔을 주사하도록 하여 보다 정확한 제어 동작을 수행할 수 있도록 하는 사용자 응시점 빔 주사 장치에 관한 것이다.
사용자의 응시점 또는 시선을 추적하여, 전자 기기의 동작을 제어하고자 하는 기술은 지속적으로 개발 및 제안되고 있다.
종래의 응시점 추적 시스템은 기본적으로 사용자 눈동자 움직임만을 감지하고, 이로부터 사용자가 현재 응시하고 있는 응시점을 파악하도록 한다.
그러나 이러한 종래의 방법은 눈동자의 움직임뿐만 아니라, 머리의 움직임을 동시에 정확히 파악해야 하는 어려움이 있기 때문에, 사용자의 응시점 또는 시선을 이용한 제어 동작의 정확성이 떨어지는 문제를 근본적으로 가지게 된다.
또한, 사용자의 응시점 파악을 통해 기기의 제어 동작을 수행하기 위해서는 획득한 응시점의 정보가 기기에 전달되어야 하기 때문에 반드시 기기와의 인터페이싱이 되어야 한다는 문제점을 가지고 있다.
이에 본 발명에서는 눈동자의 움직임을 분석하여 사용자가 현재 응시하고 있는 응시점을 파악하고, 그 응시점에 빔을 주사하도록 하는 사용자 응시점 빔 주사 장치 및 그의 동작 방법을 제공하고자 한다.
또한, 사용자의 응시점에 따라 주사한 빔을 제어 대상 기기의 입력 신호로 활용할 수 있도록 하는 사용자 응시점 빔 주사 장치 및 그의 동작 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 사용자 눈동자 움직임을 분석하여 사용자 응시점을 감지하는 응시점 감지부; 및 상기 응시점 감지부를 통해 감지된 사용자 응시점에 빔을 주사하는 빔 주사부를 포함하는 사용자 응시점 빔 주사 장치를 제공한다.
상기 응시점 감지부는 눈동자 움직임을 감지하는 눈동자 움직임 감지부; 사용자 응시점과 빔의 주사 위치가 일치되도록 하는 동기화 정보를 획득하는 동기화부; 및 상기 동기화 정보에 따라 상기 눈동자 움직임을 분석하여, 사용자 응시점 변화량을 계산하는 응시점 변화량 계산부를 포함할 수 있다.
상기 동기화부는 사용자 응시점과 빔의 주사 위치가 일치될 때의 눈동자 좌표를 동기화 정보로 획득할 수 있다.
상기 응시점 감지부는 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거하기 위한 보정치를 획득하는 보정치 계산부를 더 포함할 수 있으며, 이때의 보정치 계산부는 이격 거리 및 방향이 기설정되어 있는 제1 지점에서 제2 지점으로 사용자 응시점이 이동될 때에, 계산된 응시점 변화량과 실제 응시점 변화량으로부터 보정치를 산출할 수 있다. 또한, 이때의 응시점 변화량 계산부는 상기 보정치를 통해 상기 사용자 응시점 변화량을 보정하는 기능을 더 포함할 수 있다.
상기 빔 주사부는 상기 빔을 주사하는 빔 광원; 및 상기 사용자 응시점 변화량에 따라 상기 빔의 주사 위치를 제어하여, 상기 사용자 응시점에 빔이 주사되도록 하는 빔 주사 위치 제어부를 포함할 수 있다.
또한, 상기 사용자 응시점 빔 주사 장치는 상기 빔 주사부로부터 주사된 빔을 감지하여, 빔의 주사 위치에 대응되는 정보를 가지는 신호를 발생하는 빔 반응부를 더 포함할 수 있다.
상기 빔 반응부는 상기 빔 주사부로부터 주사된 빔을 감지하여, 빔 주사 위치를 획득하는 빔 감지부; 및 상기 빔 주사 위치에 대응되는 정보를 가지는 신호를 발생하여, 제어 대상 기기에 제공하는 입력신호 발생부를 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면 사용자 응시점과 빔의 주사 위치를 동기화시키는 단계; 사용자의 눈동자 움직임을 분석하여 사용자의 현재 응시점을 파악하는 단계; 및 상기 현재 응시점에 빔을 주사하는 단계를 포함하는 사용자 응시점 빔 주사 장치의 동작 방법을 제공한다.
상기 동기화시키는 단계는 사용자 응시점과 빔의 주사 지점이 일치될 때의 눈동자 좌표를 동기화 정보로 획득할 수 있다.
상기 응시점을 파악하는 단계는 상기 사용자의 눈동자 움직임을 감지하는 단계; 및 상기 동기화 정보에 따라 상기 눈동자 움직임을 분석하여, 사용자 응시점 변화량을 계산하는 단계를 포함할 수 있다.
상기 빔을 주사하는 단계는 상기 사용자 응시점 변화량에 따라 빔 주사 위치를 제어하여, 상기 빔이 사용자 응시점에 주사되도록 할 수 있다.
또한, 사용자 응시점 빔 주사 장치의 동작 방법은 상기 응시점을 파악하는 단계 이전에, 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거하기 위한 보정치를 획득하는 단계를 더 포함할 수 있다.
상기 응시점을 파악하는 단계는 상기 사용자의 눈동자 움직임을 감지하는 단계; 및 상기 동기화 정보에 따라 상기 눈동자 움직임을 분석하여, 사용자 응시점 변화량을 계산하는 단계; 및 상기 보정치에 따라 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거하는 단계를 포함할 수 있다.
뿐 만 아니라 사용자 응시점 빔 주사 장치의 동작 방법은 빔이 주사된 위치를 감지하여, 빔 주사 위치에 대응되는 정보를 가지는 신호를 발생하는 단계를 더 포함할 수 있다.
본 발명의 사용자 응시점 빔 주사 장치 및 그의 동작 방법에 따르면, 사용자가 현재 응시하고 있는 응시점에 머리좌표계와 동일한 공간 좌표계에 있는 응시점 빔 주사 장치를 통해 빔을 주사함으로써, 사용자가 현재 응시하고 있는 지점을 정확하게 파악할 수 있도록 할 뿐만 아니라, 제어의 정확성을 향상시킬 수 있게 된다.
또한, 사용자 응시점에 주사된 빔을 입력 신호로 활용할 수 있도록 함으로써, 사용자의 시야 거리내에 있는 모든 종류의 기기를 제어할 수 있도록 함으로써, 사용자 응시점 빔 주사 장치의 적용 분야를 획기적으로 확대시켜 줄 수 있다.
도1 는 본 발명의 일실시예에 따른 사용자 응시점 빔 주사 장치의 블록도를 도시한 도면이다.
도2은 본 발명의 일실시예에 따른 사용자 응시점 빔 주사 장치의 상세 구성도를 도시한 도면이다.
도3a및 도3b은 본 발명의 일실시예에 따른 사용자 응시점과 빔의 주사 위치가 일치되도록 하는 동기화 정보의 획득 과정을 설명하기 위한 도면이다.
도3c은 본 발명의 일실시예에 따른 사용자 응시점 변화량과 빔 이동거리가 일치되도록 하는 보정치의 획득 과정을 설명하기 위한 도면이다.
도4는 본 발명의 다른 실시예에 따른 사용자 응시점 빔 주사 장치의 상세 구성도를 도시한 도면이다.
도5은 본 발명의 일실시예에 따른 사용자 응시점 빔 주사 장치의 동작 방법을 설명한 도면이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다.
도1 는 본 발명의 일실시예에 따른 사용자 응시점 빔 주사 장치의 블록도를 도시한 도면이다.
도1를 참조하면, 본 발명의 사용자 응시점 빔 주사 장치는 사용자의 머리에 착용되는 헤드셋 장치로 구현되는 응시점 감지부(100) 및 빔 주사부(200)와, 빔 주사부(200)로부터 주사된 빔이 용이하게 도달되도록 제어 대상 기기의 정면에 배치되는 빔 반응부(300)로 이루어진다.
응시점 감지부(100)는 눈동자 움직임 감지 동작을 통해 사용자가 현재 응시하고 있는 응시점을 파악한다.
빔 주사부(200)는 빔의 주사 위치(즉, 각도 및 방향)를 제어하여 응시점 감지부(100)에 의해 파악된 사용자 응시점에 빔이 주사되도록 한다.
그리고 빔 반응부(300)는 빔이 주사된 위치를 감지하고, 그에 대응되는 정보(즉, 빔이 주사된 위치의 좌표값 또는 빔이 주사된 위치에 배치된 객체의 식별 정보 등)를 가지는 신호를 생성하여 제어 대상 기기에 제공해준다.
그러면 제어 대상 기기는 사용자 응시점 빔 주사 장치(100)로부터 제공되는 신호를 입력 신호로 입력받고, 이에 응답하여 사용자가 원하는 동작을 수행하도록 한다.
이때의 제어 대상 기기는 TV, 컴퓨터, 휴대폰 등과 같이 사용자가 원격으로 동작을 제어하고자 모든 종류의 기기가 적용될 수 있다.
예를 들어, 제어 대상 기기가 TV이고 TV의 전원을 제어하고자 하는 경우, 본 발명에 따르면 TV의 전원 스위치상에 빔 반응부(300)을 부착시킨 후, 사용자가 전원 스위치를 응시하여 전원 스위치상에 빔이 주사되도록 함으로써, 사용자가 원격에서 TV의 전원을 마음대로 제어할 수 있게 되는 것이다.
도2는 본 발명의 일실시예에 따른 사용자 응시점 빔 주사 장치의 상세 구성도를 도시한 도면이다.
도2를 참조하면, 응시점 감지부(110)는 눈동자 움직임 감지부(111), 동기화부(112), 보정치 계산부(113) 및 응시점 변화량 계산부(114)를 구비하고, 빔 주사부(210)는 빔 주사 위치 제어부(211) 및 빔 광원(212)를 구비하고, 빔 반응부(310)는 빔 감지부(311) 및 입력신호 발생부(312)를 구비함을 알 수 있다.
이하, 각 구성요소의 기능을 살펴보면 다음과 같다.
눈동자 움직임 감지부(111)는 사용자의 눈동자에 근접 또는 접촉되도록 배치된 광원(111a)과 이미지 처리부(111b)를 구비하여, 광원(111a)을 통해서는 사용자의 눈동자에 광을 주사하고, 이미지 처리부(111b)를 통해서는 사용자의 눈동자 이미지를 획득 및 처리하여 사용자 눈동자 움직임을 감지한다.
이때, 이미지 처리부(111b)는 눈동자로부터 반사되는 광의 위치를 검출하는 방식, 눈동자로부터 반사되는 광량을 검출하는 방식, 또는 이미지 센서를 이용한 이미지 신호 해석 방식 등과 같은 기존의 방식을 이용하여, 사용자 눈동자 움직임을 감지하도록 하고, 이에 대한 상세한 설명은 생략하기로 한다.
동기화부(112)는 사용자 응시점과 빔의 주사 위치가 동기화되도록, 사용자 응시점과 빔의 주사 위치를 일치시킨 후 이때의 눈동자 좌표를 동기화 정보로 획득한다.
참고로, 동기화 이전의 빔은 기본적으로 사용자 응시점을 따라가지 않고 사용자 얼굴의 정면을 향해 고정되어 있다. 이에 동기화부(112)는 사용자 응시점과 빔의 주사 지점이 일치될 때의 눈동자 좌표값을 동기화 정보로 획득하고, 이를 기준으로 빔의 주사 위치가 사용자 응시점을 따라갈 수 있도록 해준다.
예를 들어, 도3a에서와 같이, 사용자가 머리를 움직여 빔을 고정된 지점에 주사시킨 후, 도3b에서와 해당 지점을 응시하면, 동기화부(112)는 그때의 눈동자 좌표값을 동기화 정보로 획득해준다. 또 다르게는, 빔을 임의의 지점에 주사한 후, 해당 지점을 응시할 때의 눈동자 좌표값을 동기화 정보로 획득할 수 도 있다.
보정치 계산부(113)는 응시점 변화량 계산부(114)를 통해 계산된 응시점 변화량과 실제 응시점 변화량이 일치되도록 하는 보정치를 획득한다.
기본적으로, 사용자 응시점에 따라 빔이 이동될 때에 계산된 응시점 변화량과 실제 응시점 변화량간에는 오차가 발생할 수 있다. 이에 보정치 계산부(113)는 도3c에서와 같이 이격 거리 및 방향(d, θ)이 기설정되어 있는 제1 지점(P1)에서 제2지점(P2)으로 사용자 응시점을 이동시키면서, 응시점 변화량 계산부(114)를 통해 계산된 응시점 변화량과 제1 및 제2지점(P1, P2)의 이격 거리 및 방향(d, θ)간(즉, 실제 응시점 변화량)의 상관 관계를 획득한다. 그리고 획득된 상관 관계로부터 응시점 변화량 계산부(114)를 통해 계산된 응시점 변화량과 실제 응시점 변화량이 일치되도록 하는 보정치를 산출한다.
응시점 변화량 계산부(114)는 샘플링 주기별로 눈동자 움직임에 대응되는 눈동자 좌표를 획득한 후, 동기화 정보로써 획득된 눈동자 좌표와 비교하여 눈동자 움직임 변화량을 계산한다. 그리고 눈동자 움직임 변화량으로부터 사용자 응시점 변화량을 산출한 후, 보정치를 통해 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 추가적으로 제거하여, 그를 빔 주사부(210)에 제공해준다.
빔 주사 위치 제어부(211)는 응시점 변화량 계산부(114)로부터 제공되는 사용자 응시점 변화량에 따라 빔 광원(212)의 주사 위치(즉, 빔의 주사 각도, 및 주사 방향)을 상하좌우로 제어하여, 사용자 응시점에 빔이 주사되도록 한다.
빔 광원(212)는 레이저 빔 등으로 구현되어, 빔 주사 위치 제어부(211)의 제어하에 사용자 응시점에 빔을 주사한다. 이때, 빔의 형태는 본 발명의 사용자 응시점 빔 주사 장치의 사용 용도에 따라 다양하게 가변될 수 있으며, 보통 빔의 직진성 및 방향성을 고려하여 레이저 빔이 적합하다. 또한, 레이저 빔이 아주 짧은 시간 동안만 펄스 형태로 주사하거나 또는 적외선 파장 등의 영역에서 사용함으로써 사람의 눈으로 빔을 볼 수 없도록 할 수도 있다.
빔 감지부(311)는 제어 대상 기기의 전면에 위치되어 빔 광원(212)을 통해 주사된 특정 파장의 빔을 인식할 수 있는 수광 센서(예를 들어, 포토 센서, 포토 디텍터(detector))를 하나 이상 구비하여, 빔이 주사된 위치를 감지 및 통보한다.
입력신호 발생부(312)는 빔 감지부(311)를 통해 감지된 빔 주사 위치에 대응되는 정보(즉, 빔이 주사된 위치의 좌표값 또는 빔이 주사된 위치에 배치된 객체의 식별 정보 등)를 가지는 입력 신호를 발생하여 제어 대상 기기에 제공한다.
상기에서는 빔 주사부가 하나로 구현된 경우에 대해서 설명하였지만, 필요한 경우 도4에서와 같이 빔 주사부를 두 개로 구현할 수 도 있다.
도4는 본 발명의 다른 실시예에 따른 사용자 응시점 빔 주사 장치의 상세 구성도를 도시한 도면이다.
도4를 참조하면, 응시점 감지부(110)와 빔 반응부(130)는 도3에서와 동일하게 구성되나, 빔 주사부(220, 230)는 두 개로 구성되어 양쪽 눈 각각에 대응되도록 설치됨을 알 수 있다.
이에 제1 및 제2 빔 주사부(220, 230)는 응시점 감지부(120)로부터 양쪽 눈 응시점 각각에 대한 정보를 제공받고, 이에 따라 양쪽 눈의 응시점 각각에 빔을 주사하도록 한다.
이와 같이, 빔 주사부를 두 개로 구현하는 경우에는 빔의 주사 위치 변화량을 계산하여 사용자(특히, 사용자 머리)와 응시점 간의 거리를 간단한 삼각법을 통해 계산할 수 있게 된다.
동기화가 이루어진 응시점과 사용자간의 거리가 달라지면, 사용자의 눈동자는 같은 방향으로 이동하지 않고 서로 대칭되는 방향으로 이동하게 된다. 즉, 응시점으로부터 사용자가 가까워질 때에는 양쪽 눈동자는 얼굴을 중심 쪽을 향해 이동하고 응시점으로부터 멀어질 때에는 그 반대 방향으로 양쪽 눈동자가 각각 이동하는 특징을 가지게 된다. 이에 이러한 특징을 이용하면 빔의 주사 위치 변화량을 계산하여, 사용자와 응시점 간의 거리를 간단한 삼각법을 이용하여 계산할 수 있게 되는 것이다.
또한, 사용자와 응시점 간의 거리를 계산할 수 있다면, 사용자가 응시하는 두 지점간 실제 거리도 계산할 수 있게 된다. 즉, 사용자가 응시점을 이동하여 새로운 지점을 응시할 경우, 상기에서와 동일한 방식으로 새로운 지점과 사용자간의 거리를 알 수 있고, 이때의 빔의 주사 위치 변화량을 알 수 있기 때문에, 이로부터 사용자가 응시하는 두 지점간 실제 거리를 용이하게 계산할 수 있게 되는 것이다.
도5은 본 발명의 일실시예에 따른 사용자 응시점 빔 주사 장치의 동작 방법을 설명한 도면이다.
우선, 초기화 상태의 빔 주사위치는 사용자 응시점에 상관없이 무조건적으로 사용자 얼굴의 정면 방향을 향하도록 설정되어 있으므로, 응시점 감지부는 사용자 응시점에 빔이 주사될 수 있도록 사용자 응시점과 빔 주사 위치간 동기화를 진행해야 한다. 이에 응시점 감지부는 사용자 응시점과 빔의 주사 지점이 일치될 때의 눈동자 좌표를 동기화 정보를 획득한다(S1).
그리고 응시점 감지부는 보다 정밀한 빔 제어가 수행될 수 있도록, 계산된 응시점 변화량과 실제 응시점 변화량이 서로 일치되도록 하는 보정치를 추가적으로 획득한다(S2).
단계 S1 및 S2를 통해 동기화 동작과 보정치 획득 동작이 완료되고 나면, 사용자 응시점에 빔을 주사할 수 있는 상태가 있다.
그러면 응시점 감지부는 상기 동기화 정보에 따라 사용자의 눈동자 움직임을 분석하여 사용자 응시점 변화량을 계산한 후, 보정치에 따라 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거해준다(S3).
그리고 빔 주사부는 단계S3을 통해 계산된 사용자 응시점 변화량에 따라 빔 주사 위치를 변화시켜, 사용자가 현재 응시하고 있는 응시점에 빔이 주사되도록 한다(S4).
이에 빔이 사용자의 현재 응시점(예를 들어, 제어 대상 기기의 모니터의 특정 위치상)에 주사되면, 제어 대상 기기의 전면에 배치된 빔 반응부는 빔이 주사된 위치를 파악하고(S5), 해당 위치에 배치된 객체(예를 들어, 메뉴바, 아이콘, 또는 버튼 등)를 통보하기 위한 입력 신호를 생성하여 제어 대상 기기에 제공해준다(S6).
이와 같이 본 발명에서는 사용자 응시점을 추측하는 것에서 벗어나 사용자 응시점에 빔을 주사해줌으로써, 사용자가 현재 응시하고 있는 응시점을 명시적으로 파악할 수 있도록 한다.
이에 본 발명의 사용자 응시점 빔 주사 장치를 통해 입력 신호를 제공받는 제어 대상 기기는 사용자가 원하는 동작 및 서비스를 보다 정확하게 파악하고, 이를 실행해줄 수 있게 되는 것이다.
예를 들어, 제어 대상 기기가 컴퓨터로 구현되고 빔 반응부가 컴퓨터 모니터 전면에 배치되며 컴퓨터 모니터상에 A 내지 N 프로그램 아이콘이 디스플레이된 경우, 사용자가 A 프로그램 아이콘을 응시하면, 빔 주사부는 A 프로그램 아이콘상에 빔이 주사해준다. 그러면 빔 반응부는 A 프로그램 아이콘 선택 신호를 발생하고, 제어 대상 기기인 컴퓨터는 이에 응답하여 A 프로그램을 실행해줄 수 있게 된다.
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.
100, 110: 응시점 감지부 110: 응시점 감지부
111: 눈동자 움직임 감지부 112: 동기화부
113: 보정치 계산부 114: 응시점 변화량 계산부
200, 210: 빔 주사부 211: 빔 주사 위치 제어부
212: 빔 광원 300, 310: 빔 반응부
311: 빔 감지부 312: 입력신호 발생부

Claims (16)

  1. 사용자 눈동자 움직임을 분석하여 사용자 응시점을 감지하는 응시점 감지부;
    상기 응시점 감지부를 통해 감지된 사용자 응시점에 비가시(invisible) 레이저 빔을 주사하는 빔 주사부; 및
    상기 빔 주사부로부터 주사된 레이저 빔을 감지하여, 레이저 빔의 주사 위치에 대응되는 정보를 가지는 신호를 발생하여 제어 대상 기기로 제공하는 빔 반응부를 포함하는 사용자 응시점 빔 주사 장치.
  2. 제1항에 있어서, 상기 응시점 감지부는
    눈동자 움직임을 감지하는 눈동자 움직임 감지부;
    사용자 응시점과 레이저 빔의 주사 위치가 일치되도록 하는 동기화 정보를 획득하는 동기화부; 및
    상기 동기화 정보에 따라 상기 눈동자 움직임을 분석하여, 사용자 응시점 변화량을 계산하는 응시점 변화량 계산부를 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  3. 제2항에 있어서, 상기 동기화부는
    사용자 응시점과 레이저 빔의 주사 위치가 일치될 때의 눈동자 좌표를 동기화 정보로 획득하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  4. 제2항에 있어서, 상기 응시점 감지부는
    계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거하기 위한 보정치를 획득하는 보정치 계산부를 더 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  5. 제4항에 있어서, 상기 보정치 계산부는
    이격 거리 및 방향이 기설정되어 있는 제1 지점에서 제2 지점으로 사용자 응시점이 이동될 때에, 계산된 응시점 변화량과 실제 응시점 변화량으로부터 보정치를 산출하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  6. 제5항에 있어서, 상기 응시점 변화량 계산부는
    상기 보정치를 통해 상기 사용자 응시점 변화량을 보정하는 기능을 더 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  7. 제2항에 있어서, 상기 빔 주사부는
    상기 레이저 빔을 주사하는 빔 광원; 및
    상기 사용자 응시점 변화량에 따라 상기 레이저 빔의 주사 위치를 제어하여, 상기 사용자 응시점에 레이저 빔이 주사되도록 하는 빔 주사 위치 제어부를 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  8. 삭제
  9. 제1항에 있어서, 상기 빔 반응부는
    상기 빔 주사부로부터 주사된 레이저 빔을 감지하여, 레이저 빔 주사 위치를 획득하는 빔 감지부; 및
    상기 레이저 빔 주사 위치에 대응되는 정보를 가지는 신호를 발생하여, 상기 제어 대상 기기에 제공하는 입력신호 발생부를 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치.
  10. 사용자 응시점과 레이저 빔의 주사 위치를 동기화시키는 단계;
    사용자의 눈동자 움직임을 분석하여 사용자의 현재 응시점을 파악하는 단계;
    상기 현재 응시점에 비가시(invisible) 레이저 빔을 주사하는 단계; 및
    레이저 빔이 주사된 위치를 감지하여, 레이저 빔 주사 위치에 대응되는 정보를 가지는 신호를 발생하여 제어 대상 기기로 제공하는 단계를 포함하는 사용자 응시점 빔 주사 장치의 동작 방법.
  11. 제10항에 있어서, 상기 동기화시키는 단계는
    사용자 응시점과 레이저 빔의 주사 지점이 일치될 때의 눈동자 좌표를 동기화 정보로 획득하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치의 동작 방법.
  12. 제11항에 있어서, 상기 응시점을 파악하는 단계는
    상기 사용자의 눈동자 움직임을 감지하는 단계; 및
    상기 동기화 정보에 따라 상기 눈동자 움직임을 분석하여, 사용자 응시점 변화량을 계산하는 단계를 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치의 동작 방법.
  13. 제12항에 있어서, 상기 레이저 빔을 주사하는 단계는
    상기 사용자 응시점 변화량에 따라 레이저 빔 주사 위치를 제어하여, 상기 레이저 빔이 사용자 응시점에 주사되도록 하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치의 동작 방법.
  14. 제11항에 있어서,
    상기 응시점을 파악하는 단계 이전에, 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거하기 위한 보정치를 획득하는 단계를 더 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치의 동작 방법.
  15. 제14항에 있어서, 상기 응시점을 파악하는 단계는
    상기 사용자의 눈동자 움직임을 감지하는 단계; 및
    상기 동기화 정보에 따라 상기 눈동자 움직임을 분석하여, 사용자 응시점 변화량을 계산하는 단계; 및
    상기 보정치에 따라 계산된 응시점 변화량과 실제 응시점 변화량간 오차를 제거하는 단계를 포함하는 것을 특징으로 하는 사용자 응시점 빔 주사 장치의 동작 방법.
  16. 삭제
KR1020100016735A 2009-08-19 2010-02-24 사용자 응시점 빔 주사 장치 및 동작 방법 KR101369775B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/762,484 US8500281B2 (en) 2009-08-19 2010-04-19 Apparatus for irradiating beam at user's eye gaze point and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090076935 2009-08-19
KR20090076935 2009-08-19

Publications (2)

Publication Number Publication Date
KR20110019316A KR20110019316A (ko) 2011-02-25
KR101369775B1 true KR101369775B1 (ko) 2014-03-06

Family

ID=43776702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100016735A KR101369775B1 (ko) 2009-08-19 2010-02-24 사용자 응시점 빔 주사 장치 및 동작 방법

Country Status (1)

Country Link
KR (1) KR101369775B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878376B1 (ko) 2012-11-14 2018-07-16 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007136000A (ja) * 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
KR20070122337A (ko) * 2006-06-26 2007-12-31 엘지.필립스 엘시디 주식회사 화면의 표면에 광학 표시가 가능한 액정표시 및 표시방법
KR20090052413A (ko) * 2007-11-21 2009-05-26 주식회사 현대오토넷 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법
JP2009157634A (ja) * 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007136000A (ja) * 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
KR20070122337A (ko) * 2006-06-26 2007-12-31 엘지.필립스 엘시디 주식회사 화면의 표면에 광학 표시가 가능한 액정표시 및 표시방법
KR20090052413A (ko) * 2007-11-21 2009-05-26 주식회사 현대오토넷 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법
JP2009157634A (ja) * 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム

Also Published As

Publication number Publication date
KR20110019316A (ko) 2011-02-25

Similar Documents

Publication Publication Date Title
KR101483501B1 (ko) 안과장치 및 그 제어 방법
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2013179427A1 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
EP2702931A2 (en) Interactive control apparatus
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
US11260535B2 (en) Geometrically appropriate tool selection assistance for determined work site dimensions
US10630890B2 (en) Three-dimensional measurement method and three-dimensional measurement device using the same
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
GB2509402A (en) Ensuring correct posture and position during human body security inspection
US20180173301A1 (en) Interactive system, remote controller and operating method thereof
TW201428638A (zh) 顯示裝置及調整顯示裝置觀測距離的方法
JP2009003576A (ja) 機器制御装置及び制御方法
US20230329551A1 (en) Ophthalmic apparatus and non-transitory computer-readable storage medium
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
US20190354177A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable recording medium
US20120249952A1 (en) Control apparatus, ophthalmologic apparatus, system, control method, and program
US8500281B2 (en) Apparatus for irradiating beam at user&#39;s eye gaze point and operation method thereof
KR101369775B1 (ko) 사용자 응시점 빔 주사 장치 및 동작 방법
JP2015232771A (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP4568024B2 (ja) 眼球運動測定装置、及び眼球運動測定プログラム
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
KR101492832B1 (ko) 영상 제어 방법 및 이를 이용한 영상 표시 장치
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
US10952648B2 (en) Measurement device and measurement method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 6