KR101438948B1 - 시선 추적 제어 장치 및 방법 - Google Patents

시선 추적 제어 장치 및 방법 Download PDF

Info

Publication number
KR101438948B1
KR101438948B1 KR1020120144894A KR20120144894A KR101438948B1 KR 101438948 B1 KR101438948 B1 KR 101438948B1 KR 1020120144894 A KR1020120144894 A KR 1020120144894A KR 20120144894 A KR20120144894 A KR 20120144894A KR 101438948 B1 KR101438948 B1 KR 101438948B1
Authority
KR
South Korea
Prior art keywords
psf
camera
image sensor
image
determining
Prior art date
Application number
KR1020120144894A
Other languages
English (en)
Other versions
KR20140076413A (ko
Inventor
이석범
노희진
석동희
박성민
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120144894A priority Critical patent/KR101438948B1/ko
Priority to US13/888,523 priority patent/US8994654B2/en
Publication of KR20140076413A publication Critical patent/KR20140076413A/ko
Application granted granted Critical
Publication of KR101438948B1 publication Critical patent/KR101438948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 시선 추적 제어 장치 및 방법에 관한 것으로, 본 발명에 따른 장치는 복수의 구역으로 분할된 영상센서를 갖는 카메라, 및 상기 카메라를 이용하여 사용자의 시선 검출 시, 상기 영상센서의 각 구역별로 배치된 영상소자로부터 취득된 각 구역별 영상을 이용하여 상기 카메라의 렌즈 및 상기 영상센서에 대한 PSF를 각각 결정하고, 상기 결정된 상기 렌즈 및 상기 영상센서의 PSF로부터 결정된 카메라의 PSF를 이용하여 조명 반사점을 추정하며, 상기 추정된 반사점들의 중심값을 결정하여 사용자의 시선을 추적하는 시선 추적 제어부를 포함한다.

Description

시선 추적 제어 장치 및 방법{Apparatus and method for gaze tracking control}
본 발명은 시선 추적 제어 장치 및 방법에 관한 것으로, 복수의 구역으로 분할된 영상센서 및 렌즈의 특성정보를 활용하여 카메라의 PSF(Point Spread Function)를 결정하고, 결정된 PSF로부터 반사점의 중심값을 추정하는 기술에 관한 것이다.
시선추적은 운전자의 상태 감시, 의도 파악 및 시선 연동 차량 내의 기기 작동 등 다양한 분야에 적용되고 있다. 최근에는, 운전자의 주의 분산을 감시하는데에 대한 관심이 커지고 있다.
이와 같이, 시선 추적의 다양한 응용을 위해서는 정확한 시선 방향을 추정해야하는 데, 이를 위해서 안구 각막에 IR 조명을 방사하여, 그 반사점의 위치를 검출하기도 한다.
하지만, 안구의 반사점은 운전자의 자세 및 위치에 따라 변화가 심하기 때문에 오차가 발생할 수 있는 문제가 있다. 또한, 이를 위해서는 고해상도의 카메라를 적용해야하는데, 비용이 많이 들고, 연산부하 증가 등의 원인으로 인해 차량 적용이 어려운 실정이다.
본 발명의 목적은, 영상센서를 복수의 구역으로 분할하여 각 구역별로 취득된 영상과, 영상센서 및 렌즈의 특성 정보를 활용하여 반사점을 추정함으로써 오차율이 낮고 정확한 반사점의 중심값을 제공하도록 하는 시선 추적 제어 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 카메라 취득 좌표를 입사각으로 변환함으로써 렌즈 PSF를 결정하는데 있어서 PSF의 민감도를 최소화할 수 있으며, 렌즈 PSF와 영상센서 PSF를 각각 결정하고, 렌즈 PSF와 영상센서 PSF로부터 카메라의 PSF를 결정함으로써 렌즈 및 영상소자에 의한 빛퍼짐을 보상하여 보다 정확한 반사점을 검출하도록 하는 시선 추적 제어 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 시선 추적 제어 장치는, 복수의 구역으로 분할된 영상센서를 갖는 카메라, 및 상기 카메라를 이용하여 사용자의 시선 검출 시, 상기 영상센서의 각 구역별로 배치된 영상소자로부터 취득된 각 구역별 영상을 이용하여 상기 카메라의 렌즈 및 상기 영상센서에 대한 PSF를 각각 결정하고, 상기 결정된 상기 렌즈 및 상기 영상센서의 PSF로부터 결정된 카메라의 PSF를 이용하여 조명 반사점을 추정하며, 상기 추정된 반사점들의 중심값을 결정하여 사용자의 시선을 추적하는 시선 추적 제어부를 포함하는 것을 특징으로 한다.
상기 시선 추적 제어부는, 상기 각 구역별 영상에 대한 상기 카메라의 렌즈에 대한 입사각을 산출하는 입사각 산출부, 상기 산출된 입사각 및 상기 각 구역별로 배치된 영상소자의 위치정보에 근거하여 상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF를 결정하고, 상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF로부터 상기 카메라의 PSF를 결정하는 PSF 결정부, 상기 각 구역별 영상 및 상기 카메라의 PSF를 이용하여 조명 반사점을 추정하는 반사점 추정부, 및 상기 추정된 반사점들의 중심값을 결정하는 중심값 결정부를 포함하는 것을 특징으로 한다.
상기 PSF 결정부는, 상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF의 곱으로부터 상기 카메라의 PSF를 결정하는 것을 특징으로 한다.
상기 반사점 추정부는, 상기 결정된 상기 카메라의 PSF 및 상기 각 구역별 영상으로부터 취득된 반사점의 좌표 정보를 이용하여 추정 반사점을 산출하는 것을 특징으로 한다.
상기 중심값 결정부는, 상기 추정된 반사점들 중 최대값을 가지는 점을 중심값으로 결정하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 시선 추적 제어 방법은, 카메라의 복수의 구역으로 분할된 영상센서로부터 각 구역별 영상을 입력받는 단계, 상기 각 구역별 영상을 이용하여 상기 카메라의 렌즈 및 상기 영상센서에 대한 PSF를 각각 결정하고, 상기 렌즈 및 상기 영상센서의 PSF로부터 상기 카메라의 PSF를 결정하는 단계, 상기 카메라의 PSF를 이용하여 입력 영상에 대한 조명 반사점을 추정하는 단계, 및 상기 추정된 반사점들의 중심값을 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 조명 반사점을 추정하는 단계는, 상기 결정된 상기 카메라의 PSF 및 상기 각 구역별 영상으로부터 취득된 반사점의 좌표 정보를 이용하여 추정 반사점을 산출하는 것을 특징으로 한다.
상기 중심값을 결정하는 단계는, 상기 추정된 반사점들 중 최대값을 가지는 점을 중심값으로 결정하는 것을 특징으로 한다.
한편, 본 발명에 따른 시선 추적 제어 방법은, 상기 각 구역별 영상에 대한 상기 카메라의 렌즈에 대한 입사각을 산출하는 단계를 더 포함하는 것을 특징으로 하며, 상기 카메라의 PSF를 결정하는 단계는 상기 산출된 입사각 및 상기 영상센서의 각 구역별 위치정보에 근거하여 상기 렌즈 및 상기 영상센서에 대한 PSF를 결정하는 것을 특징으로 한다.
또한, 상기 카메라의 PSF를 결정하는 단계는, 상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF의 곱으로부터 상기 카메라의 PSF를 결정하는 것을 특징으로 한다.
본 발명에 따르면, 영상센서를 복수의 구역으로 분할하여 각 구역별로 취득된 영상과, 영상센서 및 렌즈의 특성 정보를 활용하여 반사점을 추정함으로써 오차율이 낮고 정확한 반사점의 중심값을 제공할 수 있는 이점이 있다.
또한, 본 발명은, 카메라 취득 좌표를 입사각으로 변환함으로써 렌즈 PSF를 결정하는데 있어서 PSF의 민감도를 최소화할 수 있으며, 렌즈 PSF와 영상센서 PSF를 각각 결정하고, 렌즈 PSF와 영상센서 PSF로부터 카메라의 PSF를 결정함으로써 렌즈 및 영상소자에 의한 빛퍼짐을 보상하여 보다 정확한 반사점을 검출할 수 있는 이점이 있다.
도 1은 본 발명에 따른 시선 추적 제어 장치의 구성을 도시한 도이다.
도 2는 도 1의 카메라에 대한 렌즈 및 영상 센서의 구성을 설명하는데 참조되는 도이다.
도 3은 본 발명에 따른 시선 추적 제어부의 세부 구성을 도시한 블록도이다.
도 4는 본 발명에 따른 시선 추적 제어 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 시선 추적 제어 장치의 구성을 도시한 도이다. 도 1을 참조하면, 본 발명에 따른 시선 추적 제어 장치는 사용자(1)의 영상, 특히, 사용자(1)의 얼굴 영상 또는 눈 영상을 촬영하는 카메라(10)는 렌즈(11)를 투과한 빛이 영상센서(15)에 도달하면, 영상센서(15)에 도달한 빛을 취득하는 것으로서 영상을 촬영한다. 이때, 카메라(10)는 촬영된 영상을 시선 추적 제어부(100)로 전달한다.
여기서, 영상 취득 대상, 즉, 사용자(1)의 위치는 카메라(10)의 렌즈(11)에서의 입사각을 통해 추정할 수 있다.
또한, 카메라(10)의 영상센서(15)는 복수의 구역으로 분할된 것으로 하며, 분할된 각 구역에는 영상소자가 각각 배치된다. 따라서, 각 구역에 배치된 영상소자로부터 분할된 각 구역별 영상을 취득하게 되고, 이렇게 취득된 각 구역별 영상은 시선 추적 제어부(100)로 전달된다. 이에, 카메라(10)의 렌즈 특성 및 영상센서 특성은 도 2를 참조하여 보다 상세히 설명하도록 한다.
따라서, 시선 추적 제어부(100)는 카메라(10)로부터 취득된 영상과, 렌즈(11)의 입사각 및 해당 영상을 취득한 영상소자가 위치한 구역의 위치 정보 등을 이용하여 조명 반사점의 위치를 추정하고, 이를 통해 사용자(1)의 시선을 추적한다. 특히, 시선 추적 제어부(100)는 카메라(10)로부터 촬영된 영상과, 카메라(10)의 렌즈(11) 및 영상센서(15)의 특성 정보를 이용하여 렌즈 PSF(Point Spread Function) 및 영상센서 PSF를 각각 결정하고, 결정된 렌즈 PSF 및 영상센서 PSF로부터 결정된 전체 PSF를 이용하여 사용자(1)의 눈 영상에 대한 조명 반사점을 추정하도록 한다. 이에, 시선 추적 제어부(100)에서 조명 반사점, 특히, 조명 반사점의 중심값을 결정하는 동작은 도 3을 참조하여 보다 상세히 설명하도록 한다.
도 2는 도 1의 카메라에 대한 렌즈 및 영상 센서의 구성을 설명하는데 참조되는 도이다.
카메라를 통해 사용자의 눈 영상을 촬영하는 경우, 사용자의 눈으로부터 반사된 광이 렌즈로 입사되게 되고, 렌즈로 입사된 광은 굴절되어 영상센서로 전달된다.
이때, 렌즈로 입사된 광은 입사각에 따라 굴절되는 각도가 달라져서 영상센서에 도달하는 위치가 달라지게 된다. 도 2의 (a)는 각 입사 위치에서 입사각에 따른 광의 퍼짐 현상을 나타낸 것이다. 시선 추적 장치는 도 2의 (a)를 통해 입사각별 렌즈 PSF를 결정한다.
한편, 영상센서는, 도 2의 (b)와 같이, 복수개의 구역으로 분할되고, 분할된 각 구역별로 영상소자가 대응되도록 배치된다. 이때, 분할된 각 구역의 위치정보 또는 각 영상소자가 배치된 구역 정보 등은 시선 추적 제어부로 제공될 수 있다. 이때, 영상센서의 분할된 각 구역에 대한 위치정보는 사전에 시선 추적 제어부로 제공될 수 있으며, 촬영 영상 전달 시에 함께 전달할 수도 있다. 시선 추적 장치는 도 2의 (b)와 같이 분할된 각 구역의 위치별 영상센서 PSF를 결정한다.
한편, 도 2의 (a)로부터 결정된 렌즈 PSF와 (b)로부터 결정된 영상센서 PSF의 곱으로서 전체 PSF를 결정할 수 있으며, 이때 결정된 전체 PSF는 카메라 PSF가 된다.
도 3은 본 발명에 따른 시선 추적 제어부의 세부 구성을 도시한 블록도이다. 도 3을 참조하면, 시선 추적 제어부(100)는 입사각 산출부(110), PSF 결정부(120), 반사점 추정부(130) 및 중심값 결정부(140)를 포함한다.
먼저, 입사각 산출부(110)는 각 구역별 영상소자로부터 취득된 영상으로부터 렌즈에 대한 입사각을 산출한다. 이때, 입사각 산출부(110)는 핀 홀 카메라 모델을 이용한 카메라 보정에 의해서 검출된 효과적 핀 홀(effective pin hole)과 영상소자의 좌표값을 아래 [수학식 1]에 적용하여 각 구역별 입사각을 산출한다.
Figure 112012103540336-pat00001
이와 같이, 입사각 산출부(110)가 [수학식 1]을 통해 카메라의 영상 취득 좌표를 입사각으로 변환함으로써, 렌즈 PSF를 결정하는 과정에서 사용하는 패턴의 위치에 대한 PSF의 민감도를 줄일 수 있다. 이때, 입사각 산출부(110)는 산출된 각 구역별 입사각에 대한 정보를 PSF 결정부(120)로 전달한다.
PSF 결정부(120)는 조명 반사점을 추정하기 위한 PSF를 결정하는 수단으로서, 렌즈 PSF 결정부(121) 및 영상센서 PSF 결정부(122)를 포함한다. 여기서, 렌즈 PSF 결정부(121)는 입사각 산출부(110)로부터 입력된 정보에 근거하여 렌즈의 입사각에 대한 렌즈 PSF를 결정한다. 또한, 영상센서 PSF 결정부(122)는 영상센서의 각 구역에 대한 영상센서 PSF를 결정한다.
PSF 결정부(120)는 렌즈 PSF 결정부(121)에 의해 결정된 렌즈 PSF 및 영상센서 PSF 결정부(122)에 의해 결정된 영상센서 PSF로부터 전체 PSF를 결정한다. 이때, 결정된 전체 PSF, 즉, f_PSF는 아래 [수학식 2]와 같이 가우시안(gaussian) 함수의 합으로 나타낼 수 있다.
Figure 112012103540336-pat00002
여기서, i는 각 구역에 대한 summation index이고, i0은 i번째 구역의 중심값을 나타내고, x, y는 영상센서의 각 구역에 대한 좌표값, α는 각 구역에 부여된 가중치, σ는 각 구역의 분산값을 나타낸다. 물론, [수학식 2]의 f_PSF는 일 실시예이며, 다른 함수를 이용하여 나타낼 수도 있음은 당연한 것이다.
PSF 결정부(120)는 상기와 같이 결정된 f_PSF에 대한 정보를 반사점 추정부(130)로 전달한다.
반사점 추정부(130)는 PSF 결정부(120)로부터 입력된 f_PSF를 이용하여 조명 반사점을 추정한다. 이때, 반사점 추정부(130)는 카메라의 상이 f_PSF에 의해서 흩어지는 원리에 기반하여, f_PSF와 영상으로부터 취득된 반사점인 r을 이용하여 이상적 반사점인 g를 추정할 수 있다.
여기서, r, f_PSF 및 g의 관계식은 아래 [수학식 3]과 같다.
Figure 112012103540336-pat00003
이때, 반사점 추정부(130)는 [수학식 3]을 푸리에(fourier) 변환하는 것으로서, 아래 [수학식 4]와 같이 나타낼 수 있다.
Figure 112012103540336-pat00004
반사점 추정부(130)에서 상기의 [수학식 3] 및 [수학식 4]로부터 추정된 이상적 반사점 g_estimated를 산출하는 식은 아래 [수학식 5]와 같다.
Figure 112012103540336-pat00005
따라서, 반사점 추정부(130)는 상기의 각 과정으로부터 산출 또는 추정된 값들은 [수학식 5]에 적용하여 이상적 반사점을 추정한다. 한편, 반사점 추정부(130)는 각 구역별 영상으로부터 추정된 반사점에 대한 정보를 중심값 결정부(140)로 전달한다.
이때, 중심값 결정부(140)는 반사점 추정부(130)로부터 입력된 값들 중 최대값을 가지는 값을 중심값으로 결정한다.
이와 같이, 시선 추적 제어부는 상기에서 결정된 중심값의 좌표 정보를 이용하여 사용자의 시선을 추적하는데 이용하게 된다. 물론, 시선 추적 제어부는 별도의 다른 시선 추적 시스템 또는 운전자 감시 시스템에 반사점 중심 좌표에 대한 정보를 제공할 수도 있다.
상기와 같이 구성되는 본 발명에 따른 시선 추적 제어 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 4는 본 발명에 따른 시선 추적 제어 방법에 대한 동작 흐름을 도시한 순서도이다. 도 4를 참조하면, 본 발명에 따른 시선 추적 제어 장치는, 각 구역별로 분할된 영상센서로부터 각 구역별 영상을 취득하면(S100), 각 구역별 영상소자의 위치를 파악하고(S110), 각 구역별 렌즈의 입사각을 산출한다(S120). 'S120' 과정에서 각 구역별 렌즈의 입사각을 산출하는 동작에 대한 구체적인 실시예는 [수학식 1]의 설명을 참조하도록 한다.
이후, 시선 추적 제어 장치는 'S100' 과정에서 취득된 영상과, 'S110' 및 'S120' 과정에서 취득된 정보에 근거하여 렌즈 PSF 및 영상센서 PSF를 결정하고(S130), 'S130' 과정에서 결정된 렌즈 PSF 및 영상센서 PSF로부터 카메라의 PSF를 결정한다(S140). 'S140' 과정에서 카메라의 PSF를 산출하는 동작에 대한 구체적인 실시예는 [수학식 2]의 설명을 참조하도록 한다.
시선 추적 제어 장치는 'S140' 과정에서 카메라의 PSF가 결정되면, 'S100' 과정을 통해 취득된 입력 영상 및 'S140' 과정에서 결정된 카메라의 PSF를 이용하여 조명 반사점을 추정하고(S150), 'S150' 과정에서 추정된 조명 반사점 중 중심값을 결정한다(S160). 'S160' 과정에서는 추정된 조명 반사점이 가지는 값 중 최대값을 가지는 점을 중심점으로 결정하도록 한다.
이후, 시선 추적 제어 장치는 'S160' 과정에서 결정된 반사점의 중심값을 출력하여(S170), 사용자의 시선 추적에 이용하도록 한다.
이상과 같이 본 발명에 의한 시선 추적 제어 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
1: 사용자 10: 카메라
11: 렌즈 15: 영상센서
100: 시선 추적 제어부 110: 입사각 산출부
120: PSF 결정부 121: 렌즈 PSF 결정부
122: 영상센서 PSF 결정부 130: 반사점 추정부
140: 중심값 결정부

Claims (11)

  1. 복수의 구역으로 분할된 영상센서를 갖는 카메라; 및
    상기 카메라를 이용하여 사용자의 시선 검출 시, 상기 영상센서의 각 구역별로 배치된 영상소자로부터 취득된 각 구역별 영상을 이용하여 상기 카메라의 렌즈 및 상기 영상센서에 대한 PSF를 각각 결정하고, 상기 결정된 상기 렌즈 및 상기 영상센서의 PSF로부터 결정된 카메라의 PSF를 이용하여 조명 반사점을 추정하며, 상기 추정된 반사점들의 중심값을 결정하여 사용자의 시선을 추적하는 시선 추적 제어부를 포함하는 것을 특징으로 하는 시선 추적 제어 장치.
  2. 청구항 1에 있어서,
    상기 시선 추적 제어부는,
    상기 각 구역별 영상에 대한 상기 카메라의 렌즈에 대한 입사각을 산출하는 입사각 산출부;
    상기 산출된 입사각 및 상기 각 구역별로 배치된 영상소자의 위치정보에 근거하여 상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF를 결정하고, 상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF로부터 상기 카메라의 PSF를 결정하는 PSF 결정부; 및
    상기 각 구역별 영상 및 상기 카메라의 PSF를 이용하여 조명 반사점을 추정하는 반사점 추정부; 및
    상기 추정된 반사점들의 중심값을 결정하는 중심값 결정부를 포함하는 것을 특징으로 하는 시선 추적 제어 장치.
  3. 청구항 2에 있어서,
    상기 PSF 결정부는,
    상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF의 곱으로부터 상기 카메라의 PSF를 결정하는 것을 특징으로 하는 시선 추적 제어 장치.
  4. 청구항 2에 있어서,
    상기 반사점 추정부는,
    상기 결정된 상기 카메라의 PSF 및 상기 각 구역별 영상으로부터 취득된 반사점의 좌표 정보를 이용하여 추정 반사점을 산출하는 것을 특징으로 하는 시선 추적 제어 장치.
  5. 청구항 2에 있어서,
    상기 중심값 결정부는,
    상기 추정된 반사점들 중 최대값을 가지는 점을 중심값으로 결정하는 것을 특징으로 하는 시선 추적 제어 장치.
  6. 카메라의 복수의 구역으로 분할된 영상센서로부터 각 구역별 영상을 입력받는 단계;
    상기 각 구역별 영상을 이용하여 상기 카메라의 렌즈 및 상기 영상센서에 대한 PSF를 각각 결정하고, 상기 렌즈 및 상기 영상센서의 PSF로부터 상기 카메라의 PSF를 결정하는 단계;
    상기 카메라의 PSF를 이용하여 입력 영상에 대한 조명 반사점을 추정하는 단계; 및
    상기 추정된 반사점들의 중심값을 결정하는 단계를 포함하는 것을 특징으로 하는 시선 추적 제어 방법.
  7. 청구항 6에 있어서,
    상기 조명 반사점을 추정하는 단계는,
    상기 결정된 상기 카메라의 PSF 및 상기 각 구역별 영상으로부터 취득된 반사점의 좌표 정보를 이용하여 추정 반사점을 산출하는 것을 특징으로 하는 시선 추적 제어 방법.
  8. 청구항 6에 있어서,
    상기 중심값을 결정하는 단계는,
    상기 추정된 반사점들 중 최대값을 가지는 점을 중심값으로 결정하는 것을 특징으로 하는 시선 추적 제어 방법.
  9. 청구항 6에 있어서,
    상기 각 구역별 영상에 대한 상기 카메라의 렌즈에 대한 입사각을 산출하는 단계를 더 포함하는 것을 특징으로 하는 시선 추적 제어 방법.
  10. 청구항 9에 있어서,
    상기 카메라의 PSF를 결정하는 단계는,
    상기 산출된 입사각 및 상기 영상센서의 각 구역별 위치정보에 근거하여 상기 렌즈 및 상기 영상센서에 대한 PSF를 결정하는 것을 특징으로 하는 시선 추적 제어 방법.
  11. 청구항 6에 있어서,
    상기 카메라의 PSF를 결정하는 단계는,
    상기 렌즈에 대한 PSF 및 상기 영상센서에 대한 PSF의 곱으로부터 상기 카메라의 PSF를 결정하는 것을 특징으로 하는 시선 추적 제어 방법.
KR1020120144894A 2012-12-12 2012-12-12 시선 추적 제어 장치 및 방법 KR101438948B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120144894A KR101438948B1 (ko) 2012-12-12 2012-12-12 시선 추적 제어 장치 및 방법
US13/888,523 US8994654B2 (en) 2012-12-12 2013-05-07 Apparatus and method for controlling gaze tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144894A KR101438948B1 (ko) 2012-12-12 2012-12-12 시선 추적 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140076413A KR20140076413A (ko) 2014-06-20
KR101438948B1 true KR101438948B1 (ko) 2014-09-11

Family

ID=50880407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144894A KR101438948B1 (ko) 2012-12-12 2012-12-12 시선 추적 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US8994654B2 (ko)
KR (1) KR101438948B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6265348B2 (ja) 2013-05-22 2018-01-24 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
CN107106007B (zh) 2014-12-16 2020-10-02 皇家飞利浦有限公司 具有校准改进、准确度补偿和注视局部化平滑的注视跟踪系统
KR102172634B1 (ko) 2015-10-08 2020-11-03 삼성전기주식회사 카메라 모듈, 전자 디바이스 및 그 동작 방법
US10250782B2 (en) 2015-10-08 2019-04-02 Samsung Electro-Mechanics Co., Ltd. Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF)
US10075633B2 (en) 2015-10-13 2018-09-11 Samsung Electro-Mechanics Co., Ltd. Camera module and method of manufacturing the same
KR102550175B1 (ko) 2016-10-21 2023-07-03 삼성전기주식회사 카메라 모듈 및 이를 포함하는 전자 기기
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020063669A (ko) * 2001-01-30 2002-08-05 엘지전자 주식회사 홍채 인식 시스템의 촛점 자동 조절방법
KR20020086977A (ko) * 2001-05-12 2002-11-21 엘지전자 주식회사 홍채 인식 시스템의 거리 측정방법과 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3726122B2 (ja) 2000-07-28 2005-12-14 独立行政法人産業技術総合研究所 視線検出システム
DE10333712A1 (de) * 2003-07-23 2005-03-03 Carl Zeiss Verfahren zum fehlerreduzierten Abbilden eines Objekts
US7869627B2 (en) * 2004-12-07 2011-01-11 Aoptix Technologies, Inc. Post processing of iris images to increase image quality
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
US20100188528A1 (en) * 2009-01-28 2010-07-29 Kabushiki Kaisha Toshiba Image recording device, manufacturing apparatus of image recording device, and manufacturing method of image recording device
KR101094766B1 (ko) 2009-10-08 2011-12-20 동국대학교 산학협력단 시선 위치 추적 장치 및 방법
US8648918B2 (en) * 2010-02-18 2014-02-11 Sony Corporation Method and system for obtaining a point spread function using motion information
KR20110118965A (ko) 2010-04-26 2011-11-02 대구대학교 산학협력단 시선 인식을 이용한 자율주행 휠체어 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020063669A (ko) * 2001-01-30 2002-08-05 엘지전자 주식회사 홍채 인식 시스템의 촛점 자동 조절방법
KR20020086977A (ko) * 2001-05-12 2002-11-21 엘지전자 주식회사 홍채 인식 시스템의 거리 측정방법과 장치

Also Published As

Publication number Publication date
US20140160005A1 (en) 2014-06-12
US8994654B2 (en) 2015-03-31
KR20140076413A (ko) 2014-06-20

Similar Documents

Publication Publication Date Title
KR101438948B1 (ko) 시선 추적 제어 장치 및 방법
EP3371641B1 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US10395510B2 (en) Reminding method and reminding device
EP3671313B1 (en) Gaze tracking using mapping of pupil center position
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
US10504237B2 (en) Method for determining a viewing direction of a person
JP6596678B2 (ja) 視線測定装置および視線測定方法
JP6583734B2 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
JP2013186043A (ja) 距離算出装置及び距離算出方法
JP6138861B2 (ja) 距離算出装置
EP2306891A1 (en) Eye gaze tracking
JP2013186042A (ja) 距離算出装置及び距離算出方法
US20160247322A1 (en) Electronic apparatus, method and storage medium
TWI570638B (zh) 凝視分析方法與裝置
AU2016397317A1 (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
EP3725211A2 (en) Line-of-sight measurement device
JP2021049130A (ja) 眼球構造推定装置
JP2016051317A (ja) 視線検出装置
JP2018101211A (ja) 車載器
JP5371051B2 (ja) 視線計測装置、方法及びプログラム
US10572730B2 (en) Visual line measuring device and visual line measuring method
JP2005081101A (ja) 視線方向検出装置及び視線方向検出方法
JP6169446B2 (ja) 視線検出装置
CN115937102A (zh) 用于瞳距测量的方法、装置、设备和存储介质
CN109792489B (zh) 用于摄像机、尤其是手持式热成像摄像机的噪声优化的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 5