KR101601541B1 - 시선추적기 및 그의 동공 검출 방법 - Google Patents

시선추적기 및 그의 동공 검출 방법 Download PDF

Info

Publication number
KR101601541B1
KR101601541B1 KR1020140161767A KR20140161767A KR101601541B1 KR 101601541 B1 KR101601541 B1 KR 101601541B1 KR 1020140161767 A KR1020140161767 A KR 1020140161767A KR 20140161767 A KR20140161767 A KR 20140161767A KR 101601541 B1 KR101601541 B1 KR 101601541B1
Authority
KR
South Korea
Prior art keywords
outline
pupil
brightness
brightness value
eye image
Prior art date
Application number
KR1020140161767A
Other languages
English (en)
Inventor
김선아
김양신
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140161767A priority Critical patent/KR101601541B1/ko
Application granted granted Critical
Publication of KR101601541B1 publication Critical patent/KR101601541B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시선추적기 및 그의 동공 검출 방법에 관한 것으로, 이를 위해 차량 내측에 설치된 카메라를 통해 눈 영상을 획득하고, 기지정된 밝기값 범위 내 각 밝기값을 기준으로 상기 눈 영상을 이진영상으로 변환한 후 상기 이진영상에서 외곽선을 검출하고, 그 검출한 외곽선 중 후보 동공 외곽선을 선택하여 해당 후보 동공 외곽선의 밝기 변화도를 연산하고, 상기 밝기 변화도를 이용하여 임계 밝기값을 선정하며 그 선정한 임계 밝기값을 상기 눈 영상에 적용하여 동공을 검출한다.

Description

시선추적기 및 그의 동공 검출 방법{Gaze Tracker and Method for Detecting Pupil thereof}
본 발명은 동공 검출 방법에 관한 것으로, 더욱 상세하게는 차량에서 시선 추적 시 외부환경에 따라 밝기가 변해도 동공 주변의 밝기 변화도(gradient)을 활용하여 효과적으로 동공을 검출할 수 있는 시선추적기 및 그의 동공 검출 방법에 관한 것이다.
일반적으로, 시선추적기는 얼굴 영상 및 눈 영상을 촬영하고 그 영상에서 동공을 검출한 후 동공 내 조명 반사점을 검출하고 그 검출한 조명 반사점을 이용하여 시선벡터를 계산하므로 시선 추적을 수행한다.
이러한 종래의 시선추적기는 적외선 영상에서 동공이 현저히 어두운 값을 가진다는 점에서 착안하여 특정 밝기값을 기준으로 임계값(threshold) 기법을 이용하여 영상을 이진화한 후 동공을 검출한다.
그러나, 종래기술은 영상 내 특정 밝기값 미만인 픽셀을 추출하여 동공을 검출하므로 특정 밝기값이 동공 검출 결과에 영향을 미친다. 특히, 차량이 터널 및 가로수길 등을 운전하는 경우 외부환경에 따라 밝기 변화가 상이하므로 종래의 동공 검출 기법을 차량 내 시선추적기에 적용하는 경우 동공 검출률이 낮아지게 된다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 차량에서 시선 추적 시 외부환경에 따라 밝기가 변해도 동공 주변의 밝기 변화도(gradient)을 활용하여 효과적으로 동공을 검출할 수 있는 시선추적기 및 그의 동공 검출 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 시선추적기의 동공 검출 방법은 하나 이상의 카메라를 통해 눈 영상을 획득하는 단계와, 기지정된 밝기값 범위 내 각 밝기값을 기준으로 상기 눈 영상을 이진영상으로 변환하는 단계와, 상기 이진영상에서 외곽선을 검출하는 단계와, 상기 검출한 외곽선 중 후보 동공 외곽선을 선택하는 단계와, 상기 후보 동공 외곽선의 밝기 변화도를 연산하는 단계와, 상기 밝기 변화도를 이용하여 임계 밝기값을 선정하는 단계와, 선정한 임계 밝기값을 상기 눈 영상에 적용하여 동공을 검출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 임계 밝기값 범위는, 운전 환경에 따른 밝기 변화 범위인 것을 특징으로 한다.
또한, 상기 이진영상 변환 단계는, 상기 기지정된 밝기값 범위 내 각 밝기값을 임계 밝기값으로 하여 상기 눈 영상을 이진화하는 것을 특징으로 한다.
또한, 상기 후보 동공 외곽선 선택 단계는, 상기 검출한 외곽선 중 원 형상과 유사한 외곽선을 선택하는 것을 특징으로 한다.
또한, 상기 후보 동공 외곽선 선택 단계는, 이전 프레임에서의 동공 위치값을 참조하여 상기 검출한 외곽선 중 후보 외곽선을 선택하는 것을 특징으로 한다.
또한, 상기 밝기 변화도 연산 단계는, 상기 후보 동공 외곽선을 따라 상기 눈 영상에서의 밝기 변화도를 연산하는 것을 특징으로 한다.
또한, 상기 임계 밝기값 선정 단계는, 상기 후보 동공 외곽선을 따라 연산한 밝기 변화도의 평균을 연산하는 단계와, 상기 밝기 변화도의 평균이 최대일 때 밝기값을 임계 밝기값으로 선정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 동공 검출 단계는, 밝기 변화도와 외곽선 내부의 밝기값의 평균을 참조하여 동공을 검출하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 시선추적기는 사용자의 눈 영상을 획득하는 카메라와, 상기 눈 영상 획득 시 상기 사용자를 향해 빛을 조사하는 조명과, 기지정된 밝기값 범위 내 각 밝기값을 기준으로 상기 눈 영상을 이진화하여 외곽선을 검출하고 그 검출한 외곽선 중 후보 동공 외곽선을 선택하여 밝기 변화도를 연산하고 상기 밝기 변화도를 이용하여 임계 밝기값을 선정하여 동공을 검출하는 이미지 처리부를 포함하는 것을 특징으로 한다.
또한, 상기 이미지 처리부는, 상기 기지정된 밝기값 범위 내 각 밝기값을 임계 밝기값으로 하여 상기 눈 영상을 이진영상으로 변환하는 이진화모듈과, 상기 이진영상에서 외곽선을 검출하는 외곽선 검출모듈과, 상기 외곽선 검출모듈에 의해 검출된 외곽선 중 후보 동공 외곽선을 선택하고 해당 후보 동공 외곽선을 따라 밝기 변화도를 연산하고 상기 연산한 밝기 변화도의 평균을 산출하는 밝기 변화도 연산모듈과, 상기 밝기 변화도의 평균이 최대일 때 밝기값을 임계 밝기값으로 선정하고 그 선정한 임계 밝기값을 상기 눈 영상에 적용하여 동공을 검출하는 동공 검출모듈을 포함하는 것을 특징으로 한다.
본 발명은 차량에서 시선 추적 시 외부환경에 따라 밝기가 변해도 동공 주변의 밝기 변화도(gradient)을 활용하여 효과적으로 동공을 검출할 수 있다. 즉, 본 발명은 외부광에 강인하며 동공 검출율을 향상시킬 수 있다.
또한, 본 발명은 동공 크기를 정확히 측정할 수 있으므로, 동공 크기를 활용하여 사용자의 호불호를 판단하는데 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시선추적기를 도시한 블록구성도.
도 2는 본 발명의 일 실시예에 따른 시선추적기의 동공 검출 방법을 도시한 흐름도.
도 3은 도 2에 도시된 동공 검출 과정의 각 단계별 영상처리결과를 도시한 예시도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 발명은 실제 동공의 외곽선에 접할 때 밝기가 급격하게 변한다는 점에서 착안한 것이다. 동공 및 홍채 내에서는 밝기값이 일정하므로 밝기 변화도(gradient)가 낮지만 동공과 홍채가 접하는 부분에서는 밝기가 급격하게 달라지므로 그때의 밝기 변화도가 증가하게 된다. 따라서, 본 발명은 차량의 주변 밝기 변화에 따라 동공 주변의 밝기 변화도를 활용하여 임계(threshold) 밝기를 조정하므로, 동공 검출율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 시선추적기를 도시한 블록구성도이다.
도 1을 참조하면, 시선추적기는 카메라(10), 조명(20), 이미지 처리부(30)를 포함한다.
카메라(10)는 렌즈가 사용자를 향하도록 차량 내에 설치되어 사용자의 눈 영상(또는 얼굴 영상)을 획득한다. 예컨대, 카메라(10)는 차량의 클러스터 상단에 설치될 수 있다. 카메라(10)는 이미지 센서와 적외선 필터로 구성되는 적외선 카메라로 구현될 수 있다. 또한, 카메라(10)는 하나 이상이 설치될 수 있다.
조명(20)는 카메라(10)와 나란히 설치되어 카메라(10)를 통해 영상 획득 시 사용자를 향해 빛(적외선)을 발산한다. 이러한 조명(20)은 적외선을 발산하는 적외선 램프(lamp) 또는 적외선 발광소자(Light Emitting Diode, LED)로 구현될 수 있다.
이미지 처리부(30)는 카메라(10)를 통해 촬영한 눈 영상에서 동공을 검출한 후 동공 내 조명 반사점(glint)을 검출하고 그 검출한 조명 반사점을 이용하여 시선방향을 산출한다. 이러한 이미지 처리부(30)는 이진화 모듈(31), 외곽선 검출모듈(33), 밝기 변화도 연산모듈(35), 동공검출모듈(37)을 포함한다.
이진화 모듈(31)은 미리 지정된 밝기값 범위(밝기 범위) 내에서 각 밝기값을 임계 밝기값으로 지정하여 눈 영상을 이진화한다. 여기서, 지정된 밝기값 범위는 운전환경에 따른 밝기 변화 범위로, 최대 밝기값과 최소 밝기값을 포함한다.
이진화 모듈(31)는 눈 영상의 각 픽셀의 밝기값이 임계 밝기값 이상이면 해당 픽셀은 1로 설정하고 임계 밝기값 미만이면 해당 픽셀을 0으로 설정한다. 즉, 이진화 모듈(31)은 눈 영상을 이진영상으로 변환하는 역할을 한다.
외곽선 검출모듈(33)은 이진화된 영상(이진영상)에서 하나 이상의 외곽선(contour)을 검출한다. 외곽선 검출모듈(33)은 검출한 외곽선 중 원 형상과 유사한 외곽선을 후보 동공 외곽선으로 선택한다. 이때, 외곽선 검출모듈(33)은 외곽선의 형상이 원 형상과 일정 비율(예: 70%) 이상 일치하면 후보 동공 외곽선으로 선정한다. 또는, 외곽선 검출모듈(33)는 이전 프레임에서 검출한 동공 위치값을 참조하여 검출한 외곽선 중 후보 외곽선을 선택할 수 있다.
밝기 변화도 연산모듈(35)는 후보 동공 외곽선을 따라 원본 눈 영상에서의 밝기 변화도를 연산하고 상기 연산한 밝기 변화도의 평균을 산출한다. 밝기 변화도 연산모듈(35)은 각 후보 동공 외곽선의 밝기 변화도 평균을 산출한다.
이때, 외곽선 검출모듈(33)은 조명(20)의 사용으로 안경이나 동공 내 발생하는 조명 반사점을 검출하여 제거한다. 이는 조명 반사점 외곽선의 밝기 변화도가 동공 외곽선의 밝기 변화도에 비해 매우 커, 외곽선의 밝기 변화도에 큰 영향을 미칠 수 있기 때문이다. 따라서, 외곽선 검출모듈(33)은 외곽선의 밝기 변화도 연산 시 일정 값 이상의 밝기 변화도일 경우 해당 밝기 변화도는 밝기 변화도 평균 연산할 때 제외시킨다.
동공검출모듈(37)은 밝기 변화도의 평균이 최대일 때 밝기값을 임계 밝기값으로 선정하고 그 임계 밝기값으로 이진화된 눈 영상에서 동공을 검출한다. 본 실시예에서는 밝기 변화도의 평균을 이용하여 동공을 검출하는 것을 설명하고 있으나, 이에 한정되지 않는다.
예컨대, 동공검출모듈(37)은 밝기 변화도와 외곽선 내부의 밝기값 평균을 참조하여 동공을 검출할 수도 있다. 다시 말해서, 동공검출모듈(37)은 외곽선 내부의 밝기가 어둡고 밝기 변화도가 최대인 지점에 가중치를 부여하여 동공을 검출한다.
도 2는 본 발명의 일 실시예에 따른 시선추적기의 동공 검출 방법을 도시한 흐름도이고, 도 3은 도 2에 도시된 동공 검출 과정의 각 단계별 영상처리결과를 도시한 예시도이다.
먼저, 시선추적기의 이미지 처리부(30)는 카메라(10)를 통해 눈 영상을 획득한다(S11). 이때, 이미지 처리부(30)는 눈 영상 획득 시 조명(20)을 제어하여 사용자의 눈을 향해 적외선을 조사한다. 도 3의 (a)에 도시된 바와 같이, 이미지 처리부(30)는 적외선 카메라를 통해 눈 영상을 촬영한다.
이미지 처리부(30)는 외부환경에 따라 밝기값 범위를 지정한다(S12). 밝기값 범위는 운전환경에 따른 밝기 변화 범위이다. 예컨대, 터널 또는 가로수길 등의 차량의 외부 주행환경에 따라 밝기값 범위는 다르다. 이러한 밝기값 범위는 사전에 지정되는 것으로 실험을 통해 추출될 수 있다.
이미지 처리부(30)는 지정된 밝기값 범위 내에서 각 밝기값을 기준으로 눈 영상을 이진영상으로 변환한다(S13). 이미지 처리부(30)는 기지정된 밝기값 범위 내에서 각 밝기값을 임계 밝기값으로 지정하여 눈 영상을 이진화한다. 밝기값 범위의 최소 밝기값부터 최대 밝기값까지 일정 밝기값만큼 밝기값을 증가시키며 임계 밝기값으로 지정하여 눈 영상을 이진화한다.
이미지 처리부(30)는 이진영상에서 하나 이상의 외곽선을 검출한다(S14).
이미지 처리부(30)는 검출한 하나 이상의 외곽선 중 후보 동공 외곽선을 선택한다(S15). 여기서, 이미지 처리부(30)는 검출한 외곽선 중 원 형상과 유사한 외곽선을 후보 동공 외곽선으로 선정한다.
이미지 처리부(30)는 후보 동공 외곽선을 따라 원본 눈 영상에서의 밝기 변화도를 연산한다(S16).
이미지 처리부(30)는 밝기 변화도를 이용하여 임계 밝기값을 선정한다(S17). 이미지 처리부(30)는 후보 동공 외곽선에 대한 밝기 변화도 평균을 연산한다. 도 3의 (b) 및 (c)에 도시된 바와 같이, 각 후보 동공 외곽선에 따라 밝기 변화도를 연산하고 그 평균값을 계산한다. 그리고, 이미지 처리부(30)는 연산한 밝기 변화도 평균이 최대일 때 밝기값을 임계 밝기값으로 선정한다. 도 3의 (d)와 같이 밝기 변화도 평균이 최고값을 가질 때 임계 밝기값을 선택한다.
이미지 처리부(30)는 선택된 임계 밝기값을 적용한 이진영상에서 동공을 검출한다(S18). 도 3의 (e)에 도시된 바와 같이, 이미지 처리부(30)는 최종 선택된 임계 밝기값을 적용하여 동공을 검출한다.
이때, 이미지 처리부(30)는 밝기 변화도 평균과 검출한 외곽선의 내부 밝기값의 평균을 조합하여 동공을 검출할 수도 있다.
상기한 실시예에 따른 시선추적기는 네비게이션과 연동하여 차량의 주행환경을 인식하고 그 주행환경(예: 터널이나 가로수길 등)이 급격한 밝기 변화가 발생하는 환경인 경우 동공 외곽선의 밝기 변화도를 활용한 동공 검출 방식이 적용될 수 있다.
또한, 시선추적기는 영상 내 얼굴의 밝기 평균값을 계산하여 그 밝기 평균값이 이전 프레임과 동일하면 이미 전 프레임에서 지정된 임계 밝기값으로 눈 영상을 인진화한다. 한편, 시선추적기는 현재 프레임이 이전 프레임과 비교하여 얼굴의 밝기 평균값이 특정 범위 이상으로 변한 경우 선택적으로 동공 외곽선의 밝기 변화도를 활용한 동공 검출 방법을 적용할 수 있다.
또한, 본 발명의 실시예에 따른 시선추적기는 동공 사이즈를 정확하게 측정할 수 있어, 동공 크기로 사용자의 호불호를 구분할 수 있다. 예컨대, 시선추적기와 음악 재생기의 연동하는 경우, 음악 재생기는 시선추적기를 통해 특정 음악에 대해서 사용자의 동공 사이즈 증가가 감지되는 경우 해당 음악을 좋아하는 음악 재생 목록에 추가할 수 있다.
또한, 본 발명의 실시예에 따른 시선추적기는 차량 외 일반 컴퓨터와도 연동될 수 있다. 예컨대, 컴퓨터는 인터넷 웹 서핑 중 시선추적기를 통해 사용자의 동공 사이즈 증가를 감지하면 그때 응시하는 부분의 토픽을 추출하여 즐겨찾기 키워드로 등록할 수도 있다. 또는, 시선추적기는 검색엔진과 연동하여 동공 사이즈의 변화에 따라 광고에 대한 호불호를 추정하여 광고를 배치하도록 할 수도 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 카메라
20: 조명
30: 이미지 처리부
31: 이진화 모듈
33: 외곽선 검출모듈
35: 밝기 변화도 연산모듈
37: 동공검출모듈

Claims (10)

  1. 하나 이상의 카메라를 통해 눈 영상을 획득하는 단계와,
    기지정된 밝기값 범위 내 각 밝기값을 기준으로 상기 눈 영상을 이진영상으로 변환하는 단계와,
    상기 이진영상에서 외곽선을 검출하는 단계와,
    상기 검출한 외곽선 중 후보 동공 외곽선을 선택하는 단계와,
    상기 후보 동공 외곽선의 밝기 변화도를 연산하는 단계와,
    상기 밝기 변화도를 이용하여 임계 밝기값을 선정하는 단계와,
    선정한 임계 밝기값을 상기 눈 영상에 적용하여 동공을 검출하는 단계를 포함하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  2. 제1항에 있어서,
    상기 임계 밝기값 범위는,
    운전 환경에 따른 밝기 변화 범위인 것을 특징으로 하는 시선추적기의 동공 검출방법.
  3. 제1항에 있어서,
    상기 이진영상 변환 단계는,
    상기 기지정된 밝기값 범위 내 각 밝기값을 임계 밝기값으로 하여 상기 눈 영상을 이진화하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  4. 제1항에 있어서,
    상기 후보 동공 외곽선 선택 단계는,
    상기 검출한 외곽선 중 외곽선의 형상이 원 형상과 일정 비율 이상 일치하는 외곽선을 선택하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  5. 제1항에 있어서,
    상기 후보 동공 외곽선 선택 단계는,
    이전 프레임에서의 동공 위치값을 참조하여 상기 검출한 외곽선 중 후보 외곽선을 선택하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  6. 제1항에 있어서,
    상기 밝기 변화도 연산 단계는,
    상기 후보 동공 외곽선을 따라 상기 눈 영상에서의 밝기 변화도를 연산하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  7. 제6항에 있어서,
    상기 임계 밝기값 선정 단계는,
    상기 후보 동공 외곽선을 따라 연산한 밝기 변화도의 평균을 연산하는 단계와,
    상기 밝기 변화도의 평균이 최대일 때 밝기값을 임계 밝기값으로 선정하는 단계를 포함하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  8. 제1항에 있어서,
    상기 동공 검출 단계는,
    밝기 변화도와 외곽선 내부의 밝기값의 평균을 참조하여 동공을 검출하는 것을 특징으로 하는 시선추적기의 동공 검출 방법.
  9. 사용자의 눈 영상을 획득하는 카메라와,
    상기 눈 영상 획득 시 상기 사용자를 향해 빛을 조사하는 조명과,
    기지정된 밝기값 범위 내 각 밝기값을 기준으로 상기 눈 영상을 이진화하여 외곽선을 검출하고 그 검출한 외곽선 중 후보 동공 외곽선을 선택하여 밝기 변화도를 연산하고 상기 밝기 변화도를 이용하여 임계 밝기값을 선정하여 동공을 검출하는 이미지 처리부를 포함하는 것을 특징으로 하는 시선추적기.
  10. 제9항에 있어서,
    상기 이미지 처리부는,
    상기 기지정된 밝기값 범위 내 각 밝기값을 임계 밝기값으로 하여 상기 눈 영상을 이진영상으로 변환하는 이진화모듈과,
    상기 이진영상에서 외곽선을 검출하는 외곽선 검출모듈과,
    상기 외곽선 검출모듈에 의해 검출된 외곽선 중 후보 동공 외곽선을 선택하고 해당 후보 동공 외곽선을 따라 밝기 변화도를 연산하고 상기 연산한 밝기 변화도의 평균을 산출하는 밝기 변화도 연산모듈과,
    상기 밝기 변화도의 평균이 최대일 때 밝기값을 임계 밝기값으로 선정하고 그 선정한 임계 밝기값을 상기 눈 영상에 적용하여 동공을 검출하는 동공 검출모듈을 포함하는 것을 특징으로 하는 시선추적기.
KR1020140161767A 2014-11-19 2014-11-19 시선추적기 및 그의 동공 검출 방법 KR101601541B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140161767A KR101601541B1 (ko) 2014-11-19 2014-11-19 시선추적기 및 그의 동공 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140161767A KR101601541B1 (ko) 2014-11-19 2014-11-19 시선추적기 및 그의 동공 검출 방법

Publications (1)

Publication Number Publication Date
KR101601541B1 true KR101601541B1 (ko) 2016-03-08

Family

ID=55534679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140161767A KR101601541B1 (ko) 2014-11-19 2014-11-19 시선추적기 및 그의 동공 검출 방법

Country Status (1)

Country Link
KR (1) KR101601541B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794727B1 (ko) * 2016-12-21 2017-11-08 주식회사 쓰리이 홍채 검증 방법
KR20180078611A (ko) * 2016-12-30 2018-07-10 주식회사 펀진 동공 추적 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218989A (ja) * 1994-02-04 1995-08-18 Mitsubishi Electric Corp 顔画像撮影装置
KR20010016242A (ko) * 2000-11-27 2001-03-05 이등구 눈 영상을 이용한 동공추출방법
JP2007206963A (ja) * 2006-02-01 2007-08-16 Canon Inc 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
KR20110076723A (ko) * 2009-12-29 2011-07-06 한국전자통신연구원 시선 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218989A (ja) * 1994-02-04 1995-08-18 Mitsubishi Electric Corp 顔画像撮影装置
KR20010016242A (ko) * 2000-11-27 2001-03-05 이등구 눈 영상을 이용한 동공추출방법
JP2007206963A (ja) * 2006-02-01 2007-08-16 Canon Inc 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
KR20110076723A (ko) * 2009-12-29 2011-07-06 한국전자통신연구원 시선 추적 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794727B1 (ko) * 2016-12-21 2017-11-08 주식회사 쓰리이 홍채 검증 방법
WO2018117366A1 (ko) * 2016-12-21 2018-06-28 주식회사 쓰리이 홍채 검증 방법
US10380442B2 (en) 2016-12-21 2019-08-13 3E Co., Ltd. Iris verification method
KR20180078611A (ko) * 2016-12-30 2018-07-10 주식회사 펀진 동공 추적 장치

Similar Documents

Publication Publication Date Title
AU2015253554B2 (en) Handling glare in eye tracking
US9363499B2 (en) Method, electronic device and medium for adjusting depth values
JP6577454B2 (ja) 軸上視線追跡システム及び方法
US7773111B2 (en) System and method for perceived image processing in a gaze tracking system
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
US9329684B2 (en) Eye tracking with detection of adequacy of lighting
CN107918768B (zh) 光学指纹识别方法、装置及电子设备
US20080284980A1 (en) Eye Tracker Having an Extended Span of Operating Distances
TWI722264B (zh) 眼球追蹤裝置及其方法
RU2018101207A (ru) Способ и устройство для определения карты глубины для изображения
US9349071B2 (en) Device for detecting pupil taking account of illuminance and method thereof
US11308321B2 (en) Method and system for 3D cornea position estimation
KR20150070802A (ko) 동공 검출 장치 및 동공 검출 방법
KR101601541B1 (ko) 시선추적기 및 그의 동공 검출 방법
SE529763C2 (sv) Ögonrörelseföljare med ett utökat omfång av arbetsavstånd
US9772679B1 (en) Object tracking for device input
KR101619656B1 (ko) 시선추적장치 및 그의 동공검출방법
US20190045100A1 (en) Image processing device, method, and program
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
KR101673694B1 (ko) 시선추적장치 및 그의 반사점 검출 방법
US9176588B2 (en) System and method for discerning complex gestures using an array of optical sensors
US10474297B2 (en) Projecting a structured light pattern onto a surface and detecting and responding to interactions with the same
CN108876757B (zh) 环境光检测方法、装置和设备及存储介质
KR20160042562A (ko) 홍채 인식 장치 방법
KR101601548B1 (ko) 이동하는 조명을 구비한 시선추적장치 및 그의 조명반사점 검출방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4