KR20120049605A - 동공 중심 검출 장치 및 방법 - Google Patents

동공 중심 검출 장치 및 방법 Download PDF

Info

Publication number
KR20120049605A
KR20120049605A KR1020100110944A KR20100110944A KR20120049605A KR 20120049605 A KR20120049605 A KR 20120049605A KR 1020100110944 A KR1020100110944 A KR 1020100110944A KR 20100110944 A KR20100110944 A KR 20100110944A KR 20120049605 A KR20120049605 A KR 20120049605A
Authority
KR
South Korea
Prior art keywords
pupil center
pupil
algorithm
user
image
Prior art date
Application number
KR1020100110944A
Other languages
English (en)
Other versions
KR101712673B1 (ko
Inventor
이희경
차지훈
김진웅
박강령
조철우
권수영
이현창
이원오
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020100110944A priority Critical patent/KR101712673B1/ko
Publication of KR20120049605A publication Critical patent/KR20120049605A/ko
Application granted granted Critical
Publication of KR101712673B1 publication Critical patent/KR101712673B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Abstract

동공 중심 검출 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다. 또한, 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출할 수 있다.

Description

동공 중심 검출 장치 및 방법{Apparatus and Method for Detecting Center of Pupil}
본 발명에 따른 실시예들은 동공 중심 검출 장치 및 방법에 관한 것으로서, 보다 구체적으로는 실시간으로 사용자의 동공 중심을 검출할 수 있는 장치 및 방법에 관한 것이다.
최근 컴퓨터, IPTV 등 다양한 분야에서 사용자가 어느 위치를 응시하고 있는지를 파악하기 위한 기술에 대한 연구 활동이 활발하다.
이러한 사용자의 시선을 파악하기 위한 방법 중 하나로서, 사용자의 동공 중심을 검출함으로써, 사용자의 시선을 파악하는 방법이 있다.
동공의 중심 검출을 위한 종래기술에는 입력된 눈 영상을 HSV 칼라 변환 후 V 영상에 대하여 Otsu 방법을 적용하여 이진화하고 능동 외곽선 모델을 이용하여 동공 영역을 검출하는 방법, 입력된 눈 영상에서 원형 검출 방법을 이용하여 영상 내에서 원 형태의 영역을 찾고 그 영역을 기준으로 일정 영역을 이진화하여 이진화된 영상의 무게중심을 구하는 방법 등이 있다.
하지만 상술한 것과 같은 종래 방법으로는 고해상도의 눈 영상에서 동공 중심을 추적하기에는 처리 속도의 문제나 영상 내에서 눈 이외의 다른 부분(눈썹, 안경테 등)이 들어 왔을 시 눈 영역 검출의 문제, 이진화 임계치를 수동 설정해야 하는 등의 문제가 있다.
본 발명의 실시예들은 사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높이는데 그 목적이 있다.
또한, 본 발명의 실시예들은 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출하는데 그 목적이 있다.
본 발명의 일실시예에 따른 동공 중심 검출 장치는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 상기 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출하는 후보영역 검출부 및 상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 상기 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 상기 동공 중심을 검출하는 동공중심 검출부를 포함한다.
사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다.
또한, 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출할 수 있다.
도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 눈 영상을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 후보 영역을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 동공중심 검출부가 사용자의 초기 동공 중심을 검출하는 동작을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 동공중심 검출부가 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하는 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 동공 중심 검출 방법을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 동공 중심 검출 장치(100)는 후보영역 검출부(110) 및 동공중심 검출부(120)를 포함한다.
일실시예에 따른 동공 중심 검출 장치(100)는 TV(130)에 설치된 카메라(131)로부터 사용자(140)에 대한 눈 영상을 입력 받을 수 있다. 눈 영상은 사용자(140)의 눈에 대한 영상이 포함된 영상을 나타낸다.
실시예에 따라서는, 카메라(131)는 적외선 차단 필터가 제거되고 적외선 투과(가시광선 차단)필터가 부착되어, 적외선에 의해 조산된 물체만을 영상으로 촬영할 수 있다. 또한, 카메라(131)는 고배율 렌즈가 부착되어, 사용자(140)의 눈 주위 부분을 확대하여 촬영할 수 있다. 이하 도 2를 참조하여, 본 발명의 일실시예에 따른 눈 영상에 대해서 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 눈 영상을 나타내는 도면이다.
제1 영상(210)은 카메라에 의해 촬영된 사용자의 눈에 대한 영상이 포함된 눈 영상을 나타낸다.
실시예에 따라서는, 카메라는 고배율 렌즈가 부착되어, 사용자의 눈 주위 부분(211)을 확대하여 촬영할 수 있다. 제2 영상(220)은 카메라에 의해 촬영된 사용자의 눈 주위 부분(211)에 대한 영상을 나타낸다.
다시 도 1을 참조하면, 후보영역 검출부(110)는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자(140)에 대한 눈 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출한다. 또한, 후보영역 검출부(110)는 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
후보 영역을 검출하지 않고, 사용자(140)에 대한 눈 영상에 대해서 원형 검출 알고리즘을 적용하여 바로 동공 중심을 검출하는 경우, 처리 속도가 저하되어 실시간으로 동공 중심을 검출할 수 없다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 장치(100)는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자(140)에 대한 눈 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출한다.
본 발명의 일측에 따르면, 후보영역 검출부(110)는 사용자(140)에 대한 전체 눈 영상(예를 들어, 도 2의 제1 영상(210))의 축소 영상(예를 들어, 전체 영상의 1/5 크기로 축소된 영상)(예를 들어, 도 2의 제2 영상(220))을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
즉, 사용자(140)에 대한 전체 눈 영상은 사용자(140)의 눈 외에도 눈썹, 앞머리카락 등을 포함할 수 있어 검출의 정확성이 떨어질 수 있다. 따라서, 본 발명의 일측에 따르면, 후보영역 검출부(110)는 축소 영상을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
아다부스트 알고리즘은 일종의 템플릿 매칭으로써 훈련 단계와 실행 단계로 구성된다. 훈련 단계에서는 특정 물체의 특징점들을 추출하고, 학습한 것을 바탕으로 통계적인 모형을 만든다. 즉, 검사 대상과 유사한 물체를 포함하고 있는 샘플영상과 포함하고 있지 않은 샘플 영상을 입력 받아 학습 샘플 집합으로 사용한다. 학습 과정 동안 샘플들로부터 검출 하고자 하는 물체의 서로 다른 특징점들이 추출되고 이 특징점들은 물체를 분류 할 수 있는 고유의 특징점이 되어 약한 분류기(weak classifier)를 구성한다. 또한, 약한 분류기들의 결합을 통하여 강한 부류기(strong classifier)를 구성한다. 실행 단계에서는 입력된 영상을 매칭 확률이 높은 약한 분류기를 적용하고, 순차적으로 매칭 확률이 낮은 강한 분류기를 사용 함으로써 찾고자 하는 물체를 검출한다.
캠쉬프트(CAMShift) 알고리즘은 컬러 세그먼트(Color Segment) 기반의 민쉬프트(MeanShift) 알고리즘을 실시간 추적 등에 사용하기 위해 확장 된 것으로, 그레이 히스토그램(Gray Histogram)을 이용하여 검출한다. 민쉬프트(MeanShift) 알고리즘에서처럼 영상 전체 영역을 검색 하는 것이 아니라, 영상에서 추적할 물체의 영역을 예측 하여 검색 영역을 지정한다. 지정된 검색영역의 색 모델을 HSV의 색조(Hue)값으로 변환한다. 색조값은 조명의 영향을 적게 받으나, 물체의 식별이 어려울 정도로 매우 어둡거나 밝은 경우를 제외하고 지정된 검색 영역 그레이 히스토그램을 구한다. 따라서, 이 정보를 바탕으로 물체를 추적 하게 된다.
본 발명의 일측에 따르면, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 첫 번째 프레임에 대해서는, 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다. 또한, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 두 번째 프레임 이후의 프레임에 대해서는, 사용자(140)의 눈 영상의 현재 프레임의 이전 프레임으로부터 검출된 후보 영역의 중심 좌표가 없는 경우, 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
또한, 후보영역 검출부(110)는 아다부스트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
도 3은 본 발명의 일실시예에 따른 후보 영역을 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부는 아다부스트 알고리즘을 적용하여, 사용자에 대한 눈 영상(310)으로부터 후보 영역(320)을 검출할 수 있다.
다시 도 1을 참조하면, 본 발명의 일측에 따른 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 두 번째 이후의 프레임에 대해서는, 사용자(140)의 눈 영상의 현재 프레임의 이전 프레임으로부터 검출된 후보 영역의 중심 좌표가 있는 경우, 캠쉬프트 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다. 이 때, 후보영역 검출부(110)는 검출된 후보 영역의 중심 좌표에 근거하여, 캠쉬프트 알고리즘이 적용될 검색 영역을 지정할 수 있다.
또한, 후보영역 검출부(110)는 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
또한, 후보영역 검출부(110)는 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 그레이 히스토그램값을 검출하고, 저장할 수 있다. 이 때, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 현재 프레임으로부터 검출된 그레이 히스토그램값과 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교할 수 있다. 만약, 매칭률이 기설정된 기준값(예를 들어, 90%) 미만이 되는 경우, 후보영역 검출부(110)는 다시 아다부스트 알고리즘을 적용하여, 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
다시 도 3을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부는 캠쉬프트 알고리즘을 적용하여, 사용자에 대한 눈 영상(310)으로부터 후보 영역(330)을 검출할 수 있다.
다시 도 1을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부(110)가 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 사용하는 이유는, 아다부스트 알고리즘을 적용하는 경우의 후보 영역 검출은 캠쉬프트 알고리즘을 적용하는 경우에 비해 검출 정확도가 높지만, 후보 영역의 검출의 처리 시간이 상대적으로 길게 소요되어(80ms 정도)로 실시간 처리가 요구되는 환경에서는 적용이 적합하지 않다. 또한, 캠쉬프트 알고리즘을 적용하는 경우의 후보 영역 검출은 아다부스트 알고리즘을 적용하는 경우에 비해 처리 시간은 빠르지만(9ms 정도), 캠쉬프트 알고리즘이 적용되기 위한 물체 검출 예상 영역이 필요하므로 단독으로 사용되기 어려운 단점이 있다. 따라서, 본 발명의 일실시예에 따른 후보영역 검출부(110)는 사용자(140)에 대한 가장 첫번째 눈 영상에 대해서, 아다부스트 알고리즘을 적용하여 후보 영역을 검출 하고, 다음 영상에 대해서 첫번째 영상으로부터 검출된 후보 영역을 캠쉬프트의 검색 영역으로 지정하여 사용할 수 있다.
동공중심 검출부(120)는 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출한다. 또한, 동공중심 검출부(120)는 동공의 반지름을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 검출할 수 있다.
동공중심 검출부(120)는 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 사용자(140)의 동공 중심을 검출한다.
이하 도 4 내지 도 7을 참조하여, 동공중심 검출부(120)가 사용자(140)의 동공 중심을 검출하는 단계에 대해서 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 동공중심 검출부가 사용자의 초기 동공 중심을 검출하는 동작을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 동공중심 검출부(120)는 검출된 후보 영역에 대한 중심 좌표 값에 기반하여, 사용자(140)에 대한 눈 영상(410)에서 홍채 크기의 영역에 대해서 반사광을 소거하는 작업을 수행할 수 있다.
영상(420)은 눈 영상(410)에서 반사광이 소거된 영상을 나타낸다.
또한, 동공중심 검출부(120)는 반사광이 소거된 영상(420)의 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심(431)을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공의 반지름을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기의 영역에 대한 그레이 히스토그램을 검출할 수 있다.
영상(430)은 원형 검출 알고리즘이 적용되어 초기 동공 중심(431)이 검출된 영상을 나타낸다.
동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있고, 카메라의 위치에 대한 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한, 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출되지 않을 수 있다.
따라서, 동공중심 검출부(120)는 검출된 초기 동공 중심(431)에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 사용자(140)의 동공 중심을 검출한다.
본 발명의 일측에 따르면, 동공중심 검출부(120)는 지역적 이진화 과정의 임계치를 결정하기 위하여 P-타일(P-Tile) 방법을 이용할 수 있다.
도 5는 본 발명의 일실시예에 따른 동공중심 검출부가 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하는 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 동공중심 검출부(120)는 P-타일 방법을 이용하기 위해서, 원형 검출 알고리즘을 적용하여 검출한 동공 반지름 r(510)을 이용하여 동공 영역에 대한 픽셀 수를 연산할 수 있다(하기 [수식 1] 참조).
[수식 1]
동공 영역의 픽셀 수 = πr2
또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기(가로 W(521), 세로 H(522))의 지역적 이진화 과정이 적용되는 적용 영역(520)에 대한 그레이 히스토그램(600)을 연산하고, 저장할 수 있다. 또한, 동공중심 검출부(120)는 적용 영역(520)에 대한 동공 영역의 픽셀 수의 비율을 연산할 수 있다(하기 [수식 2] 참조).
[수식 2]
동공 영역의 픽셀 수 비율 = (πr2 )/(W x H)
동공중심 검출부(120)는 연산된 동공 영역의 픽셀 수 비율을 이용하여 영역(520) 내의 어두운 부분부터 동공 영역의 픽셀 수 비율만큼 그레이 히스토그램(600) 내에서 연산한다. 이 때, 동공중심 검출부(120)는 그레이 히스토그램 값을 임계치로 결정할 수 있고, 결정된 임계치를 이용하여 지역적 이진화 과정을 수행할 수 있다.
영상(530)은 P-타일 방법에 의해 결정된 임계치에 의한 지역적 이진화 과정이 수행된 결과 영상을 나타낸다.
이 후, 동공중심 검출부(120)는 영상(530)에 대해서 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 최종적인 동공 중심(540)을 검출할 수 있다.
도 7은 본 발명의 일실시예에 따른 동공 중심 검출 방법을 나타내는 흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 TV에 설치된 카메라로부터 사용자에 대한 눈 영상을 입력 받을 수 있다(710). 눈 영상은 사용자의 눈에 대한 영상이 포함된 영상을 나타낸다.
실시예에 따라서는, 카메라는 적외선 차단 필터가 제거되고 적외선 투과(가시광선 차단)필터가 부착되어, 적외선에 의해 조산된 물체만을 영상으로 촬영할 수 있다. 또한, 카메라는 고배율 렌즈가 부착되어, 사용자의 눈 주위 부분을 확대하여 촬영할 수 있다.
동공 중심 검출 방법은 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출한다. 또한, 동공 중심 검출 방법은 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
후보 영역을 검출하지 않고, 사용자에 대한 눈 영상에 대해서 원형 검출 알고리즘을 적용하여 바로 동공 중심을 검출하는 경우, 처리 속도가 저하되어 실시간으로 동공 중심을 검출할 수 없다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출한다.
본 발명의 일측에 따르면, 동공 중심 검출 방법은 사용자에 대한 전체 눈 영상의 축소 영상(예를 들어, 전체 영상의 1/5 크기로 축소된 영상)을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다(720).
즉, 사용자에 대한 전체 눈 영상은 사용자의 눈 외에도 눈썹, 앞머리카락 등을 포함할 수 있어 검출의 정확성이 떨어질 수 있다. 따라서, 본 발명의 일측에 따르면, 동공 중심 검출 방법은 축소 영상을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
아다부스트 알고리즘은 일종의 템플릿 매칭으로써 훈련 단계와 실행 단계로 구성된다. 훈련 단계에서는 특정 물체의 특징점들을 추출하고, 학습한 것을 바탕으로 통계적인 모형을 만든다. 즉, 검사 대상과 유사한 물체를 포함하고 있는 샘플영상과 포함하고 있지 않은 샘플 영상을 입력 받아 학습 샘플 집합으로 사용한다. 학습 과정 동안 샘플들로부터 검출 하고자 하는 물체의 서로 다른 특징점들이 추출되고 이 특징점들은 물체를 분류 할 수 있는 고유의 특징점이 되어 약한 분류기(weak classifier)를 구성한다. 또한, 약한 분류기들의 결합을 통하여 강한 부류기(strong classifier)를 구성한다. 실행 단계에서는 입력된 영상을 매칭 확률이 높은 약한 분류기를 적용하고, 순차적으로 매칭 확률이 낮은 강한 분류기를 사용 함으로써 찾고자 하는 물체를 검출한다.
캠쉬프트(CAMShift) 알고리즘은 컬러 세그먼트(Color Segment) 기반의 민쉬프트(MeanShift) 알고리즘을 실시간 추적 등에 사용하기 위해 확장 된 것으로, 그레이 히스토그램(Gray Histogram)을 이용하여 검출한다. 민쉬프트(MeanShift) 알고리즘에서처럼 영상 전체 영역을 검색 하는 것이 아니라, 영상에서 추적할 물체의 영역을 예측 하여 검색 영역을 지정한다. 지정된 검색영역의 색 모델을 HSV의 색조(Hue)값으로 변환한다. 색조값은 조명의 영향을 적게 받으나, 물체의 식별이 어려울 정도로 매우 어둡거나 밝은 경우를 제외하고 지정된 검색 영역 그레이 히스토그램을 구한다. 따라서, 이 정보를 바탕으로 물체를 추적 하게 된다.
본 발명의 일측에 따르면, 동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 첫 번째 프레임인지 여부를 판단할 수 있다(730).
동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 첫 번째 프레임인 경우, 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(740).
또한, 동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우, Pre_eye_count가 True값인지 여부를 판단할 수 있다(750).
Pre_eye_count가 True값이라는 의미는 이전 프레임으로부터 후보 영역이 검출되었고, 검출된 후보 영역에 대한 중심 좌표 및 그레이 히스토그램이 연산되어, 캠쉬프트 알고리즘을 적용할 검색 영역을 지정할 수 있는 경우이다.
동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우로서, Pre_eye_count가 True값이 아닌 경우(즉, False값인 경우), 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(740).
또한, 동공 중심 검출 방법은 아다부스트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우로서, Pre_eye_count가 True값인 경우, 캠쉬프트 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(751). 이 때, 동공 중심 검출 방법은 검출된 후보 영역의 중심 좌표에 근거하여, 캠쉬프트 알고리즘이 적용될 검색 영역을 지정할 수 있다.
또한, 동공 중심 검출 방법은 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
또한, 동공 중심 검출 방법은 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 그레이 히스토그램값을 검출하고, 저장할 수 있다(752).
이 때, 동공 중심 검출 방법은 사용자에 대한 눈 영상의 현재 프레임으로부터 검출된 그레이 히스토그램값과 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교할 수 있다(753).
만약, 매칭률이 기설정된 기준값(예를 들어, 90%) 미만이 되는 경우, 동공 중심 검출 방법은 다시 아다부스트 알고리즘을 적용하여, 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
본 발명의 일실시예에 따른 동공 중심 검출 방법이 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 사용하는 이유는, 아다부스트 알고리즘을 적용하는 경우의 후보 영역 검출은 캠쉬프트 알고리즘을 적용하는 경우에 비해 검출 정확도가 높지만, 후보 영역의 검출의 처리 시간이 상대적으로 길게 소요되어(80ms 정도)로 실시간 처리가 요구되는 환경에서는 적용이 적합하지 않다. 또한, 캠쉬프트 알고리즘을 적용하는 경우의 후보 영역 검출은 아다부스트 알고리즘을 적용하는 경우에 비해 처리 시간은 빠르지만(9ms 정도), 캠쉬프트 알고리즘이 적용되기 위한 물체 검출 예상 영역이 필요하므로 단독으로 사용되기 어려운 단점이 있다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 사용자에 대한 가장 첫번째 눈 영상에 대해서, 아다부스트 알고리즘을 적용하여 후보 영역을 검출 하고, 다음 영상에 대해서 첫번째 영상으로부터 검출된 후보 영역을 캠쉬프트의 검색 영역으로 지정하여 사용할 수 있다.
본 발명의 일실시예에 따른 동공 중심 검출 방법은 검출된 후보 영역에 대한 중심 좌표 값에 기반하여, 사용자에 대한 눈 영상에서 홍채 크기의 영역에 대해서 반사광을 소거하는 작업을 수행할 수 있다(760).
또한, 동공 중심 검출 방법은 반사광이 소거된 영상의 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출할 수 있다(770). 또한, 동공 중심 검출 방법은 동공의 반지름을 검출할 수 있다. 또한, 동공 중심 검출 방법은 동공 중심을 기준으로 하여 기설정된 크기의 영역에 대한 그레이 히스토그램을 검출할 수 있다.
동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있고, 카메라의 위치에 대한 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한, 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출되지 않을 수 있다.
따라서, 동공 중심 검출 방법은 검출된 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 사용자의 동공 중심을 검출한다.
본 발명의 일측에 따르면, 동공 중심 검출 방법은 지역적 이진화 과정의 임계치를 결정하기 위하여 P-타일(P-Tile) 방법을 이용할 수 있다(780).
본 발명의 일실시예에 따른 동공 중심 검출 방법은 P-타일 방법을 이용하기 위해서, 원형 검출 알고리즘을 적용하여 검출한 동공 반지름 r을 이용하여 동공 영역에 대한 픽셀 수를 연산할 수 있다.
또한, 동공 중심 검출 방법은 동공 중심을 기준으로 하여 기설정된 크기(가로 W, 세로 H)의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 연산하고, 저장할 수 있다. 또한, 동공 중심 검출 방법은 적용 영역에 대한 동공 영역의 픽셀 수의 비율을 연산할 수 있다.
동공 중심 검출 방법은 연산된 동공 영역의 픽셀 수 비율을 이용하여 영역 내의 어두운 부분부터 동공 영역의 픽셀 수 비율만큼 그레이 히스토그램 내에서 연산한다. 이 때, 동공 중심 검출 방법은 그레이 히스토그램 값을 임계치로 결정할 수 있고, 결정된 임계치를 이용하여 지역적 이진화 과정을 수행할 수 있다.
이 후, 동공 중심 검출 방법은 영상에 대해서 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 최종적인 동공 중심을 검출할 수 있다(790).
또한, 동공 중심 검출 방법은 그레이 히스토그램을 검출 및 저장할 수 있다(791). 이후, 동공 중심 검출 방법은 다시 눈 영상에 대한 다음 프레임을 입력 받을 수 있고, 단계(710)부터 단계(791) 사이를 반복 수행할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 동공 중심 검출 장치
110: 후보영역 검출부
120: 동공중심 검출부
130: TV
140: 사용자

Claims (1)

  1. 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 상기 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출하는 후보영역 검출부; 및
    상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 상기 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 상기 동공 중심을 검출하는 동공중심 검출부
    를 포함하는 동공 중심 검출 장치.
KR1020100110944A 2010-11-09 2010-11-09 동공 중심 검출 장치 및 방법 KR101712673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100110944A KR101712673B1 (ko) 2010-11-09 2010-11-09 동공 중심 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100110944A KR101712673B1 (ko) 2010-11-09 2010-11-09 동공 중심 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120049605A true KR20120049605A (ko) 2012-05-17
KR101712673B1 KR101712673B1 (ko) 2017-03-06

Family

ID=46267358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100110944A KR101712673B1 (ko) 2010-11-09 2010-11-09 동공 중심 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101712673B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150019393A (ko) * 2013-08-13 2015-02-25 삼성전자주식회사 홍채 영상 촬영 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 홍채 영상 촬영 장치
KR20170081458A (ko) 2016-01-04 2017-07-12 한국전자통신연구원 개곡선 원형도 기반 동공 검출 장치 및 그 방법
CN108509825A (zh) * 2017-02-27 2018-09-07 苏文电能科技有限公司 一种基于视频流的人脸跟踪识别方法
KR20200114531A (ko) * 2019-03-29 2020-10-07 상명대학교산학협력단 렌즈 가상 착용 장치 및 방법
US11508187B2 (en) 2019-10-16 2022-11-22 Samsung Display Co., Ltd. Pupil detection device

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaboost 기반의 실시간 고속 얼굴검출 및 추적시스템의 개발 *
Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구, 전자공학회논문지* *
HMD(Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구, 전자공학회논문지* *
적응적 Boosting과 CAMShift 알고리즘을 이용한 실시간 고속 얼굴 검출 및 추적 시스템의 개발, 제어로봇시스템학회* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150019393A (ko) * 2013-08-13 2015-02-25 삼성전자주식회사 홍채 영상 촬영 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 홍채 영상 촬영 장치
KR20170081458A (ko) 2016-01-04 2017-07-12 한국전자통신연구원 개곡선 원형도 기반 동공 검출 장치 및 그 방법
CN108509825A (zh) * 2017-02-27 2018-09-07 苏文电能科技有限公司 一种基于视频流的人脸跟踪识别方法
KR20200114531A (ko) * 2019-03-29 2020-10-07 상명대학교산학협력단 렌즈 가상 착용 장치 및 방법
US11508187B2 (en) 2019-10-16 2022-11-22 Samsung Display Co., Ltd. Pupil detection device

Also Published As

Publication number Publication date
KR101712673B1 (ko) 2017-03-06

Similar Documents

Publication Publication Date Title
US9892316B2 (en) Method and apparatus for pattern tracking
KR100668303B1 (ko) 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
US20180341803A1 (en) Information processing apparatus, information processing method, and storage medium
JP6582604B2 (ja) 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
US20120093362A1 (en) Device and method for detecting specific object in sequence of images and video camera device
CN109325462B (zh) 基于虹膜的人脸识别活体检测方法及装置
Eweiwi et al. Temporal key poses for human action recognition
US8675917B2 (en) Abandoned object recognition using pedestrian detection
JP2009265732A (ja) 画像処理装置及びその方法
KR101449744B1 (ko) 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
KR20120049605A (ko) 동공 중심 검출 장치 및 방법
JP2002366958A (ja) 画像認識方法および画像認識装置
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
US20230386256A1 (en) Techniques for detecting a three-dimensional face in facial recognition
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
Wiśniewska et al. Robust eye gaze estimation
CN102339377B (zh) 一种快速人眼定位方法及装置
KR101276792B1 (ko) 눈 검출 장치 및 방법
JP2017202038A (ja) 判別装置、判別方法、および判別プログラム
KR101031369B1 (ko) 얼굴 인식 장치 및 그 방법
KR20150081680A (ko) 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4