KR20150027393A - 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법 - Google Patents

스마트폰 영상에서 개선된 실시간 눈동자 검출 방법 Download PDF

Info

Publication number
KR20150027393A
KR20150027393A KR20130104817A KR20130104817A KR20150027393A KR 20150027393 A KR20150027393 A KR 20150027393A KR 20130104817 A KR20130104817 A KR 20130104817A KR 20130104817 A KR20130104817 A KR 20130104817A KR 20150027393 A KR20150027393 A KR 20150027393A
Authority
KR
South Korea
Prior art keywords
pupil
eye
detection
circle
image
Prior art date
Application number
KR20130104817A
Other languages
English (en)
Other versions
KR101523765B1 (ko
Inventor
한기태
김성훈
허환
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020130104817A priority Critical patent/KR101523765B1/ko
Publication of KR20150027393A publication Critical patent/KR20150027393A/ko
Application granted granted Critical
Publication of KR101523765B1 publication Critical patent/KR101523765B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

스마트폰 영상에서 개선된 실시간 눈동자 검출 방법이 개시된다. 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은, 스마트폰의 영상(input images)을 입력받고, haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)하며, 눈동자를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행하는 단계; 상기 전처리 과정에서 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹하고(face tracking), 얼굴의 전후 이동에 따라 눈동자크기의 변화를 줄이기 위해 검출된 눈의 영역을 일정한 크기로 정규화하는 단계(normalize eye region); 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization) 하는 단계; 눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정하기 위해 이진화 된 눈 영역의 영상에서 눈의 양쪽 끝점을 검출하는 단계(detect eye corners); 눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform)을 수행하여 눈동자 후보들(candidate iris)을 검출하는 단계; 및 상기 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 원 내부의 일부 사각 영역에 대하여 평균 픽셀 값을 계산하고, 눈동자가 검출되면, 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정하는 단계를 포함한다. 이에 따라, 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하도록 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서 실제 눈동자의 크기를 포함하는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환(hough circle transform)에 적용하여 연산량을 최소화하였으며 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 눈동자 검출 속도 및 검출율이 개선되었다.

Description

스마트폰 영상에서 개선된 실시간 눈동자 검출 방법{Enhanced Method for Detecting Iris from Smartphone Images in Real-Time}
본 발명은 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법에 관한 것으로, 보다 상세하게는 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하도록 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환(hough circle transform)에 적용하여 연산량을 최소화하였으며, 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 눈동자 검출 속도 및 검출율이 개선된 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법에 관한 것이다.
최근, IT융합기술의 발전에 따라 다양한 산업에서 생체인식 기술을 IT기술과 융합한 신 기술을 선보이고 있다. 특히 눈동자 인식 기술을 이용하여 스마트 디바이스의 화면을 제어할 수 있는 아이 스크롤링(eye scrolling), 아이 포즈(eye pause)와 같은 사용자 편의 제공 기술이 등장하고 있다. 또한 스마트카에서 IT기술 융합으로 운전자의 안전운전 서비스가 가능한 고 안전 지능형차량(Advanced Safety Vehicle : ASV)의 개발이 활발하게 이루어지고 있다. ASV 개발에는 여러 가지 안전기술이 탑재되며, 이 기술은 사고 예방 및 회피, 충돌 등 위험상황으로부터 운전자 및 탑승자를 보호하여 교통사고 및 피해를 줄일 수 있는 기술로 평가되고 있다.
주요 안전기술 중 하나인 시선추적 시스템은 운전자 상태를 감시하는 시스템으로 운전자 정면에 설치된 카메라를 이용해서 운전자의 눈, 입과 같은 얼굴의 특징점을 추출하여 내부의 분석 장치에 의해 운전자의 졸음상태, 주시방향, 깜박임 등을 감지하여 위험상황으로 판단될 경우 운전자에게 경고하는 기술이다.
이러한 기술들을 사용하기 위해 얼굴 검출, 눈 검출, 입 검출, 눈꺼풀 검출 등이 실시간으로 이루어져야 하며, 차량 외부로부터의 조명, 날씨 등 다양하게 변하는 조명환경에서 강건하게 검출할 수 있어야 한다.
기존에 연구된 눈동자 검출 방법은 눈 영역에서의 영역분할(segmentation) 방법과 눈동자의 형태를 이용한 검출 방법 등이 있다. 영역분할을 이용한 눈동자 검출 방법은 영상의 색상이나 명도를 이용하여 검출하는 방법으로 단순히 눈동자의 영역을 검출하기 위해 이 방법이 적합하지만, 눈동자의 중심점 및 눈동자의 크기와 같은 부가적인 정보를 얻기 위해 별도의 계산을 필요로 한다. 또한, 눈동자의 형태를 이용한 눈동자 검출의 대표적인 방법이 허프 원 변환을 이용한 방법인데, 눈동자가 원의 형태를 갖고 있다는 특징을 이용하여 눈동자를 검출한다. 이 방법은 형태적 특징을 이용하여 눈동자를 검출하게 되므로 눈동자 검출 후 중심점 및 반지름과 같은 부가적인 정보를 얻을 수 있다는 것이 장점이지만 원의 검출 시 지정되는 반지름의 범위가 넓을수록 또는 이미지의 복잡도가 높을수록 계산량이 많아지고 검출율이 떨어진다는 단점이 존재한다.
눈동자 검출 방법 중에 Retno Supriyanti가 최근에 발표한 제안한 방법은 검출되는 눈의 영역의 크기에 따라 눈동자의 크기가 변하는 것을 고려하지 않고 반지름 범위를 넓게 지정하므로 검출되는 눈동자의 위치가 실제 눈동자의 위치와 일치하지 않는 문제가 있었다.
Klaus Toennies가 제안한 방법은 카메라의 초점 거리 값을 이용하여 카메라와 눈동자의 거리가 0.5m에서 5m 사이에 있다는 것을 가정하고, 해당 거리와 눈동자의 직경에 대한 비율을 계산하여 반지름 범위를 지정하게 되므로 넓은 반지름 범위를 사용하게 되어 연산량이 많다는 문제가 있었다.
1. 관련 연구
1.1 Face detection algorithm
기존의 얼굴 등의 객체 검출 방법에는 대표적으로 haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform)영상을 이용한 검출 방법이 있으며, 두 방법 모두 adaboost를 기반으로한 객체 분류기(classifier) 생성 방법이다.
Haar-like feature 방법은 Viola와 Jones가 제안한 haar-like feature에 의해 검출할 객체의 특징들을 학습시켜 약 분류기(weak classifier)를 만들며, 약 분류기에 의해 강 분류기(strong classifier)를 생성하고 만들어진 강 분류기를 선형구조(cascade)로 연결하여 입력된 영상에서 객체를 검출하는 방법이다.
특징 값은 Haar-Like Feature의 흰 영역에 포함되는 픽셀들의 합에서 검은 영역에 포함되는 픽셀의 합의 차로 표현된다. 또한 이러한 픽셀의 합 계산은 적분 영상에 의해 매우 빠른 속도로 연산되며, haar-like feature에 의해 계산된 특징 값들을 adaboost 알고리즘에 적용하여 객체를 검출하기 위한 분류기를 생성한다.
Adaboost 알고리즘은 여러 개의 약 분류기(weak classifier)를 선형 조합하여 강 분류기(strong classifier)를 만드는 알고리즘으로, 여러번의 반복을 통하여 약 분류기를 생성한다. 이 때 약 분류기가 나타내는 에러를 최소화 하는 약 분류기를 획득하기 위하여 이전의 약 분류기에서 나타낸 오류 값이 클수록 더 높은 가중치를 주어 다음 약 분류기 생성 시 더 개선되어야할 분류기로 판단하여 오류 값을 점점 최소화 시키는 새로운 약 분류기를 생성하고 최종적으로 생성된 여러 개의 약 분류기들을 선형 조합하여 강 분류기를 생성한다. 생성된 강 분류기는 결정 트리 형태로 만들어지며 객체 검출 시 각 스테이지마다 존재하는 특징들의 위치와 임계값을 이용하여 검출할 객체인지 판별하게 되며, 모든 스테이지에 대하여 특징 값을 비교할 필요 없이 검출할 객체의 주요 몇 개의 특징만을 고려하여 판별하는데 이용한다.
이러한 특징 기반의 얼굴 검출 방법은 다양한 조명에서도 얼굴 검출이 가능하다는 장점이 있으며, Jianguo Li가 최근에 발표한 방법은 SURF(Speeded Up Robust Features) 알고리즘을 기반으로 얼굴의 특징을 학습하여 에러를 발생시키는 약 분류기를 최소화하여 최종적으로 얻어지는 강 분류기 성능을 향상시켰다. 이 방법은 얼굴 검출 시 haar-like feature보다 더 적은 개수의 특징점을 이용하여 기존의 얼굴 검출 방법보다 향상된 검출 속도와 검출율을 나타낸다.
1.2 허프 원 변환(hough circle transform)
허프 원 변환은 영상에서 원의 형태를 검출하기 위해 중심점과 반지름을 찾는 방법으로 도 1에 도시된 바와 같이 반지름 r을 갖는 원 C에 대해서 원의 둘레에 위치하는 n개의 점을 중심으로 같은 r의 값을 갖는 n개의 원을 그렸을 때 n개의 원들이 서로 교차하는 지점 Pc(point of cross)를 알 수 있으며, 원 C의 중심이 가장 많은 교차점을 갖게 된다.
즉, 반지름 r의 값을 갖는 원 Cn의 중심점 (x, y)는 점(a, b)에서 반지름 r의 크기를 갖는 원의 둘레에 존재한다. 이를 식으로 표현하면 아래 수학식(1)과 같다.
Figure pat00001
이 때, 점(x, y)가 위치할 수 있는 원의 중심(a, b)는 반지름 r과 0~360°까지의 값에 대하여 다음과 같이 수학식(2)로 표현할 수 있다.
Figure pat00002
위 Equation 수학식(2)를 이용하여 원의 중심점을 찾기 위해 먼저 입력 영상의 외곽선(edge) 정보를 추출한다. 따라서 추출된 외곽선의 모든 점(x, y)에 대해 반지름 r의 크기 일 때, 0~360°까지의 값을 갖는 지점 (a, b)에 대해 hough space에 투표(vote)를 실시하여 높은 투표값이 나타나는 위치가 원의 중심점임을 알 수 있다.
특허등록번호 10-0950138
상기한 문제점을 해결하기 위한 본 발명의 목적은 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하기 위해 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서의 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 허프 원 변환에 적용하여 연산량을 최소화하였으며, 눈 영상의 보정을 통해 복잡도를 낮추고, 눈의 양쪽 끝점 간의 거리를 구하여 원 검출 시 반지름 범위를 최소화함으로써 눈동자 검출의 계산량을 줄여 실시간에서 빠르게 눈동자를 검출하는, 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위해, 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은, 스마트폰의 영상(input images)을 입력받고, haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)하며, 눈동자를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행하는 제1 단계; 상기 전처리 과정에서 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹하고(face tracking), 얼굴의 전후 이동에 따라 눈동자크기의 변화를 줄이기 위해 검출된 눈의 영역을 일정한 크기로 정규화하는 제2 단계(normalize eye region); 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization) 하는 제3 단계; 눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정하기 위해 이진화 된 눈 영역의 영상에서 눈의 양쪽 끝점을 검출하는 제4 단계(detect eye corners); 눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform)을 수행하여 눈동자 후보들(candidate iris)을 검출하는 제5 단계; 및 상기 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 원 내부의 일부 사각 영역에 대하여 평균 픽셀 값을 계산하고, 눈동자가 검출되면, 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정하는 제6 단계를 포함한다.
상기 얼굴 검출과 상기 눈 검출은 haar-like feature 방법을 사용하는 것을 특징으로 한다.
상기 눈동자(iris) 검출은 허프 원 변환(hough circle transform) 알고리듬을 사용하는 것을 특징으로 한다.
상기 제1 단계는 눈 검출 시 얼굴영역 내에서 눈과 유사한 특징을 갖고 있는 영역이 존재하면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단하며, 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 것을 특징으로 한다.
상기 제2 단계는, 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 눈의 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI:Region of Interest)으로 설정하는 것을 특징으로 한다.
상기 제 2 단계는 상기 허프 원 변환(hough circle transform) 알고리듬을 사용하여 눈동자 검출 시, 얼굴의 전후 이동에 따라 눈 영역의 크기가 변하게 되는데, 이에 따라 눈동자의 크기 또한 변하게 되므로 검출된 눈 영역은
수학식(3)
Figure pat00003
(W'과 H'은 정규화시킬 눈 영역의 가로 값, 세로 값, 현재 검출된 눈 영역의 가로 값과 세로 값인 W와 H를 이용하여 정규화를 시키기 위한 가로 비율 값 SW와 세로 비율 값 SH를 계산)을 사용하여 일정 크기로 정규화시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화하여 상기 허프 원 변환의 계산량을 줄여 눈동자 검출 성능을 향상시킨 것을 특징으로 한다.
상기 제 5 단계는 추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출하며, 눈동자 후보 위치 중 눈동자의 위치를 찾기 위해 원 내부의 평균 픽셀 값을 계산하여 눈동자의 위치를 결정하게 되는데, 히스토그램 평활화로 보정된 눈 영상에서 눈동자 영역은 항상 가장 어둡게 나타난다는 특징을 이용하여 후보 눈동자 위치에서의 실제 눈동자 위치를 찾아 눈동자의 위치를 결정하는 것을 특징으로 한다.
상기 6 단계에서 눈동자의 위치를 결정하는 알고리즘(Algorithm for searching iris)은
① 중심점 (x, y)와 반지름 r을 갖는 원 C를 원소로 하는 눈동자의 후보들의 집합 SC를
Figure pat00004
구하는 단계;
② 집합 SC의 각각의 원소C1,C2,...,Cn 들에 대하여 다음 수학식(7)에 의해 원에 내접하는 정사각형 R1,R2,...,Rn을 구하는 단계;
③ 수학식(7)
Figure pat00005
에 의하여 구해진 R1,R2,...,Rn에 대하여 다음 수학식 (8)
Figure pat00006
에 의해 n개의 직사각형
Figure pat00007
을 구하는 단계;
④ 직사각형
Figure pat00008
에 대하여 Grayscale 영상에서 각각의 직사각형 영역 내 평균 픽셀 값을 원소로 하는 집합
Figure pat00009
를
Figure pat00010
구하는 단계;
⑤ 집합
Figure pat00011
의 원소들에 대하여 다음 식과 같이 임계값 T 이하인 원소들만을 선택한 집합
Figure pat00012
를
Figure pat00013
구하는 단계; 및
⑥ 집합
Figure pat00014
의 원소의 개수가 1개이면, 해당 원소에 해당되는 원 C를 눈동자의 위치로 저장하고, 원소의 개수가 2개 이상일 때, 원소들 중 최소값을 가지는 원소에 해당되는 원 C를 눈동자의 위치로 저장하는 단계;를 포함하고,
위 알고리즘 ① 단계에서는 허프 원 변환을 통해 얻은 눈동자의 후보들을 집합 SC로 구성하며 하나의 후보는 원의 중심점 x, y와 반지름 값 r을 갖고, ② 단계에서는 원에 내접하는 정사각형을 도 16과 같이 구하며, 정사각형 Ri는 정사각형의 좌상단 꼭지점 위치 x',y'과 가로, 세로 값 width, height를 가지며, ③ 단계에서는 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 수평으로 등분하여 아래쪽의 직사각형을 선택하며, ④ 단계에서 이 직사각형 내부에 위치하는 픽셀들의 평균값의 집합
Figure pat00015
을 구하며, 이렇게 하는 이유는 정사각형에서 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 하단부의 직사각형의 영역을 사용하여, 원 내부의 일부 직사각형 영역에 대하여 평균 픽셀 값을 계산하고, 좌표계에서 눈동자의 위치(iris position)를 결정하는 것을 특징으로 한다.
본 발명에 따른 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하기 위해 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서의 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환에 적용함으로써 연산량을 최소화 하였으며, 눈 영상의 보정을 통해 복잡도를 낮추고, 눈의 양쪽 끝점 간의 거리를 구하여 원 검출 시 반지름 범위를 최소화함으로써 눈동자 검출의 계산량을 줄여 실시간에서 빠른 눈동자 검출 방법을 제공하는 효과가 있다.
제안된 방법은 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 haar-like feature 방법을 사용하여 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하도록 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환(hough circle transform)에 적용하여 연산량을 최소화하였으며, 밝은 조명과 어두운 조명에서 실험한 결과 기존 방법들과 비교하여 눈동자 검출 속도는 40% 이상, 검출율은 14% 이상 향상되었고, 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 눈동자 검출 속도 및 검출율이 개선되었다.
도 1은 허프 원 변환 실시예(hough circle transform example)를 나타낸 도면이다.
도 2는 본 발명에 따른 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법의 알고리듬을 나타낸 플로챠트이다.
도 3은 얼굴과 눈이 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 화면이다.
도 4는 눈의 좌표를 사용한 얼굴 트래킹(Face tracking by using eyes coordination)을 나타낸 도면이다.
도 5는 눈 영역 스케일의 정규화(Normalization of eye region scale)를 나타낸 도면이다.
도 6은 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 눈의 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI)으로 설정한 눈 영역의 관심영역(ROI of eye region)을 나타낸 도면이다.
도 7은 눈 이미지의 히스토그램 평활화(Histogram equalization of eye image)를 나타낸 도면이다.
도 8은 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 밝은 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다.
도 9는 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 어두운 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다.
도 10은 눈 이미지의 이진화(Binarization of eye image) 한 도면이다.
도 11은 눈동자를 포함하는 눈동자 범위를 구하기 위해 이진화 처리된 눈 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 눈의 양쪽 끝점으로 추출(Extraction eye corners)하는 도면이다.
도 12는 눈동자 반지름 범위 계산(Calculation iris radius range)을 나타낸 도면이다.
도 13은 최대 눈동자 직경은 표 1과 같이 영상의 최초 10 프레임 동안 최소 눈동자 직경에 값을 1부터 10까지 증가시켜가면서 더했을 때, 가장 높은 검출율을 나타내는 α값을 결정하는 도면이다.
도 14는 전처리과정이 모두 끝난 후, 추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출해내는 도면이다.
도 15는 임계값(threadhold)에 의한 이진화 된 눈 이미지(binary eye image)를 나타낸 도면이다.
도 16은 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 나타낸 도면이다.
도 17은 도 16과 같이 정사각형에서의 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 하단부의 직사각형의 영역을 사용하는 도면이다.
도 18은 좌표계에서 눈동자의 위치(iris position)를 결정하는 도면이다.
도 19는 밝은 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 눈동자를 검출한 결과 화면이다.
도 20은 어두운 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 검출한 결과 화면이다.
도 21은 강한 조명환경이나 노이즈에 의해 눈의 양쪽 끝점을 올바르게 추정할 수 없는 경우, 눈동자의 크기 범위를 잘못 추정하므로 정확한 눈동자 검출이 어려웠던 화면(False detection of iris)이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 2는 본 발명에 따른 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법의 알고리듬을 나타낸 플로챠트이다.
스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은 도 2에 도시된 바와 같이, 스마트폰 입력 영상에서 얼굴 검출, 눈 검출, 눈동자 검출과 같은 순서로 처리된다. 얼굴 검출과 눈 검출은 haar-like feature 방법을 사용하며, 눈동자(iris) 검출은 허프 원 변환(hough circle transform) 알고리듬을 사용한다.
상기 방법은, 스마트폰의 입력 영상(input images)(S10)을 먼저 haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)(S11, S12) 눈동자를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행한다(S13).
전처리 과정에서는 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹한다(face tracking)(S14). 다음으로 얼굴의 전후 이동에 따라 눈동자크기 변화를 줄이기 위해 검출된 눈의 영역을 일정한 크기로 정규화시키며(normalize eye region)(S15), 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization)를 수행한다(S16).
눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정해야 하며, 이는 양쪽 눈 끝점간의 거리를 이용하여 구해진다. 눈의 양쪽 끝점은 이진화 된 눈 영역의 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 확인하여 눈의 양쪽 끝점을 검출한다(detect eye corners)(S17). 일반적으로 눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform)을 수행하여 눈동자 후보들(candidate iris)을 검출한다(S18).
마지막으로 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 도 17에 도시된 바와 같이 눈동자 후보들의 원 내부의 일부 사각 영역에 대하여 평균 픽셀 값을 계산하고(S19), 눈동자가 검출되면(S20) 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정한다(S21).
2. 제안하는 방법
2. 1 눈동자 검출 방법
눈동자 검출을 위해 먼저 얼굴 및 눈 검출이 우선 수행되며 이 과정에서 haar-like feature 방법을 사용하여 얼굴 및 눈을 검출한다. 눈 검출 시 얼굴영역 내에서 눈과 유사한 특징을 갖고 있는 영역이 존재하면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 도 3에 도시된 바와 같이 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단한다. 또한, 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정한다.
도 3은 얼굴과 눈이 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 화면이다.
본 발명에서는 얼굴 트래킹(face tracking)을 위해 도 4에 도시된 바와 같이 이전에 검출된 양쪽 눈의 위치와 현재 검출된 양쪽 눈의 위치의 차를 구하여 얼굴 영역의 차 위치 만큼 갱신한다. 따라서, 첫 프레임 또는 눈을 검출하지 못했을 때에만 얼굴 검출 알고리즘을 수행하도록 함으로써 전체적인 알고리즘 성능이 향상되도록 하였다.
도 4는 눈의 좌표를 사용한 얼굴 트래킹(Face tracking by using eyes coordination)을 나타낸 도면이다.
허프 원 변환 알고리듬을 사용하여 눈동자 검출 시, 얼굴의 전후 이동에 따라 눈 영역의 크기가 변하게 되는데, 이에 따라 눈동자의 크기 또한 변하게 되므로 검출된 눈 영역은 수학식(3)을 사용하여 도 5에 도시된 바와 같이 일정 크기로 정규화시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화할 수 있다. 본 발명에서는 실험을 통하여 눈동자 검출 속도 및 정확성에서 만족할 수준의 성능을 보이는 크기로 정규화하였다. 수학식(3)에서 W'과 H'은 정규화시킬 눈 영역의 가로 값, 세로 값이며, 현재 검출된 눈 영역의 가로 값과 세로 값인 W와 H를 이용하여 정규화를 시키기 위한 가로 비율 값 SW와 세로 비율 값 SH를 구할 수 있다.
Figure pat00016
도 5는 눈 영역 스케일의 정규화(Normalization of eye region scale)를 나타낸 도면이다.
또한, 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 도 6에 도시된 바와 같이 눈의 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI:Region of Interest)으로 설정하였다.
도 6은 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 눈의 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI)으로 설정한 눈 영역의 관심영역(ROI of eye region)을 나타낸 도면이다.
또한, 관심영역(ROI:Region of Interest)으로 설정된 눈 영역을 도 7(A)와 같이 grayscale로 변환하고, 조명에 강인하게 눈동자를 검출하기 위해서는 영상의 조명 및 대비개선이 필요하므로 도 7(B)와 같이 히스토그램 평활화(histogram equalization)를 이용하여 눈 영역 영상의 대비를 보정하였다.
도 7은 눈 이미지의 히스토그램 평활화(Histogram equalization of eye image)를 나타낸 도면이다.
보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 도 8과 도 9와 같이 밝은 조명 상태와 어두운 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지를 이진화 하였을 때, 도 10과 같이 불필요한 피부 영역은 제거되고 눈동자와 외곽선 영역만 추출되는 것을 알 수 있다.
도 8은 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 밝은 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다.
도 9는 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 어두운 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다.
도 10은 눈 이미지의 이진화(Binarization of eye image) 한 도면이다.
눈동자를 포함하는 눈동자 범위를 구하기 위해 이진화 처리 된 눈 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 도 11과 같이 눈의 양쪽 끝점으로 추출한다.
도 11은 눈동자를 포함하는 눈동자 범위를 구하기 위해 이진화 처리된 눈 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 눈의 양쪽 끝점으로 추출(Extraction eye corners)하는 도면이다.
검출된 양쪽 끝점에서 눈동자의 크기 범위는 도 12와 수학식(4), (5), (6)에 의해 구해진다. Px와 Py는 눈의 왼쪽 끝점의 x, y값을 나타내며, P'x와 P'y 는 눈의 오른쪽 끝점의 x, y값을 나타낸다. 이를 이용하여 두 점간의 차이 x, y와 두 끝점간의 거리 L을 구한다.
도 12는 눈동자 반지름 범위 계산(Calculation iris radius range)을 나타낸 도면이다. Δx는 x축선 상에서의 양쪽 눈꼬리의 거리 값, Δy는 y축선 상에서의 양쪽 눈꼬리의 거리 값, 2r은 최소 눈동자 지름, r은 최소 눈동자의 반지름, L은 양쪽 눈꼬리간 거리, α값은 눈동자를 검출하는 허프 원 변환(hough circle transform) 알고리듬에서 사용되는 영상에서 원(circle)을 검출하기 위해 최대 눈동자 지름을 구하기 위해 계산된 값이다.
Figure pat00017
Figure pat00018
Figure pat00019
일반적으로, 사람의 눈동자 직경은 10mm 정도이며, 안구의 직경은 25mm로 1 : 2.5의 비율을 갖는데, 여기서 두 끝점간 거리 L은 안구를 감싸고 있는 피부에 의해 구해진 거리이므로 안구의 직경보다 항상 작다는 가정을 할 수 있다. 따라서 비율 값을 사용하여 두 끝점간의 거리 L을 2.5로 나누었을 때 구해지는 눈동자의 직경은 실제 눈동자의 직경보다 항상 작으므로 이를 눈동자 검출을 위한 최소 눈동자 직경으로 지정한다. 최대 눈동자 직경은 표 1과 같이 영상의 최초 10 프레임 동안 최소 눈동자 직경에 값을 1부터 10까지 증가시켜가면서 더했을 때, 가장 높은 검출율을 나타내는 α값을 도 13과 같이 지정한다.
Figure pat00020
도 13은 최대 눈동자 직경은 표 1과 같이 영상의 최초 10 프레임 동안 최소 눈동자 직경에 값을 1부터 10까지 증가시켜가면서 더했을 때, 가장 높은 검출율을 나타내는 α값을 결정하는 도면이다.
전처리과정이 모두 끝나면 추정된 반지름 범위를 이용하여 허프 원 변환을 수행하여 도 14와 같이 눈동자의 후보 위치를 검출해낸다.
도 14는 전처리과정이 모두 끝난 후, 추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출해내는 도면이다.
도 15는 임계값(threadhold)에 의한 이진화 된 눈 이미지(binary eye image)를 나타낸 도면이다.
눈동자 후보 위치 중 눈동자의 위치를 찾기 위해 원 내부의 평균 픽셀 값을 계산하여 눈동자의 위치를 결정하게 되는데, 도 15와 같이 히스토그램 평활화로 보정된 눈 영상에서 눈동자 영역은 항상 가장 어둡게 나타난다는 특징을 이용하여 후보 눈동자 위치에서의 실제 눈동자 위치를 찾게 된다. 눈동자의 위치를 결정하는 알고리즘은 다음과 같다.
[Algorithm for searching iris]
① 중심점 (x, y)와 반지름 r을 갖는 원 C를 원소로 하는 눈동자의 후보들의 집합 SC를 구한다.
Figure pat00021
② 집합 SC의 각각의 원소C1,C2,...,Cn 들에 대하여 다음 수학식(7)에 의해 원에 내접하는 정사각형 R1,R2,...,Rn을 구한다.
Figure pat00022
③ 구해진 R1,R2,...,Rn에 대하여 다음 수학식 (8)에 의해 n개의 직사각형
Figure pat00023
을 구한다.
Figure pat00024
④ 직사각형
Figure pat00025
에 대하여 Grayscale 영상에서 각각의 직사각형 영역 내 평균 픽셀 값을 원소로 하는 집합
Figure pat00026
를 구한다.
Figure pat00027
⑤ 집합
Figure pat00028
의 원소들에 대하여 다음 식과 같이 임계값 T 이하인 원소들만을 선택한 집합
Figure pat00029
를 구한다.
Figure pat00030
⑥ 집합
Figure pat00031
의 원소의 개수가 1개이면, 해당 원소에 해당되는 원 C를 눈동자의 위치로 저장하고, 원소의 개수가 2개 이상일 때, 원소들 중 최소값을 가지는 원소에 해당되는 원 C를 눈동자의 위치로 저장한다.
위 알고리즘 ① 단계에서는 허프 원 변환을 통해 얻은 눈동자의 후보들을 집합 SC로 구성하며 하나의 후보는 원의 중심점 x, y와 반지름 값 r을 갖는다. ② 단계에서는 원에 내접하는 정사각형을 도 16과 같이 구하며, 정사각형 Ri는 정사각형의 좌상단 꼭지점 위치 x',y'과 가로, 세로 값 width, height를 가진다.
도 16은 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 나타낸 도면이다.
③ 단계에서는 도 17과 같이 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 수평으로 등분하여 아래쪽의 직사각형(R' =1/2 R, 여기서 R은 정사각형의 가로, 세로 길이)을 선택하며, ④ 단계에서 이 직사각형 내부에 위치하는 픽셀들의 평균값의 집합
Figure pat00032
을 구한다. 이렇게 하는 이유는 도 16과 같이 정사각형에서의 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 도 17과 같이 직사각형의 영역을 사용하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 원 내부의 일부 사각 영역에 대하여 평균 픽셀 값을 계산한다.
도 17은 도 16과 같이 정사각형에서의 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 하단부의 직사각형의 영역을 사용하는 도면이다.
또한, 눈동자 영역의 평균 픽셀값은 도 15와 같이 20이하 임을 알 수 있으므로, ⑤ 단계에서 임계값 T를 20으로 지정하여 만족하지 않는 후보위치를 제외하며, ⑥ 단계에서 남은 후보 위치들의 개수가 1개이면 후보에 해당되는 원 C를 눈동자의 위치로 선택한다. 이 때, 눈동자의 후보 위치가 2개 이상일 경우 가장 낮은 평균값을 나타내는 후보를 눈동자의 위치로 하여 도 18과 같이 찾을 수 있게 된다.
도 18은 좌표계에서 눈동자의 위치(iris position)를 결정하는 도면이다.
3. 실험결과
제안한 방법은 밝은 조명상태와 어두운 조명상태에서 실험하였다.
도 19는 밝은 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 눈동자를 검출한 결과이고, 도 20은 어두운 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 검출한 결과이다.
본 발명에서 제안하는 방법은 편의를 위해 일반적으로 사용되고 있는 OpenCV를 이용하여 구현하였으며, 처리 환경은 1.6GHz Quad-Core, 2GB RAM의 안드로이드 기반 스마트폰에서 640*480 크기의 영상을 사용하였다.
표 2는 조명의 상태가 밝을 때와 어두울 때 100 프레임 길이의 정면만 응시하고 있는 눈동자 영상에 대해 기존의 Kalus Toennies 방법과 Retno Supriyanti 방법 및 본 발명에서 제안하는 방법으로 눈동자를 검출하였을 때의 검출 속도와 검출율을 나타낸다. Kalus Toennies가 제안한 방법은 일반적인 실내 조명에 대해서만 고려하였기 때문에 어두운 조명에서는 눈동자를 검출할 수 없었다.
Figure pat00033
또한, 제안한 방법에서도 도 21과 같이 강한 조명환경이나 노이즈에 의해 눈의 양쪽 끝점을 올바르게 추정할 수 없는 경우 눈동자의 크기 범위를 잘못 추정하므로 정확한 눈동자 검출이 어려웠다.
도 21은 강한 조명환경이나 노이즈에 의해 눈의 양쪽 끝점을 올바르게 추정할 수 없는 경우 눈동자의 크기 범위를 잘못 추정하여 정확한 눈동자 검출이 어려웠던 화면(False detection of iris)이다.
3. 결론 및 향후 연구방향
본 발명은 haar-like feature 방법을 사용하여 얼굴 및 눈을 검출하고, 눈 영역의 크기 정규화 및 양쪽 눈 끝점 검출을 통해 눈동자의 크기 범위를 추정함으로써 허프 원 변환(hough circle transform)에서의 계산량을 줄여 눈동자 검출 성능을 향상시켰다. 또한, 히스토그램 평활화(histogram equalization)를 이용하여 다양한 조명환경에서도 눈동자 검출이 가능하도록 하였다. 하지만 강한 조명에 의해 눈의 특징점이 소실되거나, 노이즈 등의 이유로 눈의 양쪽 끝점이 올바르게 검출되지 않는 경우에는 눈동자 크기 범위가 잘못 추정될 수 있다. 향후 연구에서는 조명에 견고한 정확한 눈의 양쪽 끝점을 추출하는 방법에 대하여 연구를 추진할 예정이다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
α: 눈동자를 검출하는 허프 원 변환(hough circle transform) 알고리듬에서 사용되는 영상에서 원(circle)을 검출하기 위해 최대 눈동자 지름을 구하기 위해 계산된 값

Claims (8)

  1. 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법에 있어서,
    스마트폰의 영상(input images)을 입력받고, haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)하며, 눈동자를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행하는 제1 단계;
    전처리 과정에서 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹하고(face tracking), 얼굴의 전후 이동에 따라 눈동자크기의 변화를 줄이기 위해 검출된 눈의 영역을 일정한 크기로 정규화하는 제2 단계(normalize eye region);
    다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization) 하는 제3 단계;
    눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정하기 위해 이진화 된 눈 영역의 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 확인하여 눈의 양쪽 끝점을 검출하는 제4 단계(detect eye corners);
    눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform)을 수행하여 눈동자 후보들(candidate iris)을 검출하는 제5 단계; 및
    상기 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 원 내부의 일부 사각 영역에 대하여 평균 픽셀 값을 계산하고, 눈동자가 검출되면, 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정하는 제6 단계;
    를 포함하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  2. 제1항에 있어서,
    상기 얼굴 검출과 상기 눈 검출은
    haar-like feature 방법을 사용하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  3. 제1항에 있어서,
    상기 눈동자(iris) 검출은
    허프 원 변환(hough circle transform) 알고리듬을 사용하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  4. 제1항에 있어서,
    상기 제1 단계는
    눈 검출 시 얼굴영역 내에서 눈과 유사한 특징을 갖고 있는 영역이 존재하면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단하며, 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  5. 제1항에 있어서,
    상기 제2 단계는,
    정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 눈의 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI:Region of Interest)으로 설정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  6. 제1항 또는 제3항에 있어서,
    상기 제 2 단계는
    상기 허프 원 변환(hough circle transform) 알고리듬을 사용하여 눈동자 검출 시, 얼굴의 전후 이동에 따라 눈 영역의 크기가 변하게 되는데, 이에 따라 눈동자의 크기 또한 변하게 되므로 검출된 눈 영역은
    수학식(3)
    Figure pat00034

    (W'과 H'은 정규화시킬 눈 영역의 가로 값, 세로 값, 현재 검출된 눈 영역의 가로 값과 세로 값인 W와 H를 이용하여 정규화를 시키기 위한 가로 비율 값 SW와 세로 비율 값 SH를 계산)을 사용하여 일정 크기로 정규화시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화하여 상기 허프 원 변환의 계산량을 줄여 눈동자 검출 성능을 향상시킨 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  7. 제1항에 있어서,
    상기 제 5 단계는
    추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출하며, 눈동자 후보 위치 중 눈동자의 위치를 찾기 위해 원 내부의 평균 픽셀 값을 계산하여 눈동자의 위치를 결정하게 되는데, 히스토그램 평활화로 보정된 눈 영상에서 눈동자 영역은 항상 가장 어둡게 나타난다는 특징을 이용하여 후보 눈동자 위치에서의 실제 눈동자 위치를 찾아 눈동자의 위치를 결정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
  8. 제1항에 있어서,
    상기 6 단계에서
    눈동자의 위치를 결정하는 알고리즘(Algorithm for searching iris)은
    ① 중심점 (x, y)와 반지름 r을 갖는 원 C를 원소로 하는 눈동자의 후보들의 집합 SC를
    Figure pat00035
    구하는 단계;
    ② 집합 SC의 각각의 원소C1,C2,...,Cn 들에 대하여 다음 수학식(7)에 의해 원에 내접하는 정사각형 R1,R2,...,Rn을 구하는 단계;
    ③ 수학식(7)
    Figure pat00036
    에 의하여 구해진 R1,R2,...,Rn에 대하여 다음 수학식 (8)
    Figure pat00037
    에 의해 n개의 직사각형
    Figure pat00038
    을 구하는 단계;
    ④ 직사각형
    Figure pat00039
    에 대하여 Grayscale 영상에서 각각의 직사각형 영역 내 평균 픽셀 값을 원소로 하는 집합
    Figure pat00040
    를
    Figure pat00041
    구하는 단계;
    ⑤ 집합
    Figure pat00042
    의 원소들에 대하여 다음 식과 같이 임계값 T 이하인 원소들만을 선택한 집합
    Figure pat00043
    를
    Figure pat00044
    구하는 단계; 및
    ⑥ 집합
    Figure pat00045
    의 원소의 개수가 1개이면, 해당 원소에 해당되는 원 C를 눈동자의 위치로 저장하고, 원소의 개수가 2개 이상일 때, 원소들 중 최소값을 가지는 원소에 해당되는 원 C를 눈동자의 위치로 저장하는 단계;를 포함하고,
    위 알고리즘 ① 단계에서는 허프 원 변환을 통해 얻은 눈동자의 후보들을 집합 SC로 구성하며 하나의 후보는 원의 중심점 x, y와 반지름 값 r을 갖고, ② 단계에서는 원에 내접하는 정사각형을 도 16과 같이 구하며, 정사각형 Ri는 정사각형의 좌상단 꼭지점 위치 x',y'과 가로, 세로 값 width, height를 가지며, ③ 단계에서는 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 수평으로 등분하여 아래쪽의 직사각형을 선택하며, ④ 단계에서 이 직사각형 내부에 위치하는 픽셀들의 평균값의 집합
    Figure pat00046
    을 구하며, 이렇게 하는 이유는 정사각형에서 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 하단부의 직사각형의 영역을 사용하여, 원 내부의 일부 직사각형 영역에 대하여 평균 픽셀 값을 계산하고, 좌표계에서 눈동자의 위치(iris position)를 결정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.
KR1020130104817A 2013-09-02 2013-09-02 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법 KR101523765B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130104817A KR101523765B1 (ko) 2013-09-02 2013-09-02 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104817A KR101523765B1 (ko) 2013-09-02 2013-09-02 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법

Publications (2)

Publication Number Publication Date
KR20150027393A true KR20150027393A (ko) 2015-03-12
KR101523765B1 KR101523765B1 (ko) 2015-05-29

Family

ID=53022735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104817A KR101523765B1 (ko) 2013-09-02 2013-09-02 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법

Country Status (1)

Country Link
KR (1) KR101523765B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160127264A (ko) * 2015-04-24 2016-11-03 가천대학교 산학협력단 시선 검출 시스템 및 그 방법
US9875418B2 (en) 2015-10-20 2018-01-23 Samsung Electronics Co., Ltd. Method and apparatus for detecting biometric region for user authentication
WO2018105830A1 (ko) * 2016-12-07 2018-06-14 주식회사 쓰리이 동공 중심 검출 방법
KR20190011361A (ko) * 2017-07-24 2019-02-07 주식회사 제이투씨 홍채인식 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476897B1 (ko) 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160127264A (ko) * 2015-04-24 2016-11-03 가천대학교 산학협력단 시선 검출 시스템 및 그 방법
US9875418B2 (en) 2015-10-20 2018-01-23 Samsung Electronics Co., Ltd. Method and apparatus for detecting biometric region for user authentication
WO2018105830A1 (ko) * 2016-12-07 2018-06-14 주식회사 쓰리이 동공 중심 검출 방법
KR101866867B1 (ko) * 2016-12-07 2018-06-14 주식회사 쓰리이 동공 중심 검출 방법
US10383515B2 (en) 2016-12-07 2019-08-20 3E Co., Ltd. Method of detecting pupil center
KR20190011361A (ko) * 2017-07-24 2019-02-07 주식회사 제이투씨 홍채인식 장치 및 방법

Also Published As

Publication number Publication date
KR101523765B1 (ko) 2015-05-29

Similar Documents

Publication Publication Date Title
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
Ghimire et al. A robust face detection method based on skin color and edges
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR101523765B1 (ko) 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
US10521659B2 (en) Image processing device, image processing method, and image processing program
US9646215B2 (en) Eye part detection apparatus
Min et al. Eyelid and eyelash detection method in the normalized iris image using the parabolic Hough model and Otsu’s thresholding method
Kawulok et al. Precise multi-level face detector for advanced analysis of facial images
US8090151B2 (en) Face feature point detection apparatus and method of the same
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
TWI415032B (zh) Object tracking method
CN110728185B (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
CN103425985B (zh) 一种人脸抬头纹检测方法
KR100664956B1 (ko) 눈 검출 방법 및 장치
Gilly et al. A survey on license plate recognition systems
Feng et al. Iris localization with dual coarse-to-fine strategy
Abo-Eleneen Thresholding based on Fisher linear discriminant
Guo et al. Iris extraction based on intensity gradient and texture difference
JP4749884B2 (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
JP2008165496A (ja) 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム
Tao et al. Automatic localization of human eyes in complex background
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法
Kwon Face recognition using depth and infrared pictures
Paul et al. Automatic adaptive facial feature extraction using CDF analysis
Poursaberi et al. Modified multiscale vesselness filter for facial feature detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)