KR101641500B1 - 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법 - Google Patents

모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법 Download PDF

Info

Publication number
KR101641500B1
KR101641500B1 KR1020140128542A KR20140128542A KR101641500B1 KR 101641500 B1 KR101641500 B1 KR 101641500B1 KR 1020140128542 A KR1020140128542 A KR 1020140128542A KR 20140128542 A KR20140128542 A KR 20140128542A KR 101641500 B1 KR101641500 B1 KR 101641500B1
Authority
KR
South Korea
Prior art keywords
block
pupil
eye
candidate point
face
Prior art date
Application number
KR1020140128542A
Other languages
English (en)
Other versions
KR20160036375A (ko
Inventor
곽노윤
오웅천
강태호
Original Assignee
백석대학교산학협력단
주식회사 뷰잇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백석대학교산학협력단, 주식회사 뷰잇 filed Critical 백석대학교산학협력단
Priority to KR1020140128542A priority Critical patent/KR101641500B1/ko
Publication of KR20160036375A publication Critical patent/KR20160036375A/ko
Application granted granted Critical
Publication of KR101641500B1 publication Critical patent/KR101641500B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

스마트 폰 환경에서 동공 블록과 주변 블록들 간의 블록 대비도와 대칭성을 이용해 고속으로 두 눈의 위치를 검출하는 방법이 개시된다. Haar-like 특징과 AdaBoost 알고리즘 및 적응형 템플릿 정합을 이용해 입력 영상에서 얼굴 영역을 검출한 후, 이를 이용해 좌측 및 우측 눈 탐색 영역을 산정하고, 각 눈 탐색 영역의 적분 이미지에서 동공 블록이 나머지 주변 블록들에 비해 상대적으로 어둡고 대칭성이 양호하다는 특성에 착안해 눈 후보 영역들을 추출한 후, 눈 후보 영역들에서 좌우 각각 3순위까지의 블록 대비도를 갖는 블록의 중심화소를 동공 후보점들로 선택하며, 좌우 조합 가능한 동공 후보점 쌍들의 동공 거리가 기설정된 상한과 하한 거리 내에 존재함과 동시에 동공 간 기울기의 절대값이 일정 각도 이하인 기하학적 조건이 충족되는지를 검사해 이 조건을 충족하는 동공 후보점 쌍을 두 눈의 위치로 판별한다.

Description

모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법{Fast Eye Detection Method Using Block Contrast and Symmetry in Mobile Device}
본 발명은 눈 검출 방법에 관한 것으로, 특히 스마트폰과 같은 모바일 장치 환경에서 동공 블록과 주변 블록 간의 블록 대비도와 대칭성을 이용하여 고속으로 두 눈의 위치를 검출하는 기술에 관련한다.
최근의 영상처리 기술은 사람의 외형뿐만 아니라 얼굴, 홍채, 눈동자, 표정 등 점점 더 정교한 생체정보를 분석하는 프로그램으로 발전하고 있으며, 이러한 기술을 여러 분야에서 제품에 접목시켜 상용화 된 사례도 어렵지 않게 찾아볼 수 있다.
특히 최근에는 스마트 폰에 고성능 카메라가 장착되면서 얼굴 인식 혹은 시선 인식을 응용하는 분야가 날로 증가하고 있다.
얼굴 인식 기술의 주요 단계 중의 첫 번째는 입력 영상에서 얼굴 영역을 검출하는 것이다. 수 많은 연구 중에 공통적으로 인정받고 있는 방법은 P. Viola와 M. Jones에 의해 제안된 Haar-like 특징과 AdaBoost 알고리즘을 결합한 것이다.
이 방법이 널리 사용됨에 따라 얼굴 검출의 정확도가 크게 향상되어 스마트 폰, 디지털 카메라 및 PC 등의 UX/UI, 보안 및 감시 시스템, 사진 편집 프로그램 등 다양한 응용 분야에 적용되고 있다.
얼굴 인식의 두 번째 단계는 검출된 얼굴을 적절한 크기와 위치로 정규화 하는 과정이다. 즉 검출된 얼굴의 눈, 코, 입 등 얼굴 요소를 검출하고 위치를 맞추어 주는 과정이 필요하다.
기존에 발표된 얼굴 요소 검출 방법은 크게 두 가지 범주로 분류할 수 있다. 첫 번째는 가시광선 하에서 취득된 영상에서 눈의 모양과 흑백 계조의 분포를 기반으로 눈을 검출하는 방법이고, 두 번째는 근적외선 하에서 취득된 영상으로부터 동공의 분광적 특성을 활용하는 방법이다.
Cootes 등이 제안한 Active Appearance Model(AAM) 방법은 얼굴의 형상(shape)과 텍스쳐(texture) 정보에 PCA(Principal Component Analysis)를 적용하여 모델링된 고유벡터들을 이용하여 얼굴 요소의 위치를 맞추는 방법이다. AAM을 이용한 다양한 후속 연구들이 진행되었으며, 최근에는 3차원 깊이 정보를 함께 이용하는 방법으로 발전되었다.
또한, 눈의 위치를 통해 획득된 시선 정보를 활용하여 HCI 등에 응용될 수 있으므로 눈의 위치를 검출하는 것은 독립된 연구 주제로서 많은 알고리즘이 제안되어 왔다. Zhu 등은 다양한 조명변화에서도 눈의 검출이 가능하도록 mean shift와 support vector machine을 결합한 방법을 제안하였다.
또 다른 눈 검출 방법으로는 얼굴 검출에 사용되는 Haar-like 특징과 AdaBoost 알고리즘을 사용하여 눈의 위치를 검출하는 방법이 있다.
하지만 UMPC(Ultra Mobile PC), 스마트 폰 등과 같은 휴대형 이동기기 상의 실시간 처리를 위해서는 이상에서 언급한 눈 검출 방법들은 연산 복잡도가 과도하거나 혹은 검출률이 저조한 바, 이에 대한 대안으로 대비 연산자(contrast operator)를 이용한 휴대형 이동기기 용도의 Rapid Eye Detection 알고리즘이 국내 연구진에 의해 이미 제안된 바 있었다.
Rapid Eye Detection 알고리즘은 적분 이미지(Integral Image)를 이용하여 동공 블록과 주변 블록의 화소 변화를 조사한 후 템플릿 정합 방식으로 눈의 위치를 검출한다. 계산 속도가 빠른 장점이 있지만, 동공의 크기가 어느 정도 확보가 되어야 하며 안경 등에 의해 취약한 면을 보여준다. 또한 저조도 상황에선 등록된 눈 템플릿의 정확도에 따라 검출 성능이 매우 극단적으로 변하는 문제가 있다.
한편 Rapid Eye Detection 알고리즘을 개량한 눈 검출 방법도 제안되어 있지만 스마트 폰 환경에서는 성능 개선 폭이 매우 제한적이고 경우에 따라선 Rapid Eye Detection 알고리즘보다도 검출 성능이 떨어지는 문제가 있다.
본 발명의 목적은 모바일 장치 환경에서 두 눈의 위치를 고속으로 신뢰성 있게 검출할 수 있는 눈 검출 방법을 제공하는 것이다.
본 발명의 다른 목적은 모바일 장치 환경에서 낮은 조도에서 안경을 착용한 경우 두 눈의 위치를 검출할 수 있는 눈 검출 방법을 제공하는 것이다.
상기의 목적은, 초기 얼굴 템플릿을 새로운 얼굴 템플릿으로 적응적으로 갱신하는 적응형 템플릿 정합을 수행하여 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역을 이용하여 좌우 눈 탐색 영역을 산정한 후, 상기 눈 탐색 영역 각각에 대한 적분 이미지(Integral Image)를 산출하는 단계; 상기 적분 이미지에서 매트릭스 블록 탐색 윈도우의 정중앙 블록의 동공 블록 조건을 조사하여 눈 후보 영역을 추출하는 단계; 상기 추출된 눈 후보 영역에서 좌우 각각 일정한 블록 대비도(Block Contrast)를 갖는 블록의 중심화소를 동공 후보점으로 선택하는 단계; 상기 동공 후보점 중에 좌우간 조합 가능한 동공 후보점 쌍을 조합 짓고, 기설정 기하학적 조건이 충족되는지를 검사하여 동공 후보점 쌍을 판별하는 단계; 및 상기 기하학적 조건을 충족하는 동공 후보점 쌍 중에서 좌우 블록 대비도의 합계가 최대인 동공 후보점 쌍을 두 눈의 위치로 판별하는 단계를 포함하는 것을 특징으로 하는 고속 눈 검출 방법에 의해 달성된다.
바람직하게, 상기 얼굴 영역을 검출하는 단계에서, 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구하여 상기 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출ㅎ할 수 있다.
바람직하게, 상기 동공 블록 조건은 동공 블록의 밝기 차이와 상하 대칭성을 포함하며, 상기 얼굴 영역 검출 단계에서 검출한 얼굴 영역의 폭과 높이를 이용해 홍채 크기에 근사한 블록 크기를 산정하고, 상기 적분 이미지에서 각 블록의 화소값의 합을 구하여 상기 블록 탐색 윈도우의 각 블록의 평균 밝기값을 계산하며, 상기 블록 탐색 윈도우의 정중앙 블록이 나머지 주변 블록에 비해 상대적으로 어둡고 상하 대칭성이 양호해지도록 상기 블록 탐색 윈도우가 눈의 동공 영역과 중첩되는 경우에 상기 눈 후보 영역으로 추출한다.
바람직하게, 상기 기하학적 조건은, ⅰ) 동공 후보점 쌍의 동공 거리(D)가 기설정된 상한과 하한 거리 내에 존재하고, ⅱ) 동공 간 기울기의 절대값이 일정 각도 이하일 수 있다.
바람직하게, 상기 동공 후보점을 선택하는 단계에서 상기 블록 대비도를 기준으로 좌우 각각 3순위까지의 블록 대비도를 갖는 블록의 중심화소를 동공 후보점으로 선택하며, 상기 두 눈의 위치로 판별하는 단계 이후, 재판별시에는 블록 대비도의 순위를 줄여 상기 동공 후보점으로 선택할 수 있다.
상기한 구성에 의하면, 스마트폰과 같은 모바일 장치 환경에서 동공 블록과 주변 블록들 간의 블록 대비도와 대칭성을 이용해 고속으로 두 눈의 위치를 신뢰성 있게 검출할 수 있다.
특히, 거리 및 조명 변화 그리고 안경 착용에 강인하다는 이점이 있으며, 기하학적 조건을 통해 좌우 동공 후보점쌍의 적합성을 검증함을 통해 눈과 눈썹 및 안경을 효과적으로 구분할 수 있고 저비용으로 상대적으로 정확한 눈의 위치를 고속으로 검출할 수 있다.
도 1은 본 발명에 따른 눈 검출 방법을 설명하는 플로 차트이다.
도 2(a)는 입력 영상을 나타내고, 도 2(b)는 얼굴 검출 결과를 나타낸다.
도 3은 산정한 좌측 및 우측 눈 탐색 영역을 예시하고 있다.
도 4는 블록 탐색 윈도우와 동공 영역에 중첩하여 적용한 예를 나타낸다.
도 5는 눈 후보 영역을 추출한 것을 나타내는데, 도 5(a)는 블록 대비도만을 이용한 것이고, 도 5(b)는 블록 대비도와 상하 대칭성을 동시에 고려한 것이다.
도 6은 좌우간 조합 가능한 동공 후보점 쌍의 조합을 나타낸다.
도 7은 정상 조도에서 본 발명의 방법을 적용한 눈 검출 결과를 나타낸다.
도 8은 저조도에서 본 발명의 방법을 적용한 눈 검출 결과를 나타낸다.
이하, 첨부한 도면을 참조하여 본 발명에 따른 눈 검출 방법을 상세하게 설명한다.
도 1은 본 발명에 따른 눈 검출 방법을 설명하는 플로 차트이다.
본 발명에 따른 눈 검출 방법은, 크게 얼굴 영역 검출 단계와 눈 위치 검출 단계로 구성되며, 눈 위치 검출 단계는 다시 눈 후보영역 추출 단계, 동공 후보점 추출 단계, 동공 후보점 쌍 판별 단계 및 동공 후보점 쌍 재판별 단계로 구성된다.
이하, 각 단계에 대해 첨부된 도면을 참조하여 설명한다.
<얼굴 영역 검출 단계(단계 S10)>
얼굴 영역을 검출하기 위해 초기 얼굴 템플릿을 새로운 얼굴 템플릿으로 적응적으로 갱신하는 적응형 템플릿 정합을 수행한다.
우선, 얼굴 영역의 검출과 초기 얼굴 템플릿을 얻기 위해 Haar-like 특징과 AdaBoost 알고리즘을 사용한다.
이어서 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구한다.
시작점에서부터 한 화소씩 옮겨가면서 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출한다. 이때, 상호 상관도가 기준값 이상이면 계속적으로 템플릿 정합을 진행하고, 그렇지 않으면 Haar-like 특징과 AdaBoost 알고리즘을 이용해 얼굴 영역을 재검출하고 새로운 얼굴 템플릿으로 갱신해 얼굴 템플릿 정합을 수행한다.
또한, 상호 상관도가 기준값 이상이더라도 일정한 프레임 주기 단위로 Haar-like 특징과 AdaBoost 알고리즘을 통해 얼굴 영역을 재검출하고 얼굴 템플릿을 갱신하는 과정을 반복한다.
도 2(a)는 입력 영상을 나타내고, 도 2(b)는 상기한 과정에 따른 얼굴 검출 결과를 나타낸다.
본 발명에 의한 눈 검출 방법을 스마트 폰 환경에서 구현할 시, 초기 얼굴 영역과 얼굴 템플릿을 구하기 위해 OpenCV에서 제공하는 하르 분류기(Haar classifier)를 사용한다. OpenCV에서는 P. Viola와 M. Jones에 의해 처음 개발되고 추후에 R. Lienhart와 J. Maydt에 의해 확장된 얼굴 검출기를 구현한 라이브러리 함수를 제공한다.
<눈 위치 검출 단계(단계 S20)>
1) 눈 후보 영역의 추출
얼굴 영역 검출 단계에서 검출한 얼굴 영역의 폭과 높이에 연동해 가변되는 좌측 및 우측 눈 탐색 영역을 얼굴 영역의 상단에 비례적으로 산정하고, 각 눈 탐색 영역에 대한 적분 이미지(Integral Image)를 산출한다(단계 S21).
도 3은 이와 같이 산정한 좌측 및 우측 눈 탐색 영역을 예시하고 있다.
다음으로, 각 입력 영상마다 얼굴 영역의 폭(Face ω )과 높이(Face h )를 이용해 홍채 크기에 근사한 블록 크기를 산정한다.
일반적으로 동공의 경우, 홍채보다 조명에 의한 크기 변화가 심한 것으로 알려져 있다. 이러한 사실에 입각해 조명에 의한 크기 변화가 작은 홍채의 직경을 블록의 크기로 사용한다.
바람직하게, 눈꺼풀에 의해 홍채가 가려진다는 사실에 착안해 블록의 모양을 정사각형보다는 직사각형 형태를 사용할 수 있다.
블록의 폭(Iris ω )과 높이(Iris h )는 각각 식 (1)과 같이 구한다. 여기서 α,β는 각각 0.07 및 0.06이다.
Figure 112014091469514-pat00001
적분 이미지 S(x, y)는 식 (2)를 통해 도 2(a)와 입력 영상 I(x, y)의 좌측 및 우측 눈 탐색 영역에서 각각 독립적으로 계산된다. 적분 이미지 S(x, y)에서 도 4(a)의 각 블록의 화소값들의 합을 식 (3)을 통해 구할 수 있다. 다음으로 식 (4)를 이용해 도 4(a)와 같은 3×3 블록 탐색 윈도우의 각 블록의 평균 밝기값을 계산하여 R 0 , R 1 , ....., R 8 로 지정한다.
Figure 112014091469514-pat00002
Figure 112014091469514-pat00003
Figure 112014091469514-pat00004
각 눈 탐색 영역의 적분 이미지에서 도 4(b)와 같이 3×3 블록 탐색 윈도우의 정중앙 블록이 눈의 동공 영역과 중첩될 경우 정중앙의 동공 블록이 나머지 주변 블록들에 비해 상대적으로 어둡고 상하 대칭성이 양호하다는 특성에 착안해 눈 후보 영역을 추출한다.
식 (5)와 같이 동공 블록의 밝기 차이와 상하 대칭성 조건을 충족하는지 여부를 조사함으로써 눈 후보 영역들을 추출할 수 있다(단계 S22).
Figure 112014091469514-pat00005
도 5(a)는 블록 대비도만을 이용해 눈 후보 영역을 추출한 것을 나타내고, 도 5(b)는 블록 대비도와 상하 대칭성을 동시에 고려해 눈 후보 영역을 좀 더 제한한 것을 나타낸다.
2) 동공 후보점 추출
추출된 눈 후보 영역들의 영역 간 인접성을 구분하지 않은 채로 식 (6)처럼 정의된 블록 대비도 BC(Block Contrast)를 계산한 후, 좌우 각각 3순위까지의 블록 대비도(BC)를 갖는 블록들의 중심화소를 동공 후보점으로 선택한다(단계 S23).
정상 조도 상태의 정면 얼굴에서는 좌우 및 상하 블록 대비도가 모두 양호한 편이다. 하지만 저조도 상태이거나 혹은 정면에서 측면으로 소폭의 각도만큼 얼굴이 돌아가거나 동공이 움직일 경우, 다양한 원인에 의해 좌우 대비도가 불량해짐에 따라 이를 상쇄하기 위해 좌우 대비도에 비해 상하 대비도의 가중치를 2배 높여 블록 대비도를 정의한다.
Figure 112014091469514-pat00006
3) 동공 후보점 쌍 판별
도 6과 같이, 좌우간 조합 가능한 동공 후보점 쌍을 조합 짓고, ⅰ) 동공 후보점 쌍의 동공 거리(D)가 기설정된 상한과 하한 거리 내에 존재하고, ⅱ) 동공 간 기울기의 절대값이 일정 각도 이하라는 다음의 기하학적 조건이 충족되는지를 검사해 이 조건을 충족하는 동공 후보점 쌍을 두 눈의 위치로 판별한다.
Figure 112014091469514-pat00007
Figure 112014091469514-pat00008
이 기하학적 조건을 충족하는 동공 후보점 쌍 중에서 좌우 블록 대비도의 합계가 최대인 동공 후보점 쌍을 두 눈의 위치로 판별한다(단계 S24).
4) 동공 후보점 쌍 재판별
두 눈의 기하학적 조건을 만족하지 못할 경우, 눈 후보 영역에 대해 좌우 각각 독립적으로 레이블링을 수행한다.
이후, 레이블링된 눈 후보 영역 중에서 최대 블록 대비도를 기준으로 좌우 각각 2순위까지의 눈 후보 영역을 선택하고 각각의 선택된 눈 후보 영역에서 최대 블록 대비도를 갖는 블록의 중심화소를 동공 후보점으로 삼는다.
이후 좌우간 조합 가능한 동공 후보점 쌍을 만들고 동공 거리가 기설정된 상한과 하한 거리 내에 존재함과 동시에 동공 간 기울기의 절대값이 일정 각도 이하인 기하학적 조건이 충족되는지를 검사한다.
이 기하학적 조건을 충족하는 동공 후보점 쌍 중에서 좌우 블록 대비도의 합계가 최대인 동공 후보점 쌍을 두 눈의 위치로 판별한다(단계 S25).
<실험 예>
제안된 방법의 타당성과 보편성을 평가하기 위해, 삼성 갤럭시(Samsung Galaxy) S5(32GB RAM) 스마트 폰의 안드로이드 4.4(킷캣) 환경에서 ADT 번들(Android Developer Tools Bundle)과 OpenCV 2.4.9를 이용해 스마트 폰 전면 카메라를 통해 촬영한 482×320 해상도의 3,327장의 시험 영상을 대상으로 제안된 방법에 대한 시뮬레이션을 수행하였다.
시험 영상은 안경을 착용하거나 미착용한 5명의 참여자로부터 약 25∼45㎝ 거리에서 실내조명 하의 정상 조도(약 400 lux)에서 2,009장, 그리고 책을 읽기 어려운 수준의 저조도 하에서 1,318장을 촬영한 얼굴 영상을 사용했다.
먼저, 연산량 측면에서 살펴보면, Rapid Eye Detection 알고리즘은 AdaBoost 방법에 비해 연산 복잡도가 낮다. 제안된 방법은 Rapid Eye Detection 알고리즘을 개량해 연산 복잡도를 저감한 반면, 성능을 개선한 것이기에 AdaBoost 방법에 비해 연산 복잡도가 매우 낮은 편이다. 이로 인해 통상의 안드로이드 스마트 폰에서 실시간 처리가 가능한 장점이 있다.
표 1은 본 발명의 방법과 기존의 방법의 눈 검출 성능을 대비하여 보여준다.

구분		 Adaboost 방법 본 발명의 방법
안경 미착용 안경 착용 안경 미착용 안경 착용
정상조도(2,009장) 97.68% 75.78% 97.77% 90.89%
저조도(1,318장) 81.42% 20.43% 98.34% 82.32%
도 7과 8은 각각 정상 조도와 저조도에서 본 발명의 방법을 적용한 눈 검출 결과를 예시한 것이다. 표 1을 참고할 때, 정상 조도의 안경 미착용 상태에서 AdaBoost 방법과 본 발명의 방법은 공히 우수한 눈 검출 성능을 제공하는 것으로 평가할 수 있다. 하지만 안경을 착용할 경우, AdaBoost 방법의 검출 성능이 큰 폭으로 저하되는 반면, 본 발명의 방법은 상대적으로 양호한 검출 성능을 유지한다. 특히 도 8과 같이 극히 낮은 조도로 인해 AdaBoost 방법의 검출 성능이 극단적으로 저하되는 상황에서도 비교적 안정된 눈 검출 성능을 제공함을 알 수 있다.
이상에서 설명한 것처럼, 본 발명의 방법은 거리 및 조명 변화 그리고 안경 착용에 강인한 편이다.
스마트 폰과 얼굴 간 거리 변화에 강인하고 저조도 영상에서도 상대적으로 높은 검출률을 제공할 뿐만 아니라 안경을 착용한 경우에도 상대적으로 양호한 성능을 제공한다.
또한, 기하학적 조건을 통해 좌우 동공 후보점 쌍의 적합성을 검증함으로써 눈과 눈썹을 효과적으로 구분할 수 있고 저비용으로 상대적으로 정확한 눈의 위치를 고속으로 검출할 수 있다.

Claims (6)

  1. 초기 얼굴 템플릿을 새로운 얼굴 템플릿으로 적응적으로 갱신하는 적응형 템플릿 정합을 수행하여 얼굴 영역을 검출하는 단계;
    상기 검출된 얼굴 영역을 이용하여 좌우 눈 탐색 영역을 산정한 후, 상기 눈 탐색 영역 각각에 대한 적분 이미지(Integral Image)를 산출하는 단계;
    상기 적분 이미지에서 매트릭스 블록 탐색 윈도우의 정중앙 블록의 동공 블록 조건을 조사하여 눈 후보 영역을 추출하는 단계;
    상기 추출된 눈 후보 영역에서 좌우 각각 일정한 블록 대비도(Block Contrast)를 갖는 블록의 중심화소를 동공 후보점으로 선택하는 단계;
    상기 동공 후보점 중에 좌우간 조합 가능한 동공 후보점 쌍을 조합 짓고, 기설정 기하학적 조건이 충족되는지를 검사하여 동공 후보점 쌍을 판별하는 단계; 및
    상기 기하학적 조건을 충족하는 동공 후보점 쌍 중에서 좌우 블록 대비도의 합계가 최대인 동공 후보점 쌍을 두 눈의 위치로 판별하는 단계를 포함하며,
    상기 동공 후보점을 선택하는 단계에서,
    상기 블록 대비도를 기준으로 좌우 각각 일정 순위까지의 블록 대비도를 갖는 블록의 중심화소를 동공 후보점으로 선택하고, 상기 두 눈의 위치로 판별하는 단계 이후, 재판별시에 상기 블록 대비도의 순위를 줄여 상기 동공 후보점으로 선택하는 것을 특징으로 하는 고속 눈 검출 방법.
  2. 청구항 1에 있어서,
    상기 얼굴 영역을 검출하는 단계에서, 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구하여 상기 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출하는 것을 특징으로 하는 고속 눈 검출 방법.
  3. 청구항 1에 있어서,
    상기 동공 블록 조건은 동공 블록의 밝기 차이와 상하 대칭성을 포함하는 것을 특징으로 하는 고속 눈 검출 방법.
  4. 청구항 3에 있어서,
    상기 얼굴 영역 검출 단계에서 검출한 얼굴 영역의 폭과 높이를 이용해 홍채 크기에 근사한 블록 크기를 산정하고,
    상기 적분 이미지에서 각 블록의 화소값의 합을 구하여 상기 블록 탐색 윈도우의 각 블록의 평균 밝기값을 계산하며,
    상기 블록 탐색 윈도우의 정중앙 블록이 나머지 주변 블록에 비해 상대적으로 어둡고 상하 대칭성이 양호해지도록 상기 블록 탐색 윈도우가 눈의 동공 영역과 중첩되는 경우에 상기 눈 후보 영역으로 추출하는 것을 특징으로 하는 고속 눈 검출 방법.
  5. 청구항 1에 있어서,
    상기 기하학적 조건은, ⅰ) 동공 후보점 쌍의 동공 거리(D)가 기설정된 상한과 하한 거리 내에 존재하고, ⅱ) 동공 간 기울기의 절대값이 일정 각도 이하인 것을 특징으로 하는 고속 눈 검출 방법.
  6. 삭제
KR1020140128542A 2014-09-25 2014-09-25 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법 KR101641500B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140128542A KR101641500B1 (ko) 2014-09-25 2014-09-25 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140128542A KR101641500B1 (ko) 2014-09-25 2014-09-25 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법

Publications (2)

Publication Number Publication Date
KR20160036375A KR20160036375A (ko) 2016-04-04
KR101641500B1 true KR101641500B1 (ko) 2016-07-21

Family

ID=55799698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140128542A KR101641500B1 (ko) 2014-09-25 2014-09-25 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법

Country Status (1)

Country Link
KR (1) KR101641500B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002556A1 (ko) * 2019-07-01 2021-01-07 계명대학교 산학협력단 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529437B (zh) * 2016-10-25 2020-03-03 广州酷狗计算机科技有限公司 一种人脸检测的方法和装置
CN107316036B (zh) * 2017-06-09 2020-10-27 广州大学 一种基于级联分类器的害虫识别方法
CN110477858B (zh) * 2018-05-15 2023-11-28 深圳莫廷医疗科技有限公司 被检眼对准方法、装置和眼科设备
CN109376649A (zh) * 2018-10-20 2019-02-22 张彦龙 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
권수영 외 6명, 눈 검출 알고리즘에 대한 성능 비교 연구, Journal of Korea Multimedia Society Vol. 15, No. 6, June 2012*
장경식, Rank Order Filter와 화소값 차이를 이용한 강인한 눈동자 검출, 한국정보통신학회논문지 제16권 제7호, 2012.7.*
장준용 외 1명, On the Face Detection with Adaptive Template Matching and Cascaded Object Detection for Ubiquitous Computing Environment, Computational Science and Its Applications - ICCSA 2005*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002556A1 (ko) * 2019-07-01 2021-01-07 계명대학교 산학협력단 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20160036375A (ko) 2016-04-04

Similar Documents

Publication Publication Date Title
KR101641500B1 (ko) 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법
Chen et al. Contour matching for 3D ear recognition
US20180018516A1 (en) Method and apparatus for iris recognition
CN103839250B (zh) 用于面部图像处理的方法和设备
US20150241967A1 (en) Eye Gaze Tracking
CN105956578A (zh) 一种基于身份证件信息的人脸验证方法
KR102393298B1 (ko) 홍채 인식 방법 및 장치
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
KR101373274B1 (ko) 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치
KR20080025610A (ko) 홍채 검출 방법 및 이를 위한 장치
KR20020071330A (ko) 회전영상의 보정에 의한 비접촉식 홍채인식방법
JP2001216515A (ja) 人物の顔の検出方法およびその装置
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
KR20060118137A (ko) 영상에서 감시대상의 눈을 검출하는 방법
CN105574525A (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
WO2007046477A1 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
KR102005150B1 (ko) 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR102078249B1 (ko) 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램
US20160171323A1 (en) Apparatus for recognizing iris and operating method thereof
US9036920B2 (en) Method of detecting feature points of an object in a system for motion detection
CN106161962A (zh) 一种图像处理方法及终端
CN108537131A (zh) 一种基于人脸特征点和光流场的人脸识别活体检测方法
KR101614468B1 (ko) 모바일 기기에서 블록 대비도를 이용한 눈 검출 및 개폐 인식방법
CN104008364A (zh) 人脸识别方法
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right