KR20170081458A - 개곡선 원형도 기반 동공 검출 장치 및 그 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 개곡선 원형도 기반 동공 검출 장치는 얼굴 영상으로부터 눈 후보 영역을 검출하는 눈 후보영역 검출부; 및 상기 눈 후보 영역 중 상기 눈 후보 영역내의 개곡선의 원형도에 따라 동공을 검출하여 눈 영역을 선택하는 동공 검출부를 포함할 수 있다.

Description

개곡선 원형도 기반 동공 검출 장치 및 그 방법{Apparatus and Method for Detecting Center of Pupil based on degree of circle of open curve}

본 발명은 개곡선 원형도 기반 동공 검출 장치 및 그 방법에 관한 것으로, 보다 상세하게는 영상으로부터 동공을 검출하는 기술에 관한 것이다.

최근 컴퓨터, IPTV 등 다양한 분야에서 사용자가 어느 위치를 응시하고 있는지를 파악하기 위한 기술로서 시선추적, 홍채인식, 동공 검출 등 다양한 기술에 대한 연구 활동이 활발하다.

특히 동공 검출을 위해 적외선 영상을 사용하며, 적외선 영상을 얻기 위해서는 카메라와 조명을 사용한다. 즉, 종래에는 눈 영역 검출을 위해서, 적외선 조명을 동기화시켜 점멸함으로써 밝은 동공(bright pupil) 현상을 발생시켜 동공을 검출한다.

그러나 사용자가 카메라의 광축에서 벗어나 있으면 밝은 동공 현상이 발생하지 않으므로, 눈 영역 검출에 어려움이 있다. 또한 눈의 흰자위와 검은 동공의 밝기 차이를 이용하여 눈 영역을 찾는 시도가 있었으나, 정확도가 낮고 외부 환경의 영향을 많이 받아서 실제 어플리케이션에 적용하기 어려움이 있다. 따라서, 적외선 영상에서 사용할 수 있는 보다 정확도가 높은 눈 영역 또는 동공 영역 검출 기법이 요구된다.

특허공개번호 KR 10-2012-0049605호

본 발명의 실시예는 눈 후보 영역 내의 어두운 부분의 원형도가 가장 높은 영역을 동공으로 검출하여 눈 영역 검출 확률을 증대시킬 수 있는 동공검출 장치 및 그 방법을 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 개곡선 원형도 기반 동공 검출 장치는 얼굴 영상으로부터 눈 후보 영역을 검출하는 눈 후보영역 검출부; 및 상기 눈 후보 영역 중 상기 눈 후보 영역내의 개곡선의 원형도에 따라 동공을 검출하여 눈 영역을 선택하는 동공 검출부를 포함할 수 있다.

본 기술은 사용자의 동공을 검출하기 위해서 눈 후보 영역에서 개곡선의 원형도를 검출함으로써, 동공 검출 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다.

또한, 본 기술은 가림 객체를 제거한 동공 영상의 원형도를 이용하므로 얼굴의 회전이나 외부광원의 간섭 등의 영향을 최소화하여 정확하게 동공 영역을 검출할 수 있다.

도 1은 본 발명의 실시예에 따른 동공 검출 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 개곡선 원형도 기반 동공 검출 방법을 나타내는 순서도이다.
도 3은 본 발명의 실시예에 따른 눈 후보 영역의 예시도이다.
도 4는 본 발명의 실시예에 따른 이진화된 결과의 예시도이다.
도 5는 본 발명의 실시예에 따른 검사 대상 외곽선을 나타내는 예시도이다.
도 6은 본 발명의 실시예에 따른 가림객체가 제거된 외곽선을 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 가림객체가 제거된 외곽선(개곡선)의 원형도 검사 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따른 동공검출 방법을 적용한 컴퓨터 시스템의 구성도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 8을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 동공 검출 장치(100)는 사용자에 대한 얼굴 영상을 입력 받아, 눈 후보 영역을 검출하고 눈 후보 영역 중 동공을 검출하여 눈 영역을 선택한다. 이때, 얼굴 영상은 사용자의 눈이 포함된 얼굴 전체 또는 일부의 영상을 나타낸다. 이를 위해, 본 발명의 실시예에 따른 동공 검출 장치(100)는 눈 후보영역 검출부(110) 및 동공 검출부(120)를 포함한다.

도 1에서는 카메라 등을 개시하고 있지 않으나, 얼굴 영상 촬영을 위한 카메라, 적외선 투과(가시광선 차단 필터) 등을 구비할 수 있다. 이때, 카메라(미도시)는 고배율 렌즈 등이 부착되어 사용자의 눈 주위부분을 확대하여 촬영할 수 있다.

눈 후보영역 검출부(110)는 입력된 얼굴 영상으로부터 눈 후보영역을 검출한다. 적외선 조명과 카메라를 이용하여 촬영한 영상은 색상정보를 포함하지 않고 밝기정보만 포함한다. 이에, 눈 영역 검출을 위해 영상으로부터 눈 후보 영역들을 선택한다. 이때, 눈 후보 영역은 다양한 방법으로 선택될 수 있는데, 각막 반사광이 주변보다 밝은 픽셀값을 가지므로, 밝은 픽셀값 주변을 눈 후보 영역으로 선택할 수 있다. 또 다른 방법으로 각막 반사광 주변에 낮은 픽셀값의 동공이 존재하므로, 눈 후보 영역내의 최대 픽셀값과 최소 픽셀값의 차이가 크다는 것을 이용하여 눈 후보 영역을 정할 수도 있다. 또한, 아다부스트(Adaboost) 알고리즘과 같은 검출기를 사용하여 후보 영역들을 정할 수도 있다.

동공 검출부(120)는 다수의 눈 후보 영역 중 최종적인 눈 영역을 검출하기 위해 동공을 검출한다. 즉, 촬영된 영상에서 다수의 눈 후보 영역이 존재할 수 있으므로, 최종적인 눈 영역을 검출하기 위해서는 눈 후보 영역들 중 가장 적합한 눈 후보 영역을 결정해야 할 필요가 있으며, 본 발명에서는 가장 적합한 눈 후보 영역을 결정하기 위해 동공을 검출한다.

즉 동공 검출부(120)는 눈 후보 영역 중 실제 눈 영역은 동공을 포함하므로 어둡고 둥근 부분이 존재하고, 실제 눈 영역이 아닌 눈 후보 영역의 경우, 어두운 부분의 둥근 정도(원형도)가 실제 동공영역 보다 낮을 것이므로, 원형도가 가장 높은 것을 실제 눈 후보 영역으로 선택한다.

이하, 도 2를 참조하여, 본 발명의 실시예에 따른 개곡선 원형도 기반 동공 검출 방법을 설명하기로 한다.

먼저 눈 후보 영역 검출부(110)는 입력된 영상에서 눈 후보 영역을 검출한다. 이를 위해 동공 검출부(120)는 입력된 영상에서 검사해야할 눈 후보 영역이 다수 존재하는 지를 판단하여, 각 눈 후보 영역에 적합한 동공 후보가 존재하는지를 판단한다(S101). 이때, 도 3는 본 발명의 실시예에 따른 눈 후보 영역의 예시도이다.

그 후, 동공 검출부(120)는 검사하지 않은 눈 후보 영역이 존재하면 해당 눈 후보 영역을 입력 받는다(S102). 그 후, 동공 검출부(120)는 i번째 눈 후보 영역이라고 가정하고, 각 기호에 (i)를 붙이고, 눈 후보 영역 내 최소 픽셀값 min(i)를 임계치 T(i)의 초기값으로 하고, 원에 가까운 정도를 나타내는 원형도 C(i)를 0으로 초기화 한다(S103).

이어 동공 검출부(120)는 눈 후보영역의 임계값 T(i)를 변화시키며 반복적으로 이진화와 원형도 검사를 수행한다(S104). 이때, 임계값 T(i)는 min(i)부터 T_max(i)까지 변화한다. 상기 T_max(i)는 미리 정의된 값을 사용하거나 눈 후보영역 내 픽셀 평균값과 같이 눈 후보 영역 내 픽셀 정보를 이용하여 가변적으로 설정할 수도 있다.

동공 검출부(120)는 T(i)가 T_max(i)보다 작으면 T(i)로 눈 후보 영역 이진화를 수행한다(S105). 동공 검출부(120)는 상기 이진화에서 픽셀의 값이 T(i) 이하면 이진화된 픽셀로 선택하고, T(i)보다 크면 선택하지 않는다. 도 4는 본 발명의 실시예에 따른 이진화된 결과의 예시도이다. 동공 영역(401)이 표시됨을 알 수 있다.

그 후, 동공 검출부(120)는 이진화된 눈 후보 영역에서 외곽선을 검출한다(S106). 이때, 외곽선이 다수 있을 경우 원형도 검사 대상 외곽선을 선택하거나 모든 외곽선에 대해서 검사해볼 수 있다. 상기 검사 대상 외곽선을 선택하는 방법은 미리 정의한 동공 크기의 범위 내에 있는 외곽선 중 가장 큰 것을 선택하거나, 각막반사광 후보와 가장 가까운 곳에 있는 외곽선을 선택할 수 있다. 도 5는 본 발명의 실시예에 따른 검사 대상 외곽선(501)을 나타내는 예시도이다.

이때, 도 3에서 보듯이 동공의 경계에 각막 반사광(301)이 존재하는 경우가 발생하는데 이 경우 도 5에서 보는 바와 같이 각막반사광이 존재하는 경계선 하단 부분에서 원형 형태를 왜곡시키는 현상이 발생된다. 따라서, 동공 검출부(120)는 상기 S106 단계에서 선택된 외곽선의 원형도를 검사하기 위해 외곽선의 형태를 왜곡시키는 가림 객체를 제거한다(S107). 도 6은 본 발명의 실시예에 따른 가림객체가 제거된 외곽선(개곡선;502)을 나타내는 예시도이다.

그 후, 동공 검출부(120)는 개곡선(502)에 대한 원형도를 검사하는데, 도형의 원형도를 검사하기 위해 도형의 둘레와 면적의 비를 사용하는 방법이 많이 활용된다. 원형도 검사 방법은 아래 수학식 1을 이용한다.

이때, A는 도형의 면적이고, P는 도형의 둘레이다. 원의 경우, 1의 값을 가지며, 도형이 찌그러질수록 낮은 값을 가진다.

그러나, 상기 S107 단계에서 생성된 외곽선은 폐곡선이 아닌 개곡선이라는 문제점이 있다. 상기 S107 단계에서 생성된 외곽선을 직선으로 이어서 폐곡선을 만든 후 수학식 1을 적용시키면 원형도가 낮아지는 문제점이 있다. 즉 원의 일부로 원형도를 검사하면 원래의 원형도 보다 낮아지는 문제점이 있다.

이에 본 발명에서는 원형도를 계산하기 위해 2개의 원을 이용하는 방법을 제안한다. 도 7은 본 발명의 실시예에 따른 가림객체가 제거된 외곽선(개곡선)의 원형도 검사 방법을 설명하기 위한 예시도로서, 상세한 설명은 다음과 같다. 상기 107 단계에서 생성된 가림 객체가 제거된 외곽선을 모두 포함하는 최소 크기의 원(601)을 생성한다. 상기 최소 크기 원의 중심(603)을 중심으로 하고 상기 S107 단계에서 생성된 외곽선을 포함하지 않는 최대 크기의 원(602)을 생성한다. 원형도는 생성된 두 원의 반지름 비율로 계산하며, 아래 수학식 2와 같다.

여기서, R_min은 작은 원의 반지름, R_max는 큰 원의 반지름을 나타낸다.

이처럼 동공 검출부(120)는 상기 수학식 2를 이용하여 원형도(C)를 검사한다(S108).

그 후, 동공 검출부(120)는 검사한 원형도가 검사 중인 눈 후보 영역의 최대 원형도 C_max 보다 큰지 판단하여(S109), 최대 원형도 C_max보다 크면 상기 S108 단계에서 검사한 원형도 C를 최대 원형도 C_max로 저장하고(S110) 임계값을 n 만큼 증가시킨다(S111). 상기 n은 임계값의 증가 폭으로 사전에 정한 값을 사용하며 일반적으로 1을 사용하고, 검사 속도를 증가시키기 위해서 1보다 큰 값을 사용할 수도 있다.

한편, S104 단계에서 임계값 T(i)가 T_max 이하면 상술한 바와 같이 S105단계부터 S111 단계를 반복적으로 수행하고, 임계값 T(i)가 T_max보다 크면, 눈 후보 영역의 최대 원형도 C_max(i)가 미리 설정한 원형도 임계치(Cir_Th)보다 큰지 판단한다(S112). 상기 원형도 임계치는 동공으로 판단하기에 적합하다고 생각되는 원형도 값으로서, 촬영된 영상의 화질에 따라 달라질 수 있다. 디지털 영상의 특성상 원형도 임계치는 1 미만의 값이어야 한다.

상기 S112 단계에서 최대 원형도가 원형도 임계치보다 큰 경우, 동공 검출부(120)는 해당 영역을 동공후보로 등록하고(S113) 검사해야 할 눈 후보 영역이 남아 있는지를 다시 판단한다(S101). 상기 S101 단계에서, 검사해야 할 눈 후보영역이 남아 있으면 S102 단계부터 S113 단계를 반복 수행하고, 검사해야 할 눈 후보 영역이 남아 있지 않으면 등록된 동공 후보 중 최종 동공 후보를 선택한다.

한편, 등록된 동공 후보의 수가 1개 또는 2개일 경우(S114), 등록된 동공 후보를 최종 동공 후보로 선택하고(S115) 종료한다.

그러나 등록된 동공 후보 수가 2개 이상이면(S116), 동공 후보 영역의 최대 원형도의 값을 비교하여 가장 큰 값을 가지는 동공 후보 2개를 최종 동공 후보로 선택하고(S117) 종료한다. 등록된 동공 후보가 없으면 최종 동공 후보를 선택하지 않고 종료한다.

이와 같이 본 발명은 시선추적, 홍채인식과 같은 적외선 광원을 사용하는 시스템에서 사용자의 동공 영역을 검출하기 위한 방법으로, 가림 객체를 제거한 동공 영상의 원형도를 이용하므로 얼굴의 회전이나 외부광원의 간섭 등에 강인하게 동공 영역을 검출할 수 있다.

도 8은 본 발명의 실시예에 따른 동공검출 방법을 적용한 컴퓨터 시스템의 구성도이다.

도 8을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 동공 검출 장치
110 : 눈 후보 영역 검출부
120 : 동공 검출부

Claims (1)

1. 얼굴 영상으로부터 눈 후보 영역을 검출하는 눈 후보영역 검출부; 및
   상기 눈 후보 영역 중 상기 눈 후보 영역내의 개곡선의 원형도에 따라 동공을 검출하여 눈 영역을 선택하는 동공 검출부;
   를 포함하는 개곡선 원형도 기반 동공 검출 장치.

Images