KR100322982B1 - 얼굴화상처리장치 - Google Patents

Abstract

얼굴 특징 요소내에서 독특한 형상을 갖춘 비공(鼻孔; 콧구멍)의 위치·폭을 이용하여 간단하고 또한 정밀도가 좋게 눈 검출 영역을 설정한다.

얼굴 화상 처리 장치는 얼굴 화상을 입력하는 얼굴 화상 입력 수단과 입력한 얼굴 화상을 2치화하는 2치화 수단(5)과 2치 화상내의 얼굴 특징 요소를 추출하기 위한 특징 요소 추출 수단(6)과 추출한 특징 요소에서 비공을 추출하는 비공 추출 수단(7)과 추출한 비공을 기준 위치로 해서 눈 검출 영역을 설정하고 눈을 추출하는 눈 추출 수단을 구비한다. 비공 추출 수단은 비공 후보를 추출하기 위한 비공폭의 임계치를 설정하는 폭 임계치 설정 수단과 폭 임계치를 사용해서 비공 후보를 추출하는 비공 후보 추출 수단과 비공 후보에서 비공 영역을 특정하는 비공 영역 특정 수단과 설정된 비공 영역의 기준 위치를 설정하는 기준 위치 설정 수단을 구비한다.

Description

얼굴 화상 처리 장치

기술분야

본 발명은 화상 처리를 사용해서 비공 기준 위치에서 눈검출 영역을 설정하는 수단을 구비한 얼굴 화상 처리 장치에 있어서 비공 및 비공 기준 위치를 검출하는 방법에 관한 것이다.

종래의 기술

종래의 눈검출 영역 설정 수단으로서는 예를들면 일본 특허 공개 헤이세이 6-227278 호 공보 등에 기재되어 있는 것이 알려져 있다. 도 18은 이 공보에 기재되어 있는 종래의 안구 존재 영역 설정 수단(47)을 포함하는 장치 전체의 구성을 도시하는 도면이다.

도 18에 있어서 안구 존재 영역 설정 수단(47)에 의한 안구 존재 영역 설정은 도 19에 도시하는 2치화 수단(48)에 의해 2치화된 화상(49)내에서 행해진다. 안구 존재 영역 설정 수단(47)에서는 먼저 도 19에 도시하는 바와 같이 2치 화상내에서 먼저 프레임의 중앙에 검색 개시 라인(50)을 설정한다. 거기에서 좌방향 및 방향으로 각각 연속 백색 화소수를 카운트하고 이것이 최대인 때의 좌우단 x 좌표(51,52)(XLM, XRM)가 기억된다. 구해진 좌우단을 기초로 아래식에 의해 안구 존 영역의 가로폭이 설정된다.

X 축 센터 좌표 = XC = XLM + ((XRM-XLM)/2)

좌안 윈도우의 좌측 X 좌표 53L = X1 = XLM

좌안 윈도우의 우측 X 좌표 53R = X2 = XC - 25

우안 윈도우의 좌측 X 좌표 54L = XX1 = XC + 25

우안 윈도우의 우측 X 좌표 54R = XX2 = XRM

다음에 안구 존재 영역의 세로폭을 다음과 같이 설정한다.

먼저 좌안에 대해서 도 20b와 같이 비공의 검은 부분의 검출을 피하기 위해 좌안 윈도우의 우측 X 좌표 X2 에서 10 도트 좌측(X2-10)을 시점으로 하고 (X2-90) 까지를 검색 범위로 한다. 좌우단을 결정한 주사 라인의 아래편에 검색 개시 라인 55(YL)을 설정하고 YL에서 세로 방향 위쪽으로 0까지 가로 방향 4도트 마다의 간격으로 주사가 행해진다. 여기에서는 주사 개시점에서 1, 2 번째에 존재하는 흑색 영역의 최하위점(Y 좌표 최대점 : BY1MAX, BY2MAX) 및 안경의 유무를 판정하여 안구 존재 영역의 세로 방향의 폭을 규정하는 Y 좌표는 아래식으로 나타내어진다.

＜안경없음＞ 눈 윈도우의 위쪽 Y 좌표 = YT = BY1MAX - 40

눈 윈도우의 아래쪽 Y 좌표 = YB =BY1MAX + 10

＜안경있음＞ 눈 윈도우의 위쪽 Y 좌표 = YT = BY2MAX - 40

눈 윈도우의 아래쪽 Y 좌표 = YB = BY2MAX + 10

우안에 대해서도 X=(XX1 + 10)∼(XX1 + 90), Y=YL∼0 까지를 가로 방향 4 도트마다의 간격으로 주사 개시점에서 1 번째, 2 번째에 존재하는 흑색 영역의 최하점 및 안경 유무의 판정이 행해지고 좌쪽안과 같은 눈의 상하 좌표가 설정된다. 도 22 는 설정된 눈 윈도우(56)를 도시하는 도면이다.

그러나 화상에 있어서 2치화되는 영역은 날씨 및 얼굴의 방향 등에 따라 변하고 불안정하다. 그러나 안구 존재 영역 설정 수단(47)에서는 얼굴의 윤곽 위치 혹은 눈(眼)·눈썹 등의 세로폭 설정을 위한 흑색 영역을 정확하게 검출하지 아니하면 아니되고 2치화의 상태에 따라서는 이 검출이 곤란하고 경우에 따라서는 잘못된 안구 존재 영역을 설정해버릴 우려가 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서 얼굴 특징 요소내에서 독특한 형상을 갖춘 비공을 고속 또한 정확하게 검색하고 그 위치, 폭을 이용해서 비공 영역의 기준위치를 높은 정밀도로 설정함으로써 눈검출 영역을 정밀도 좋게 설정할 수가 있는 얼굴 화상 처리 장치를 제공하는 것을 목적으로 하는 것이다.

과제를 해결하기 위한 수단

본 발명에 의한 얼굴 화상 처리 장치는 얼굴 화상을 입력하는 얼굴 화상 입력 수단과 입력한 얼굴 화상을 2치화하는 2치화 수단과 2치 화상내의 얼굴 특징 요소를 추출하기 위한 특징 요소 추출 수단과 추출한 특징 요소로부터 비공을 추출하는 비공 추출 수단과 추출한 비공을 기준 위치로 하여 눈검출 영역을 설정하여 눈을 추출하는 눈 추출 수단을 구비하고 비공 추출 수단은 비공 후보를 추출하기 위한 비공폭의 임계치를 설정하는 폭 임계치 설정 수단과 폭임계치를 사용해서 비공 후보를 추출하는 비공 후보 추출 수단과 비공 후보로부터 비공 영역을 특정하는 비공 영역 특정 수단과 설정된 비공 영역의 기준 위치를 설정하는 기준 위치 설정 수단을 구비하는 것이다.

본 발명의 한 형태에서는 특징 요소 추출 수단은 소정 영역내의 얼굴 가로 방향의 흑색 화소수를 각 x 좌표에 대해서 카운트하고 세로축이 흑색 화소수로 가로축이 x 좌표의 y 히스토그램을 작성하는 y 히스토그램 작성 수단과 y 히스토그램내의 흑색 화소수의 극대점이 제 1의 소정값 이상의 피크를 찾아 각 피크에 대해 흑색 화소수가 제 2의 소정값 이상에서 극대점으로부터의 거리가 제 3의 소정값 이하의 개시 위치, 종료 위치를 설정하는 특징 영역 설정 수단과 특징 영역 설정 수단에 의해 설정된 각 개시 위치에서 종료 위치까지의 특징 영역에 대해 얼굴 세로 방향의 흑색 화소수를 각 y 좌표에 대해서 카운트하고 세로축이 y 좌표에서 가로축이 흑색 화소수의 x 히스토그램을 작성하고 다시 같은 특징 영역내에서 세로축이 y 좌표에서 가로축이 종료 위치에서 개시 위치로 향해서 검색한 때에 최후로 나타나는 흑색 화소의 위치까지의 거리를 나타내는 소정의 거리의 x 형상 히스토그램을 작성하는 x 히스토그램 작성 수단을 구비하는 것이다.

본 발명의 다른 형태에서는 설정 수단은 각 특징 영역내의 x 히스토그램의 최대값을 폭임계치로 하는 것이다.

본 발명의 다른 형태에서는 비공 후보 추출 수단은 x 히스토그램 작성 수단에 의해 작성된 x 히스토그램과 x 형상 히스토그램에 의해 특징 영역을 2치화하는 특징 영역 2치화 수단과 폭임계치 설정 수단에 의해 설정된 폭임계치를 사용해서 특징 영역의 2치 데이터를 검색하고 비공 후보의 개시점·종료점을 설정하는 비공 후보 검색 수단을 구비하는 것이다.

본 발명의 또 다른 형태에서는 비공 영역 특정 수단은 비공 후보 추출 수단에 의해 추출된 비공후보로부터 y 방향의 폭·위치에 의해 후보를 선정하는 제 1 선정 수단과 제 1 선정 수단에 의해 선정된 가운데에서 x 방향의 위치·면적에 의해 후보를 선정하는 제 2 선정 수단을 구비하는 것이다.

본 발명의 또 다른 형태에서는 기준 위치 설정 수단은 비공간의 중심을 산출하고 그것을 기준점으로 하는 것이다.

도 1은 본 발명의 한 실시형태의 구성을 도시하는 도면.

도 2는 실시형태 1의 처리의 흐름을 도시하는 흐름도.

도 3은 촬상 장치에 의해 촬상된 얼굴 화상을 도시한 도면.

도 4는 촬영된 얼굴 화상을 2치화한 도면.

도 5는 2치화 수단으로 사용하는 MAX/MIN 필터의 설명도.

도 6a 및 도 6b는 실시형태 1에 있어서 2치화 수단의 설명도.

도 7은 실시형태 1에 있어서 특징 요소 추출 수단의 처리의 흐름을 도시하는 흐름도.

도 8은 특징 요소 추출 수단에 있어서 y 히스토그램 작성 수단의 설명도.

도 9는 특징 요소 추출 수단에 있어서 x 히스토그램 작성 수단의 설명도.

도 10은 실시형태 1에 있어서 폭임계치 설정 수단의 처리의 흐름을 도시하는 흐름도.

도 11은 실시형태 1에 있어서 비공 후보 설정 수단의 처리의 흐름을 도시하는 흐름도.

도 12a 내지 도 12c는 실시형태 1에 있어서 특징 영역 2치화 수단의 설명도.

도 13은 실시형태 1에 있어서 비공 후보 검색 수단의 설명도.

도 14는 실시형태 1에 있어서 비공 영역 특정 수단의 처리의 흐름을 도시하는 흐름도.

도 15는 비공 영역 특정 수단에 있어서 제 1 선정 수단의 설명도.

도 16은 비공 영역 특정 수단에 있어서 제 2 선정 수단의 설명도.

도 17은 실시형태 1에 있어서 기준 위치 설정 수단의 설명도.

도 18은 종래예의 장치 전체의 구성을 도시하는 블록도.

도 19는 안구 존재 영역의 가로폭 설정의 설명도.

도 20a 및 도 20b는 안구 존재 영역의 세로폭 설정의 설명도.

도 21은 설정된 눈 윈도우를 나타내는 도면.

* 도면의 주요부분에 대한 부호의 설명

1 : 촬상 장치 2 : 화상 메모리

3 : 프로세서 4 : 얼굴 화상 입력 수단

5 : 2치화 수단 6 : 특징 요소 추출 수단

7 : 비공 추출 수단 8 : 눈 검출 영역 설정 수단

9 : 폭임계치 설정 수단 10 : 비공 후보 추출 수단

11 : 비공 영역 특정 수단 12 : 기준 위치 설정 수단

23 : y 히스토그램 작성 수단 25 : 특징 영역 설정 수단

26 : x 히스토그램 작성 수단 29 : 특징 영역 2치화 수단

30 : 비공 후보 검색 수단 33 : 제 1 선정 수단

34 : 제 2 선정 수단

아래에 본 발명의 실시형태를 첨부도면에 따라서 설명한다.

실시형태 1

도 1(a)는 본 발명의 한 실시형태에 의한 얼굴 화상 처리 장치의 구성을 도시하는 개략 블록도이다. 도 1의 (a)에 도시하는 바와 같이 본 실시형태 1에 의한 얼굴 화상 처리 장치는 얼굴 화상을 촬영하는 CCD 카메라 등으로 형성되는 촬상 장치(1)와 촬상 장치(1)로부터 출력된 얼굴 화상의 화상 데이터를 기억하는 화상 메모리(2)와 화상 메모리(2)의 데이터를 기초로 화상 처리를 행하는 마이크로프로세서 등의 프로세서(3)로 구성된다.

도 1(b)는 본 실시형태 1에 의한 얼굴 화상 처리 장치의 기능 블록도이다. 이 도 1(b) 에 도시하는 바와 같이 얼굴 화상 처리 장치는 기능적으로는 얼굴 화상을 입력하는 얼굴 화상 입력 수단(4)과 입력한 얼굴 화상을 2치화하는 2치화 수단(5)과 그것의 2치화 수단(5)에 의해 생성된 2치 화상내의 얼굴 특징 요소를 추출하기 위한 특징 요소 추출 수단(6)과 그 특징 요소 추출 수단(6)에 의해 추출된특징 요소에서 비공을 추출하는 비공 추출 수단(7)과 추출한 비공을 기준 위치로 해서 눈검출 영역을 설정하고 눈을 추출하는 눈검출 영역 설정 수단(8)을 구비한다. 특징 요소 추출 수단(6)은 후술하는 바와 같이 y 히스토그램 작성 수단(23)과 특징 영역 설정 수단(25)과 x 히스토그램 작성 수단(26)을 구비한다.

특징 요소 추출 수단(6)은 소정 영역내의 얼굴 가로 방향의 흑색 화소수를 각 x 좌표에 대해서 카운트하여 세로축이 흑색 화소수로 가로축이 x 좌표의 y 히스토그램을 작성하는 y 히스토그램 작성 수단(23)과 y 히스토그램내의 흑색 화소수의 극대점이 제 1의 소정값 이상의 피크를 찾고 각 피크에 대해 흑색 화소수가 제 2의 소정값 이상에서 극대점으로부터의 거리가 제 3의 소정값 이하의 개시 위치·종료 위치를 설정하는 특징 영역 설정 수단(25)과 특징 영역 설정 수단에 의해 설정된 각 개시 위치에서 종료 위치까지의 특징 영역에 대해 얼굴 세로 방향의 흑색 화소수를 각 y 좌표에 대해서 카운트하고 세로축이 y좌표에서 가로축이 흑색 화소수의 x 히스토그램을 작성하고 다시 같은 특징 영역내에서 세로축이 y 좌표에서 가로축이 종료 위치에서 개시 위치로 향해서 검색한 때에 최후에 나타나는 흑색 화소의 위치까지의 거리를 나타내는 소정 거리의 x 형상 히스토그램을 작성하는 x 히스토그램 작성수단(26)을 구비한다.

비공 추출 수단(7)은 비공 후보를 추출하기 위한 비공폭의 임계치를 설정하는 폭임계치 설정 수단(9)과 그 폭 임계치를 사용해서 비공 후보를 추출하는 비공 후보 추출 수단(10)과 비공 후보로부터 비공 영역을 특정하는 비공 영역 특정 수단(11)과 이와 같이 해서 특정된 비공 영역의 기준 위치를 설정하는 기준 위치설정 수단(12)을 구비한다.

비공 후보 추출 수단(10)은 x 히스토그램 작성 수단(26)에 의해 작성된 x 히스토그램과 x 형상 히스토그램에 의해 특징 영역을 특징 영역 2치화 수단(29)과 폭임계치 설정 수단(9)에 의해 설정된 폭임계치를 사용해서 특징 영역의 2치 데이터를 검색하고 비공 후보의 개시점·종료점을 설정하는 비공 후보 검색 수단(30)을 구비한다.

비공 영역 특정 수단(11)은 비공 후보 추출 수단(10)에 의해 추출된 비공 후보로부터 y 방향의 폭·위치에 의해 후보를 선정하는 제 1 선정 수단과 제 1 선정수단에 의해 선정된 가운데에서 x 방향의 위치·면적에 의해 후보를 선정하는 제 2 선정 수단(34)을 구비한다.

먼저 y 히스토그램 작성 수단(23)에 의해 소정 영역내의 얼굴 가로 방향의 흑색 화소수를 각 x 좌표에 대해서 카운트하고 도 8의 (a)에 도시하는 바와 같이 세로축이 흑색 화소수를 가로축이 x 좌표의 y 히스토그램을 작성한다. 다음에 도 8의 (b)에 도시하는 바와 같이 y 히스토그램내의 흑색 화소수의 극대점이 제 1의 소정값(24a) 이상의 피크를 찾아 각 피크에 대해 흑색 화소가 제 2의 소정값(24e) 이상에서 극대점으로부터의 거리가 제 3의 소정값(24b) 이하의 개시 위치(24ci), 종료 위치(24di)를 특징 영역 설정 수단(25)에 의해 설정한다. 이후 x 히스토그램 작성 수단(26)에 의해 설정한 각 개시 위치(24ci)에서 종료 위치(24di)까지의 특징영역(27ai)에 대해 얼굴 세로 방향의 흑색 화소수를 각 y 좌표에 대해서 카운트하고 도 9의 (a)에 도시하는 바와 같이 세로축이 y 좌표에서 가로축이 흑색 화소수의 x히스토그램을 작성하고 다시 같은 특징 영역내에서 도 9의 (b)에 도시하는 바와 같이 세로축이 y좌표에서 가로축이 종료 위치(24di)에서 개시 위치로 향해서 검색한 때에 최후로 나타나는 흑색 화소의 위치까지의 거리를 나타내는 소정 거리(m)의 x 형상 히스토그램을 작성한다.

도 2 는 도 1의 (a)에 있어서 프로세서(3)내의 처리의 개요를 도시하는 흐름도이다. 먼저 얼굴 화상 입력 수단(4)에서 화상 메모리(2)로부터 얼굴 화상의 화상 데이타를 프로세서(3)에 입력하여(스텝 ST1), 입력된 얼굴 화상을 2치화 수단(5)에 의해 2치화해서 화상 메모리(2)에 기억한다(스텝 ST2). 그래서 특징 요소 추출 수단(6)에 의해 이와 같이 2치화된 2치 화상내의 얼굴 특징 요소를 추출하고(스텝 ST3), 폭임계치 설정 수단(9)에 의해 이 얼굴 특징 요소로부터 비공 후보를 추출하기 위한 비공폭의 임계치를 설정한다(스텝 ST4). 이어서 비공 후보 추출 수단(10)에 의해 이와 같이 설정한 폭임계치를 사용해서 비공 후보를 추출하고(스텝 ST5), 비공 영역 특정 수단(11)에 의해 추출한 비공 후보에서 비공 영역을 특정한다(스텝 ST6). 그래서 기준 위치 설정 수단(12)에 의해 코 영역의 기준 위치를 설정하고(스텝 ST7), 안검출 영역 설정 수단(8)에 의해 눈검출 영역을 설정한다(스텝 ST8). 이하 각 처리 스텝에 대해서 상세히 설명한다.

도 3 은 촬상 장치(1)에 의해 촬영된 얼굴 화상(12A)을 도시한 도면이다. 도 4 는 얼굴 화상(12A)을 2치화한 2치 화상(13)이다. 또한 도 5의 (A), (B), (a), (b), (c), (d) 는 2치화 수단(5)에 사용하는 MAX/MIN 필터에 관한 설명도이고 도 6a 및 도 6b는 2치화 수단(5)의 설명도이다.

먼저 2치화 수단(5)에 대해서 설명하기 전에 MAX/MIN 필터에 대해서 설명한다. 도 5의 (A)는 어떤 입력화의 일부분(원화상 신호)(14)이고 도 5의 (B)는 원화상 신호(14)를 MAX 필터로 처리한 후의 화상 신호(15), 도 5의 (a)는 MAX 필터 처리후의 화상 신호(15)를 MIN 필터 처리한 후의 화상 신호(16)를 각각 도시하고 있다. 또 도 5의 (b)의 부호 17∼19는 화상 신호(14∼16)의 휘도값을 모식화한 화소에 대응시킨 것을 표시한다. 여기에서는 휘도값을 감싸는 1 테두리는 1 화소를 나타내고 간단히 하기 위해 휘도값을 0~20까지의 값으로 하였다.

최초로 입력화상(14)에 MAX 필터를 걸지만, MAX 필터는 소정의 길이(화소수(a), 이하 필터 사이즈라 함)를 갖추고 필터 중앙의 화소의 휘도값을 필터내의 최대 휘도값으로 변환하는 것이다. 예를들면 화소수(a)를 5로 하고 도 5의 (b)의 17의 사선 부분에 MAX 필터를 걸면 여기에서는 최대 휘도는 9이므로 MAX 필터의 중앙의 화소(17a)의 휘도값은 7에서 9로 변환된다. 1 화소씩 쉬프트해서 꼭 같이 MAX 필터를 걸면 도 5의 (b)의 17은 18과 같이 변환된다. 다음에 MAX 필터 처리후의 화상에 MIN 필터를 건다.

MIN 필터나 MAX 필터도 같은 필터 사이즈를 가지고 필터 중앙의 화소의 휘도값을 필터내의 최소 휘도값으로 변환하는 것이다. 상기한 MAX 필터 처리 후의 도 5의 (b)의 18의 사선 부분에 MIN 필터를 걸면 여기에서는 최소 휘도값은 9이므로 필터의 중앙의 화소(18b)의 휘도값은 10에서 9로 변환된다. 1 화소씩 우로 쉬프트해서 꼭같이 MIN 필터를 걸면 도 5의 (b)의 18은 19와 같이 변환된다. 그래서 MIN/MAX 필터 처리후의 화상에서 입력 화상을 빼면 필터 사이즈 이하의 폭의 저휘도의 영역이 추출된다. 도시하는 예에서는 도 5의 (b)의 18에서 17을 뺀 도 5의 (d)의 19A가 얻어지고 화상 신호로 고치면 도 5의 (c)와 같이 된다. 단 MAX 필터 MIN 필터는 함께 최초로 긴 필터의 중앙에서 변환이 시작되고 최후에 건 필터의 중앙에서 변환이 끝나기 때문에 MAX 필터 처리후의 데이터는 도 5의 (b)의 18c∼18d, MIN 필터처리후의 데이터는 도 5의 (b)의 19e∼19f로 되고 MAX/MIN 필터 처리후의 화상은 결국 처리 개시 위치, 처리 종료 위치로부터 각각 a-1 화소씩 작아진다.

본 실시형태에서는 얼굴 세로 방향을 따라서 1 행씩 처리를 한다(처리방향 : 도 4 의 20). 도 6a의 21은 입력 화상에 눈썹 및 눈의 폭에 대응한 길이의 MAX/MIN 필터를 건 후의 화상 신호이다. 여기에서는 눈썹 및 눈보다 폭이 좁은 코, 입 등도 추출된다. 눈썹 및 눈 등의 얼굴 화상의 특징점은 주위와의 휘도차가 크기 때문에 차몫 후의 휘도값이 커지나(21a) 그림자나 의복 등은 주위와의 휘도차가 작다(21b). 거기에서 도 6a의 22와 같이 임계치를 설정하고 이것을 기초로 2치화를 행한다. 도 6b는 2치화 후의 신호이다. 이상의 처리에 의해 얻어진 화상을 도시한 것이 도 4이다. 이상의 처리에 의해 얻어진 화상을 도시한 것이 도 4이다. 또한 이하 도면에 있어서 칠한 영역은 2치화 영역으로 한다.

특징 요소 추출 수단(6)에 대해서 설명한다. 도 7은 특징 요소 추출 수단(6)의 처리의 개요를 도시하는 흐름도이고 도 8의 (a), 도 8의 (b), 도 9의 (a), 도 9의 (b)는 특징 요소 추출 수단(6)의 설명도이다.

다음에 도 7을 참조해서 특징 요소 추출 수단(6)의 처리에 대해서 설명한다. 먼저 y 히스토그램 작성 수단(23)에 의해 소정 영역내의 얼굴 가로 방향의 흑색 화소수를 각 x 좌표에 대해서 카운트하고 도 8의 (a)에 도시하는 바와 같이 세로축이 흑색 화소수로 가로축이 x 좌표의 y 히스토그램을 작성한다(스텝 ST23). 이어서 도 8의 (b)에 도시하는 바와 같이 y 히스토그램내의 흑색 화소수의 극대점이 제 1의 소정값(24a) 이상의 피크를 찾아 각 피크에 대해 흑색 화소수가 제 2의 소정값(24e) 이상에서 극대점으로부터의 거리가 제 3의 소정값(24b) 이하의 개시 위치(24ci)·종료 위치(24di)를 특징 영역 설정 수단(25)에 의해 설정한다(스텝 ST25). 거기에서 x 히스토그램 작성수단(26)에 의해 설정한 각 개시 위치(24ci)로부터 종료 위치(24di)까지의 특징 영역(27ai)에 대해 얼굴 세로 방향의 흑색 화소수를 각 y 좌표에 대해서 카운트하고 도 9의 (a)에 도시하는 바와 같이 세로축이 y 좌표에서 가로축이 흑색 화소수의 x 히스토그램을 작성하고 다시 같은 특징 영역내에서 도 9의 (b)에 도시하는 바와 같이 세로축이 y 좌표로 가로축이 종료 위치(24di)에서 개시 위치로 향해서 검색한 때에 최후에 나타나는 흑색 화소의 위치까지의 거리를 나타내는 소정 거리(m)의 x 형상 히스토그램을 작성한다(스텝 ST26).

다음에 폭 임계치 설정 수단(9) 및 비공 후보 추출 수단(10)에 대해서 설명을 하면 폭임계치 설정 수단(9)은 도 10에 도시하는 바와 같이 폭임계치 설정 수단(9)은 도 10에 도시하는 바와 같이 각 특징 영역에 있어서 각각 x 히스토그램의 최대값을 검색하여 폭임계치(S_WD) 28로 한다.

이어서 비공 후보 추출 수단(10)에 대해서 설명을 하면 비공 후보 추출 수단(10)은 도 1의 (b)에 도시하는 바와 같이 특징 영역 2치화 수단(29)과 비공 후보 검색 수단(30)으로 형성된다. 도 11은 비공 후보 추출 수단(10)의 처리를 도시하는 흐름도이다. 이 도 11에 도시하는 바와 같이 특징 영역 2치화 수단(29)은 각 특징 영역을 2치화하고(스텝 S29), 이어서 비공 후보 검색 수단(30)에 의해 비공 후보를 검색한다(스텝 ST30). 구체적으로는 특징 영역 2치화 수단(29)은 도 12a 내지 도 12c에 도시하는 바와 같이 x 히스토그램 작성 수단(26)에 의해 작성한 x 히스토그램 및 x 형상 히스토그램을 사용해서 아래식에 의해 현재의 주사 라인과 앞 주사라인의 x 방향의 흑색 영역의 겹침(31)을 산출한다. 단 y 좌표 a에서의 x 히스토그램값을 Ha, 형상 히스토그램값을 Hka로 한다.

HKa > HKa - 1 인 때

겹침 31 = (Hka - 1 - Xa) (도 12a 참조)

HKa < HKa - 1 인 때

겹침 31 = (HkA - Xa - 1) (도 12b 참조)

* 단, Xa = HkA - Ha, Xa - 1 = Hka - 1 - Ha - 1

위 식으로부터 산출한 겹침(31)이 정이면 1(도 12a, 12b 참조) 그 밖의 (도 12c 참조) 경우는 0으로 해서 y 방향으로 노이즈 보정을 하면서 영역을 2치화한다.

비공 후보 검색 수단(30)에서는 폭임계치 설정 수단에 의해 설정한 폭 임계치(S_WD) 28을 사용하여, 특징 영역 2치화 수단(29)에 의해 2치화된 데이터가 1인 y 방향의 연속수(35)가 아래식

연속수 (35) > (S_WD/2)

연속수 (35) < (S_WD*2)

를 만족시키는 영역의 개시점(32si)·종료점(32ei)을 설정한다. 도 13은 설정된 개시점(32si)·종료점(32ei)의 일부를 도시하는 도면이다.

비공 영역 특정 수단(11)에 대해서 설명한다. 비공 영역 특정 수단(11)은 비공 후보가 특정 영역 내에 2∼4개 존재하는 경우에 그 중에서 코 영역을 설정한다. 비공 영역 특정 수단(11)은 도 1의 (b)에 도시하는 바와 같이 제 1 선정 수단(33) 및 제 2 선정 수단(34)으로 형성된다. 도 14는 제 1 선정 수단(33) 및 제 2 선정 수단(34)의 처리의 개요를 도시하는 흐름도이다. 제 1 선정 수단(33)에서는 도 15에 도시하는 바와 같이 비공을 y 방향으로 2 개씩을 쌍(비공후보(36), 비공 후보(37))으로서 비공간의 폭(38)이 아래식을 만족시키고

비공간의 폭 38 < (S-WD * 2)

비공간의 폭 38 < (S_WD/2)

또한 비공후보(36)의 y 방향 상단과 비공후보(37)의 y 방향 하단의 중점 39C1, 비공후보(36)의 y 방향 하단과 비공후보(37)의 y 방향 상단의 중점(39C2)의 차의 절대값 40=이 최소값을 취한다면 비공 영역 후보(41)로 간주하여 제 2 선정 수단(34)으로 이동한다. 제 2 선정 수단(34)에서는 도 16에 도시하는 바와 같이 코영역 후보(41)에 선정된 비공후보(36, 37)의 각각의 개시점(32si), 종료점(32ei)에 대한 x 형상 히스토그램 값(42S·42E, 43S·43E), 비공후보(36, 37)의 각각의 x 형상 히스토그램의 최대값(44M1·44M2)이 아래 식을 만족시키고

42S < 44M1

42E < 44M1

43S < 44M2

43E < 44M2

또한 비공후보(36, 37)의 면적(45ad1·45ad2)의 차의 절대값(46=)이 최소값을 취하는 것을 비공 영역으로 하고 기준 위치 설정 수단(12)에 의해 기준 위치를 설정한 후 제 1 선정 수단(33)으로 되돌아간다. 이 이후 전체 특징 영역을 종료할 때까지 처리를 계속하고 기준 위치를 갱신한다. 기준 위치 설정 수단(12)은 도 17에 도시하는 바와 같이 비공영역이 존재하는 특징 영역의 개시점(24ci)과 종료점(24di)의 중점을 Xc, 중점(37C1)을 YC라하고 점(Xc, Yc)을 기준점(46)으로 한다.

눈검출 영역 설정 수단(8)에서는 기준점(46)을 기초로 하여 도 18 내지 도 21을 참조하여 설명한 종래예와 같이 눈검출 영역을 설정한다.

이상과 같이 본 발명의 얼굴 화상 처리 장치에 의하면 얼굴 특징 요소내에서 독특한 형상을 갖춘 비공을 고속 또한 정확하게 검색할 수가 있고 다시 그 위치, 폭을 이용해서 비공 영역의 기준 위치를 고정밀도로 설정할 수가 있고 이 비공영역을 기초로 해서 눈검출 영역을 정밀도 좋게 설정할 수가 있다.

또한 촬상 장치에서는 촬상한 얼굴 화상의 2치화를 행하여 얼굴 특징 요소를 추출하여서 처리하기 때문에 화상 처리를 간단하고 또한 고속으로 행할 수가 있다.

더욱 또 이와 같이 얼굴 특징 요소를 추출한 후 다시 2치화 처리를 함으로써비공 영역의 겹침이나 노이즈 제거를 할 수가 있고 비공을 한층 정밀도 있게 추출할 수가 있다.

Claims (3)

1. 얼굴 화상을 입력하는 얼굴 화상 입력 수단과,

   입력한 얼굴 화상을 2치화하는 2치화 수단과,

   2치 화상내의 얼굴 특징 요소를 추출하기 위한 특징 요소 추출 수단과,

   추출한 특징 요소에서 비공을 추출하는 비공 추출 수단과,

   추출한 비공을 기준 위치로 하여 눈검출 영역을 설정하고 눈을 추출하는 눈추출 수단을 구비하는 얼굴 화상 처리 장치로서,

   상기 비공 추출 수단은,

   비공 후보를 추출하기 위한 비공폭의 임계치를 설정하는 폭임계치 설정 수단과,

   폭 임계치를 사용해서 비공후보를 추출하는 비공후보 추출 수단과,

   상기 비공 후보에서 비공 영역을 특정하는 비공 영역 특정 수단과,

   설정된 상기 비공 영역의 기준 위치를 설정하는 기준 위치 설정 수단을 구비하고,

   상기 특징 요소 추출 수단은,

   소정의 영역내의 얼굴 가로 방향의 흑색 화소수를 각 x 좌표에 대해서 카운트 하여, 세로축이 흑색 화소수이고 가로축이 x 좌표인 y히스토그램을 작성하는 y 히스토그램 작성 수단과,

   상기 y 히스토그램내의 흑색 화소수의 극대점이 제 1의 소정값 이상의 피크를 찾아 각 피크에 대해 흑색 화소수가 제 2의 소정값 이상에서 극대점으로부터의 거리가 제 3의 소정값 이하의 개시 위치·종료 위치를 설정하는 특징 영역 설정 수단, 및

   상기 특징 영역 설정 수단에 의해 설정된 각 개시 위치에서 종료 위치까지의 특징 영역에 대해 얼굴 세로 방향의 흑색 화소수를 각 Y 좌표에 대해서 카운트하고 세로축이 Y 좌표에서 가로축과 흑색 화소수의 X 히스토그램을 작성하고 또한 같은 특징 영역 내에 세로축이 Y 좌표에서 가로축이 종료 위치에서 개시 위치로 향해서 검색한 때에 최후에 나타나는 흑색 화소의 위치까지의 거리를 나타내는 소정거리인 x 형상 히스토그램을 작성하는 x 히스토그램 작성 수단을 구비하는 것을 특징으로 하는 얼굴 화상 처리 장치.
2. 제 1항에 있어서, 상기 비공 영역 특정 수단은,

   상기 비공 후보 추출 수단에 의해 추출된 비공 후보에서 y 방향의 폭·위치에 의해 후보를 선정하는 제 1 선정 수단, 및

   상기 제 1 선정 수단에 의해 선정된 비공 후보중에서 x 방향의 위치·면적에 의해 후보를 선정하는 제 2 선정 수단을 구비하는 것을 특징으로 하는 얼굴 화상 처리 장치.
3. 제 1 항에 있어서, 상기 비공 후보 추출 수단은,

   상기 x 히스토그램 작성 수단에 의해 작성된 상기 x 히스토그램과 상기 x 형상 히스토그램에 의해 상기 특징 영역을 2치화하는 2치화 수단과,

   상기 폭 임계치 설정 수단에 의해 설정된 폭 임계치를 사용하여 상기 특징 영역의 2치 데이터를 검색하여, 비공 후보의 개시점·종료점을 설정하는 비공 후보 검색 수단을 구비하는 것을 특징으로 하는 얼굴 화상 처리 장치.