KR19990026863A - 퍼지 뉴러 얼굴 인식 방법 - Google Patents

Abstract

본 발명은 얼굴 인식 시스템에서 퍼지 회로와 신경 회로망을 결합하여 인식 대상자의 정면 얼굴을 인식하는 얼굴 인식 방법에 관한 것으로, 종래에는 특징값을 그대로 신경 회로망으로 전달함으로써 애매 모호한 데이터를 정확히 분류하지 못하였다.

본 발명에 따른 방법은 카메라로부터 인식 대상자의 영상을 취득하는 단계; 상기 취득된 인식 대상자 각각의 영상으로부터 분리된 얼굴 부분에서 특징 벡터를 추출하는 단계; 상기 추출된 특징 벡터 값의 반을 신경 회로망의 데이터 베이스에 저장하고 나머지 반을 인식에 사용할 데이터로서 퍼지회로에 제공하는 단계; 상기 퍼지 회로에 의해 상기 특징 값을 멤버쉽 함수를 이용하여 퍼지화하는 단계; 상기 퍼지화된 특징값을 상기 신경 회로망을 이용하여 학습하여 인식하는 단계를 포함하는 것을 특징으로한다. 따라서, 특징값을 퍼지화한 다음 신경회로망으로 전달함으로써 애매 모호한 데이터에 대하여 보다 정교한 인식이 가능하게 된다.

Description

퍼지 뉴러 얼굴 인식 방법

본 발명은 정지 화상의 얼굴 인식에 관한 것으로, 보다 상세하게는 퍼지 뉴러(Fuzzy-Neuro) 알고리즘을 이용한 정지화상의 정면 얼굴 인식 방법에 관한 것이다.

통상적으로, 정지 화상의 정면 얼굴 인식 방법은 유클리디안 거리(Euclidean distance), 삼각형 멤버쉽 함수(triangle membership function)를 갖는 퍼지 및 신경 회로망(Neural Network)를 이용하는 방법이 있다.

유클리디안 거리에 의한 정면 얼굴 인식 방법은 하기 수학식 1에서와 같이 입력되는 각 인식 대상자로부터 추출된 특징값과 데이터 베이스의 특징값과의 관계로서 인식하는 방식이다.

상술한 수학식 1에서,는 특징값의 개수이고,는 데이터 베이스의 특징값을 나타내고,는 입력된 사람의 특징값을 나타낸다.

그러나, 유클리디안 거리를 이용한 얼굴 인식은 단순히 가장 작은 값을 갖는 거리의 차로서 인식하기 때문에, 한 사람에서 추출된 특징값의 편차가 클경우에는 잘못 인식되는 문제가 있다.

삼각형 멤버쉽 함수를 갖는 퍼지를 이용하는 얼굴 인식 방법은 인식 대상자로부터 추출된 특징값에 대하여 삼각형 멤버쉽 함수를 사용하여 퍼지화하는 방식이다. 보다 상세히 말해서, 30명의 인식 대상자가 있다면, 이들 인식 대상자마다 20장의 영상을 취득하고, 이들 각 영상에서 5개의 특징값을 추출한다. 이때, 인식 대상자당 10장에서 추출된 특징값들은 특징값별로 모든 인식 대상자에 대하여 평균적인 퍼지값을 구한 후 데이터 베이스화한다. 그리고, 나머지 10장의 영상에 대하여는 상술한 바와 동일한 방식으로 퍼지화한 다음 인식할 데이터로서 사용한다.

인식단계에서는, 도 1에 도시된 바와 같이, 각 특징에 대한 언어 변수와 새로이 취득한 인식 대상자의 멤버쉽 함수와의 최소-최대(min-max)값을 구하여 가장 큰 값을 갖는 결과를 인식 대상자로한다. 이를 수학식으로 표현하면 다음과 같다.

상술한 수학식 2에서,는 저장된 평균 퍼지값이고,는 인식 대상자의 퍼지값이며,은 특징 벡터의 개수를 나타낸다.

그러나, 상술한 퍼지를 이용한 방식에 있어서, 각 사람당 특징값의 편차가 아주 큰 경우에는 오인식될 가능성이 커지게되는 문제가 있다.

신경 회로망은 학습 능력과 분류 능력이 우수한다는 특징을 가지고 있다. 이 방식은 취득된 인식 대상자들의 각 얼굴 데이터에서 특징값을 추출하고, 추출된 특징값을 데이터 베이스와 인식할 데이터로 각기 저장하여 인식 알고리즘을 적용함으로써 인식하는 것이다. 그러나, 신경 회로망 방식도 추출된 특징값을 그대로 사용하기때문에 서로 비슷한 특징을 가지는 경우의 대상자에 대하여는 오인식 하기 쉬운 단점을 가지고 있다. 또한, 각 인식 대상자마다 추출된 특징 값의 편차가 큰 경우에는 학습 시간이 장기간 소요되고 분류 능력이 저하된다는 문제가 있다.

그러므로, 본 발명은 상술한 문제점을 해결하기위하여 안출된 것으로, 인식 대상자로부터 추출된 특징 값을 퍼지화한 후 신경 회로망을 이용하여 학습, 분류 및 인식하는 퍼지 뉴로 알고리즘을 이용한 정지화상의 정면 얼굴 인식 방법을 제공하는 것을 그 목적으로한다.

상술한 목적을 달성하기위한 본 발명에 따른 퍼지 뉴러 얼굴 인식 방법은 카메라로부터 인식 대상자의 영상을 취득하는 단계; 상기 취득된 인식 대상자 각각의 영상으로부터 분리된 얼굴 부분에서 특징 벡터를 추출하는 단계; 상기 추출된 특징 벡터 값의 반을 신경 회로망의 데이터 베이스에 저장하고 나머지 반을 인식에 사용할 데이터로서 퍼지회로에 제공하는 단계; 상기 퍼지 회로에 의해 상기 특징 값을 멤버쉽 함수를 이용하여 퍼지화하는 단계; 상기 퍼지화된 특징값을 상기 신경 회로망을 이용하여 학습하여 인식하는 단계를 포함하는 것을 특징으로한다.

도 1은 종래 기술에서 추출된 특징값에 대하여 삼각형 멤버쉽 함수를 사용하여 퍼지화하는 것을 설명하는 도면,

도 2는 본 발명에 따른 얼굴 인식 시스템의 개략적인 블록 구성도,

도 3a 및 3b는 실험에 이용한 남자 및 여자 인식 대상자를 예시적으로 도시하는 도면,

도 4a 및 4b는 도 3a 및 3b도의 실험 인식 대상자의 얼굴 영상을 메디안 필터링한 결과 얼굴 영상을 예시하는 도면,

도 5a 및 도 5b는 도 4a 및 도 4b에 대한 에지 추출 결과를 각기 예시하는 도면,

도 6a 및 6b는 도 5a 및 5b에 대하여 각기 형태학상의 팽창을 실시한 결과를 예시하는 도면,

도 7a 및 7b는 도 6a 및 6b에 대하여 얼굴 부분을 배경 및 어깨로부터 분리한 결과 영상을 각기 예시하는 도면,

도 8은 인식 대상자의 얼굴로부터 특징을 추출하기위한 지식 표현을 예시하는 도면,

도 9은 지식에 기초하여 추출된 5가지 특징을 예시하는 도면,

도 10은 멤버쉽 함수를 이용하여 특징값을 퍼지값으로 표현하는 과정을 예시하는 도면,

도 11은 도 1에 도시된 신경 회로망의 상세 구성도.

* 도면의 주요부분에 대한 부호의 설명

10 : 얼굴 영상 취득 블록 20 : 특징 벡터 추출 블록

30 : 데이터 베이스 40 : 인식부

100 : 퍼지 회로 200 : 신경 회로망

본 발명의 상술한 목적과 여러가지 장점은 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 2를 참조하면, 본 발명에 따른 퍼지 뉴로 얼굴 인식 시스템의 개략적인 블록 구성도가 도시된다. 퍼지 뉴로 얼굴 인식 시스템은 얼굴 영상 취득 블록(10), 특징 벡터 추출 블록(20), 퍼지 회로(100), 데이터 베이스(30) 및 인식부(40)으로 구성된 신경 회로망(200)을 포함한다.

얼굴 영상 취득 블록(10)은, 예로, CCD 카메라(도시안됨)를 이용하여 인식 대상자들 각각에 대하여 256 x 256 픽셀의 얼굴 영상을 20장씩 취득한다. 본 발명에서는 실험을 위한 인식 대상자가 약 30명 정도인 것으로 가정하며, 도 3a 및 3b에는 인식 대상자중에서 실험에 이용한 남자 및 여자 인식 대상자를 예시적으로 도시한다. 얼굴 영상 취득시, 카메라 렌즈의 먼지나 잡음을 제거하기위하여 로우패스 필터로 구성된 3 x 3 메디안 필터(median filter)를 사용한다. 도 4a 및 4b는 도 3a 및 3b도의 실험 인식 대상자의 얼굴 영상을 메디안 필터링한 결과 얼굴 영상을 도시한다.

또한, 얼굴 영상 취득을 위하여 메디안 필터를 사용한 다음, 대각선 방향의 에지 성분들이 정확히 검출될 수 있도록 4 방향의 소벨 연산자(sobel operator)를 사용하며, 문턱값은 하기 수학식 3과 같이 Robinson이 제안한 LAT(Locally Adaptive)를 이용하여 자동으로 결정한다.

상기 수학식 3에서,이고,는 하기 수학식 3과 같다.

상기 수학식 4에서,는 3 x 3 메디안 필터의 행렬식에서 상측 행렬부터 하측 행렬까지 좌측에서 우측으로 스캔하는 방식으로 필터 값에 대응한다.

상술한 과정을 통하여 구한 최종 에지점은 하기 수학식 4와 같이 결정되며, 도 5a 및 도 5b는 도 4a 및 도 4b에 대한 에지 추출 결과를 각기 예시한다.

그 다음 과정으로, 에지 영상을 취득한 후, 얼굴 영상으로부터 얼굴 부분만을 분리하기 위하여 하기 수학식 6을 이용하여 형태학상의 팽창을 실행한다.

상기 수학식 6에서,는 3 x 3 창을 나타내고,는 얼굴의 이진화된 영상이며,는 에지점을 나타낸다. 따라서, 수학식 5에 의해 이진화된 영상에 3 x 3 창을 움직이면서 에지점이 하나라도 포함되면 3 x 3 창의 모든 부분을 에지점으로 결정한다. 따라서, 영상의 에지가 확대되며, 도 6a 및 6b는 도 5a 및 5b에 대하여 형태학상의 팽창을 실시한 결과를 예시한다.

그 다음 과정은 얼굴 부분만을 배경과 어깨로부터 분리한다. 이러한 분리 과정은 먼저 얼굴 영상에서 좌 및 우측의 최상위 픽셀 위치를 찾는 과정부터 실행된다. 이때, 일반적으로 사람 얼굴에서 눈의 위치를 중심으로 약 1:1.5의 가로대 세로 비율을 갖기 때문에 y 축 방향으로 100 번째 픽셀을 기준으로 한 픽셀 단위로 x 축 및 -x 방향으로 이동하면서 픽셀 값의 변화가 많은 점을 찾는다. 즉, 첫번째 단계로서, 얼굴 영상의 픽셀 점(0, 100)에서 x 축 방향으로 한 화소씩 움직이면서, 픽셀 값이 변화하는 점을 얼굴의 좌측 최상위점으로 결정한다. 두번째 단계로서, 얼굴 영상의 픽셀 점(255, 100)에서 -x 축 방향으로 한 화소씩 움직이면서, 픽셀 값이 변화하는 점을 얼굴의 우측 최상위점으로 결정한다.

그 다음에는 얼굴 부분과 배경 및 어깨를 분리하는 단계로서, 얼굴 영상의 좌 및 우측의 최상위 점을 기준으로하여 3 x 3 창을 -y 축 방향으로 한 화소씩 움직이면서, 연속되는 에지를 얼굴 부분과 배경 및 어깨의 경계선으로 결정한다. 도 7a 및 7b는 도 6a 및 6b에 대하여 얼굴 부분을 배경 및 어깨로부터 분리한 결과 영상을 예시한다.

특징 벡터 추출 블록(20)은 지식에 기반한 특징 추출 알고리즘을 적용하여 취득된 각각의 영상에 대하여 n개, 예로 5개씩의 특징값을 추출한다. 지식에 기반한 특징 추출 알고리즘은 도 8에 도시된 영상을 참조하여 하기와 같이 정의될 수 있다.

지식 1 : 도 8에 도시된 영상을 수평 방향으로 투영한 결과 일반적으로 가장 큰 값을 갖는 투영값 부분이 눈 또는 눈썹의 부분이다.

지식 2 :

지식 3 :

지식 4 :

지식 5 :

지식 6 :

상술한 지식 1은 눈의 y 축 값을 가장 큰 수평 투영값에 의해 결정할 수 있음을 의미하고, 이 값은 지식 2, 지식 3 및 지식 4에 의해 검증된다. 지식 2는 눈에서 코까지의 거리가 코에서 입까지의 거리보다 크다는 것을 의미한다. 지식 3은 얼굴이 코를 중심으로 좌우 대칭임을 의미한다. 지식 4는 좌측 눈, 코 그리고 우측 눈의 순서를 나타낸다. 지식 5는 눈썹, 코, 입 그리고 턱의 순서를 나타낸다. 지식 6은 얼굴의 가로 대 세로의 비율이 대략 1 : 1.5 임을 의미한다.

상술한 지식에 기초한 특징값은, 도 9에 도시된 바와같이, 얼굴 영상에서 좌 및 우측 눈과 코사이의 대각 거리(a 및 b), 코와 입사이의 거리(c), 눈과 코사이의 직선 거리(d), 그리고 입 가장자리로부터 x 축 방향으로의 직선 거리(e)등을 포함하며, 인식 대상자를 30명이라고 가정하면, 인식 대상자당 20장의 영상과, 각 영상당 5개의 특징값이 존재하므로, 3000(=30 x 20 x 5)개의 특징 값이 생성된다. 이들 5개의 특징값은 양 미간사이의 거리(f)로 나눔으로써() 정규화한다. 특징 벡터 추출 블록(20)에 의해 추출된 특징 벡터는 인식 대상자당 절반씩 나위어져 퍼지 회로(100)와 신경 회로망(200)으로 제공된다.

퍼지 회로(100)로 제공된 특징값은 인식에 사용될 데이터로서 인식률을 높이기위하여 퍼지화되며, 신경 회로망(100)으로 제공된 특징값은 인식을 위한 데이터로서 데이터 베이스(30)에 저장된다.

퍼지 회로(100)는 애매 모호한 현상을 표현하기 위하여 퍼지 이론을 도입한다. 즉, 각 인식 대상자당 20장의 영상이 있는 데, 추출된 5개의 특징 값이 모두 같아야한다. 그러나, 실제로 이들 값은 서로 조금씩 상이하기때문에 특정한 대상자에 대하여 특징값을 다시 정의하여야 한다. 이때, 삼각형 멤버쉽 함수를 사용하여 퍼지화한다.

퍼지 집합은 뚜렷한(crisp) 집합의 확장된 개념이다. 여기서 뚜렷한 집합이란 어떤 요소가 0 과 1 만을 갖는 집합을 의미한다. 예를 들어 집합 A 가 멤버쉽 함수로 표현된다면, 뚜렷한 집합은 하기 수학식 6과 같이 표현된다.

그리고, 퍼지 집합은 뚜렷한 집합의 확장된 개념으로서 0과 1사이의 모든 실수를 취할 수 있는 집합을 의미하므로,로 표현된다.

특징 추출 단계에서 취득한 특징값 5개를 멤버쉽 함수를 이용하여 15개의 퍼지 값으로 표현하는 방법은 도 10에 예시된 바와같이, 30명의 인식 대상자에 대한 각 특징값()의 최대값과 최소값을 max 값과 min 값으로 정하고, 최대값과 최소값의 평균을 중간값으로 정의한다. 그리고, 최소값, 중간값, 최대값 각각에 대하여 멤버쉽 함수를 정하고, 각 특징 값과 만나는 최소, 중간, 최대 값의 멤버쉽 함수와 만나는 각 점의 멤버쉽 값(,,)을 특징 값으로 규정함으로써 퍼지화한다. 퍼지 회로(100)에 의해 퍼지화된 데이터는 신경 회로망(200)의 인식부(40)로 입력되어 인식된다.

도 11은 신경 회로망(100)의 상세 구성도로서, 신경 회로망(100)의 입력 노드()의 개수는 퍼지 회로(200)에서 제공되는 퍼지화된 데이터를 수신하는 15개이며, 출력 노드()는 인식 대상자의 개수인 30개를 구비한다. 신경 회로망(100)의 인식부(40)는 데이터 베이스(30)에 저장된 특징값을 이용하여 학습한 다음, 퍼지화된 데이터를 인식할 데이터로서 사용하여 인식을 수행한다. 인식 결과 가장 큰 값을 출력하는 출력 노드가 인식될 대상자를 나타낸다.

종래 기술의 얼굴 인식 방식은 인식 대상자로부터 추출한 특징값이 아무런 후처리 없이 그대로 신경 회로망으로 전달되어 인식됨으로써 애매 모호한 데이터를 정확히 분류하지 못하였다. 그러나, 본 발명에 따라 추출된 특징값을 퍼지화한 다음 신경 회로망으로 전달함으로써 분류가 용이하게 이루어짐에 따라 애매 모호한 비슷한 데이터가 효과적으로 처리되어 오인식 발생이 적을 것이다. 따라서, 특정한 사람을 주어진 영상 데이터로부터 인식할 때 보다 정교한 인식이 가능할 것이다.

Claims (2)

1. 인식 시스템의 정면 얼굴 인식 방법에있어서,

   카메라로부터 인식 대상자의 영상을 취득하는 단계;

   상기 취득된 인식 대상자 각각의 영상으로부터 분리된 얼굴 부분에서 특징 벡터를 추출하는 단계;

   상기 추출된 특징 벡터의 일정량을 신경 회로망의 데이터 베이스에 저장하고 나머지를 인식에 사용할 데이터로서 퍼지회로에 제공하는 단계;

   상기 퍼지 회로에 의해 상기 특징 값을 멤버쉽 함수를 이용하여 퍼지화하는 단계;

   상기 퍼지화된 특징값을 상기 신경 회로망을 이용하여 학습하여 인식하는 단계를 포함하는 것을 특징으로하는 퍼지 뉴러 얼굴 인식 방법.
2. 제 1 항에 있어서, 상기 영상 취득 단계는:

   상기 인식 대상자의 취득된 영상으로부터 에지를 추출하는 단계;

   상기 취득된 영상으로부터 얼굴 부분만을 취득하기위하여 형태학상 팽창하여 얼굴 부분과 배경 및 어깨를 분리하는 단계를 구비하는 것을 특징으로하는 퍼지 뉴러 얼굴 인식 방법.