KR20050117624A - 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치 - Google Patents

영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치 Download PDF

Info

Publication number
KR20050117624A
KR20050117624A KR1020040003147A KR20040003147A KR20050117624A KR 20050117624 A KR20050117624 A KR 20050117624A KR 1020040003147 A KR1020040003147 A KR 1020040003147A KR 20040003147 A KR20040003147 A KR 20040003147A KR 20050117624 A KR20050117624 A KR 20050117624A
Authority
KR
South Korea
Prior art keywords
image
weight vector
face
error
registration error
Prior art date
Application number
KR1020040003147A
Other languages
English (en)
Inventor
이병욱
문지혜
Original Assignee
이병욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이병욱 filed Critical 이병욱
Priority to KR1020040003147A priority Critical patent/KR20050117624A/ko
Priority to KR1020040063193A priority patent/KR100586382B1/ko
Publication of KR20050117624A publication Critical patent/KR20050117624A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식 방법 및 장치에 관한 것이다. 본 발명에 따른 영상 인식 장치는 복수의 클래스를 포함하는 트레이닝 세트와, 복수의 클래스 각각의 기저 함수 및 제1 가중치 벡터가 저장된 데이터베이스부, 입력되는 얼굴 영상의 정규화 과정을 수행하여 출력하는 정규화부, 정규화부에서 출력된 얼굴 영상을 선형 변환하여 제2 가중치 벡터를 생성하는 선형변환부, 제2 가중치 벡터를 입력하여, 정규화부에서 발생된 오차를 검출하고, 오차가 보정된 제3 가중치 벡터를 생성하는 오차 보정부, 및 제3 가중치 벡터를 기준으로 얼굴 영상을 분류하여 출력하는 영상 분류부를 포함한다.

Description

영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식 방법 및 장치 {REGISTRATION ERROR COMPENSATION METHOD, AND FACE RECOGNITION MATHOD AND APPARATUS USING THE SAME}
본 발명은 얼굴 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상의 정규화 과정에서 발생된 영상 등록 오차가 보정된 얼굴 인식 방법 및 장치에 관한 것이다.
얼굴 인식은 영상의 해석 및 이해의 분야에서 상업적 혹은 법률적인 응용을 두고 가장 주목 받는 분야 중의 하나이다. 이러한 관심 속에 지난 수년 동안 얼굴 인식에 대한 연구는 활발히 진행되었으며, 여러 얼굴 인식의 기법과 체계적인 평가 방법들이 제시되었다.
일반적으로, 얼굴 인식의 문제는 정지 혹은 움직이는 영상으로부터 얼굴을 찾아내는 얼굴 검출(face detection)과 얼굴이 검출되었을 경우 검출된 얼굴이 누구의 얼굴인지를 가려내는 얼굴의 분류(face classification)으로 나눌 수 있다.
얼굴 검출의 목적은 주어진 영상 안에 얼굴이 존재하는지의 여부를 결정하며 만약 얼굴이 존재한다면 얼굴의 위치와 얼굴의 영역을 알려준다. 그러나, 얼굴 영상은 카메라의 각도, 안경이나 수염 등의 존재, 얼굴의 표정과 조명의 밝기 등에 따라 많은 변수를 갖고 있기 때문에 얼굴을 정확하게 검출하는 것은 매우 어려운 문제이다.
그러나, 종래에 연구되어 온 얼굴 인식 방법은 얼굴 영상이 등록되는 과정에서 정규화 작업을 통하여 중앙에 모두 같은 크기로 위치한다는 가정하에서 이루어지고 있다. 따라서, 영상이 등록되는 과정에서 정규화가 정확하게 이루어지지 못하여 오차가 존재하는 경우에는 잘못된 인식을 하게 되는 문제가 있었다.
본 발명이 이루고자 하는 기술적 과제는 입력된 얼굴 영상을 정확하게 인식할 수 있는 얼굴 인식 방법 및 장치를 제공하기 위한 것이다.
또한, 영상이 등록되는 과정에서 발생된 영상 등록 오차를 보정하는 방법을 제공하기 위한 것이다.
상기 과제를 달성하기 위하여, 본 발명의 하나의 특징에 따른 얼굴 인식 장치는 복수의 클래스를 포함하는 트레이닝 세트와, 상기 복수의 클래스 각각의 기저 함수 및 제1 가중치 벡터가 저장된 데이터베이스부; 입력되는 얼굴 영상의 정규화 과정을 수행하여 출력하는 정규화부; 상기 정규화부에서 출력된 얼굴 영상을 선형 변환하여 제2 가중치 벡터를 생성하는 선형 변환부; 상기 제2 가중치 벡터를 입력하여, 상기 정규화부에서 발생된 오차를 검출하고, 상기 오차가 보정된 제3 가중치 벡터를 생성하는 오차 보정부; 및 상기 제3 가중치 벡터를 기준으로 상기 얼굴 영상을 분류하여 출력하는 영상 분류부를 포함한다.
본 발명의 하나의 특징에 따른 얼굴 인식 장치에 있어서, 상기 영상 분류부는 상기 제3 가중치 벡터와 상기 제1 가중치 벡터 사이의 거리를 비교하여, 상기 거리가 최소인 클래스로 상기 얼굴 영상을 분류한다.
본 발명의 하나의 특징에 따른 얼굴 인식 장치에 있어서, 상기 오차 보정부는 상기 영상 등록 오차를 선형 근사화함으로써, 오차 값을 산출한다.
본 발명의 하나의 특징에 따른 얼굴 인식 장치에 있어서, 상기 얼굴 영상이 상기 정규화 과정 중에 수직 방향 이동, 수평 방향 이동, 회전 변환, 및 크기 변환 중 적어도 하나의 변화가 발생된 경우, 상기 오차 보정부는 상기 정규 영상의 제2 가중치 벡터가 상기 복수의 클래스의 제1 가중치 벡터로부터의 변화량을 상기 제1 가중치 벡터의 미분 계수를 이용하여 산출한다.
본 발명의 하나의 특징에 따른 얼굴 인식 장치에 있어서, 상기 오차 보정부는 상기 얼굴 영상의 변화를 선형 보간을 수행하는 행렬로 나타내어 영상 등록 오차로 인한 가중치의 미분 계수를 산출한다.
본 발명의 하나의 특징에 따른 얼굴 인식 장치에 있어서, 상기 선형 변환은 PCA 변환이다.
본 발명의 하나의 특징에 따른 얼굴 인식 방법은, 적어도 두개의 클래스를 포함하는 트레이닝 세트를 설정하고, 상기 복수의 클래스의 고유 얼굴, 및 제1 가중치 벡터를 산출하여 저장하는 제1 단계; 입력되는 영상 신호 중에 얼굴 영상을 추출하는 제2 단계; 상기 얼굴 영상의 위치 및 크기를 정규화하여 정규 영상으로 출력하는 제3 단계; 상기 정규 영상을 선형 변환하여 제2 가중치 벡터를 생성하는 제4 단계; 상기 제2 가중치 벡터에 존재하는 영상 등록 오차를 검출하고, 상기 영상 등록 오차가 보정된 제3 가중치 벡터를 생성하는 제5 단계; 및 상기 제3 가중치 벡터를 기준으로 정규 영상을 분류하는 제6 단계를 포함한다.
본 발명의 하나의 특징에 따른 얼굴 인식 방법에 있어서, 상기 제5 단계는, 영상 등록 오차가 존재하는 상기 정규 영상의 제2 가중치 벡터가 영상 등록 오차가 존재하지 않는 원 영상의 가중치 벡터로부터의 등록 오차 변화량을 산출하고, 상기 등록 오차 변화량에서 등록 오차 성분을 계산하여 이를 상기 제2 가중치 벡터에 빼줌으로써, 상기 제3 가중치 벡터를 산출한다.
본 발명의 하나의 특징에 따른 얼굴 인식 방법에 있어서, 상기 제2 가중치 벡터의 영상 등록 오차 변화량은 상기 제1 가중치 벡터의 미분 계수를 이용하여 선형 근사화되어 산출되며, 상기 제1 가중치 벡터의 미분 계수는 상기 정규 영상과 상기 원 영상 간의 관계를 나타내는 선형 보간 행렬의 미분 계수와 상기 얼굴 영상의 곱을 상기 고유 얼굴에 투영시킨 값으로 산출된다.
본 발명의 하나의 특징에 따른 얼굴 인식 방법에 있어서, 상기 제6 단계는 상기 제3 가중치 벡터와 상기 제1 가중치 벡터의 거리를 비교하여 최소 거리를 갖는 클래스로 상기 얼굴 영상을 분류한다.
본 발명의 하나의 특징에 따른 데이터베이스의 영상과 그로부터 수직, 수평, 회전, 크기 변환 중 적어도 하나가 발생된 영산 간의 변형의 정도를 계산하는 방법에 있어서, 상기 영상을 나타내는 벡터의 차원을 낮춘 후, 상기 변형의 미분계수를 적용하여 변형을 계산한다.
본 발명에서 영상등록 과정 중에 나타날 수 있는 얼굴 영상의 변화는 얼굴영상의 수직방향 이동, 수평방향 이동, 회전 그리고 크기 변환으로 제한한다. 또한 이러한 얼굴 영상의 변화는 선형보간을 수행하는 행렬로 나타낼 수 있다고 가정하여 영상등록 오차로 인한 가중치의 미분계수를 구할 수 있다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명한다.
1. 본 발명의 일실시예에 따른 얼굴 인식 장치
도 1은 본 발명의 일실시예에 따른 얼굴 인식 장치를 도시한 것이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 장치는 정규화부(100), 선형 변환부(200), 오차 보정부(300), 영상 분류부(400), 및 데이터베이스(500)를 포함한다.
정규화부(100)는 입력되는 영상 신호 내에 얼굴이 존재하는지의 여부를 결정하고, 얼굴이 존재한다면 얼굴의 크기, 밝기 등을 정규화한다. 이하의 설명에서는, 본 발명의 일실시예에 따른 얼굴 인식 장치에 입력되는 얼굴 영상을 설명의 편의상 시험 영상으로 정의한다.
선형 변환부(200)는 정규화부(100)에서 출력된 얼굴 영상을 선형 변환하여 가중치 벡터를 생성한다. 본 발명의 일실시예에서는 얼굴 영상의 선형 변환 방법으로 PCA(principal component analysis) 방법을 사용한다. 그러나, 본 발명의 범위가 특정 선형 변환 방법에 한정되는 것은 아니며, DCT, LCA 등의 다른 선형 변환을 통하여 가중치 벡터를 산출할 수 있다.
오차 보정부(300)는 상기 정규화부(100)에서 얼굴을 검출하고 배치하는 과정에서 생긴 영상 등록 오차 값을 산출하고, 얼굴 영상의 가중치 벡터에 반영함으로써, 시험 영상의 가중치 벡터를 생성한다.
본 발명의 일실시예에 따르면, 오차 보정부(300)는 영상 등록 오차를 선형 근사화하여 산출하고, 산출된 오차를 선형 변환부(200)에서 출력된 영상의 가중치 벡터에 더해줌으로써, 영상의 변환으로 인한 오차를 수정하게 된다. 이러한 오차 보정부(300)의 영상 등록 오차 선형 근사화 방법에 대해서는 후술하기로 한다.
영상 분류부(400)는 오차 보정부(300)로부터 산출된 시험 영상의 가중치 벡터와 미리 설정된 트레이닝 세트에 포함된 각 클래스의 가중치 벡터와의 차가 가장 작은 클래스를 시험 영상의 클래스로 결정하여 출력한다. 이하에서는, 영상 분류부(400)가 유클리드 거리를 이용하여 시험 영상을 분류하는 경우를 설명하였으나, 본 발명의 범위가 특정 거리에 의하여 한정되는 것은 아니며, 여러 다양한 방법을 이용하여 시험 영상의 가중치 벡터와 미리 설정된 트레이닝 세트에 포함된 각 클래스의 근접성을 산출할 수 있다.
데이터베이스(500)에는 얼굴 인식을 위하여 미리 정의된 트레이닝 세트가 저장되어 있다. 트레이닝 세트란 하나의 얼굴 영상이 밝기 값의 높이(height)와 넓이(width)의 2차원 배열이라고 했을 때 얼굴 인식을 위해 미리 정의된 전체 얼굴 영상을 의미하는 것이다.
도 2는 트레이닝 세트의 일례를 도시한 것이다.
도 2에 도시된 트레이닝 세트는 10 명의 얼굴 영상을 다른 조명에서 찍은 사진 3개씩을 포함하여 구성된 것이다. 한편, 본 명세서에서 하나의 클래스란 서로 다른 조명에서 찍은 3개의 얼굴 영상으로 정의한다.
데이터베이스(500)에는 트레이닝 세트의 각 클래스가 PCA를 통하여 생성된 고유 얼굴(eigenface), 고유 얼굴에 각 클래스에 해당하는 영상을 투영시켜 생성된 가중치 벡터, 상기 가중치 벡터의 각 변환에 대한 미분 계수가 저장된다.
본 발명의 일실시예에 따른 얼굴 인식 장치는 얼굴 영상의 정규화 과정에서 발생된 영상 등록 오차를 얼굴 영상의 가중치 벡터에서 보정해줌으로써, 얼굴 인식의 정확도를 획기적으로 향상시킬 수 있다.
또한, 가중치 벡터를 사용하여 영상의 등록 오차를 보정함으로써, 얼굴 인식률을 향상시킬 수 있을 뿐만 아니라 공간 영역에서 등록 오차를 보정하는 것보다 계산량 측면에서도 큰 이득을 얻을 수 있다.
이하에서는 고유 얼굴을 이용한 얼굴 인식 방법에 대하여 설명한 후, 본 발명의 일실시예에 따른 영상 등록 오차의 선형 근사화 방법과 오차 보정 방법에 대하여 상세히 설명한다.
2. 고유 얼굴을 이용한 얼굴 인식 방법
PCA(Principal component analysis)는 상관관계가 높은 신호를 선형 변환을 통해 중복 신호를 제거한 새로운 신호로 표현하는 기법이다. 이러한 PCA 변환을 사용하여 얼굴인식을 하는 것은 1991년 Pentland에 의해 제안되었다.
PCA에서 신호의 공분산 행렬의 고유 벡터는 신호 사이의 분산(variation)을 나타내는 특징 세트가 된다. 즉 고유 벡터(eigenvector)는 데이터를 기술하기 위한 기저 벡터가 되는 것이다. 특별히 얼굴 영상의 데이터를 이용하여 구한 고유 벡터를 고유 얼굴(eigenface)이라고 하며, 고유 얼굴의 가중치 계수를 나타내는 영역을 고유 영역(eigenspace)이라고 한다.
각 얼굴 영상은 고유 얼굴의 선형 결합으로 완벽하게 복원될 수 있다. 트레이닝 세트로부터 구할 수 있는 고유 얼굴의 개수는 트레이닝 얼굴 영상의 숫자와 같다.
그러나, 가장 큰 고유간(eigenvalue)에 해당하는 고유 얼굴은 얼굴 영상의 세트로부터 가장 큰 분산을 나타내며 가장 작은 고유값에 해당하는 고유 얼굴은 얼굴 영상에 가장 작은 분산을 나타내므로 얼굴 영상은 몇 개의 상위 고유 얼굴만으로도 근사화 될 수 있다.
따라서 얼굴 영상의 수보다 적은 고유 얼굴을 가지고 얼굴 인식을 하는 것은 데이터의 양을 줄일 수 있어 매우 효율적이라고 할 수 있다.
3. 본 발명의 일실시예에 따른 영상 등록 오차의 선형 근사화 방법
상술한 고유 얼굴을 이용한 얼굴 인식 방법은 입력되는 얼굴 영상이 등록되는 과정에서 정규화 작업을 거쳐 모두 중앙에 같은 크기로 위치한다는 가정하에 이루어지고 있다. 따라서, 영상이 등록되는 과정에서 정규화가 정확하게 이루어지지 않으면, 즉, 얼굴의 위치가 수직, 수평 방향으로의 이동되거나, 회전이 되고, 얼굴이 크기가 달라지게 되면 얼굴 영상의 등록상 문제가 있음을 알아채지 못한 채 거리를 최소화하는 클래스를 찾게 되는 것이다.
따라서, 본 발명의 일실시예에 따른 영상 인식 장치는 얼굴 영상의 정규화 과정에서 발생된 영상 등록 오차를 선형 근사화하여 산출하고, 오차가 보상된 시험 영상의 가중치 벡터를 산출하여 미리 정의된 클래스의 가중치 벡터와 거리를 측정함으로써, 정확한 인식이 수행되도록 한다.
이하에서는 본 발명의 일실시예에 따른 영상 등록 오차의 선형 근사화 방법에 대하여 설명한다.
이하의 설명에서는 얼굴 인식을 위하여 얼굴 인식 장치에 입력되는 시험 영상 Nx1 크기의 벡터 x가 영상의 등록 과정 중에 생기는 영상의 변화를 NxN 크기의 선형 변환 행렬로 나타낼 수 있다고 가정한다. 또한, 이하의 설명에서 영상의 변형은 수직 수평 이동, 회전, 크기 변화를 중심으로 설명하고, 각 변환 행렬은 x, y의 변화에 대한 선형 보간을 수행한다고 할 때 다음과 같이 나타내기로 한다.
수직이동변환 : A v(h)
수평이동변환: A h(h)
회전 변환 : R(θ)
크기 변환 : Z(f)
만약 입력되는 얼굴 영상이 수직 이동 변환을 거치게 된다면 수직 이동에 의한 영상 가중치 벡터는 다음과 같이 나타낼 수 있다.
여기에서 영상의 등록 오차를 가진 가중치 벡터와 오차가 없는 가중치 벡터 사이의 차이를 Δw라고 정의하면, Δw는 변환 행렬과 얼굴 영상 벡터 x 그리고 기저함수가 되는 고유 얼굴 V에 의해 나타낼 수 있다. 만약 입력된 영상이 수직 이동 변환 거쳤다면 그때의 Δw를 다음과 같이 나타낼 수 있다.
영상 등록 오차의 선형 근사화를 위하여 먼저 미분계수의 정의와 그 의미를 생각해 볼 수 있다.
도 3은 미분 계수를 기하학적으로 도시한 것이다.
도 3에 도시된 바와 같이, 미분 계수는 기하학적으로 h가 매우 작을 때 그 점에서 접선의 기울기와 같으며 그 정의는 수학식 3와 같다.
여기서, 미분 계수를 정의하는 식을 다시 쓰게 되면 수학식 4과 같게 되며, 이는 매우 작은 h에 대하여 f의 변화 량은 h에 선형적으로 변함을 알 수 있다.
이와 같은 개념을 고유 얼굴에서 Δw 에 적용시켜 보면 수학식 5과 같이 정리할 수 있다. 수학식 5에서, 변환 행렬은 수직 이동 변환을 가정한다.
따라서, 변화량이 작은 경우, 즉 영상의 서브 픽셀 단위의 변화에 대해 가중치 벡터의 차이는 매우 작은 변화의 가중치 벡터 차에 대해 선형근사화 될 수 있음을 알 수 있다.
따라서, 본 발명의 일실시예에 따른 얼굴 인식 장치는 큰 영상이 입력된 경우 정규화부(100)에서 영상의 크기를 감소시킴으로써, 영상 등록 오차를 선형 근사화할 수 있도록 한다.
이하에서는 영상의 등록 오차에 대한 선형 근사화를 수직, 수평 이동 변환과 회전 변환 크기 변환의 각 경우에 대해 좀더 구체적으로 설명한다.
수직 이동 변환의 경우 Δw v 를 다시 정리하면 수학식 6과 같다.
여기서 수직 이동 변환 행렬 A v (h)는 h가 0〈h〈1 범위에 있으며, 수학식 7와 같이 표현할 수 있다.
만약 h=0이 되면 A v (0)은 NxN 단위 행렬(identity matrix)과 같다.
를 A v '라 하고 앞에서 구한 A v ( h )를 적용하면, A v ' 값과 w v '(x)을 수학식 8 및 수학식 9와 같이 구할 수 있다.
수학식 8에서 알 수 있듯이, 수직 이동 변환 행렬 A v ( h )의 미분 계수 A v '는 항상 일정한 값을 가지게 되고, w v '(x)는 수직 이동 변환 행렬 A v (h)의 미분 계수 A v '와 얼굴 영상의 곱을 고유 얼굴에 투영시킨 값을 가지게 된다.
수평 이동의 경우는 수직 이동의 경우와 변환 행렬이 조금 달라질 뿐 유도 과정은 수직 이동의 경우와 같다.
즉, 수평 이동 변환의 경우, w h '(x)를 정리하면 수학식 10와 같이 나타낼 수 있고, h가 1보다 작을 때 A h ( h )와 A h '를 수학식 11과 같이 구할 수 있다.
따라서 w h '(x)은 수학식 13로 나타낼 수 있다.
이하, 회전 변환의 경우에 대하여 설명한다.
회전 변환은 영상의 중심으로 θ만큼 변한다고 할 때 Δw 는 θ에 대해 다음과 같이 선형 근사화 될 수 있다.
여기서 회전 변환 이전의 영상 좌표와 변환 후의 영상 좌표는 수학식 15과 같이 나타낼 수 있다.
수학식 15에서 구해진 Δx, Δy로 회전 변환 행렬 R을 나타낼 수 있다. 회전 변환의 경우 영상을 중심으로 봤을 때 영상의 중심으로부터 상하 좌우에 위치하는 것에 따라 Δx , Δy의 부호가 달라지며 각 경우 선형 보간을 위해 필요한 주변 픽셀의 위치는 도 4로 확인할 수 있다.
위의 그림과 같이 Δx, Δy의 부호에 따라 회전 변환 행렬 R은 수학식 16과 같이 나타낼 수 있다.
여기서 w r '(x)을 위한 회전 변환 행렬의 미분계수 R'을 구해야 하는데, 이때 R'은 편미분을 사용하여 수학식 17와 같이 전개되며, 수학식 17는 다시 수학식 18으로 정리된다.
따라서 w r '(x)=V T R'x은 다음 수학식 19을 이용하여 계산할 수 있다.
이하, 크기 변환의 경우에 대하여 설명한다.
크기 변환 행렬 Z에 대한 w z '(x) 를 구하는 과정은 앞에서 기술한 회전 변환의 경우와 유사하다.
크기 변환 행렬 Z는 원 영상 크기와의 비율 f의 함수로서 Δw는 f에 의해 다음과 같이 선형 근사화 될 수 있다.
크기 변환 전과 후 얼굴 영상의 위치 차이는 수학식 21과 같이 나타낼 수 있다.
앞의 회전 변환 행렬과 Δx와 Δy의 값이 다를 뿐 위치에 따라 Δx, Δy값이 정해지면 크기 변환 행렬을 만드는 과정은 도 4에서의 회전 변환 행렬과 같다.
w' z (x) 을 위한 크기 변환 행렬의 Z'은 회전 변환의 경우와 같이 편미분을 이용하여 다음과 같이 정리할 수 있다.
앞에서 수학식 22를 이용하여 정리하면 Z'와 w' z (x)은 다음과 같다.
이하에서는, 이동, 회전, 크기 변화를 모두 고려한 경우를 설명한다.
앞에서는 이동, 회전, 크기 변환이 독립적으로 일어났을 경우에 대하여 Δw를 생각하였다. 하지만 실제 등록 과정에서 일어날 수 있는 변화는 이동, 회전, 크기변화의 조합으로 나타날 수 있다. 이동 변환과 크기 변환은 얼굴 영상의 중심을 기준으로 변환되기 때문에 이동 변환 이전에 발생한 후 이동 변환에 대해 고려해 준다면 얼굴 영상의 변환 행렬은 이들의 곱인 A h A v RZ로 나타낼 수 있다. 이러한 변환을 거친 얼굴 영상의 경우 Δw는 다음과 같이 나타낼 수 있다.
위의 수학식 25의 각 변환 행렬은 각 대각성분이 1-Δx-Δy로 이루어졌으며, 비대각 성분은 Δx, Δy 혹은 0으로 이루어져 있다. 따라서 각 변환 행렬을 단위 행렬과 Δx, Δy, 0으로만 이루어진 행렬로 수학식 26과 같이 나누어 나타낼 수 있다.
여기에서 Δx, Δy는 1보다 작기 때문에 ΔX, Δy, 0으로만 이루어진 행렬의 이차 이상 곱은 0으로 근사화시키면 각 변환행렬의 곱은 수학식 27와 같이 나타낼 수 있다.
수학식 27의 결과를 이용하여 수학식 25을 다음과 같이 정리할 수 있다.
수학식 28과 같이 모든 변환이 일어난 경우 Δw를 근사화 할 수 있다.
도 5는 수직, 수평 이동이 모두 0.5 픽셀 이상일 때의 좌표를 도시한 것이다.
도 5의 경우에, 수직 이동의 w' v 은 p1과 p2의 값을 이용하여 구하게 되고, 수평 이동의 w' h 는 p1과 p3의 값을 사용하는 것을 생각할 때, 수직, 수평 방향으로 모두 0.5픽셀 이상 이동하였을 경우 영상의 위치는 도 5에서 알 수 있듯이 w' v 과 w' h 계산시 모두 고려되지 않은 p4과 가장 가까운 거리에 있게 된다. 이러한 경우 수학식 18과 수학식 22와 같은 방법으로 w' v 과 w' h 를 구하게 되면 p4의 픽셀 값을 전혀 반영할 수 없게 된다. 따라서 다시 수직, 수평 방향에 대해 모두 이동이 있는 경우의 Δw를 다시 정리하면 수학식 29과 같다.
위 수학식 29의 을 Δw1 이라 하고, 을 Δw2라고 하면 Δw1은 영상을 h2만큼 수직 이동시킨 후 수평 방향에 대한 Δw h 와 같으며 Δw2는 수직 이동 변환의 Δw v 와 같음을 알 수 있다. 즉, 수직, 수평 방향 이동이 동시에 일어난 경우 먼저 w' v 을 이용하여 수직방향으로 이동한 정도를 찾은 후, 그 위치에서 w' h 를 구하면 좀 더 정확한 Δw 를 구할 수 있게 된다.
하지만 매번 수직 이동 변환 정도를 찾고, 공간 영역에서 영상을 이동시키는 것은 많은 계산량을 필요로 하므로 실용적이지 못하다. 이러한 문제는 공간 영역에서의 영상을 선형 보간하는 것과 고유 영역으로 투영되는 두 연산이 선형적으로 일어나므로 순서를 바꾸어 고유 영역으로 투영하나 두 가중치 벡터를 선형 보간하게 되면 같은 결과를 얻을 수 있고, 계산량을 줄일 수 있다.
이것을 수직 방향으로 h2큼 이동하고 수평 방향으로 h1만큼 이동하였을 경우에 대해 식으로 정리하면 다음과 같다.
수직 이동 변환 행렬은 수학식 30와 같이 주어지고, 이러한 수직 이동 변환 행렬은 수학식 31과 같이 표현할 수 있다.
또한, 수평변환에 대한 w' h 은 수학식 32와 같이 정리할 수 있다.
상술한 바와 같이, 공간 영역에서의 선형 보간은 고유 영역에서의 선형 보간과 같은 것을 수학식 31을 통하여 확인할 수 있다.
3 본 발명의 일실시예에 따른 영상 등록 오차 보정 방법
이하에서는 본 발명의 일실시예에 따른 영상 등록 오차 보정 방법을 실제 실험한 실험 결과를 이용하여 설명한다.
본 발명의 실험에서 사용한 얼굴 영상은 MIT Media Laboratory에서 제공하는 얼굴 영상으로서, 남자 10명에 대해 한 사람당 다른 조명에서 찍은 사진 3개씩을 포함하여 트레이닝 세트를 구성하고, 128x120 크기의 영상을 정규화 과정을 거쳐 16x16 크기로 만든 것이다.
또한, 정규화부(100)에서 수행되는 영상의 정규화는 얼굴 정보 외의 다른 영향을 최소화하기 위하여 얼굴 영역을 제외한 모든 부분의 밝기를 128이 되도록 하였다.
영상의 등록 과정 중에 발생하는 오차를 보정하기 위한 실험은 정규화를 거친 트레이닝 세트의 영상에 수직, 수평 이동, 회전, 크기 변환한 영상을 시험 영상으로 사용하였다.
등록 오차를 가진 시험 영상에 대해 본 발명의 일실시예에 따른 오차 보정 방법을 적용하였을 때와 적용하지 않았을 때 인식하는 클래스를 비교하였으며, 영상의 분류 과정에서 사용한 거리는 유클리드 거리를 사용하였다.
도 6은 가중치 벡터의 차이 Δw , 각 변환 행렬에 대한 Δw 의 순간 변화량 w'과 h 간의 관계를 도시한 것이다.
구체적으로는, 앞에서 제안한 알고리즘은 미리 정의된 모든 클래스에 대한 가중치 벡터와 시험 영상의 가중치 벡터의 차이 Δw 와 각 변환 행렬에 대한 Δw 의 순간 변화량 w' 를 알고 있을 때, 수학식 33를 이용하여 변화량 h를 구하게 된다. 이때 시험 영상의 가중치 벡터에서 hw'를 빼주므로 영상의 변환으로 인한 오차를 수정하게 되며, 수정된 가중치 벡터와 각 클래스의 가중치 벡터의 거리가 가장 작은 클래스를 시험 영상의 클래스로 결정하도록 한다.
본 발명의 일실시예에 따르면, Δw 의 보정 순서는 영상의 전체가 움직여 오차의 크기가 큰 수직, 수평 이동에 대해 먼저 오차를 보정한 후 크기와 회전 변환의 순서로 Δw 를 보정할 수 있다.
도 7은 본 발명의 일실시예에 따른 영상 등록 오차 보정 방법을 개략적으로 도시한 순서도이다.
도 7에 도시된 바와 같이, 시험 영상이 입력되면(S10), PCA 변환을 통하여 가중치 벡터를 산출한다(S11). 이 후, 가중치 벡터의 차이 Δw , 각 변환 행렬에 대한 가중치 벡터의 미분 계수 w', 및 h 값을 산출하여(S12), 시험 영상의 가중치 벡터를 산출한다(S13).
여기서 w'(i)는 순서에 따라 모든 트레이닝 세트에 대한 양과 음의 방향의 변환을 고려한 의 값을 갖는다.
이러한 과정을 수직 이동, 수평 이동, 크기 변환, 회전 변환에 대하여 수행한 후, 오차가 보정된 가중치 값과 트레이닝 세트의 가중치 값 중 최소 거리를 갖는 클래스로 분류한다.
이하, 실제 실험한 실험 결과에 대하여 설명한다.
16x16 크기의 영상을 수직, 수평으로 이동하였을 경우 상술한 오차 보정 방법으로 오차를 수정하기 전과 후의 인식된 클래스와 거리를 비교한다. 상술한 오차 보정 방법은 서브 픽셀 단위를 가정하였으므로, 16x16 영상을 사용할 경우 최대 이동 정도는 수직, 수평 방향으로 각각 -1~1이다. 크기 변환의 경우 원래 영상과의 크기 비에 대해 14/16~18/16, 회전 변환의 경우 -7°~7°의 범위를 가질 수 있다.
표 1은 모든 변환에 대해 최대 변환을 한 경우의 실험 결과를 보정 전에 최소 거리를 갖는 클래스와 그 때의 거리를 나타낸 것이다.
표 1에서 확인할 수 있듯이, 영상의 등록 오차를 보정해 주지 않았을 경우 10개의 클래스 모두 잘못된 결과를 보이고 있다.
그러나, 본 발명의 일실시예에 따라 오차를 수정한 경우, 클래스 5를 제외하고는 모두 자신의 클래스를 인식하는 결과를 볼 수 있다.
h(1,1), f=18/16, θ=7°일 때
표 1에서, h(Δx, Δy)는 수직 수평 이동, f는 원 영상과의 크기 비, θ는 영상의 회전 각도를 나타낸다.
다음은 몇 가지 시뮬레이션에 대한 결과를 나타낸 것이다.
표 2는 f=18/17, θ=7°, 수직 이동은 -1일 때 수평 이동을 변화시킨 경우를 나타낸 것이다.
표 3은 h(1,1), θ=7°일 때 원 영상과의 크기 비를 변화시킨 경우를 나타낸 것이다.
표 4는 h(1,1), f=18/17 -일 때 회전 각도를 변화시킨 경우를 나타낸 것이다.
상기 표 1 내지 4에서 알 수 있듯이 제안한 방법으로 영상의 등록 오차를 보정하는 경우, 대부분이 80%이상 되는 인식률을 얻을 수 있었다. 또한, 표 3에서 f가 14/16일 경우 등록 오차를 보정 후에도 40%밖에 되지 않는다. 이러한 이유는 영상이 크기를 줄인 후 상하 좌우로 1픽셀만큼 이동 변환한 것은 원래 영상에서 1픽셀 이상 이동한 것과 같아서 미분 계수로 근사화시킬 수 있는 범위를 벗어나기 때문이다.
도 8은 실제로 카메라의 거리를 다르게 하여 크기가 다른 얼굴 영상과 머리를 옆으로 돌려 찍은 얼굴 영상으로 실험을 해본 결과이다.
도 8에서 확인할 수 있듯이, 실제 영상을 가지고 실험하였을 경우에도 얼굴의 크기와 회전에 의한 차이를 보정하여 올바른 인식을 할 수 있다. 오차 보정 전과 후의 거리를 비교해 보면 크기가 다른 얼굴 영상의 경우 310에서 133으로 줄어들었으며, 회전된 얼굴 영상의 경우는 490에서 210으로 줄어들었다.
이상으로, 본 발명의 실시예에 따른 영상 등록 오차 보정 방법에 대하여 설명하였다. 상기 설명된 실시예는 본 발명의 개념을 적용한 일실시예로서, 본 발명의 범위가 상기 실시예에 한정되는 것은 아니며, 본 발명의 개념을 그대로 이용하여 여러 가지 변형된 실시예를 구성할 수 있다.
또한, 상기 실시예에서는 하드웨어를 중심으로 설명하였으나, 상기 하드웨어적인 기능을 수행하는 소프트웨어로 구현할 수 있음은 물론이다.
나아가, 상기 실시예에서는 얼굴 인식 시스템에서 영상 등록 오차를 보정하는 방법을 중심으로 설명하였으나, 본 발명의 개념을 그대로 이용하여 다른 응용 분야, 예를 들어 영상 부호화 등의 분야에 적용할 수 있다.
구체적으로는, 데이터베이스에 저장된 영상과 그로부터 수직, 수평 이동, 회전, 크기 변환이 일어난 영상간의 변형의 정도를 계산할 때에 상기 수학식 7 내지 수학식 32에서와 같이, 고유 영역과 같이 벡터의 차원을 낮추고 변형의 미분계수를 적용하여 변형을 계산하는 소프트웨어 또는 하드웨어 장치를 생성할 수 있다.
본 발명에 따르면, 영상이 등록되는 과정에서 발생된 영상 등록 오차를 보정함으로써, 얼굴 인식을 정확하게 수행할 수 있다.
또한, 가중치 벡터를 사용하여 영상의 등록 오차를 보정함으로써, 얼굴 인식률을 향상시킬 수 있고, 공간 영역에서 등록 오차를 보정하는 것 보다 계산량 측에서 큰 이득을 얻을 수 있다.
도 1은 본 발명의 일실시예에 따른 얼굴 인식 장치를 도시한 것이다.
도 2는 트레이닝 세트의 일례를 도시한 것이다.
도 3은 미분 계수를 기하학적으로 도시한 것이다.
도 4는 회전 변환의 경우, Δx, Δy의 부호에 따른 새로운 영상의 위치를 도시한 것이다.
도 5는 수직, 수평 이동이 모두 0.5 픽셀 이상일 때의 좌표를 도시한 것이다.
도 6은 가중치 벡터의 차이 Δw, 각 변환 행렬에 대한 Δw의 순간 변화량 w'과 h 간의 관계를 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 영상 등록 오차 보정 방법을 개략적으로 도시한 순서도이다.
도 8은 실제로 카메라의 거리를 다르게 하여 크기가 다른 얼굴 영상과 머리를 옆으로 돌려 찍은 얼굴 영상으로 실험을 해본 결과이다.

Claims (11)

  1. 복수의 클래스를 포함하는 트레이닝 세트와, 상기 복수의 클래스 각각의 기저 함수 및 제1 가중치 벡터가 저장된 데이터베이스부;
    입력되는 얼굴 영상의 정규화 과정을 수행하여 출력하는 정규화부;
    상기 정규화부에서 출력된 얼굴 영상을 선형 변환하여 제2 가중치 벡터를 생성하는 선형 변환부;
    상기 제2 가중치 벡터를 입력하여, 상기 정규화부에서 발생된 오차를 검출하고, 상기 오차가 보정된 제3 가중치 벡터를 생성하는 오차 보정부; 및
    상기 제3 가중치 벡터를 기준으로 상기 얼굴 영상을 분류하여 출력하는 영상 분류부
    를 포함하는 얼굴 인식 장치.
  2. 제1항에 있어서,
    상기 영상 분류부는 상기 제3 가중치 벡터와 상기 제1 가중치 벡터 사이의 거리를 비교하여, 상기 거리가 최소인 클래스로 상기 얼굴 영상을 분류하는 얼굴 인식 장치.
  3. 제1항에 있어서,
    상기 오차 보정부는 상기 영상 등록 오차를 선형 근사화함으로써, 오차 값을 산출하는 얼굴 인식 장치.
  4. 제1항에 있어서,
    상기 얼굴 영상이 상기 정규화 과정 중에 수직 방향 이동, 수평 방향 이동, 회전 변환, 및 크기 변환 중 적어도 하나의 변화가 발생된 경우,
    상기 오차 보정부는 상기 정규 영상의 제2 가중치 벡터가 상기 복수의 클래스의 제1 가중치 벡터로부터의 변화량을 상기 제1 가중치 벡터의 미분 계수를 이용하여 산출하는 얼굴 인식 장치.
  5. 제4항에 있어서,
    상기 오차 보정부는 상기 얼굴 영상의 변화를 선형 보간을 수행하는 행렬로 나타내어 영상 등록 오차로 인한 가중치의 미분 계수를 산출하는 얼굴 인식 장치.
  6. 제1항에 있어서,
    상기 선형 변환은 PCA(principal component analysis) 변환인 얼굴 인식 장치.
  7. 적어도 두개의 클래스를 포함하는 트레이닝 세트를 설정하고, 상기 복수의 클래스의 고유 얼굴, 및 제1 가중치 벡터를 산출하여 저장하는 제1 단계;
    입력되는 영상 신호 중에 얼굴 영상을 추출하는 제2 단계;
    상기 얼굴 영상의 위치 및 크기를 정규화하여 정규 영상으로 출력하는 제3 단계;
    상기 정규 영상을 선형 변환하여 제2 가중치 벡터를 생성하는 제4 단계;
    상기 제2 가중치 벡터에 존재하는 영상 등록 오차를 검출하고, 상기 영상 등록 오차가 보정된 제3 가중치 벡터를 생성하는 제5 단계; 및
    상기 제3 가중치 벡터를 기준으로 정규 영상을 분류하는 제6 단계
    를 포함하는 얼굴 인식 방법.
  8. 제7항에 있어서,
    상기 제5 단계는,
    영상 등록 오차가 존재하는 상기 정규 영상의 제2 가중치 벡터가 영상 등록 오차가 존재하지 않는 원 영상의 가중치 벡터로부터의 등록 오차 변화량을 산출하고,
    상기 등록 오차 변화량에서 등록 오차 성분을 계산하여 이를 상기 제2 가중치 벡터에 빼줌으로써, 상기 제3 가중치 벡터를 산출하는 얼굴 인식 방법.
  9. 제8항에 있어서,
    상기 제2 가중치 벡터의 영상 등록 오차 변화량은 상기 제1 가중치 벡터의 미분 계수를 이용하여 선형 근사화되어 산출되며,
    상기 제1 가중치 벡터의 미분 계수는 상기 정규 영상과 상기 원 영상 간의 관계를 나타내는 선형 보간 행렬의 미분 계수와 상기 얼굴 영상의 곱을 상기 고유 얼굴에 투영시킨 값으로 산출되는 얼굴 인식 방법.
  10. 제7항에 있어서,
    상기 제6 단계는 상기 제3 가중치 벡터와 상기 제1 가중치 벡터의 거리를 비교하여 최소 거리를 갖는 클래스로 상기 얼굴 영상을 분류하는 얼굴 인식 방법.
  11. 데이터베이스의 영상과 그로부터 수직, 수평, 회전, 크기 변환 중 적어도 하나가 발생된 영산 간의 변형의 정도를 계산하는 방법에 있어서,
    상기 영상을 나타내는 벡터의 차원을 낮춘 후, 상기 변형의 미분계수를 적용하여 변형을 계산하는 방법.
KR1020040003147A 2004-01-15 2004-01-15 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치 KR20050117624A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040003147A KR20050117624A (ko) 2004-01-15 2004-01-15 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치
KR1020040063193A KR100586382B1 (ko) 2004-01-15 2004-08-11 영상 등록 오차가 보정된 영상 인식 장치 및 방법과 그기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040003147A KR20050117624A (ko) 2004-01-15 2004-01-15 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치

Publications (1)

Publication Number Publication Date
KR20050117624A true KR20050117624A (ko) 2005-12-15

Family

ID=37263588

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020040003147A KR20050117624A (ko) 2004-01-15 2004-01-15 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치
KR1020040063193A KR100586382B1 (ko) 2004-01-15 2004-08-11 영상 등록 오차가 보정된 영상 인식 장치 및 방법과 그기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020040063193A KR100586382B1 (ko) 2004-01-15 2004-08-11 영상 등록 오차가 보정된 영상 인식 장치 및 방법과 그기록 매체

Country Status (1)

Country Link
KR (2) KR20050117624A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755934B1 (ko) * 2006-04-20 2007-09-06 인하대학교 산학협력단 변환된 행렬의 벡터 곱과 키워드를 사용하는 취소 가능한생체인식 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532391B2 (en) * 2010-09-30 2013-09-10 Intuit Inc. Recognizing a feature of an image independently of the orientation or scale of the image
KR20150116641A (ko) 2014-04-08 2015-10-16 한국과학기술연구원 이미지 인식 장치, 그것의 이미지 인식 방법 및 얼굴 이미지 생성 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
KR100873809B1 (ko) * 2002-06-27 2008-12-11 주식회사 케이티 얼굴 정보 추출 방법 및 그를 이용한 얼굴 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755934B1 (ko) * 2006-04-20 2007-09-06 인하대학교 산학협력단 변환된 행렬의 벡터 곱과 키워드를 사용하는 취소 가능한생체인식 시스템 및 방법

Also Published As

Publication number Publication date
KR100586382B1 (ko) 2006-06-08
KR20050075272A (ko) 2005-07-20

Similar Documents

Publication Publication Date Title
US6681032B2 (en) Real-time facial recognition and verification system
US6526156B1 (en) Apparatus and method for identifying and tracking objects with view-based representations
US8249310B2 (en) Image processing apparatus and method and program
US20030059124A1 (en) Real-time facial recognition and verification system
US20100021067A1 (en) Abnormal area detection apparatus and abnormal area detection method
US20110075933A1 (en) Method for determining frontal face pose
WO2010147137A1 (ja) パターン処理装置及びその方法、プログラム
CN111260689A (zh) 一种有效的置信度增强相关滤波视觉跟踪算法
US20090232365A1 (en) Method and device for face recognition
CN101147159A (zh) 利用统计模板匹配进行对象检测的快速方法
JP2003108981A (ja) 顔の特徴を位置確認するための方法及びコンピュータープログラム製品
JP5063776B2 (ja) 幾何学変換に基づく一般化統計的テンプレートマッチング
CN111626246B (zh) 口罩遮挡下的人脸对齐方法
JP4507679B2 (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
JP2003281541A (ja) 認識装置および方法
KR20080035711A (ko) 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
CN107784284B (zh) 人脸识别方法及系统
Kroon et al. Eye localization in low and standard definition content with application to face matching
Ricci et al. Learning large margin likelihoods for realtime head pose tracking
Ferryman et al. Learning Enhanced 3D Models for Vehicle Tracking.
KR20050117624A (ko) 영상 등록 오차 보정 방법, 및 이를 이용한 얼굴 인식방법 및 장치
JP2000090191A (ja) 顔認識装置及び方法
Tan et al. A novel weighted hausdorff distance for face localization
Cagnoni et al. A modified modular eigenspace approach to face recognition
JP2006209582A (ja) 開眼度推定装置および開眼度推定方法