KR20170053069A - 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 - Google Patents

포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 Download PDF

Info

Publication number
KR20170053069A
KR20170053069A KR1020150155364A KR20150155364A KR20170053069A KR 20170053069 A KR20170053069 A KR 20170053069A KR 1020150155364 A KR1020150155364 A KR 1020150155364A KR 20150155364 A KR20150155364 A KR 20150155364A KR 20170053069 A KR20170053069 A KR 20170053069A
Authority
KR
South Korea
Prior art keywords
pose
face
recognition
data
vector
Prior art date
Application number
KR1020150155364A
Other languages
English (en)
Other versions
KR101749268B1 (ko
Inventor
오성권
김진율
Original Assignee
수원대학교산학협력단
위아코퍼레이션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수원대학교산학협력단, 위아코퍼레이션 주식회사 filed Critical 수원대학교산학협력단
Priority to KR1020150155364A priority Critical patent/KR101749268B1/ko
Publication of KR20170053069A publication Critical patent/KR20170053069A/ko
Application granted granted Critical
Publication of KR101749268B1 publication Critical patent/KR101749268B1/ko

Links

Images

Classifications

    • G06K9/00288—
    • G06F17/30244—
    • G06K9/627—
    • G06K9/66—

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 관한 것으로서, 보다 구체적으로는 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법으로서, (1) 미리 설정된 학습 동영상으로부터 검출된 복수 포즈의 얼굴 이미지를 저장하여 데이터베이스화 하는 단계; (2) 상기 데이터베이스화로 저장된 복수 포즈의 얼굴 이미지 각각에 대해, 주성분 분석법(PCA) 알고리즘을 이용한 차원 축소의 전처리를 수행하는 단계; (3) 상기 단계 (2)에서 전처리된 데이터를 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈 데이터를 학습시키는 단계; (4) 입자군집 최적화 알고리즘(PSO: Particle Swarm Optimization)을 이용하여 상기 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계; (5) 상기 단계 (1) 내지 단계 (4)를 통해 학습과정이 종료된 후, 미리 설정된 테스트 동영상으로부터 검출된 테스트 얼굴 이미지에 대해, 2방향 2차원 주성분분석법(2-Directional 2-Dimensional Principal Component Analysis) 알고리즘을 이용한 차원 축소의 전처리가 수행되는 단계; (6) 상기 단계 (5)를 통해 차원 축소의 전처리가 수행된 테스트 얼굴 이미지에 대해 유사 포즈를 추정하여 검출하는 단계; 및 (7) 상기 검출된 유사 포즈를 상기 단계 (1) 내지 (4)의 학습과정을 통해 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식 대상으로 판정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 따르면, 복수 포즈의 얼굴이미지를 데이터베이스화하여 저장하고, 주성분 분석법 알고리즘을 이용한 차원 축소의 전처리 과정을 수행한 후 다항식 기반 RBFNNs 패턴 분류기로 각 포즈 데이터를 학습하고, 입자군집 최적화 알고리즘(PSO)을 이용하여 최적화된 파라미터를 획득하며, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 차원 축소하고, 차원 축소된 테스트 얼굴 이미지에 대한 유사 포즈를 분류 및 추정하는 처리과정을 통해 포즈를 획득하고, 획득한 유사 포즈를 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식할 수 있도록 구성함으로써, 정면이 아닌 포즈를 사용하더라도 대상의 얼굴 인식이 가능함은 물론, 다양한 크기의 변화와 포즈의 변화에 대해서도 얼굴의 인식이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선되고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상될 수 있도록 할 수 있다.

Description

포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법{A ROBUST FACE RECOGNITION METHOD FOR POSE VARIATIONS BASED ON POSE ESTIMATION}
본 발명은 얼굴 인식 방법에 관한 것으로서, 보다 구체적으로는 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 관한 것이다.
네트워크 환경과 정보의 발달로 인해 많은 분야에서 보안의 중요성이 화두가 되고 있다. 하지만 현재 사용되는 인식 기술은 사용자가 보안 코드 또는 보안키를 암기하고 있어야 하며, 분실 및 도용 등의 노출이 발생할 수 있다는 문제가 존재하게 된다. 이러한 문제를 보완하기 위해 지문 인식, 홍채 인식 등과 같은 생체 인식 기술이 여러 분야에서 연구가 진행 중에 있다.
생체 인식 기술은 인간이 가지는 고유한 신체적 특징인 지문, 손, 얼굴, 홍채, 망막, 정맥 등의 신체적인 특성과 글씨체, 음성, 걸음걸이 등의 행동학적 특성 등 개별적인 생체 특성을 이용한다는 점에서 기존의 보안 인식 기술에서 발생하는 분실 및 도용과 같은 문제점을 해결할 수 있다. 생체 인식 기술 중 하나인 얼굴인식은, 다른 생체인식 기술과 달리 인식 대상자가 인식부에 직접 접촉할 필요가 없는 비접촉식으로 구현되어, 사용자의 불편함이 적다는 장점이 있다.
기존의 얼굴 인식은 고정식 카메라를 정면에 두고 응시해야 하는 통제적인 방법이 일반적으로 사용되고 있기 때문에 사람이 정면을 응시하지 않으면 인식이 불가능하다는 단점을 가지고 있다. 또한, 종래의 얼굴 인식 방법은, 획득한 2차원 이미지의 명암 도를 기반으로 인식을 수행한다. 이에 따라, 주어진 학습 데이터와 테스트 데이터의 명암도 차이가 클수록 정확한 인식 성능을 획득하는 것이 어려울 수 있다. 또한, 종래기술에 따른 얼굴 인식 방법에서는 인식 대상의 정면 얼굴이미지를 이용하여 학습 데이터를 구성하고, 테스트 이미지 역시 인식 대상자가 카메라를 응시하고 있는 정면 얼굴 이미지를 획득하여 인식을 수행하기 때문에, 인식 대상자가 카메라를 응시하고 있어야 하며, 다른 포즈의 얼굴 이미지가 입력되었을 경우 얼굴이 정확하게 인식되기 어려운 문제가 있었다. 즉, 종래의 얼굴 인식 방법에서는 기존 2차원 얼굴인식의 인식 성능이 조명과 포즈 변화와 같은 외부적인 환경에 의해 인식률이 저하되는 문제가 있었다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 복수 포즈의 얼굴이미지를 데이터베이스화하여 저장하고, 주성분 분석법 알고리즘을 이용한 차원 축소의 전처리 과정을 수행한 후 다항식 기반 RBFNNs 패턴 분류기로 각 포즈 데이터를 학습하고, 입자군집 최적화 알고리즘(PSO)을 이용하여 최적화된 파라미터를 획득하며, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 차원 축소하고, 차원 축소된 테스트 얼굴 이미지에 대한 유사 포즈를 분류 및 추정하는 처리과정을 통해 포즈를 획득하고, 획득한 유사 포즈를 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식할 수 있도록 구성함으로써, 정면이 아닌 포즈를 사용하더라도 대상의 얼굴 인식이 가능함은 물론, 다양한 크기의 변화와 포즈의 변화에 대해서도 얼굴의 인식이 가능하도록 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선되고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상될 수 있도록 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법은,
포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법으로서,
(1) 미리 설정된 학습 동영상으로부터 검출된 복수 포즈의 얼굴 이미지를 저장하여 데이터베이스화 하는 단계;
(2) 상기 데이터베이스화로 저장된 복수 포즈의 얼굴 이미지 각각에 대해, 주성분 분석법(PCA) 알고리즘을 이용한 차원 축소의 전처리를 수행하는 단계;
(3) 상기 단계 (2)에서 전처리된 데이터를 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈 데이터를 학습시키는 단계;
(4) 입자군집 최적화 알고리즘(PSO: Particle Swarm Optimization)을 이용하여 상기 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계;
(5) 상기 단계 (1) 내지 단계 (4)를 통해 학습과정이 종료된 후, 미리 설정된 테스트 동영상으로부터 검출된 테스트 얼굴 이미지에 대해, 2방향 2차원 주성분분석법(2-Directional 2-Dimensional Principal Component Analysis) 알고리즘을 이용한 차원 축소의 전처리가 수행되는 단계;
(6) 상기 단계 (5)를 통해 차원 축소의 전처리가 수행된 테스트 얼굴 이미지에 대해 유사 포즈를 추정하여 검출하는 단계; 및
(7) 상기 검출된 유사 포즈를 상기 단계 (1) 내지 (4)의 학습과정을 통해 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식 대상으로 판정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)에서는,
(2-1) 상기 복수 포즈의 얼굴 이미지에 대한 인식후보의 얼굴 벡터 집합을 구성하는 단계;
(2-2) 상기 얼굴 이미지의 벡터 집합의 평균과 분산을 기준으로 얼굴 이미지를 정규화로 수행하는 단계;
(2-3) 상기 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 계산하여 산출하는 단계;
(2-4) 상기 얼굴 이미지의 인식후보 얼굴 벡터와 평균 얼굴 벡터와의 차이 벡터를 계산하여 산출하는 단계;
(2-5) 상기 산출된 차이 벡터를 이용하여 얼굴 이미지의 인식후보 얼굴에서 공분산 행렬을 계산하여 산출하는 단계; 및
(2-6) 상기 공분산 행렬의 M개의 고유벡터에서 가장 큰 고유값을 갖는 M'개만을 선택하고, 각 인식후보 얼굴과 고유벡터와의 사영을 통해 가중치를 획득하는 단계를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (3)에서는,
상기 전처리된 포즈별 데이터를 FCM(Fuzzy C-Means) 클러스터링 알고리즘을 이용하여 데이터와 각 클러스터와의 거리를 기준으로 소속정도를 측정하여 데이터를 분류하되,
상기 단계 (3)에서의 데이터 분류는,
(3-1) 클러스터의 개수 및 퍼지화 계수를 선택하고, 소속 함수를 초기화하는 단계;
(3-2) 각 클러스터에 대한 중심 벡터를 산출하여 구하는 단계;
(3-3) 상기 중심 벡터와 각각의 테이터와의 거리를 계산하여 새로운 소속 함수를 계산하여 산출하는 단계; 및
(3-4) 상기 소속 함수 및 새로운 소속 함수의 오차가 허용범위 안에 도달하면 알고리즘을 종료하고, 오차가 허용범위 안에 도달하지 않으면 상기 단계 (3-2)로 진행하여 반복하는 단계를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (4)에서의 최적화된 파라미터는,
퍼지화 계수, 연결가중치의 다항식 타입, 노드의 수, 및 축소되는 차원의 수를 포함하고,
상기 연결가중치의 다항식 타입은,
1차 선형 추론 타입과, 2차 선형 추론 타입, 및 변형된 2차 선형 추론 타입을 포함하며,
상기 단계 (4)에서는,
지역학습 방법의 가중최소자승법(Weighted Least Square Estimator)을 사용하여 각 규칙에 대한 파라미터를 독립적으로 산술하여 구할 수 있다.
바람직하게는, 상기 단계 (6)에서는,
Multi-Space PCA를 이용하여 얼굴 포즈를 분류하기 전에, 편주(yaw) 각도(±90°, ±45°, 0°)에 따라 분류된 이미지로 DB를 구성하고, 각 포즈별로 PCA를 수행하여 포즈별 고유 얼굴 벡터를 갖는 Multi-Space PCA 공간을 구성하며, 테스트하려는 얼굴 이미지를 각 PCA 공간으로 투영하여 그 거리를 계산하고 최소 거리를 갖는 포즈를 분류하여 유사 포즈를 검출할 수 있다.
본 발명에서 제안하고 있는 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 따르면, 복수 포즈의 얼굴이미지를 데이터베이스화하여 저장하고, 주성분 분석법 알고리즘을 이용한 차원 축소의 전처리 과정을 수행한 후 다항식 기반 RBFNNs 패턴 분류기로 각 포즈 데이터를 학습하고, 입자군집 최적화 알고리즘(PSO)을 이용하여 최적화된 파라미터를 획득하며, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 차원 축소하고, 차원 축소된 테스트 얼굴 이미지에 대한 유사 포즈를 분류 및 추정하는 처리과정을 통해 포즈를 획득하고, 획득한 유사 포즈를 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식할 수 있도록 구성함으로써, 정면이 아닌 포즈를 사용하더라도 대상의 얼굴 인식이 가능함은 물론, 다양한 크기의 변화와 포즈의 변화에 대해서도 얼굴의 인식이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선되고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상될 수 있도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 중 주성분 분석법 알고리즘을 이용한 차원 축소 단계의 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 중 FCM 클러스터링의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용된 Honda/UCSD 데이터베이스의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 중 주성분 분석법(PAC)의 차원 축소를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기의 전체 구조를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 멀티 스페이스 PCA의 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 인접 포즈 간의 거리값을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 유클리디안 거리를 이용한 포즈 추정을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 실험 예에 구성을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 실험 예에 사용된 k-묶음 교차 검증법에 의한 제안된 모델의 생성을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 실험 예에 (2D)2PCA를 이용한 테스트 데이터의 포즈 추정을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법은, 미리 설정된 학습 동영상으로부터 검출된 복수 포즈의 얼굴 이미지를 저장하여 데이터베이스화 하는 단계(S110), 주성분 분석법(PCA) 알고리즘을 이용한 차원 축소의 전처리를 수행하는 단계(S120), 전처리된 데이터를 다항식 기반 RBFNNSs 패턴 분류기에 입력하여 각 포즈 데이터를 학습시키는 단계(S130), 입자군집 최적화 알고리즘(PSO)을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계(S140), 미리 설정된 테스트 동영상으로부터 검출된 테스트 얼굴 이미지에 대해, 2방향 2차원 주성분분석법 알고리즘을 이용한 차원 축소의 전처리가 수행되는 단계(S150), 차원 축소의 전처리가 수행된 테스트 얼굴 이미지에 대해 유사 포즈를 추정하여 검출하는 단계(S160), 및 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식 대상으로 판정하는 단계(S170)를 포함하여 구성될 수 있다.
단계 S110에서는, 미리 설정된 학습 동영상으로부터 검출된 복수 포즈의 얼굴 이미지를 저장하여 데이터베이스화 한다. 여기서, 단계 S110에서는 얼굴 인식에 사용될 복수의 인원에 대한 영상 이미지에서, 각 1인당 5개의 포즈로 구성되고, 각 포즈의 이미지 내에 포즈 당 5개의 이미지를 영상 내에서 임의로 추출하여 구성된 복수 포즈의 얼굴 이미지가 Honda/UCSD DB에 저장될 수 있다. 이때, 얼굴 이미지의 형상은 각 포즈 각도 변화(좌 90°, 좌 45°, 정면, 우 45°, 우 90°)에 따라 5가지 얼굴 형상으로 획득되고, 영상에서 추출된 이미지의 크기는 90×90의 크기로 구성될 수 있다. 여기서, Honda/UCSD DB(Honda UCSD Video Database)는 공인 DB로서, 얼굴 추적 및 인식 알고리즘을 위해 제공된다. 본 발명에서는 초당 15프레임의 비디오 시퀀스 환경에서 15초간 녹화되며, 이미지들은 640×480의 사이즈로 저장되며, Honda/UCSD DB를 사용하여 얼굴인식의 인식성능을 산출하기 위해 저장된 영상 내에서 20명의 인원에 대해 1인당 5개의 포즈로 구성되고, 각 포즈의 이미지 내에 포즈당 5개의 이미지를 영상 내에서 임의로 추출하여 구성하는 총 500장의 이미지로 구성된다. 도 4는 Honda/UCSD 데이터베이스의 구성을 나타낸다.
단계 S120에서는, 데이터베이스화로 저장된 복수 포즈의 얼굴 이미지 각각에 대해, 주성분 분석법(PCA) 알고리즘을 이용한 차원 축소의 전처리를 수행하게 된다. 여기서, 주성분 분석법(Principal Component Analysis)은 고차원의 특징벡터를 저차원의 특징벡터로 정보의 손실이 최소화되도록 차원을 축소시키는 대표적인 알고리즘이다. PCA 알고리즘을 이용한 얼굴인식은 얼굴영상의 크기가 N×N이고 인식 후보 얼굴영상의 개수가 M개일 때 각 후보 얼굴영상을 M개의 N2×1 행벡터로 인식후보의 얼굴 벡터 집합을 구성하고, 인식후보들의 얼굴벡터 집합을 사용하여 평균영상을 구할 수 있게 된다. 또한, 공분산 행렬을 구하기 위해 학습영상 벡터와 평균 얼굴영상 벡터의 차이 영상벡터를 구하며, 이 결과는 N2×M 행렬이 되며, 공분산 행렬은 N2×N2의 차원을 가지게 된다. 이러한 공분산 행렬로부터 M개의 고유 값 λi와 이에 대응하는 고유벡터를 계산하고, 여기서 고유 값에서 얻어진 고유벡터를 N×N으로 재배열하면 사람 모양과 닮은 고유 얼굴을 얻을 수 있게 된다. 이하에서는 단계 S120의 주성분 분석법 알고리즘을 이용한 차원 축소 과정에 대해 첨부된 도 2를 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 중 주성분 분석법 알고리즘을 이용한 차원 축소 단계의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 단계 S120은, 복수 포즈의 얼굴 이미지에 대한 인식후보의 얼굴 벡터 집합을 구성하는 단계(S121), 얼굴 이미지의 벡터 집합의 평균과 분산을 기준으로 얼굴 이미지를 정규화로 수행하는 단계(S122), 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 계산하여 산출하는 단계(S123), 얼굴 이미지의 인식후보 얼굴 벡터와 평균 얼굴 벡터와의 차이 벡터를 계산하여 산출하는 단계(S124), 산출된 차이 벡터를 이용하여 얼굴 이미지의 인식후보 얼굴에서 공분산 행렬을 계산하여 산출하는 단계(S125), 및 공분산 행렬의 M개의 고유벡터에서 가장 큰 고유값을 갖는 M'개만을 선택하고, 각 인식후보 얼굴과 고유벡터와의 사영을 통해 가중치를 획득하는 단계(S126)를 포함하여 구성될 수 있다.
단계 S121에서는, 아래의 [수학식 1]과 같이, M개의 인식후보의 얼굴 이미지들 Γ의 얼굴 벡터 집합 S를 설정할 수 있다.
Figure pat00001
단계 S122에서는, 아래의 [수학식 2]와 같이, 얼굴 이미지 Γ의 벡터 집합의 평균 μ 및 분산 σ에 기초하여 얼굴 이미지를 정규화 할 수 있다.
Figure pat00002
단계 S123에서는, 아래의 [수학식 3]과 같이, 얼굴 이미지 Γ의 벡터 집합으로부터 평균 얼굴 벡터 Ψ를 계산하여 산출할 수 있다.
Figure pat00003
단계 S124에서는, 아래의 [수학식 4]와 같이, 인식후보 얼굴 벡터와 평균 얼굴 벡터의 차이 벡터 Φ를 계산하여 산출할 수 있다.
Figure pat00004
단계 S125에서는, 아래의 [수학식 5]와 같이, 산출된 차이 벡터 Φ를 이용하여 얼굴 이미지의 인식후보 얼굴에서 공분산 행렬 C를 계산하여 산출할 수 있다.
Figure pat00005
단계 S126에서는, 아래의 [수학식 6] 및 [수학식 7]과 같이, M개의 고유벡터에서 가장 큰 고유값을 갖는 고유벡터들을 선택하고, 각 인식후보 얼굴과 고유벡터와의 사영을 통해 가중치 ΩT를 획득할 수 있다.
Figure pat00006
Figure pat00007
도 5는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 중 주성분 분석법(PAC)의 차원 축소를 도시한 도면이다. 도 5의 (a)는 일반 데이터 분포를 나타내고, 도 5의 (b)는 데이터의 차원 축소를 나타낸다.
단계 S130에서는, 단계 S120에서 전처리된 데이터를 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈 데이터를 학습시킬 수 있다. 이하에서는 첨부된 도면을 참조하여 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기의 구조 및 최적화에 대해 상세히 설명하기로 한다.
도 6은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기의 전체 구조를 도시한 도면이다. 기본적인 신경회로망은 인간의 두뇌를 구현하기 위한 알고리즘으로서, RBFNNs(Radial Basis Function Neural Networks) 패턴 분류기는 신경 회로망의 구조를 기반으로 하여 입력층, 은닉층 및 출력층의 3가지로 구분할 수 있다. 입력층에서는 각 노드마다 입력변수의 개수만큼 활성함수가 존재하며, 활성함수는 방사형 기저함수의 형태로 구성되고, 주로 가우시안 형태를 사용하고 있다. 입력 데이터는 전처리 과정을 수행하여 인식에 사용하기 적합한 저차원 데이터로 축소되어 은닉층의 입력으로 들어가게 된다. 이때, 은닉층에서 활성함수로 변환된 출력은 은닉층과 출력층 사이의 연결가중치 값과 곱해져 출력층의 최종 출력으로 얻어지며, 연결가중치의 값은 상수를 사용하게 된다. 본 발명에 사용되는 다항식 기반 RBFNNs 패턴 분류기는 기존의 RBFNNs와 비교하였을 때 구조적 모듈로는 동일하게 입력층, 은닉층 및 출력층의 3가지로 구분되나, 기능적 모듈로서 조건부, 추론부 및 결론부의 3가지로 구분될 수 있다. 또한 기존에 조건부의 활성함수로서 사용되던 가우시안 함수 대신 FCM(Fuzzy C-Means) 클러스터링 알고리즘의 멤버쉽(적합도) 값을 사용함으로써, 입력 데이터의 특성을 더 잘 반영할 수 있게 된다. 또한 결론부의 연결가중치를 상수항에서, 아래의 [수학식 8] 내지 [수학식 12]에서와 같이, 일차식과 이차식, 그리고 변형된 이차식과 같은 다항식의 형태로 확장하여 사용한다는 특징을 가지고 있다.
[Type 1] 1차 선형 추론(Linear)
Figure pat00008
[Type 2] 2차 선형 추론(Quadratic)
Figure pat00009
Figure pat00010
[Type 3] 변형된 2차 선형 추론(Modified Quadratic)
Figure pat00011
Figure pat00012
여기서, x = [x1, x2, …, xk ]에서 k는 입력변수의 수를 나타내고, Rj는 j번째 퍼지 규칙(j=1, …,c)을 나타내며, c는 퍼지 규칙 수이고, fj(x1, …, xk)는 j번째 규칙에 대한 후반부로서 j번째 퍼지 규칙에 대한 로컬 모델을 나타낸다. 이때, 모델의 출력은 아래의 [수학식 13]과 같이 나타낼 수 있다.
Figure pat00013
이와 같이, 다항식 형태의 연결가중치를 사용함으로써, 아래의 [수학식 14]의 퍼지 규칙 표현과 같은 언어적 관점에서의 해석이 가능해질 수 있다.
Figure pat00014
이러한 단계 S130에서는 전처리된 포즈별 데이터를 FCM(Fuzzy C-Means) 클러스터링 알고리즘을 이용하여 데이터와 각 클러스터와의 거리를 기준으로 소속정도를 측정하여 데이터를 분류할 수 있다. FCM(Fuzzy C-Means) 클러스터링 알고리즘은 비슷한 패턴, 속성, 형태 등의 기준을 통해 데이터를 분류하는 알고리즘으로, 데이터와 각 클러스터와의 거리를 기준으로 소속 정도를 측정하여 데이터를 분류하게 되며, 이를 이용하여 다항식 기반 RBFNNs 패턴분류기의 은닉층 활성함수 형태를 표현할 수 있게 되고, 도 3에 도시된 바와 같은 단계를 통해 수행될 수 있다.
도 3은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 중 FCM 클러스터링의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, FCM 클러스터링의 데이터 분류 처리는, 클러스터의 개수 및 퍼지화 계수를 선택하고, 소속 함수를 초기화하는 단계(S131), 각 클러스터에 대한 중심 벡터를 산출하여 구하는 단계(S132), 중심 벡터와 각각의 테이터와의 거리를 계산하여 새로운 소속 함수를 계산하여 산출하는 단계(S133), 및 소속 함수 및 새로운 소속 함수의 오차가 허용범위 안에 도달하면 알고리즘을 종료하고, 오차가 허용범위 안에 도달하지 않으면 단계 S132로 진행하여 반복하는 단계(S134)를 포함하여 구성될 수 있다.
단계 S131에서는, 아래의 [수학식 15]와 같이, 클러스터의 개수, 퍼지화 계수를 선택하고, 소속 함수(U(0))를 초기화한다.
Figure pat00015
단계 S132에서는, 아래의 [수학식 16]과 같이, 각 클러스터에 대한 중심 벡터를 산출하여 구한다.
Figure pat00016
단계 S133에서는, 아래의 [수학식 17] 및 [수학식 18]과 같이, 중심과 데이터와의 거리 d를 계산하며, 이를 통해 새로운 소속 함수(U(1))를 계산한다.
Figure pat00017
Figure pat00018
단계 S134에서는, 아래의 [수학식 19]와 같이, 오차가 허용 범위 ε 내에 도달하면 알고리즘을 종료하고, 그렇지 않으면 단계 S132로 돌아간다.
Figure pat00019
한편, 기존의 퍼지 추론 시스템에서는 후반부 파라미터 동정 시, 주로 각 규칙에 파라미터를 동시에 구하는 전역학습 방법인 Least Square Estimator(LSE)가 주로 사용되어, 각 규칙에 파라미터를 동시에 구하는 전역학습 방법으로 학습만 너무 많이 했을 시, 오버 피팅(over fitting)이 발생할 수 있고, 퍼지 규칙수가 많거나, 입력이 많은 경우에는 찾고자 하는 파라미터들이 늘어나 연산 시간이 오래 걸리는 단점이 있었다. 본 발명에서는 이를 보완하기 위해, Weighted Least Square Estimator(WLSE)를 사용하여 각 규칙에 대한 파라미터를 독립적으로 구하는 지역학습 방법을 적용하고 있다. 아래의 [표 1]은 LSE와 WLSE의 특징을 나타낸다.
Figure pat00020
LSE는 오차제곱의 합이 최소가 되도록 계수를 측정하지만, WLSE는 오차제곱에 가중치가 곱해지는 차이가 있다. 이러한 WLSE에서의 성능 평가함수를 행렬식으로 표현하면 아래의 [수학식 20]과 같다.
Figure pat00021
여기서, aj는 추정하고자 하는 j번째 다항식의 계수를 나타내고, Y는 출력 데이터를 나타내며, Uj는 j번째 입력 공간에 대한 입력 데이터들의 소속 값을 의미한다. Xj는 j번째 로컬 모델의 계수를 추정하기 위한 입력 데이터 행렬을 의미하며, 로컬 모델이 선형일 경우, 아래의 [수학식 21]과 같이 정의될 수 있다.
Figure pat00022
여기서, m은 데이터의 수이며, j번째 규칙에 대한 로컬 모델인 다항식의 계수는 아래의 [수학식 22]에 의해 구해질 수 있다.
Figure pat00023
위와 같이 설계된 다항식 기반 RBFNNs 패턴 분류기는 다차원 입, 출력 문제 해결이 용이하며, 네트워크 특성이 강인하고, 예측 능력이 뛰어난 장점을 지니고 있다.
단계 S140에서는, 입자군집 최적화 알고리즘(PSO: Particle Swarm Optimization)을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득할 수 있다. 이러한 단계 S140에서의 최적화된 파라미터는 퍼지화 계수, 연결가중치의 다항식 타입, 노드의 수, 및 축소되는 차원의 수를 포함하고, 연결가중치의 다항식 타입은 1차 선형 추론 타입과, 2차 선형 추론 타입, 및 변형된 2차 선형 추론 타입을 포함할 수 있다. 또한, 단계 S140에서는 지역학습 방법의 가중최소자승법(Weighted Least Square Estimator)을 사용하여 각 규칙에 대한 파라미터를 독립적으로 산술하여 구할 수 있다.
파라미터의 최적화를 위한 입자군집 최적화 알고리즘(PSO)은 Kennedy and Eberhart에 의해 처음 소개된 새떼와 물고기 떼와 같은 생체군집의 사회적 행동양식을 바탕으로 한 최적화 알고리즘으로, 일반적으로 PSO는 이론의 간결성, 구현의 용이성, 연산의 효율성과 같은 특징을 보이며, 짧은 계산시간 안에 최적의 해를 생성할 수 있고 다른 확률적 방법보다 안정적인 수렴특징을 나타낸다. 이러한 입자군집 최적화 알고리즘은, 다음과 같은 처리 과정으로 수행될 수 있다.
먼저, 초기 군집(Swarm)과 입자 속도(Particle Velocity)를 랜덤하게 생성하고, 이어 초기 입자를 pbest로 선정하며, 그 중 최적의 값은 다시 gbest로 선정하게 된다. 다음, 아래의 [수학식 23]과 [수학식 24]를 통해 관성하중 값을 계산하며, 관성하중 값을 근거로 하여 j번째 입자 속도를 계산한다.
Figure pat00024
Figure pat00025
다음, 입자 속도를 바탕으로 아래의 [수학식 25]와 같이, 입자의 위치 정보를 수정할 수 있다.
Figure pat00026
다음, 각 입자의 적합도와 pbest의 적합도를 비교하여 재설정하고, 최적해의 pbest와 gbest를 비교하여 재설정하고, 종료 조건이 만족할 때까지 탐색을 계속하며, 최종적으로 최적의 위치 정보를 가지는 gbest가 생성되도록 한다. 본 발명에서는 이러한 최적화 알고리즘을 이용하여 퍼지화 계수, 연결가중치의 다항식 타입, 노드의 수, 축소되는 차원의 수 등을 최적화 시키고 있다.
단계 S150에서는, 단계 S110 내지 단계 S140을 통해 학습과정이 종료된 후, 미리 설정된 테스트 동영상으로부터 검출된 테스트 얼굴 이미지에 대해, 2방향 2차원 주성분 분석법(2-Directional 2-Dimensional Principal Component Analysis) 알고리즘을 이용한 차원 축소의 전처리가 수행될 수 있다. 즉, 단계 S150에서는 2방향 2차원 주성분분석법((2D)2PCA) 알고리즘을 이용하여 행 방향으로 차원을 줄인 (2D)PCA와 열 방향으로 차원을 줄인 (2D)PCA의 특징 행렬의 벡터 중에서 가장 큰 주성분만을 추출하여 차원을 줄이게 된다. 이러한 2 방향 2차원 주성분 분석법((2D)2PCA) 알고리즘은 행 방향으로 차원을 축소한 (2D)PCA와 열 방향으로 차원을 축소한 (2D)PCA를 결합한 방식으로 2차원 이미지의 특징을 양쪽 방향에서 차원을 축소하는 방법을 의미한다. 이와 같이 생성된 2개의 특징 행렬들을 이용하여 새로운 인식 후보들이 들어왔을 때 아래의 [수학식 26]과 같이 표현 할 수 있다.
Figure pat00027
즉, 앞서 설명한 행 방향으로 차원을 줄인 (2D)PCA와 열 방향으로 차원을 줄인 (2D)PCA의 특징 행렬　U와　V는 행 방향으로　m1×d1만큼 차원이 줄어들고, 열 방향으로 m2×d2 만큼 차원이 줄어들게 된다. 따라서　Y의 행렬의 크기는　m1×d2의 크기를 가지게 된다. 이렇게 행과 열의 특징 벡터 중에서 가장 큰 몇 개의 주성분만을 추출하여 차원을 줄임으로써 2DPCA와 같은 인식률을 가지며, 계산하는 차원이 줄어서 연산의 속도가 감소하는 장점이 있다.
단계 S160에서는, 단계 S150을 통해 차원 축소의 전처리가 수행된 테스트 얼굴 이미지에 대해 유사 포즈를 추정하여 검출할 수 있다. 이러한 단계 S160에서는 Multi-Space PCA를 이용하여 얼굴 포즈를 분류하기 전에, 편주(yaw) 각도(±90°, ±45°, 0°)에 따라 분류된 이미지로 DB를 구성하고, 각 포즈별로 PCA를 수행하여 포즈별 고유 얼굴 벡터를 갖는 Multi-Space PCA 공간을 구성하며, 테스트하려는 얼굴 이미지를 각 PCA 공간으로 투영하여 그 거리를 계산하고 최소 거리를 갖는 포즈를 분류하여 유사 포즈를 검출하게 된다.
도 7은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 멀티 스페이스 PCA의 구성을 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 인접 포즈 간의 거리값을 도시한 도면이며, 도 9는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법에 사용되는 유클리디안 거리를 이용한 포즈 추정을 도시한 도면이다. 도 7에 도시된 바와 같이, Multi-Space PCA의 구성은, 얼굴 추적기에서 얻어지는 얼굴 영상 시퀀스를 그대로 얼굴인식에 사용할 경우 포즈변화에 따른 얼굴 이미지의 차이를 고려하지 않으므로 성능의 저하가 불가피하게 된다. 이에 따라 얼굴 인식성능의 향상을 위해서는 추적기에서 추출된 얼굴을 포즈별로 분류하고 분류된 포즈 안에서 얼굴 인식을 해야 한다. 본 발명에서는 얼굴포즈를 분류하기 위해, 먼저 다른 사람들의 같은 포즈들을 도 7과 같이 yaw 각도(±90°, ±45°, 0° )에 따라 분류하고, 분류된 이미지로 DB를 구성하며, 각 포즈별로 PCA를 수행하여 포즈별 고유 얼굴 벡터를 갖는 Multi-Space PCA 공간을 구성하게 된다.
다음으로 테스트하려는 얼굴 이미지를 각 PCA 공간으로 투영하여 그 거리를 계산하고, 최소 거리를 갖는 포즈로 분류하게 된다. 이때, 각 포즈별 고유 얼굴 벡터의 모든 성분을 사용하여 포즈를 분류하려 한다면 포즈별 고유 벡터 안에서 잘못된 값으로 매칭 되어 포즈가 분류되지 않으므로, 포즈를 분류하기 위해서는 각 포즈별 PCA 공간이 가지고 있는 가장 큰 몇 개의 주성분을 추출하고, 추출된 주성분을 테스트 이미지에 투영하여 해당 포즈별 PCA 공간과의 유클리디언 거리가 최소일 때 포즈로 추정하게 된다. 이하 포즈를 분류하는 과정은 다음과 같이 진행이 이루어지게 된다. 먼저, 각 포즈별로 PCA 알고리즘을 실행하여 고유 얼굴벡터를 생성하고, 다음으로 각 포즈의 특징을 나타내는 큰 주성분을 추출하며, 이어서 인식후보의 특징을 각 포즈별 주성분으로 투영하여 가까운 포즈를 찾게 된다.
이때, 데이터베이스와 유사한 포즈를 갖는 이미지 추출은, Multi-Space PCA를 이용한 방법으로 포즈를 판별하면 5개의 포즈 중 하나로 포즈를 분류할 수 있게 된다. 하지만, 분류된 포즈별 데이터베이스 내에서 그대로 얼굴인식을 실행하게 된다면 데이터베이스 속의 학습된 이미지와 판별된 이미지의 포즈 각도 차이가 존재하므로 얼굴인식률이 하락할 수 있다. 이러한 문제를 해결하기 위해 추출된 이미지가 포즈별 데이터베이스와 유사한 포즈 일 때만 얼굴인식에 사용하도록 하여 동영상 속에서의 얼굴인식의 성능을 개선하게 된다. 즉, 대상이 어떤 포즈를 가질 때 다른 포즈들에 대한 거리의 차이는 2차 곡선 모양이 되어 추정된 포즈에서 인접한 다른 포즈까지의 거리가 같다고 알려져 있다. 예를 들어 현재 포즈가 도 8의 (a)와 같이 정면(Front)이라고 하면, 이때 다음으로 가까운 포즈인 좌(Left 45), 우(Right 45)의 두 포즈간의 거리 값의 차이는 거의 없게 된다. 따라서 좌(Left 45), 우(Right 45) 포즈와의 거리 값을 각각 계산하여 그 차이가 거의 없을 때 현재 이미지가 데이터베이스와 가장 유사한 이미지임을 알 수 있게 된다.
이와 같이, 계산된 Left 45(Point2), Right 45(Point3)의 거리 값 차이를　λ로 두고, 그 차이가 일정한 범위(0과 가까운)안에 들어올 때 이미지는 데이터베이스속의 이미지와 유사한 포즈임을 나타내므로 이 얼굴 이미지를 얼굴인식에 사용할 수 있게 된다. 반면, 도 8의 (b)에서는 yaw 각도가 변하여 얼굴이 한 포즈에서 다음 포즈로 넘어가는 과정에서 두 포인트의 거리 차가 증가하는 것을 볼 수 있다. 즉, 도 9에 도시된 바와 같이, 유클리디안 거리를 통해 어떤 포즈로 인식 결과를 수행하였는가를 확인 할 수 있다. 정면의 포즈 각도를 ‘3’, 우측과 좌측의 사진을 각각 ‘4’, ‘2’로 설정하였을 때 임의의 우측 45도의 사진과 임의의 정면의 사진은 포즈가 제대로 추정되었지만, 임의의 좌측 45도와 같은 경우는 좌측이 아닌 정면으로 포즈가 오인식 되었음을 확인할 수 있다.
단계 S170에서는, 검출된 유사 포즈를 단계 S110 내지 S140의 학습과정을 통해 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식 대상으로 판정하게 된다.
상술한 바와 같이 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법은, 복수 포즈의 얼굴이미지를 데이터베이스화하여 저장하고, 주성분 분석법 알고리즘을 이용한 차원 축소의 전처리 과정을 수행한 후 다항식 기반 RBFNNs 패턴 분류기로 각 포즈 데이터를 학습하고, 입자군집 최적화 알고리즘(PSO)을 이용하여 최적화된 파라미터를 획득하며, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 차원 축소하고, 차원 축소된 테스트 얼굴 이미지에 대한 유사 포즈를 분류 및 추정하는 처리과정을 통해 포즈를 획득하고, 획득한 유사 포즈를 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식할 수 있도록 구성함으로써, 정면이 아닌 포즈를 사용하더라도 대상의 얼굴 인식이 가능함은 물론, 다양한 크기의 변화와 포즈의 변화에 대해서도 얼굴의 인식이 가능하도록 할 수 있다. 또한, 테스트 데이터에 대해 2방향 2차원 주성분분석법 알고리즘을 이용하여 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선되고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상될 수 있도록 할 수 있다.
실험 예
도 10은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 실험 예에 구성을 도시한 도면이고, 도 11은 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 실험 예에 사용된 k-묶음 교차 검증법에 의한 제안된 모델의 생성을 도시한 도면이며, 도 12는 본 발명의 일실시예에 따른 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법의 실험 예에 (2D)2PCA를 이용한 테스트 데이터의 포즈 추정을 도시한 도면이다. 본 실험에서는, 2차원 얼굴인식에서의 포즈변화에 강인한 얼굴인식 시스템 설계를 위해 2차원 이미지의 데이터베이스를 획득하기 위해 Honda/UCSD DB를 사용하였다. 먼저 포즈 분류를 위해 (2D)2PCA를 이용하였으며 PCA와 RBFNNs 패턴분류기의 인식성능 비교를 위해 PCA와 (2D)2PCA를 이용한 인식성능 산출 또는 PCA와 (2D)2PCA 기반 RBFNNs를 이용하여 인식 성능을 확인하였다.
실험을 위해 사용한 데이터베이스의 구성은 동영상에서 추출한 Honda/UCSD DB의 인원 20명으로 진행하였으며, 학습 및 검증 데이터는 각 인원의 포즈변화에 따른 (좌 90˚, 좌 45˚, 정면, 우 45˚, 우 90˚) 5개의 영상을 입력하여 총 500개의 데이터를 이용하였다. 또한 실험데이터는 5-fold cross validation을 이용하여 아래의 [표 2]와 같이 학습, 검증, 테스트를 분할하여 실험을 진행하였다. 테스트 데이터는 임의 정면(좌측, 우측 약 7˚), 임의 좌측(약 45˚), 임의 우측(약 45˚)의 영상을 입력받아 총 60개의 데이터를 사용하였다. 테스트 이미지를 임의각도의 사진을 추출하여 넣은 이유는 세밀하게 분류를 하여 얼굴인식을 수행하면 높은 인식성능을 획득할 수 있지만 현 상황에서 그 모델에 해당하는 학습데이터를 전부 구성하는 것은 이론적으로 불가능하다. 따라서 임의의 5가지 방향의 포즈 이미지를 이용한 학습 데이터를 이용하며, 테스트 데이터 입력 시 가장 유사한 포즈 모델에서 인식을 수행하여 인식 성능을 확인하도록 하였다.
Figure pat00028
또한, 도 11에 도시된 바와 같이, k-fold cross validation을 사용함으로서 각 포즈별 데이터가 한번 씩 검증 데이터로 들어가게 되며, 각 모델에서 얻은 성능의 평균을 하나의 모델로서 평가하는 방식으로 인식을 수행하였다.
본 실험에서의 얼굴인식 시스템의 포즈 추정은 (2D)2PCA를 사용하였으며, 도 12에 도시된 바와 같이, 첫 번째 3장의 사진은 첫 번째 인식대상자의 이미지가 입력되었고 총 20명의 사람으로 구성되었다. 총 60장으로 구성된 이미지는 우측의 이미지 순서와 같이 정면, 임의좌측, 임의 우측의 순서로 추정되게 된다. 이때, 붉은 색으로 마킹 된 부분은 원래의 이미지각도와 다르게 포즈 추정된 것을 의미한다.
(2D)2PCA를 통한 포즈 추정으로 분류된 학습 데이터에 Case (1)과 Case (2)를 통하여 인식을 위한 처리시간은 아래의 [표 3] 과 [표 4]를 통해 확인할 수 있다. Case (1)과 Case (2)를 이용하여 얼굴 인식 시스템을 수행하였을 때, (2D)2PCA를 사용한 얼굴 인식 시스템의 경우에 인식 처리 속도가 더 빠름을 확인하였다. 또한 [표 3]의 Case (2)에서 RBFNNs 패턴분류기를 이용하여 인식성능을 확인하는 경우, 학습 및 검증을 수행함으로 인해 [표 3]의 Case (1)보다 많은 처리 시간을 가지는 것을 확인할 수 있었다. 즉, [표 3] 및 [표 4]는 얼굴인식 시스템의 수행 결과를 나타낸다.
Figure pat00029
Figure pat00030
아래의 [표 5]는 얼굴인식 시스템의 성능 결과를 나타낸다. Honda/UCSD DB의 포즈 분류 후, 인식성능 산출을 위해 사용한 Case (1)과 Case (2)의 PCA, (2D)2PCA 알고리즘과 PCA 또는 (2D)2PCA기반 RBFNNs을 이용하여 인식성능을 비교하였다. Case (1)과 Case (2)에서 각각 PCA를 이용하여 얼굴 인식을 수행하였을 때, (2D)2PCA를 사용한 경우가 PCA보다 근소하게 우수한 성능을 출력함을 확인하였으며, 또한 Case (1)의 인식성능보다 RBFNNs 패턴분류기를 이용하여 학습 및 검증을 수행한 Case (2)의 성능이 더욱 우수함을 확인할 수 있었다.
Figure pat00031
본 실험에서는 (2D)2PCA를 통하여 포즈 분류를 한 Honda/UCSD 데이터를 PCA 및 (2D)2PCA 또는 PCA 및 (2D)2PCA 기반 다항식 RBFNNs 패턴분류기와의 얼굴인식 성능을 비교하였으며, 실험 결과는 도 12를 통하여 알 수 있는 바와 같이, (2D)2PCA를 이용한 테스트 데이터의 포즈추정 결과를 확인하였고, [표 3] 내지 [표 5] 까지는 얼굴인식 시스템의 성능결과로 학습 및 검증과 테스트의 컴퓨팅 시간과 인식성능을 확인할 수 있었다. RBFNNs 패턴분류기를 이용한 경우는 학습 및 검증 수행에 의해 상대적으로 긴 컴퓨팅 시간을 소요하지만, 학습을 통해 획득한 최적화 파라미터를 이용하여 Case (1) 보다 더 높은 인식성능을 출력하는 것을 확인할 수 있었다. 또한, Case (1)과 Case (2)를 비교하였을 때 (2D)2PCA는 행 방향과 열 방향을 각각 축소하며 계산하는 차원의 양이 줄어 PCA에 비해 빠른 연산 속도를 가지며, Case (1)과 Case (2)에서의 인식 성능을 산출에서 PCA를 사용할 때보다 (2D)2PCA를 사용하였을 때 근소하게 우수한 것을 확인할 수 있었다. Case (2)는 앞서 언급한 것과 같이 학습 및 검증을 통한 인식성능 산출로 Case (1)보다 높은 인식성능을 산출하는 것이 확인되었다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S110: 미리 설정된 학습 동영상으로부터 검출된 복수 포즈의 얼굴 이미지를 저장하여 데이터베이스화 하는 단계
S120: 주성분 분석법(PCA) 알고리즘을 이용한 차원 축소의 전처리를 수행하는 단계
S121: 복수 포즈의 얼굴 이미지에 대한 인식후보의 얼굴 벡터 집합을 구성하는 단계
S122: 얼굴 이미지의 벡터 집합의 평균과 분산을 기준으로 얼굴 이미지를 정규화로 수행하는 단계
S123: 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 계산하여 산출하는 단계
S124: 얼굴 이미지의 인식후보 얼굴 벡터와 평균 얼굴 벡터와의 차이 벡터를 계산하여 산출하는 단계
S125: 산출된 차이 벡터를 이용하여 얼굴 이미지의 인식후보 얼굴에서 공분산 행렬을 계산하여 산출하는 단계
S126: 공분산 행렬의 M개의 고유벡터에서 가장 큰 고유값을 갖는 M'개만을 선택하고, 각 인식후보 얼굴과 고유벡터와의 사영을 통해 가중치를 획득하는 단계
S130: 전처리된 데이터를 다항식 기반 RBFNNSs 패턴 분류기에 입력하여 각 포즈 데이터를 학습시키는 단계
S131: 클러스터의 개수 및 퍼지화 계수를 선택하고, 소속 함수를 초기화하는 단계
S132: 각 클러스터에 대한 중심 벡터를 산출하여 구하는 단계
S133: 중심 벡터와 각각의 테이터와의 거리를 계산하여 새로운 소속 함수를 계산하여 산출하는 단계
S134: 소속 함수 및 새로운 소속 함수의 오차가 허용범위 안에 도달하면 알고리즘을 종료하고, 오차가 허용범위 안에 도달하지 않으면 S132로 진행하여 반복하는 단계
S140: 입자군집 최적화 알고리즘(PSO)을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계
S150: 미리 설정된 테스트 동영상으로부터 검출된 테스트 얼굴 이미지에 대해, 2방향 2차원 주성분분석법 알고리즘을 이용한 차원 축소의 전처리가 수행되는 단계
S160: 차원 축소의 전처리가 수행된 테스트 얼굴 이미지에 대해 유사 포즈를 추정하여 검출하는 단계
S170: 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식 대상으로 판정하는 단계

Claims (5)

  1. 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법으로서,
    (1) 미리 설정된 학습 동영상으로부터 검출된 복수 포즈의 얼굴 이미지를 저장하여 데이터베이스화 하는 단계;
    (2) 상기 데이터베이스화로 저장된 복수 포즈의 얼굴 이미지 각각에 대해, 주성분 분석법(PCA) 알고리즘을 이용한 차원 축소의 전처리를 수행하는 단계;
    (3) 상기 단계 (2)에서 전처리된 데이터를 다항식 기반 RBFNNSs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈 데이터를 학습시키는 단계;
    (4) 입자군집 최적화 알고리즘(PSO: Particle Swarm Optimization)을 이용하여 상기 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계;
    (5) 상기 단계 (1) 내지 단계 (4)를 통해 학습과정이 종료된 후, 미리 설정된 테스트 동영상으로부터 검출된 테스트 얼굴 이미지에 대해, 2방향 2차원 주성분분석법(2-Directional 2-Dimensional Principal Component Analysis) 알고리즘을 이용한 차원 축소의 전처리가 수행되는 단계;
    (6) 상기 단계 (5)를 통해 차원 축소의 전처리가 수행된 테스트 얼굴 이미지에 대해 유사 포즈를 추정하여 검출하는 단계; 및
    (7) 상기 검출된 유사 포즈를 상기 단계 (1) 내지 (4)의 학습과정을 통해 획득된 최적화된 파라미터에 적용하여 테스트 얼굴 이미지를 인식 대상으로 판정하는 단계를 포함하는 것을 특징으로 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법.
  2. 제1항에 있어서, 상기 단계 (2)에서는,
    (2-1) 상기 복수 포즈의 얼굴 이미지에 대한 인식후보의 얼굴 벡터 집합을 구성하는 단계;
    (2-2) 상기 얼굴 이미지의 벡터 집합의 평균과 분산을 기준으로 얼굴 이미지를 정규화로 수행하는 단계;
    (2-3) 상기 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 계산하여 산출하는 단계;
    (2-4) 상기 얼굴 이미지의 인식후보 얼굴 벡터와 평균 얼굴 벡터와의 차이 벡터를 계산하여 산출하는 단계;
    (2-5) 상기 산출된 차이 벡터를 이용하여 얼굴 이미지의 인식후보 얼굴에서 공분산 행렬을 계산하여 산출하는 단계; 및
    (2-6) 상기 공분산 행렬의 M개의 고유벡터에서 가장 큰 고유값을 갖는 M'개만을 선택하고, 각 인식후보 얼굴과 고유벡터와의 사영을 통해 가중치를 획득하는 단계를 포함하는 것을 특징으로 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법.
  3. 제1항에 있어서, 상기 단계 (3)에서는,
    상기 전처리된 포즈별 데이터를 FCM(Fuzzy C-Means) 클러스터링 알고리즘을 이용하여 데이터와 각 클러스터와의 거리를 기준으로 소속정도를 측정하여 데이터를 분류하되,
    상기 단계 (3)에서의 데이터 분류는,
    (3-1) 클러스터의 개수 및 퍼지화 계수를 선택하고, 소속 함수를 초기화하는 단계;
    (3-2) 각 클러스터에 대한 중심 벡터를 산출하여 구하는 단계;
    (3-3) 상기 중심 벡터와 각각의 테이터와의 거리를 계산하여 새로운 소속 함수를 계산하여 산출하는 단계; 및
    (3-4) 상기 소속 함수 및 새로운 소속 함수의 오차가 허용범위 안에 도달하면 알고리즘을 종료하고, 오차가 허용범위 안에 도달하지 않으면 상기 단계 (3-2)로 진행하여 반복하는 단계를 포함하는 것을 특징으로 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법.
  4. 제1항에 있어서, 상기 단계 (4)에서의 최적화된 파라미터는,
    퍼지화 계수, 연결가중치의 다항식 타입, 노드의 수, 및 축소되는 차원의 수를 포함하고,
    상기 연결가중치의 다항식 타입은,
    1차 선형 추론 타입과, 2차 선형 추론 타입, 및 변형된 2차 선형 추론 타입을 포함하며,
    상기 단계 (4)에서는,
    지역학습 방법의 가중최소자승법(Weighted Least Square Estimator)을 사용하여 각 규칙에 대한 파라미터를 독립적으로 산술하여 구하는 것을 특징으로 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법.
  5. 제1항에 있어서, 상기 단계 (6)에서는,
    Multi-Space PCA를 이용하여 얼굴 포즈를 분류하기 전에, 편주(yaw) 각도(±90°, ±45°, 0°)에 따라 분류된 이미지로 DB를 구성하고, 각 포즈별로 PCA를 수행하여 포즈별 고유 얼굴 벡터를 갖는 Multi-Space PCA 공간을 구성하며, 테스트하려는 얼굴 이미지를 각 PCA 공간으로 투영하여 그 거리를 계산하고 최소 거리를 갖는 포즈를 분류하여 유사 포즈를 검출하는 것을 특징으로 하는, 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법.
KR1020150155364A 2015-11-05 2015-11-05 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 KR101749268B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150155364A KR101749268B1 (ko) 2015-11-05 2015-11-05 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150155364A KR101749268B1 (ko) 2015-11-05 2015-11-05 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법

Publications (2)

Publication Number Publication Date
KR20170053069A true KR20170053069A (ko) 2017-05-15
KR101749268B1 KR101749268B1 (ko) 2017-06-20

Family

ID=58739574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150155364A KR101749268B1 (ko) 2015-11-05 2015-11-05 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법

Country Status (1)

Country Link
KR (1) KR101749268B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633236A (zh) * 2017-09-28 2018-01-26 北京达佳互联信息技术有限公司 图像内容理解方法、装置及服务器
CN108228823A (zh) * 2017-12-29 2018-06-29 中国电子科技集团公司信息科学研究院 一种高维图像数据降维的二值编码方法及系统
KR20190098858A (ko) 2018-02-01 2019-08-23 고려대학교 산학협력단 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치
KR20200086168A (ko) 2019-01-08 2020-07-16 연세대학교 산학협력단 실용학적 임상시험 지원 시스템 및 방법
KR20200132469A (ko) * 2019-05-17 2020-11-25 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
CN112100427A (zh) * 2020-09-03 2020-12-18 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN112949576A (zh) * 2021-03-29 2021-06-11 北京京东方技术开发有限公司 姿态估计方法、装置、设备及存储介质
KR20210136429A (ko) * 2020-05-07 2021-11-17 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 차원 줄임 알고리즘을 이용한 족적의 동일성 판단 방법 및 장치
CN116645732A (zh) * 2023-07-19 2023-08-25 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438011B1 (ko) 2013-11-08 2014-09-04 수원대학교산학협력단 3차원 스캐너를 이용한 얼굴 인식 시스템

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633236A (zh) * 2017-09-28 2018-01-26 北京达佳互联信息技术有限公司 图像内容理解方法、装置及服务器
CN107633236B (zh) * 2017-09-28 2019-01-22 北京达佳互联信息技术有限公司 图像内容理解方法、装置及服务器
CN108228823A (zh) * 2017-12-29 2018-06-29 中国电子科技集团公司信息科学研究院 一种高维图像数据降维的二值编码方法及系统
KR20190098858A (ko) 2018-02-01 2019-08-23 고려대학교 산학협력단 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치
KR20200086168A (ko) 2019-01-08 2020-07-16 연세대학교 산학협력단 실용학적 임상시험 지원 시스템 및 방법
WO2020235804A1 (ko) * 2019-05-17 2020-11-26 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
KR20200132469A (ko) * 2019-05-17 2020-11-25 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
JP2022532772A (ja) * 2019-05-17 2022-07-19 ネイバー コーポレーション ポーズ類似度判別モデル生成方法及びポーズ類似度判別モデル生成装置
KR20210136429A (ko) * 2020-05-07 2021-11-17 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 차원 줄임 알고리즘을 이용한 족적의 동일성 판단 방법 및 장치
US11195036B2 (en) 2020-05-07 2021-12-07 Republic of Korea (National Forensic Service Director Ministry of the Interior and Safety) Method and apparatus for determining footprint identity using dimension reduction algorithm
CN112100427A (zh) * 2020-09-03 2020-12-18 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN112949576A (zh) * 2021-03-29 2021-06-11 北京京东方技术开发有限公司 姿态估计方法、装置、设备及存储介质
CN112949576B (zh) * 2021-03-29 2024-04-23 北京京东方技术开发有限公司 姿态估计方法、装置、设备及存储介质
CN116645732A (zh) * 2023-07-19 2023-08-25 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统
CN116645732B (zh) * 2023-07-19 2023-10-10 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统

Also Published As

Publication number Publication date
KR101749268B1 (ko) 2017-06-20

Similar Documents

Publication Publication Date Title
KR101749268B1 (ko) 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
Kasar et al. Face recognition using neural network: a review
Gutta et al. Mixture of experts for classification of gender, ethnic origin, and pose of human faces
Bergasa et al. Unsupervised and adaptive Gaussian skin-color model
Lu et al. A method of face recognition based on fuzzy c-means clustering and associated sub-NNs
US8320643B2 (en) Face authentication device
Liang et al. Pose-invariant facial expression recognition
KR101589149B1 (ko) Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템
Yoo et al. Optimized face recognition algorithm using radial basis function neural networks and its practical applications
Yang et al. Privileged information-based conditional regression forest for facial feature detection
Pandey et al. Image processing using principle component analysis
KR101687217B1 (ko) 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템
Ahmadi et al. Iris tissue recognition based on GLDM feature extraction and hybrid MLPNN-ICA classifier
AL-Allaf et al. Face recognition system based on different artificial neural networks models and training algorithms
Ruprah Face Recognition Based on PCA Algorithm
KR101676101B1 (ko) 동적보상퍼지신경네트워크(dcfnn)를 기반으로 한 얼굴인식 알고리즘
KR100445800B1 (ko) 상관관계를 이용한 유사도 측정의 얼굴 인증 방법
Ohmaid et al. Iris segmentation using a new unsupervised neural approach
Bashier et al. Face detection based on graph structure and neural networks
KR101658528B1 (ko) 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법
Gül Holistic face recognition by dimension reduction
Reddy et al. A novel face recognition system by the combination of multiple feature descriptors.
Deng et al. View-invariant gait recognition based on deterministic learning and knowledge fusion
Sivapalan Human identification from video using advanced gait recognition techniques
Pankaj et al. Face recognition using fuzzy neural network classifier

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right