KR101589149B1 - Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 - Google Patents
Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 Download PDFInfo
- Publication number
- KR101589149B1 KR101589149B1 KR1020150074352A KR20150074352A KR101589149B1 KR 101589149 B1 KR101589149 B1 KR 101589149B1 KR 1020150074352 A KR1020150074352 A KR 1020150074352A KR 20150074352 A KR20150074352 A KR 20150074352A KR 101589149 B1 KR101589149 B1 KR 101589149B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- data
- face image
- algorithm
- test
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 116
- 239000002245 particle Substances 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 40
- 238000000513 principal component analysis Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012847 principal component analysis method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G06K9/00221—
-
- G06K9/00228—
-
- G06K9/00288—
-
- G06K9/6221—
-
- G06K9/6256—
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템에 관한 것으로서, 보다 구체적으로는, 학습 단계 및 상기 학습 단계 이후 수행되도록 구성되는 테스트 단계를 포함하되, 상기 학습 단계는, (1) 미리 설정된 제1 동영상 데이터로부터 AdaBoost(Adaptive Boost) 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하는 단계; (2) 상기 복수 포즈의 얼굴 이미지 각각을, 주성분 분석법에 기초하여 전처리하는 단계; (3) 상기 전처리된 데이터를 RBFNNs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키는 단계; 및 (4) 입자군집 최적화 알고리즘을 이용하여 상기 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계를 포함하고, 상기 테스트 단계는, (a) 미리 설정된 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계; (b) 주성분 분석법을 통해 상기 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계; (c) 상기 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 상기 테스트 얼굴 이미지를 인식하는 단계; 및 (d) 상기 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 상기 테스트 얼굴 이미지를 추적하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템에 따르면, 얼굴 인식-얼굴 추적 방법의 학습 단계에서는, 제1 동영상 데이터로부터 AdaBoost 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하고, 복수 포즈의 얼굴 이미지 각각을 주성분 분석법에 기초하여 전처리하며, 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키되, 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하고, 테스트 단계에서는, 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하고, 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하며, 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하여, 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적함으로써, 정지 영상이 아닌 동적 상황에서의 얼굴 인식의 성능을 향상시킬 수 있고, 검출된 얼굴 영역을 기반으로 객체 추적 알고리즘인 입자 필터 알고리즘을 수행하여 대상의 얼굴 영역을 지속적으로 추적하게 되어, 별도의 영역 지정 없이도 동일한 대상을 지속적으로 추적할 수 있다.
본 발명에서 제안하고 있는 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템에 따르면, 얼굴 인식-얼굴 추적 방법의 학습 단계에서는, 제1 동영상 데이터로부터 AdaBoost 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하고, 복수 포즈의 얼굴 이미지 각각을 주성분 분석법에 기초하여 전처리하며, 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키되, 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하고, 테스트 단계에서는, 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하고, 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하며, 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하여, 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적함으로써, 정지 영상이 아닌 동적 상황에서의 얼굴 인식의 성능을 향상시킬 수 있고, 검출된 얼굴 영역을 기반으로 객체 추적 알고리즘인 입자 필터 알고리즘을 수행하여 대상의 얼굴 영역을 지속적으로 추적하게 되어, 별도의 영역 지정 없이도 동일한 대상을 지속적으로 추적할 수 있다.
Description
본 발명은 얼굴 인식-얼굴 추적 방법에 관한 것으로서, 보다 구체적으로는 RBFNN(Radial Basis Function Neural Networks) 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템에 관한 것이다.
네트워크 및 정보의 발달로 인해 많은 분야에서 보안의 중요성이 화두가 되고 있다. 하지만 현재 사용되는 인식 기술은 사용자가 보안 코드 또는 보안 키를 암기하고 있어야 하며, 분실 및 도용이 발생할 수 있다는 문제점이 존재한다. 이러한 문제를 보완하기 위해 지문 인식, 홍채 인식 등과 같은 생체 인식 기술이 여러 분야에서 연구가 진행 중에 있다.
생체 인식 기술은 인간이 가지는 고유한 신체적 특징을 이용한다는 점에서 기존의 보안 인식 기술에서 발생하는 분실 및 도용과 같은 문제점을 해결할 수 있다. 생체 인식 기술 중 하나인 얼굴인식은, 다른 생체인식 기술과 달리 인식 대상자가 인식부에 직접 접촉할 필요가 없는 비접촉식으로 구현되어, 사용자의 불편함이 적다는 장점이 있다.
도 1은 종래기술에 따른 얼굴 인식 방법의 개요를 도시한 도면이다. 종래기술에 따른 얼굴 인식 방법은 획득한 2차원 이미지의 명암도를 기반으로 인식을 수행한다. 이에 따라, 주어진 학습 데이터와 테스트 데이터의 명암도 차이가 클수록 정확한 인식 성능을 획득하는 것이 어려울 수 있다. 또한, 종래기술에 따른 얼굴 인식 방법에서는 인식 대상의 정면 얼굴이미지를 이용하여 학습 데이터(11)를 구성하고, 테스트 이미지(13) 역시 인식 대상자가 카메라를 응시하고 있는 정면 얼굴 이미지를 획득하여 인식을 수행하기 때문에, 인식 대상자가 카메라를 응시하고 있어야 하며, 다른 포즈의 얼굴 이미지(15)가 입력되었을 경우 얼굴이 정확하게 인식되기 어려운 문제가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 얼굴 인식-얼굴 추적 방법의 학습 단계에서는, 제1 동영상 데이터로부터 AdaBoost 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하고, 복수 포즈의 얼굴 이미지 각각을 주성분 분석법에 기초하여 전처리하며, 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키되, 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하고, 테스트 단계에서는, 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하고, 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하며, 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하여, 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적함으로써, 정지 영상이 아닌 동적 상황에서의 얼굴 인식의 성능을 향상시킬 수 있고, 검출된 얼굴 영역을 기반으로 객체 추적 알고리즘인 입자 필터 알고리즘을 수행하여 대상의 얼굴 영역을 지속적으로 추적하게 되어, 별도의 영역 지정 없이도 동일한 대상을 지속적으로 추적할 수 있는, RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적들을 달성하기 위한 본 발명의 특징에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법은,
학습 단계 및 상기 학습 단계 이후 수행되도록 구성되는 테스트 단계를 포함하되,
상기 학습 단계는,
(1) 미리 설정된 제1 동영상 데이터로부터 AdaBoost(Adaptive Boost) 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하는 단계;
(2) 상기 복수 포즈의 얼굴 이미지 각각을, 주성분 분석법에 기초하여 전처리하는 단계;
(3) 상기 전처리된 데이터를 RBFNNs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키는 단계; 및
(4) 입자군집 최적화 알고리즘을 이용하여 상기 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계를 포함하고,
상기 테스트 단계는,
(a) 미리 설정된 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계;
(b) 주성분 분석법을 통해 상기 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계;
(c) 상기 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 상기 테스트 얼굴 이미지를 인식하는 단계; 및
(d) 상기 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 상기 테스트 얼굴 이미지를 추적하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)는, 각각의 포즈에 대해,
(2-1) 상기 얼굴 이미지를 학습용 데이터 및 검증용 데이터로 분할하고, 상기 학습용 데이터에 대해 얼굴 이미지의 벡터 집합을 설정하는 단계;
(2-2) 상기 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합의 평균 및 분산에 기초하여 상기 얼굴 이미지를 정규화하는 단계;
(2-3) 상기 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 산출하는 단계;
(2-4) 상기 학습용 데이터에 포함된 얼굴 이미지의 벡터와 상기 평균 얼굴 이미지 벡터의 차이 벡터를 산출하는 단계;
(2-5) 상기 산출된 차이 벡터를 이용하여 상기 학습용 데이터에 포함된 얼굴 이미지의 공분산 행렬을 산출하는 단계; 및
(2-6) 상기 공분산 행렬 중 가장 큰 고유값을 갖는 고유 벡터들을 선택하고, 상기 학습용 데이터에 포함된 얼굴 이미지와 고유 벡터의 사영에 기초하여 가중치를 산출하는 단계를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (3)은,
(3-a) 상기 전처리된 포즈별 데이터를, 퍼지 C-Means 클러스터링 알고리즘을 통해 분류하는 단계를 포함하고,
상기 단계 (3-a)는,
(3-a-1) 클러스터의 개수 및 퍼지화 계수를 설정하고, 제1 소속함수를 초기화하는 단계;
(3-a-2) 각각의 클러스터에 대한 중심 벡터를 산출하는 단계;
(3-a-3) 상기 중심 벡터와 각각의 데이터와의 거리를 계산하여, 제2 소속함수를 산출하는 단계; 및
(3-a-4) 상기 제1 소속함수 및 제2 소속함수의 오차가 미리 설정된 허용 범위 내에 도달할 때까지, 상기 중심 벡터 및 제2 소속함수 산출을 반복하는 단계를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (4)에서,
상기 최적화된 파라미터는, 퍼지화 계수, 연결가중치의 다항식 형태 및 노드의 수를 포함하고,
상기 연결가중치의 다항식 형태는,
1차 선형 추론 형태, 2차 선형 추론 형태 및 변형된 2차 선형 추론 형태를 포함하는 군에서 선택된 하나를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (4)에서는,
가중된 최소 오차제곱 추정 규칙(Weighted Least Square Estimator)를 사용하여 각 규칙에 대한 파라미터를 독립적으로 산출하도록 구성될 수 있다.
바람직하게는, 상기 테스트 단계는,
(e) 상기 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 상이한 경우, 상기 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 다시 검출하는 단계를 더 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (d)는,
(d-1) 현재 시각 및 직전 시각에서의 상기 테스트 얼굴 이미지의 유클리디안 거리 오차를 산출하여, 상기 유클리디안 거리 오차가 미리 설정된 임계값보다 작은 경우, 직후 시각에서도 상기 테스트 얼굴 이미지를 더 추적하는 단계; 및
(d-2) 상기 유클리디안 거리 오차가 미리 설정된 임계값보다 큰 경우, 상기 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 다시 검출하는 단계를 포함하여 구성될 수 있다.
본 발명에서 제안하고 있는 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템에 따르면, 얼굴 인식-얼굴 추적 방법의 학습 단계에서는, 제1 동영상 데이터로부터 AdaBoost 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하고, 복수 포즈의 얼굴 이미지 각각을 주성분 분석법에 기초하여 전처리하며, 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키되, 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하고, 테스트 단계에서는, 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하고, 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하며, 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하여, 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적함으로써, 정지 영상이 아닌 동적 상황에서의 얼굴 인식의 성능을 향상시킬 수 있고, 검출된 얼굴 영역을 기반으로 객체 추적 알고리즘인 입자 필터 알고리즘을 수행하여 대상의 얼굴 영역을 지속적으로 추적하게 되어, 별도의 영역 지정 없이도 동일한 대상을 지속적으로 추적할 수 있다.
도 1은 종래기술에 따른 얼굴 인식 방법의 개요를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 개요를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에 따라 복수 포즈의 학습 데이터를 구성한 예를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 주성분 분석법에 기초한 전처리 단계의 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에서 사용된 패턴 분류기의 구조를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 FCM 클러스터링의 흐름을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 입자군집 최적화 알고리즘의 개요를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 파라미터 최적화의 개요를 도시한 도면.
도 11은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 AdaBoost 알고리즘의 개요를 도시한 도면.
도 12 및 도 13은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에 사용하기 위한 테스트 동영상의 예, AdaBoost를 통해 검출된 영역, 학습 이미지, 검출된 테스트 이미지 및 개선된 테스트 이미지를 도시한 도면들.
도 14는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 포즈 추정을 통한 모델 판별의 개요를 도시한 도면.
도 15는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 포즈 추정에 따라, 학습 데이터베이스와 유사하지 않은 포즈 및 유사한 포즈가 각각 인접 포즈와 갖는 거리 값의 분포를 도시한 도면.
도 16은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 테스트 얼굴 이미지 추적의 흐름을 도시한 도면.
도 17은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법을 실험하는 흐름을 개략적으로 도시한 도면.
도 18은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 실험을 위해, 5-묶음 교차 검증법을 통한 데이터 분할의 개요을 도시한 도면.
도 19는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에서 실시된 실험에서의 테스트 동영상 및 검출된 얼굴 이미지를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 개요를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에 따라 복수 포즈의 학습 데이터를 구성한 예를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 주성분 분석법에 기초한 전처리 단계의 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에서 사용된 패턴 분류기의 구조를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 FCM 클러스터링의 흐름을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 입자군집 최적화 알고리즘의 개요를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 파라미터 최적화의 개요를 도시한 도면.
도 11은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 AdaBoost 알고리즘의 개요를 도시한 도면.
도 12 및 도 13은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에 사용하기 위한 테스트 동영상의 예, AdaBoost를 통해 검출된 영역, 학습 이미지, 검출된 테스트 이미지 및 개선된 테스트 이미지를 도시한 도면들.
도 14는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 포즈 추정을 통한 모델 판별의 개요를 도시한 도면.
도 15는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 포즈 추정에 따라, 학습 데이터베이스와 유사하지 않은 포즈 및 유사한 포즈가 각각 인접 포즈와 갖는 거리 값의 분포를 도시한 도면.
도 16은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 테스트 얼굴 이미지 추적의 흐름을 도시한 도면.
도 17은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법을 실험하는 흐름을 개략적으로 도시한 도면.
도 18은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 실험을 위해, 5-묶음 교차 검증법을 통한 데이터 분할의 개요을 도시한 도면.
도 19는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에서 실시된 실험에서의 테스트 동영상 및 검출된 얼굴 이미지를 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 2는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 개요를 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계의 흐름을 도시한 도면이며, 도 4는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계의 흐름을 도시한 도면이다. 도 2 내지 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법은, 학습 단계(S100) 및 테스트 단계(S300)를 포함하여 구성될 수 있다. 이때, 테스트 단계는 학습 단계 이후 수행되도록 구성될 수 있다. 학습 단계는, 포즈별 모델을 구성하는 단계(S105), 각 포즈별 모델의 학습을 수행하는 단계(S150) 및 모델별 최적화된 파라미터를 획득하는 단계(S170)를 포함하여 구성될 수 있다. 구체적으로, 포즈별 모델을 구성하는 단계(S105)는, 미리 설정된 제1 동영상 데이터로부터 AdaBoost(Adaptive Boost) 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하는 단계(S110), 복수 포즈의 얼굴 이미지 각각을, 주성분 분석법에 기초하여 전처리하는 단계(S130)를 포함하여 구성될 수 있다. 각 포즈별 모델의 학습은, 전처리된 데이터를 RBFNNs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 학습(S150)시켜 수행될 수 있다. 모델별 최적화된 파라미터의 획득은, 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 수행(S170)되도록 구성될 수 있다.
테스트 단계(S300)는, 테스트 동영상 데이터를 입력받는 단계(S305), 입력된 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계(S310), 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계(S330), 학습 단계(S100)를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하는 단계(S350), 및 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적하는 단계(S370)를 포함하여 구성될 수 있다. 이하에서는, 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 각각의 단계에 대해 첨부된 도면을 참조하여 상세히 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에 따라 복수 포즈의 학습 데이터를 구성한 예를 도시한 도면이다. 도 5에 도시된 바와 같이, 단계 S110에서는, 미리 설정된 제1 동영상 데이터로부터 AdaBoost(Adaptive Boost) 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출할 수 있다. 다양한 포즈(pose)에서의 인식을 수행하기 위해서는 다양한 포즈를 충족시키는 포즈별 학습 데이터의 구성이 중요한데, 예를 들어, 우측(Right 90°, Model 1), 우정면(Right 45°, Model 2), 정면(Front, Model 3), 좌정면(Left 45°, Model 4), 좌측(Left 90°, Model 5)을 포함하는 총 5방향의 포즈별 이미지를 이용하여 학습 데이터를 구성할 수 있다.
보다 세밀한 각도에서의 이미지를 이용하여 다양한 포즈별 학습 데이터를 구성할 경우, 더욱 정확한 인식 성능을 확인할 수 있지만, 현실적으로 모든 포즈를 충족시키는 학습 데이터를 구축하는 것은 어려우며, 또한 많은 양의 데이터는 학습 속도를 저하시키는 요인이 될 수 있으므로, 좌측, 좌정면, 정면, 우정면, 우측을 대표하는 5개의 포즈별 데이터를 구성하는 것이 바람직할 수 있다.
단계 S130에서는, 복수 포즈의 얼굴 이미지 각각을 주성분 분석법에 기초하여 전처리할 수 있다. 주성분 분석법(Principal Component Analysis, PCA)은 대표적인 선형변환 특징추출 방법으로서, 데이터의 공분산 행렬을 이용하여 구한 특징데이터에서 입력 데이터의 차원보다 작은 값의 차원을 이용함으로써, 실제 입력보다 작은 양의 특징을 사용하는 방법이다. 주성분 분석법의 가장 큰 목적은 변화 후의 특징데이터가 변환 전의 실제 데이터의 정보를 최대한 유지하도록 하는 것인데, 주성분 분석법을 이용한 차원 축소 과정은 도 6을 참조하여 상세히 설명하도록 한다.
도 6은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 주성분 분석법에 기초한 전처리 단계의 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 단계 S130은, 각 포즈의 얼굴 이미지를 학습용 데이터 및 검증용 데이터로 분할하고, 학습용 데이터에 대해 얼굴 이미지의 벡터 집합을 설정하는 단계(S131), 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합의 평균 및 분산에 기초하여 상기 얼굴 이미지를 정규화하는 단계(S132), 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 산출하는 단계(S133), 학습용 데이터에 포함된 얼굴 이미지의 벡터와 평균 얼굴 이미지 벡터의 차이 벡터를 산출하는 단계(S134), 산출된 차이 벡터를 이용하여 학습용 데이터에 포함된 얼굴 이미지의 공분산 행렬을 산출하는 단계(S135), 및 공분산 행렬 중 가장 큰 고유값을 갖는 고유 벡터들을 선택하고, 학습용 데이터에 포함된 얼굴 이미지와 고유 벡터의 사영에 기초하여 가중치를 산출하는 단계(S136)를 포함하여 구성될 수 있다.
단계 S131에서는, 다음 수학식 1과 같이, 학습용 데이터에 대해 M 개의 얼굴 이미지들 Γ의 벡터 집합 S를 설정할 수 있다.
단계 S132에서는, 다음 수학식 2와 같이, 얼굴 이미지 Γ의 벡터 집합의 평균 μ 및 분산 σ에 기초하여 얼굴 이미지를 정규화할 수 있다.
단계 S133에서는, 다음 수학식 3과 같이, 얼굴 이미지 Γ의 벡터 집합으로부터 평균 얼굴 벡터 Ψ를 산출할 수 있다.
단계 S134에서는, 다음 수학식 4와 같이, 얼굴 이미지의 벡터와 평균 얼굴 이미지 벡터의 차이 벡터 Φ를 산출할 수 있다.
단계 S135에서는, 다음 수학식 5와 같이, 산출된 차이 벡터 Φ를 이용하여 학습용 데이터에 포함된 얼굴 이미지의 공분산 행렬 C를 산출할 수 있다.
단계 S136에서는, 다음 수학식 6 및 수학식 7과 같이, M개의 고유 벡터에서 가장 큰 고유값을 갖는 고유 벡터들을 선택하고, 얼굴 이미지와 고유 벡터의 사영에 기초하여 가중치 ΩT를 산출할 수 있다.
한편, 단계 S150에서는, 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시킬 수 있다. 단계 S150은 도 7 및 도 8을 참조하여 보다 상세히 설명하도록 한다.
도 7은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에서 사용된 패턴 분류기의 구조를 도시한 도면이다. 기본적인 신경 회로망은 인간의 두뇌를 구현하기 위한 알고리즘으로서, RBFNNs(Radial Basis Function Neural Networks) 패턴 분류기는 신경 회로망의 구조를 기반으로 하여 입력층, 은닉층 및 출력층의 3가지로 구분할 수 있다. 입력 데이터는 전처리 과정을 수행하여 인식에 사용하기 적합한 저차원 데이터로 축소되어 은닉층의 입력으로 들어가며, 은닉층에서 활성함수로 변환된 출력은 은닉층과 출력층 사이의 연결가중치 값과 곱해져 출력층의 최종 출력으로 얻어진다. 기존의 RBFNNs와 비교할 때, 본 실시예에서 사용되는 RBFNNs의 구조적 모듈로는 동일하게 입력층, 은닉층 및 출력층의 3가지로 구분되나, 기능적 모듈로서 조건부, 추론부 및 결론부의 3가지로 구분될 수 있다. 또한 기존에 조건부의 활성함수로서 사용되던 가우시안 함수 대신, FCM(Fuzzy C-Means) 클러스터링 알고리즘의 적합도 값을 사용함으로써, 입력 데이터의 특성을 더 잘 반영할 수 있다. 또한 결론부의 연결가중치를, 다음 수학식 8 내지 수학식 12에서와 같이, 상수항, 일차식, 이차식 및 변형된 이차식과 같은 다항식의 형태로 확장하여 사용하는 특징을 가질 수 있다.
[Type 1] 1차 선형 추론(Linear)
[Type 2] 2차 선형 추론(Quadratic)
[Type 3] 변형된 2차 선형 추론(Modified Quadratic)
단, x=[x1,…,xk]에서 k는 입력변수의 수를 나타내고, Rj(j=1,…,c)는 j번째 퍼지 규칙을 나타내며, c는 퍼지 규칙 수이고, fj(x1,…,xk)는 j번째 규칙에 대한 후반부로서 j번째 퍼지 규칙에 대한 로컬 모델을 나타낸다.
이때, 모델의 출력은 다음 수학식 13과 같이 나타낼 수 있다.
이와 같이, 다항식 형태의 연결가중치를 사용함으로써, 다음 수학식 14의 퍼지 규칙 표현과 같은 언어적 관점에서의 해석이 가능해질 수 있다.
도 8은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 FCM 클러스터링의 흐름을 도시한 도면이다. FCM 알고리즘은 비슷한 패턴, 속성, 형태 등의 기준을 통해 데이터를 분류하는 알고리즘으로서, 데이터와 각 클러스터와의 거리를 기준으로 소속 정도를 측정하여 데이터를 분류할 수 있다. 이를 이용하여 다항식 기반 RBFNNs 패턴분류기의 은닉층 활성함수 형태를 표현할 수 있는데, 도 8에 도시된 바와 같이, 퍼지 C-Means 클러스터링의 처리는, 클러스터의 개수 및 퍼지화 계수를 설정하고, 제1 소속함수를 초기화하는 단계(S151), 각각의 클러스터에 대한 중심 벡터를 산출하는 단계(S152), 중심 벡터와 각각의 데이터와의 거리를 계산하여, 제2 소속함수를 산출하는 단계(S153), 및 제1 소속함수 및 제2 소속함수의 오차가 미리 설정된 허용 범위 내에 도달할 때까지, 중심 벡터 및 제2 소속함수 산출을 반복하는 단계(S154)를 포함하여 구성될 수 있다.
단계 S151에서는, 다음 수학식 15와 같이, 클러스터의 개수, 퍼지화 계수를 설정하고 소속함수(U(0))를 초기화 할 수 있다.
단계 S152에서는, 다음 수학식 16과 같이, 각각의 클러스터에 대한 중심 벡터를 산출할 수 있다.
단계 S153에서는, 다음 수학식 17 및 수학식 18과 같이, 중심 벡터와 각각의 데이터와의 거리 d를 계산하여, 제2 소속함수를 산출할 수 있다.
단계 S154에서는, 다음 수학식 19와 같이, 제1 소속함수 및 제2 소속함수의 오차가 미리 설정된 허용 범위 ε 내에 도달할 때까지, 중심 벡터 및 제2 소속함수 산출(S152 및 S153)을 반복할 수 있다.
한편, 종래의 퍼지 추론 시스템에서는 후반부 파라미터 동정 시, 주로 각 규칙에 파라미터를 동시에 구하는 전역학습 방법인 Least Square Estimator(LSE)가 주로 사용되어, 퍼지 규칙수가 많거나, 입력이 많은 경우에는 찾고자 하는 파라미터들이 늘어나 연산 시간이 오래 걸리는 단점이 있었다. 본 실시예에서는 이를 보완하기 위해, Weighted Least Square Estimator(WLSE)를 사용하여 각 규칙에 대한 파라미터를 독립적으로 구하는 지역학습 방법을 적용할 수 있다. 이때, LSE는 오차제곱의 합이 최소가 되도록 계수를 측정하지만, WLSE는 오차제곱에 가중치가 곱해지는 차이가 있다. 이러한 WLSE에서의 성능 평가함수를 행렬식으로 표현하면 다음 수학식 20과 같다.
여기서, aj는 추정하고자 하는 j번째 다항식의 계수를 나타내고, Y는 출력 데이터를 나타내며, Uj는 j번째 입력 공간에 대한 입력 데이터들의 소속 값을 나타낸다. Xj는 j번째 로컬 모델의 계수를 추정하기 위한 입력 데이터 행렬을 나타내며 로컬 모델이 선형일 경우, 다음 수학식 21과 같이 정의될 수 있다.
여기서, m은 데이터의 수이며, j번째 규칙에 대한 로컬 모델인 다항식의 계수는 다음 수학식 22에 의해 구해질 수 있다.
위와 같이 설계된 다항식 기반 RBFNNs 패턴 분류기는 다차원 입, 출력 문제를 용이하게 해결할 수 있고, 네트워크 특성이 강인하며, 예측 능력이 뛰어난 장점을 가질 수 있다.
한편, 단계 S170에서는, 입자군집 최적화 알고리즘을 통해 각 포즈별 데이터에 대해 최적화된 파라미터를 획득할 수 있다. 입자군집 최적화(Particle Swarm Optimization, PSO) 알고리즘은 도 9를 참조하여 상세히 설명하도록 한다.
도 9는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 입자군집 최적화 알고리즘의 개요를 도시한 도면이다. 도 9에 도시된 바와 같이, 입자군집 최적화 알고리즘에서는, 먼저, 초기 군집(Swarm)과 입자 속도를 랜덤하게 생성한 다음, 초기 입자를 pbest로 설정하고 그 중 최적의 값을 다시 gbest로 설정할 수 있다. 이어서, 다음 수학식 23을 통해 관성 하중 값을 계산하며, 관성하중 값에 기초하여 다음 수학식 24와 같이 j번째 입자 속도를 산출할 수 있다.
이어서, 입자 속도를 바탕으로 다음 수학식 25를 통해 입자의 위치 정보를 수정할 수 있다.
다음으로, 각 입자의 적합도와 pbest의 적합도를 비교 후 재설정하며, 최적 해의 pbest와 gbest를 비교후 재설정한 다음, 종료 조건이 만족될 때 까지 탐색을 수행하여, 최종적으로 최적의 위치 정보를 가진 gbest가 생성되도록 할 수 있다.
본 실시예에서는, 이러한 최적화 알고리즘을 이용하여, 퍼지화 계수, 연결가중치의 다항식 형태 및 노드의 수를 최적화할 수 있다. 또한, 각 포즈별 데이터에 대하여 최적화를 각각 수행하여 각각의 모델에 최적화된 파라미터 값을 획득할 수 있다.
도 10은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 학습 단계에서 수행되는 파라미터 최적화의 개요를 도시한 도면이다. 도 10에 도시된 바와 같이, 다양한 포즈별 이미지를 이용한 학습 데이터베이스가 예컨대, 정면 얼굴 이외의 다른 포즈(좌측 90˚, 좌측 45˚, 우측 45˚, 우측 90˚)의 이미지를 포함하는 경우, 각각의 포즈별 데이터는 인식 대상의 2차원 이미지로서 이때 입력 데이터는 이미지 픽셀 값의 명암도를 이용할 수 있다.
이어서, 신뢰성 높은 학습 수행을 위해 각 포즈별 데이터를 분할할 수 있는데, 포즈별 데이터는 각각 별개로 학습을 수행하며, 학습 수행 시 발생할 수 있는 과도한 피팅(overfitting) 문제를 해결하기 위해, 데이터를 학습용과 검증용으로 나누어 학습을 수행할 수 있다. 이때, 검증 데이터는 실제 RBFNNs 패턴 분류기의 파라미터 설정에는 영향을 미치지 않으며, 최적화를 수행하기 위한 목적함수를 구하는 과정에서 사용될 수 있다.
한편, 예컨대, 좌측 90˚에 해당하는 데이터가 학습 데이터 및 검증 데이터로 분할된 다음에는, 학습 데이터가 전처리 과정으로서 주성분 분석법을 이용해 차원이 축소될 수 있다. 검증 데이터 역시 차원이 축소되지만, 이 경우, 학습 데이터에서 획득한 공분산 행렬을 이용하여 차원 축소를 수행할 수 있다. 이처럼 학습 데이터와 검증 데이터를 분할하는 것은, 학습 데이터와 검증 데이터를 분할하지 않은 상태에서 차원 축소를 수행할 경우, 검증 데이터가 파라미터 산출 과정에서 영향을 주어 정확한 인식 성능을 확인하기 어렵기 때문이다.
마찬가지 방법으로, 좌측 90˚ 이외의 다른 포즈(예컨대, 좌측 45˚, 정면, 우측 45˚, 우측 90˚)의 데이터 역시 순차적으로 차원 축소를 수행할 수 있다.
이어서, 입자군집 최적화 알고리즘 기반 최적화된 RBFNNs 패턴 분류기를 이용한 학습을 수행하는데, 퍼지화 계수, 후반부 다항식 차수 및 규칙의 수와 같이 학습에 사용되는 파라미터는 입자군집 최적화 알고리즘을 통해 최적화될 수 있으며, 최종적으로 각 포즈별 데이터에 최적화된 파라미터가 획득될 수 있다. 보다 구체적으로는, 앞에서 주성분 분석법을 통해 축소된 첫 번째 포즈(좌측 90˚)의 데이터를 RBFNNs 패턴 분류기의 입력으로 사용하여 인식을 수행할 수 있는데, 이때 패턴 분류기에서 사용하는 파라미터는 PSO를 통해 최적화 할 수 있다. 최적화 과정 수행 중 RBFNNs 패턴 분류기를 이용하여 학습 및 검증 데이터의 성능을 확인하며, 인식 성능 및 성능 평가를 위한 목적함수를 다음 수학식 26 및 수학식 27을 통해 산출할 수 있다.
이때, N은 전체 이미지의 수, F는 오인식된 이미지의 수를 나타내며, TR은 학습 데이터의 인식 성능, VA는 검증 데이터의 인식 성능을 나타낸다.
최적화는 정해진 조건만큼 수행되며, 최종적으로 획득한 최적화 파라미터는 이후 테스트 이미지의 인식에 사용될 수 있다. 수학식 27의 목적함수는 과도한 피팅(overfitting) 문제를 해결하기 위해 학습과 검증 데이터의 평균을 이용할 수 있다.
이처럼, 각 포즈별 데이터는 앞서 수행한 최적화 과정을 통해 최적화된 파라미터 값을 획득하며, 포즈별 이미지에 대한 학습을 별개로 수행하였기 때문에 각 포즈에 해당하는 최적화된 파라미터 값을 획득할 수 있다.
다시 도 4를 참조하면, 테스트 단계(S300)는, 입력된 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계(S310), 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계(S330), 학습 단계(S100)를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하는 단계(S350), 및 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적하는 단계(S370)를 포함하여 구성될 수 있다.
도 11은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 AdaBoost 알고리즘의 개요를 도시한 도면이다. 단계 S310에서는, 입력된 동영상 데이터로부터 도 11에 도시된 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출할 수 있다. 도 11에 도시된 바와 같이, AdaBoost 알고리즘은 약한 분류기의 선형적 결합으로 높은 검출 성능을 갖는 강한 분류기를 형성하여 얼굴과 비-얼굴 영역의 분류가 가능한 알고리즘이다. 이를 통해 전체 이미지 내에서 실험에 사용하기 위한 얼굴 영역만을 검출할 수 있다.
도 12 및 도 13은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에 사용하기 위한 테스트 동영상의 예, AdaBoost를 통해 검출된 영역, 학습 이미지, 검출된 테스트 이미지 및 개선된 테스트 이미지를 도시한 도면들이다. 동영상에서 AdaBoost 알고리즘을 수행할 경우 얼굴 영역에 해당하는 부분(22)을 검출할 수 있으며, 이와 같이 동영상에서 검출한 테스트 이미지는 도 12 내지 도 13과 같이, 정면 얼굴 이외의 다른 포즈의 이미지(21)가 입력될 수 있다.
AdaBoost 알고리즘을 통해 다양한 포즈의 얼굴 이미지를 검출할 수 있으며, 이렇게 획득한 테스트 이미지는 후술할 PCA 기반 포즈 추정을 통해 가장 유사한 포즈를 판별한 이후 인식을 수행할 수 있다. 이때 검출된 이미지와 학습 이미지와의 오차가 큰 경우 제대로 된 포즈 추정 및 인식 성능을 확인하기 어려울 수 있는데, 도 12에서와 같이, AdaBoost 알고리즘을 이용할 경우 동영상에서 얼굴 영역에 해당하는 부분만을 검출하기 때문에 학습 이미지(23)와 검출된 영역(24)의 오차가 존재하는 경우가 있다. 이 경우, 잘못된 포즈 추정 및 인식 성능의 저하가 발생할 수 있으므로, 이를 보완하기 위해 AdaBoost 알고리즘을 통해 검출된 얼굴 영역(24)에서 일정한 영역을 추가로 획득함으로써 학습 이미지(23)와 유사한 테스트 이미지(25)를 검출할 수 있다.
단계 S330에서는, 주성분 분석법(PCA)을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단할 수 있다. 먼저, 각 포즈별 모델에 PCA 알고리즘을 수행하여 각 학습 모델의 고유 얼굴벡터를 생성하고, 이어서, 각 포즈의 특징을 가장 잘 나타내는 주성분 벡터를 추출하며, 획득한 테스트 이미지(31)를 각 포즈별 주성분 벡터에 투영(32)하여, 테스트 이미지와의 특징 값 오차가 작은 학습 모델을 가장 유사한 포즈라 판단(33)하여, 학습을 통해 획득한 포즈별 모델의 최적화된 파라미터 값을 이용하여 테스트 이미지의 인식을 수행할 수 있다.
단계 S350에서는, 학습 단계(S100)를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식할 수 있다. 도 14는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 포즈 추정을 통한 모델 판별의 개요를 도시한 도면이고, 도 15는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 포즈 추정에 따라, 학습 데이터베이스와 유사하지 않은 포즈 및 유사한 포즈가 각각 인접 포즈와 갖는 거리 값의 분포를 도시한 도면이다. 도 14에 도시된 바와 같이, 포즈 추정을 통해 테스트 이미지와 가장 유사한 학습 모델을 판단하게 되는데, 입력된 테스트 이미지에 따라 학습 모델과의 특징값 오차가 큰 경우도 존재할 수 있다. 이러한 테스트 이미지는 학습 이미지와 테스트 이미지의 오차가 크게 나타나기 때문에 정확한 인식 결과를 확인하기 어려울 수 있다. 이를 보완하기 위해 도 15에 도시된 바와 같이, 인접한 다른 포즈의 오차를 이용하여 학습 데이터베이스와 유사한 포즈인지를 판별하는데, 데이터베이스와 유사하지 않은 포즈(32a, 32b)의 경우, 데이터베이스와 유사한 포즈(32c, 32d)와 구별되는 것을 알 수 있다. 물론, 데이터베이스와 유사한 포즈만을 이용할 경우 더욱 정확한 인식 성능을 확인할 수 있다.
단계 S370에서는, 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터(Particle Filter) 알고리즘에 기초하여 테스트 얼굴 이미지를 추적할 수 있다. Particle Filter는 시뮬레이션에 기반을 둔 예측 기술의 하나로 SMC(Sequntial Monte Carlo) 방법이라고도 한다. Particle Filter는 시스템에 적절하게 제안된 확률분포로 임의 생성된 입력을 제공하고 이를 종합하여 시스템의 정보를 추측하는 방법으로 지정된 객체 영역을 추적할 수 있다. Particle Filter는 예측 단계, 업데이트 단계, 재 샘플링 단계로 구성될 수 있으며 각 프레임마다 이 과정을 반복하여 파티클 집합을 갱신할 수 있다.
예측 단계에서는, 시간 t-1에서 사용 가능한 모든 관찰(observation)이 주어지고, 시간 t에서 사후 확률을 예측하기 위해 다음 수학식 28을 사용할 수 있다.
업데이트 단계에서는, 시간 t에서, 관찰 yt가 사용 가능하면, 다음 수학식 29의 베이스 규칙을 사용하여 상태를 업데이트할 수 있다.
Particle Filter에서 사후 확률은 N개의 유한개 Particle과 각각의 중요 가중치 wt i에 의해서 근사되며, 후보 Particle 
는 중요 분포 q(xt|x1:t-1,y1:t)에서 추출되며 Particle의 가중치는 다음 수학식 30에 의해 산출될 수 있다.
재 샘플링 단계에서는, 입자의 상태가 퇴화하는 것을 막기 위해 가중치가 높은 입자를 중심으로 새로운 입자를 다시 추출할 수 있다.
종래의 객체 추적 알고리즘은 추적하고자 하는 인물이나 대상에 대한 영역을 미리 설정하여야 하며, 추적에 실패할 경우 영역을 재설정해야 하는 단점이 있었다. 이에 반해, 본 실시예에서는 유클리디안 거리 오차를 이용하여 추적 성공 여부를 확인하며, 추적 실패 시 AdaBoost 알고리즘을 통해 추적 영역을 재설정하여, 재설정된 얼굴 영역의 인식 및 추적을 수행함으로써, 별도의 영역 설정 없이도 지속적으로 대상을 추적할 수 있다.
도 16은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 중 테스트 단계에서 수행되는 테스트 얼굴 이미지 추적의 흐름을 도시한 도면이다. 도 17에 도시된 바와 같이, 정면 얼굴 이미지가 아닌 동영상 내에서 AdaBoost 알고리즘을 이용하여 얼굴 이미지를 검출하고, 얼굴 영역 검출에 성공한 경우 동영상 내에 대상이 존재하는 경우로서, 검출된 얼굴 영역은 포즈 추정 및 인식을 수행하는 반면, 얼굴 영역이 검출되지 않은 경우 동영상 내에 대상이 존재하지 않은 경우로 판단하며, 다시 동영상 내에서 AdaBoost를 수행한다.
한편, 검출된 얼굴 이미지는 다양한 포즈의 이미지가 입력되므로 테스트 이미지의 포즈 추정을 통해 가장 유사한 포즈를 판별하여 인식을 수행할 수 있다. 주성분 분석법을 통해 테스트 이미지와 각 포즈의 특징값을 비교하며 그 오차가 가장 작은 포즈를 테스트 이미지의 포즈라 판단하는데, 이 경우, 학습 과정에서 획득한 포즈별로 획득한 최적화된 파라미터를 이용하여 인식을 수행할 수 있다. 만일 검출된 테스트 이미지의 인식된 결과가 미리 설정된 추적 대상과 동일한 경우, 검출된 얼굴 영역을 객체 추적을 위한 영역으로 설정하며, 추적을 수행하는 반면, 인식 결과 추적 대상이 아니라 판단되면, 동영상 내에서 추적 대상이 존재하지 않으므로 다시 AdaBoost를 수행할 수 있다.
만일 인식 결과가 추적 대상이라 판단된 경우, 검출된 얼굴 영역을 객체 추적을 위한 동적 영역으로 설정하며, 객체 추적 알고리즘인 Particle Filter를 이용하여 추적을 수행할 수 있다. 추적에 실패한 경우 다시 추적 대상의 얼굴 영역을 재검출 해야 하기 때문에 검출된 영역의 유클리디안 거리 오차 값을 기반으로 추적 성공 여부를 판단할 수 있다. 이때, 유클리디안 거리 오차가 미리 설정된 임계값보다 작은 경우, 정상적으로 추적을 수행하고 있는 것으로 판단하며, 검출 영역의 추적을 계속 수행할 수 있다. 반면에, 유클리디안 거리 오차가 임계값보다 큰 경우, 추적에 실패한 것으로 판단하며, 다시 동영상 내에서 AdaBoost를 수행할 수 있다.
객체 추적 알고리즘을 통해 미리 설정된 추적 대상을 지속적으로 추적할 때, 전체 동영상 프레임(frame) 중 추적에 성공한 프레임 수를 기반으로 다음 수학식 31과 같이, 추적 성능을 판단할 수 있다.
여기서, Fn은 추적에 성공한 프레임의 수, Ftotal은 테스트 비디오의 전체 프레임 수를 나타낸다.
실험 예
도 17은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법을 실험하는 흐름을 개략적으로 도시한 도면이다. 도 17에 도시된 바와 같이, 본 실험에서는, 종래의 정적인 얼굴 인식의 단점을 보완하기 위해 동적 상황에서의 인식 및 추적을 수행하며, 이를 위해 객체 추적 알고리즘과 RBFNNs 패턴 분류기를 융합한 얼굴 인식 방법을 사용하였다. 각 포즈별 학습 데이터를 구성한 후 RBFNNs 패턴 분류기를 통해 각 모델의 학습을 수행하며, 테스트 이미지가 입력되면 주성분 분석법 기반 포즈 추정을 통해 가장 유사한 모델에서의 인식을 수행하며, 이후 인식 결과를 바탕으로 추적을 수행하여, 추적에 실패할 경우 영역의 재검출 및 재인식을 통해 동일한 대상을 지속적으로 추적하였다.
실험을 위한 학습 데이터는 공인 DB인 Honda/UCSD(Honda UCSD Video Database, Available: http://vision.ucsd.edu/content/honda-ucsd-video-database, 2005, [Accessed: Oct 22, 2013]) 데이터를 이용하였으며, 인식 대상자 20명의 이미지를 이용하여 구성하였다. 동적인 얼굴인식을 위해 정면, 좌측 45˚, 좌측 90˚, 우측 45˚, 우측 90˚의 얼굴 이미지를 이용하여 모델을 구성하였으며, 각 모델에서는 인식 대상자 한 명 당 5장의 이미지를 이용하여 100장의 이미지를 이용하여 학습을 수행하였다.
학습 과정에서는 데이터의 과도한 피팅(overfitting) 문제를 해결하기 위해 5-fold cross validation(fcv)을 이용하여 5장의 이미지를 학습과 검증으로 나누어 학습을 수행하였으며, 각 fcv에서 획득한 성능의 평균을 통해 각 세대의 성능 평가를 수행하였다.
도 18은 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법의 실험을 위해, 5-묶음 교차 검증법을 통한 데이터 분할의 개요을 도시한 도면이다. 도 18에 도시된 바와 같이, 5-fold cross validation을 이용하여 분할된 데이터에서 학습을 수행하여 최적화된 파라미터를 획득할 수 있다. 이후 최적화된 파라미터를 전체 데이터에 입력하여 테스트 데이터 인식을 위한 학습모델을 획득하며, 각 포즈별 모델에서 이와 같은 과정을 수행함으로서 각 포즈 모델에 해당하는 학습 모델을 획득할 수 있다.
학습 과정에서 수행하는 최적화 파라미터의 탐색 범위 및 최적화 알고리즘의 파라미터는 [표 1]과 같이 설정하였다.
테스트 이미지는 각 인식 대상자의 동영상에서 검출한 이미지 230장으로 구성하였으며, 실험을 통해 추적 및 인식 성능을 확인하였다. 추적 성능은 230장의 이미지 중에서 AdaBoost를 통해 검출된 얼굴 영역을 추적한 프레임의 수를 기반으로 판단하였으며, 추적을 수행한 프레임에서 검출된 얼굴 영역의 인식을 수행하여, 인식 성능을 확인하였다. 추적 및 인식 성능은 포즈 추정 방법에 변화를 주어 확인하였다.
도 19는 본 발명의 일실시예에 따른 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법에서 실시된 실험에서의 테스트 동영상 및 검출된 얼굴 이미지를 도시한 도면이다. 도 19에서, ①은 인식 및 추적을 수행하기 위한 테스트 비디오 영상(Honda/UCSD data)을 나타내고, ②는 AdaBoost 알고리즘을 통해 검출된 얼굴 이미지를 나타내며, ③은 인식 결과를 통해 검출된 얼굴 이미지가 추적 대상이라 판단될 경우 추적을 위한 영역 설정을 나타낸다. 테스트 비디오에서 AdaBoost 알고리즘을 통해 얼굴 영역을 검출하며, 검출된 얼굴 이미지가 추적 대상이라 판단된 경우 위 그림과 같이 검출된 영역(③)의 추적을 수행하였다. 만일 검출된 얼굴 이미지의 인식을 수행하였을 때 인식 결과가 추적 대상이 아니라 판단된 경우 얼굴 영역을 검출하지 않고 다시 AdaBoost를 수행하였다.
본 발명자들은, 포즈별 학습 모델 구성 후 테스트 이미지가 입력되면 포즈 추정을 통해 가장 유사한 모델에서의 인식 및 추적을 수행하며, 검출된 테스트 이미지를 전부 사용하는 방법(Case 1)과 인접한 포즈의 오차를 이용하여 검출된 테스트 이미지 중 데이터베이스와 유사한 포즈의 테스트 이미지만을 사용하는 경우(Case 2)의 실험들을 수행하였다(표 2).
각 포즈별 모델은 각각 다항식 기반 RBFNNs 패턴 분류기를 통해 최적화된 파라미터를 획득하며, 각 모델에 최적화된 파라미터 값은 [표 3]과 같다.
추적 성능의 경우 테스트 데이터로 주어진 230장의 테스트 데이터 중 AdaBoost 알고리즘을 통해 검출된 얼굴 영역의 추적을 수행하여 전체 테스트 데이터 중 추적에 성공한 이미지 수를 바탕으로 다음 수학식 32와 같이 성능을 산출하는데, 인식 성능은 전체 230장 중 추적에 성공한 이미지에서만 인식을 수행하며, 각 실험 대상별로 추적에 성공한 이미지가 다르기 때문에 실험 대상마다 인식에 사용하는 이미지의 수가 상이하였다.
Case 1의 실험 결과 추적 및 인식 성능은 [표 4]와 같다. Case 1의 경우 검출된 테스트 이미지의 포즈 추정 이후 인식을 수행하였으며, 추적 대상인 경우에만 추적을 수행하도록 하였다.
실험 결과, 실험 대상 중 특정 대상의 경우 오인식이 발생하여 평균 추적 성능보다 낮은 성능을 보이는 것을 확인할 수 있었다.
인식 성능은 추적을 수행하여 검출된 얼굴 이미지만을 이용하기 때문에 전체 230장 중 추적에 성공한 일부 이미지에서 인식을 수행하였다. 각 실험 대상에 따라 추적 성능이 다르듯 인식 성능도 다르게 나오는 것을 확인하였으며, 특정 대상의 경우 평균 인식 성능보다 낮은 성능을 보이는 것을 확인할 수 있었다.
포즈 추정 방법에 따른 실험 결과로서, [표 5]에서는 데이터베이스와 유사한 포즈의 이미지만을 사용하는 경우(Case 2)에서의 추적 및 인식 성능을 나타내었다. Case 2에서는 검출된 테스트 이미지의 포즈 추정 이후 DB와 유사한 포즈만을 재 검출하여 사용하였다.
실험 결과, Case2는 데이터베이스와 유사한 포즈만을 사용하기 때문에 Case 1보다 낮은 추적 성능을 보이는 반면 인식 성능에서는 Case 1보다 높은 성능을 보이는 것을 확인할 수 있었다. 이는 Case 2에서 보다 정밀한 포즈 추정을 통해 데이터베이스와 유사한 얼굴 이미지만을 검출하여 인식을 수행하였기 때문이다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S110: 미리 설정된 제1 동영상 데이터로부터 AdaBoost 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하는 단계
S130: 복수 포즈의 얼굴 이미지 각각을, 주성분 분석법에 기초하여 전처리하는 단계
S131: 각 포즈의 얼굴 이미지를 학습용 데이터 및 검증용 데이터로 분할하고, 학습용 데이터에 대해 얼굴 이미지의 벡터 집합을 설정하는 단계
S132: 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합의 평균 및 분산에 기초하여 상기 얼굴 이미지를 정규화하는 단계
S133: 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 산출하는 단계
S134: 학습용 데이터에 포함된 얼굴 이미지의 벡터와 평균 얼굴 이미지 벡터의 차이 벡터를 산출하는 단계
S135: 산출된 차이 벡터를 이용하여 학습용 데이터에 포함된 얼굴 이미지의 공분산 행렬을 산출하는 단계
S136: 공분산 행렬 중 가장 큰 고유값을 갖는 고유 벡터들을 선택하고, 학습용 데이터에 포함된 얼굴 이미지와 고유 벡터의 사영에 기초하여 가중치를 산출하는 단계
S150: 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키는 단계
S151: 클러스터의 개수 및 퍼지화 계수를 설정하고, 제1 소속함수를 초기화하는 단계
S152: 각각의 클러스터에 대한 중심 벡터를 산출하는 단계
S153: 중심 벡터와 각각의 데이터와의 거리를 계산하여, 제2 소속함수를 산출하는 단계
S154: 제1 소속함수 및 제2 소속함수의 오차가 미리 설정된 허용 범위 내에 도달할 때까지, 중심 벡터 및 제2 소속함수 산출을 반복하는 단계
S170: 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계
S310: 미리 설정된 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계
S330: 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계
S350: 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하는 단계
S370: 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적하는 단계
S130: 복수 포즈의 얼굴 이미지 각각을, 주성분 분석법에 기초하여 전처리하는 단계
S131: 각 포즈의 얼굴 이미지를 학습용 데이터 및 검증용 데이터로 분할하고, 학습용 데이터에 대해 얼굴 이미지의 벡터 집합을 설정하는 단계
S132: 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합의 평균 및 분산에 기초하여 상기 얼굴 이미지를 정규화하는 단계
S133: 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 산출하는 단계
S134: 학습용 데이터에 포함된 얼굴 이미지의 벡터와 평균 얼굴 이미지 벡터의 차이 벡터를 산출하는 단계
S135: 산출된 차이 벡터를 이용하여 학습용 데이터에 포함된 얼굴 이미지의 공분산 행렬을 산출하는 단계
S136: 공분산 행렬 중 가장 큰 고유값을 갖는 고유 벡터들을 선택하고, 학습용 데이터에 포함된 얼굴 이미지와 고유 벡터의 사영에 기초하여 가중치를 산출하는 단계
S150: 전처리된 데이터를 RBFNNs 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키는 단계
S151: 클러스터의 개수 및 퍼지화 계수를 설정하고, 제1 소속함수를 초기화하는 단계
S152: 각각의 클러스터에 대한 중심 벡터를 산출하는 단계
S153: 중심 벡터와 각각의 데이터와의 거리를 계산하여, 제2 소속함수를 산출하는 단계
S154: 제1 소속함수 및 제2 소속함수의 오차가 미리 설정된 허용 범위 내에 도달할 때까지, 중심 벡터 및 제2 소속함수 산출을 반복하는 단계
S170: 입자군집 최적화 알고리즘을 이용하여 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계
S310: 미리 설정된 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계
S330: 주성분 분석법을 통해 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계
S350: 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 테스트 얼굴 이미지를 인식하는 단계
S370: 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 테스트 얼굴 이미지를 추적하는 단계
Claims (8)
- 학습 단계 및 상기 학습 단계 이후 수행되도록 구성되는 테스트 단계를 포함하되,
상기 학습 단계는,
(1) 미리 설정된 제1 동영상 데이터로부터 AdaBoost(Adaptive Boost) 알고리즘에 따라 복수 포즈의 얼굴 이미지를 검출하는 단계;
(2) 상기 복수 포즈의 얼굴 이미지 각각을, 주성분 분석법에 기초하여 전처리하는 단계;
(3) 상기 전처리된 데이터를 RBFNNs(Radial Basis Function Neural Networks) 패턴 분류기에 입력하여 각 포즈의 데이터를 학습시키는 단계; 및
(4) 입자군집 최적화 알고리즘을 이용하여 상기 각 포즈별 데이터에 대해 최적화된 파라미터를 획득하는 단계를 포함하고,
상기 테스트 단계는,
(a) 미리 설정된 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 검출하는 단계;
(b) 주성분 분석법을 통해 상기 테스트 얼굴 이미지에 가장 유사한 포즈를 판단하는 단계;
(c) 상기 학습 단계를 통해 획득된, 최적화된 파라미터를 이용하여 상기 테스트 얼굴 이미지를 인식하는 단계; 및
(d) 상기 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 동일한 경우, 입자 필터 알고리즘에 기초하여 상기 테스트 얼굴 이미지를 추적하는 단계를 포함하며,
상기 단계 (4)에서,
상기 최적화된 파라미터는, 퍼지화 계수, 연결가중치의 다항식 형태 및 노드의 수를 포함하고, 상기 연결가중치의 다항식 형태는 1차 선형 추론 형태, 2차 선형 추론 형태 및 변형된 2차 선형 추론 형태를 포함하는 군에서 선택된 하나를 포함하며,
상기 단계 (4)에서는,
가중된 최소 오차제곱 추정 규칙(Weighted Least Square Estimator)을 사용하여 각 규칙에 대한 파라미터를 독립적으로 산출하도록 구성되며,
상기 단계 (d)는,
(d-1) 현재 시각 및 직전 시각에서의 상기 테스트 얼굴 이미지의 유클리디안 거리 오차를 산출하여, 상기 유클리디안 거리 오차가 미리 설정된 임계값보다 작은 경우, 직후 시각에서도 상기 테스트 얼굴 이미지를 더 추적하는 단계와, (d-2) 상기 유클리디안 거리 오차가 미리 설정된 임계값보다 큰 경우, 상기 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 다시 검출하는 단계를 포함하는 것을 특징으로 하는, RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법.
- 제1항에 있어서, 상기 단계 (2)는, 각각의 포즈에 대해,
(2-1) 상기 얼굴 이미지를 학습용 데이터 및 검증용 데이터로 분할하고, 상기 학습용 데이터에 대해 얼굴 이미지의 벡터 집합을 설정하는 단계;
(2-2) 상기 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합의 평균 및 분산에 기초하여 상기 얼굴 이미지를 정규화하는 단계;
(2-3) 상기 학습용 데이터에 포함된 얼굴 이미지의 벡터 집합으로부터 평균 얼굴 벡터를 산출하는 단계;
(2-4) 상기 학습용 데이터에 포함된 얼굴 이미지의 벡터와 상기 평균 얼굴 이미지 벡터의 차이 벡터를 산출하는 단계;
(2-5) 상기 산출된 차이 벡터를 이용하여 상기 학습용 데이터에 포함된 얼굴 이미지의 공분산 행렬을 산출하는 단계; 및
(2-6) 상기 공분산 행렬 중 가장 큰 고유값을 갖는 고유 벡터들을 선택하고, 상기 학습용 데이터에 포함된 얼굴 이미지와 고유 벡터의 사영에 기초하여 가중치를 산출하는 단계를 포함하는 것을 특징으로 하는, RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법.
- 제1항에 있어서, 상기 단계 (3)은,
(3-a) 상기 전처리된 포즈별 데이터를, 퍼지 C-Means 클러스터링 알고리즘을 통해 분류하는 단계를 포함하고,
상기 단계 (3-a)는,
(3-a-1) 클러스터의 개수 및 퍼지화 계수를 설정하고, 제1 소속함수를 초기화하는 단계;
(3-a-2) 각각의 클러스터에 대한 중심 벡터를 산출하는 단계;
(3-a-3) 상기 중심 벡터와 각각의 데이터와의 거리를 계산하여, 제2 소속함수를 산출하는 단계; 및
(3-a-4) 상기 제1 소속함수 및 제2 소속함수의 오차가 미리 설정된 허용 범위 내에 도달할 때까지, 상기 중심 벡터 및 제2 소속함수 산출을 반복하는 단계를 포함하는 것을 특징으로 하는, RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법.
- 삭제
- 삭제
- 제1항에 있어서, 상기 테스트 단계는,
(e) 상기 인식된 테스트 얼굴 이미지가 미리 설정된 추적 대상과 상이한 경우, 상기 제2 동영상 데이터로부터 AdaBoost 알고리즘에 따라 테스트 얼굴 이미지를 다시 검출하는 단계를 더 포함하는 것을 특징으로 하는, RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법.
- 삭제
- 제1항 내지 제3항, 및 제6항 중 어느 한 항의 RBFNN 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법을 실행하도록 구성되는 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150074352A KR101589149B1 (ko) | 2015-05-27 | 2015-05-27 | Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150074352A KR101589149B1 (ko) | 2015-05-27 | 2015-05-27 | Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101589149B1 true KR101589149B1 (ko) | 2016-02-03 |
Family
ID=55355917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150074352A KR101589149B1 (ko) | 2015-05-27 | 2015-05-27 | Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101589149B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101653278B1 (ko) * | 2016-04-01 | 2016-09-01 | 수원대학교산학협력단 | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 |
| CN109271911A (zh) * | 2018-08-24 | 2019-01-25 | 太平洋未来科技（深圳）有限公司 | 基于光线的三维人脸优化方法、装置及电子设备 |
| KR20190098858A (ko) * | 2018-02-01 | 2019-08-23 | 고려대학교 산학협력단 | 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치 |
| CN110928256A (zh) * | 2019-11-20 | 2020-03-27 | 河南正数智能科技有限公司 | 一种基于改进主成分法的参数优化方法 |
| CN112102366A (zh) * | 2020-09-24 | 2020-12-18 | 湘潭大学 | 基于动态目标的无人机跟踪改进算法 |
| CN112287960A (zh) * | 2019-07-24 | 2021-01-29 | 辉达公司 | 用于训练或再训练机器学习模型的地面真值数据的自动生成 |
| KR20220056707A (ko) * | 2020-10-28 | 2022-05-06 | 한국전자통신연구원 | 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치 |
| CN118398030A (zh) * | 2024-06-26 | 2024-07-26 | 厦门理工学院 | 基于改进径向基函数的ai生成音乐识别方法、装置及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080049206A (ko) * | 2006-11-30 | 2008-06-04 | 퍼스텍주식회사 | 영상보정을 통한 얼굴 인식 방법 |
-
2015
- 2015-05-27 KR KR1020150074352A patent/KR101589149B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080049206A (ko) * | 2006-11-30 | 2008-06-04 | 퍼스텍주식회사 | 영상보정을 통한 얼굴 인식 방법 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101653278B1 (ko) * | 2016-04-01 | 2016-09-01 | 수원대학교산학협력단 | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 |
| KR20190098858A (ko) * | 2018-02-01 | 2019-08-23 | 고려대학교 산학협력단 | 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치 |
| KR102016082B1 (ko) * | 2018-02-01 | 2019-08-29 | 고려대학교 산학협력단 | 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치 |
| CN109271911A (zh) * | 2018-08-24 | 2019-01-25 | 太平洋未来科技（深圳）有限公司 | 基于光线的三维人脸优化方法、装置及电子设备 |
| CN112287960A (zh) * | 2019-07-24 | 2021-01-29 | 辉达公司 | 用于训练或再训练机器学习模型的地面真值数据的自动生成 |
| US11783230B2 (en) | 2019-07-24 | 2023-10-10 | Nvidia Corporation | Automatic generation of ground truth data for training or retraining machine learning models |
| CN112287960B (zh) * | 2019-07-24 | 2024-03-08 | 辉达公司 | 用于训练或再训练机器学习模型的地面真值数据的自动生成 |
| US12112247B2 (en) | 2019-07-24 | 2024-10-08 | Nvidia Corporation | Automatic generation of ground truth data for training or retraining machine learning models |
| CN110928256A (zh) * | 2019-11-20 | 2020-03-27 | 河南正数智能科技有限公司 | 一种基于改进主成分法的参数优化方法 |
| CN112102366A (zh) * | 2020-09-24 | 2020-12-18 | 湘潭大学 | 基于动态目标的无人机跟踪改进算法 |
| CN112102366B (zh) * | 2020-09-24 | 2024-04-02 | 湘潭大学 | 基于动态目标的无人机跟踪改进算法 |
| KR20220056707A (ko) * | 2020-10-28 | 2022-05-06 | 한국전자통신연구원 | 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치 |
| US12056909B2 (en) | 2020-10-28 | 2024-08-06 | Electronics And Telecommunications Research Institute | Method and apparatus for face recognition robust to alignment status of the face |
| CN118398030A (zh) * | 2024-06-26 | 2024-07-26 | 厦门理工学院 | 基于改进径向基函数的ai生成音乐识别方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101589149B1 (ko) | Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 | |
| KR101749268B1 (ko) | 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 | |
| KR101254177B1 (ko) | 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템 | |
| US8320643B2 (en) | Face authentication device | |
| Bergasa et al. | Unsupervised and adaptive Gaussian skin-color model | |
| KR101254181B1 (ko) | 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법 | |
| Yoo et al. | Optimized face recognition algorithm using radial basis function neural networks and its practical applications | |
| Vaswani et al. | Principal components null space analysis for image and video classification | |
| KR101687217B1 (ko) | 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템 | |
| Ma et al. | Linear dependency modeling for classifier fusion and feature combination | |
| KR20080067793A (ko) | 부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴인식 | |
| Shakya et al. | Human behavior prediction using facial expression analysis | |
| Juang et al. | Human posture classification using interpretable 3-D fuzzy body voxel features and hierarchical fuzzy classifiers | |
| Ohmaid et al. | Iris segmentation using a new unsupervised neural approach | |
| Bailly et al. | Boosting feature selection for neural network based regression | |
| KR101658528B1 (ko) | 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 | |
| Pathak et al. | Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching | |
| Xu et al. | A novel multi-view face detection method based on improved real adaboost algorithm | |
| Salah | Machine learning for biometrics | |
| Pankaj et al. | Face recognition using fuzzy neural network classifier | |
| Patil et al. | Analysis of facial expression using deep learning techniques | |
| Nguyen et al. | User re-identification using clothing information for smartphones | |
| Triantafyllou et al. | Iris authentication utilizing co-occurrence matrices and textile features | |
| Monwar et al. | Integrating monomodal biometric matchers through logistic regression rank aggregation approach | |
| Bayer et al. | Image-based OoD-Detector Principles on Graph-based Input Data in Human Action Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20150527 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20150601 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20150527 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150901 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160107 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20160121 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20160121 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210510 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220310 Start annual number: 7 End annual number: 7 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20231101 |