KR20150131658A - 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 - Google Patents

2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 Download PDF

Info

Publication number
KR20150131658A
KR20150131658A KR1020140058643A KR20140058643A KR20150131658A KR 20150131658 A KR20150131658 A KR 20150131658A KR 1020140058643 A KR1020140058643 A KR 1020140058643A KR 20140058643 A KR20140058643 A KR 20140058643A KR 20150131658 A KR20150131658 A KR 20150131658A
Authority
KR
South Korea
Prior art keywords
image
polynomial
principal component
radial basis
component analysis
Prior art date
Application number
KR1020140058643A
Other languages
English (en)
Other versions
KR101658528B1 (ko
Inventor
오성권
Original Assignee
수원대학교산학협력단
위아코퍼레이션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수원대학교산학협력단, 위아코퍼레이션 주식회사 filed Critical 수원대학교산학협력단
Priority to KR1020140058643A priority Critical patent/KR101658528B1/ko
Publication of KR20150131658A publication Critical patent/KR20150131658A/ko
Application granted granted Critical
Publication of KR101658528B1 publication Critical patent/KR101658528B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 조명이 없는 환경에서 얼굴을 인식하는 방법에 관한 것으로서, (1) 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계; (2) 상기 단계 (1)에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계; (3) 상기 단계 (2)에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계; 및 (4) 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 상기 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 따르면, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능하다.
또한, 본 발명에 따르면, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선될 수 있다.
뿐만 아니라, 본 발명에 따르면, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된다.

Description

2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법{NIGHT VISION FACE RECOGNITION METHOD USING 2-Directional 2-Dimensional Principal Component Analysis ALGORITHM AND Polynomial-based Radial Basis Function Neural Networks}
본 발명은 야간 얼굴 인식 방법에 관한 것으로서, 보다 구체적으로는 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 관한 것이다.
최근 지문, 홍채 얼굴 등의 생체 정보를 인식하여 인증하는 생체 정보 인증 시스템이 개발되고 있다. 그 중 얼굴 인식은 다른 생체 정보 인식 방법과 달리 접촉을 필요로 하지 않아 사용자에게 편리함을 부여한다. 종래에는 CCD 카메라로 이미지를 취득(특허출원 제10-2006-0119515호 등 참조)하는데, 조명이 없는 야간에는 조도가 낮기 때문에 인식을 수행하기 어려운 문제가 있었다.
또한, 얼굴 인식을 위해서는 얼굴의 패턴을 인식하여 특징을 추출하고 판별하는 과정이 필요하다. 패턴인식을 위한 다양한 방법들 중 신경회로망을 기반으로 설계된 분류기는, 학습능력과 일반화 능력의 우수성으로 인해 다양한 분야의 패턴인식 시스템에서 가장 많이 사용되는 분류기 중 하나이다. 신경회로망기반 분류기는 입력층, 다수의 은닉층, 출력층을 갖는 다층(multi-layered) 구조가 일반적이며, 경사하강법을 이용하여 학습된다. 기존의 신경회로망을 기반으로 한 많은 분류기는 연결가중치가 상수항으로 구성되어 있으며, 상수항으로 구성된 연결 가중치는 은닉층 뉴런의 활성 함수와의 선형 결합을 통해 출력 공간 내에 선형 판별 함수(linear discernment function)로 표현된다(M. J. Er, S. Q. Wu, J. W. Lu, and H. L. Toh, “Face recognition with radical basis function (RBF) neural networks,” IEEE Trans. Neural Networks, vol. 13, no. 3, pp. 697-710, 2002.). 이는 네트워크가 출력 공간 내에 선형 판정 경계(초평면)를 생성하도록 만들며 선형적인 특성을 가지게 할 수 있다.
한편, 주성분 분석법은 벡터 표현의 통계적 특성을 기반으로 한 방법으로서 통계적으로 변화가 있는 N차원의 M개의 벡터를 공분산 행렬에 의해 고유 벡터로 표현한다. 주성분 분석법은 서로 다른 공간의 차원을 줄여서 간단히 표현하는 실용적인 방법으로 많이 사용되고 있으나, 고차원의 데이터로 구성되는 얼굴 데이터의 패턴 인식에서, 한 방향으로의 변환은 인식률을 떨어트리는 문제가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능한, 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선된, 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법을 제공하는 것을 다른 목적으로 한다.
뿐만 아니라, 본 발명은, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된, 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법은,
조명이 없는 환경에서 얼굴을 인식하는 방법으로서,
(1) 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계;
(2) 상기 단계 (1)에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계;
(3) 상기 단계 (2)에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계; 및
(4) 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 상기 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)는,
(2-1) 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계; 및
(2-2) 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2)는,
(2-2-1) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계;
(2-2-2) 하기 수학식을 이용하여 상기 단계 (2-2-1)에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계; 및
Figure pat00001
(G: 영상의 밝기, N: 영상의 크기, H(i): 정규화 누적값, h(i): 보정 값)
(2-2-3) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 화소 위치에 상기 단계 (2-2-2)에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (2)는,
ASM(Active shape Model)을 이용하여 얼굴 영역과 배경을 분리할 수 있다.
바람직하게는, 상기 단계 (3)은,
(3-1) 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
(3-2) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
(3-3) 고유치 분석을 통하여 상기 단계 (3-2)에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
(3-4) 상기 단계 (3-3)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
(3-5) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
(3-6) 고유치 분석을 통하여 상기 단계 (3-5)에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
(3-7) 상기 단계 (3-6)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
(3-8) 상기 단계 (3-4) 및 단계 (3-7)에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 상기 얼굴 인식을 위한 전체 이미지를 도출하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (4)에서, 상기 pRBFNNs는,
조건부, 결론부, 추론부로 분리되어 기능적 모듈로 동작하되, 상기 조건부의 활성함수로는 FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하고, 상기 결론부의 연결 가중치는 다항식으로 확장하여 사용할 수 있다.
더욱 바람직하게는, 상기 단계 (4)는,
차분 진화(Differential Evolution, DE) 알고리즘을 이용하여 상기 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 따르면, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능하다.
또한, 본 발명에 따르면, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선될 수 있다.
뿐만 아니라, 본 발명에 따르면, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된다.
도 1은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법의 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S200의 구체적 흐름을 도시한 도면.
도 3은 할-라이크 특징의 특징 추출 방법을 도시한 도면.
도 4는 적분 이미지 특징 추출 과정을 도시한 도면.
도 5는 히스토그램 평활화 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S300의 구체적 흐름을 도시한 도면.
도 7은 (2D)²PCA를 이용한 차원 축소되는 과정을 도시한 도면.
도 8은 기존의 방사형 기저 함수 신경회로망을 도시한 도면.
도 9는 본 발명에서 제안하고 있는 다항식 방사형 기저함수 기반 신경회로망을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법의 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법은, 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계(S100), 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계(S200), 단계 S200에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계(S300), 및 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계(S400)를 포함하여 구현될 수 있다. 단계 S100은, 나이트 비전 카메라를 통하여 수행되고, 단계 S200 내지 단계 S400은, 사용자 단말기 또는 야간 얼굴 인식 장치의 데이터 전처리 모듈(단계 S200), 데이터 차원 축소 모듈(단계 S300) 및 얼굴 인식 모듈(단계 S400)에서 각각 수행될 수 있다.
단계 S100에서는, 나이트 비전 카메라를 이용하여 이미지를 획득할 수 있다. 나이트 비전이란, 열화상(Thermal imaging) 기술을 이용한 것으로서, 적외선 카메라가 물체의 열에너지를 감지하여 흑백 영상 이미지로 재현하는 방법이다. 기존의 CCD 카메라를 이용한 2차원 얼굴 인식 시스템은 야간의 얼굴 추출이 어려워 인식이 어려웠다. 본 발명에서는 이러한 단점을 보완하기 위하여 종래의 CCD 카메라 대신에, 야간의 얼굴 이미지를 취득할 수 있는 나이트 비전 카메라를 이용함으로써, 주간의 얼굴 이미지와 비슷한 이미지를 취득할 수 있다.
단계 S200에서는, 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거하는 과정 등의 데이터 전처리가 수행될 수 있다. 도 2는 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S200의 구체적 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따르면, 단계 S200은, 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계(S210) 및 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계(S220)를 포함하여 구현될 수 있다. 아다부스트 알고리즘은 야간 이미지 내의 배경과 얼굴의 특징 데이터를 분석하여 얼굴 영역만을 검출하고 히스토그램 평활화는 야간 이미지 내의 품질을 개선하고 조도에 의한 왜곡현상을 보완할 수 있다.
구체적으로 단계 S210은, 할-라이크 특징 및 아다부스트 알고리즘을 이용하여 얼굴 영역을 검출하는 과정이다. 먼저 할-라이크 특징과 적분 이미지를 통하여 얼굴 영역을 검출할 수 있다. 할-라이크 특징은 P.Viola와 M.Jones에 의해 제안된 알고리즘으로 단순한 합을 이용한 연산과정을 통하여 계산된다. 빠른 속도로 연산이 가능하기 때문에 실시간으로 인식을 하는 얼굴 인식기에 적합하다. 도 3은 할-라이크 특징의 특징 추출 방법을 도시한 도면이다. 도 3에 도시된 바와 같이, 에지 특징(edge feature), 라인 특징(line feature), 대각 특징(diagonal features)을 추출할 수 있고, 특징 영역 내에 있는 픽셀(pixel)값을 더해서 영역의 합을 계산하고, 각 영역의 합의 차이를 계산하여, 할-라이크 특징을 추출할 수 있다. 도 4는 적분 이미지 특징 추출 과정을 도시한 도면이다. 도 4에 도시된 바와 같이, 이미지 내의 모든 픽셀에 대하여 미리 누적된 값을 이용하여 빠르게 연산이 가능하다. 아다부스트 알고리즘은, Y.Freund와 R.Shapire에 의하여 제안된 알고리즘으로 단계적으로 접근하는 계층적 구조를 갖는다. 이러한 구조는 확률 분포를 이용하여 단계별로 에러가 제거되고 속도가 증가하며 n개의 약 분류기를 선형적으로 결합한다. 최종적으로 높은 검출 능력을 갖는 강 분류기를 생성하게 된다.
단계 S220에서는, 히스토그램 평활화 기법을 사용하여 외란 값을 제거할 수 있다. 나이트 비전 카메라를 이용하여 획득한 얼굴 이미지 데이터에는 외란 값이 존재할 수 있다. 본 발명에서는 이러한 외란 값을 없애주기 위하여 히스토그램을 사용할 수 있다. 도 5는 히스토그램 평활화 과정을 도시한 도면이다. 도 5에 도시된 바와 같이, 외란을 최소화하기 위하여, 획득된 얼굴 이미지의 명함의 분포 값을 균일하게 해줌으로써, 한쪽으로 치우친 히스토그램을 일정한 분포를 가지도록 만들어줄 수 있다.
바람직하게는, 단계 S220은, 단계 S210에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계(S221), 하기 수학식 1을 이용하여 단계 S221에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계(S222), 및 단계 S210에서 검출된 얼굴 영역 이미지의 화소 위치에 단계 S222에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계(S223)를 포함하여 구현될 수 있다.
Figure pat00002
(G: 영상의 밝기, N: 영상의 크기, H(i): 정규화 누적값, h(i): 보정 값)
한편, 본 발명의 다른 실시예에 따르면, 단계 S200에서는 ASM(Active shape Model)을 사용하여 배경과 얼굴을 분리할 수 있다. ASM은 통계적인 모델을 이용한 특징점들을 추출하는 방법으로 얼굴의 특징점 추출을 위해서 많이 사용되고 있는 방법 중의 하나이다. ASM은 형상모델을 생성하기 위해 학습 데이터로부터 특징점들을 이용하여 평균 형상을 구한다. 다시 형상을 평균에 매칭 시키도록 크기변환, 회전변환, 평균이동시킨 후 또다시 변형된 형상들의 평균을 구한다. 이전 평균과 새로 구한 평균의 오차가 어느 특정 값 이상 나타나지 않을 때까지 구하는 과정을 반복한다. 이렇게 구한 평균형상을 이용해서 새로운 얼굴 이미지가 들어오면 평균형상과 비교하여 얼굴 영역을 검출하게 된다. 이는 얼굴 영역 검출 방법의 일실시예로서 이에 한정하는 것은 아니다.
단계 S300에서는, 단계 S200에서 전처리된 데이터를 2방향 2차원 주성분분석 알고리즘을 이용하여 데이터 차원을 축소할 수 있다. 주성분 분석법(Principal Component Analysis, PCA)은 벡터 표현의 통계적 특성을 기반으로 한 방법으로 통계적 변화가 있는 N차원의 M개의 벡터를 공분산 행렬에 의하여 고유 벡터로 표현한다. 주성분 분석법은 서로 다른 공간의 차원을 줄여서 간단히 표현하는 실용적인 방법이다. 얼굴 이미지 데이터는, 고차원의 데이터이므로 패턴 인식에 사용할 경우, 많은 데이터의 양으로 인하여 인식 속도가 느려지는 단점이 있다. 본 발명에서는, 이러한 인식 속도 개선을 위하여 (2D)²PCA 알고리즘을 사용하여 데이터의 차원을 축소한다. 일반적인 PCA 방법은 한 방향으로 차원을 축소하나, 본 발명에서는 (2D)²PCA 알고리즘을 사용하여 2차원 이미지의 두 방향 그대로를 이용하여 차원을 축소할 수 있다. 이와 같은 방식을 채택함으로써, PCA 방법에 비하여 인식률을 더욱 높일 수 있다.
도 6은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S300의 구체적 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따르면, 단계 S300은, 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계(S310), 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계(S320), 고유치 분석을 통하여 단계 S320에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계(S330), 단계 S330에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계(S340), 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계(S350), 고유치 분석을 통하여 단계 S350에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계(S360), 단계 S360에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계(S370), 및 단계 S340 및 단계 S370에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출하는 단계(S380)를 포함하여 구현될 수 있다. 단계 S310 내지 단계 S380은, (2D)²PCA의 과정으로서, 도 6에 도시된 바와 같이, 단계 S320 내지 단계 S340은 이미지 열의 벡터를 도출하는 단계이고, 단계 S350 내지 단계 S370은 이미지 행의 벡터를 도출하는 단계로서, 이미지 열의 벡터를 먼저 도출할 수도 있고, 이미지 행의 벡터를 먼저 도출할 수도 있는 등 그 순서에는 구애받지 않는다. 도 7은 (2D)²PCA를 이용한 차원 축소되는 과정을 도시한 도면이다. 도 7에 도시된 바와 같이, (2D)²PCA를 이용하면, 2차원 이미지의 두 방향 그대로를 이용하여 차원이 축소된다. 이하에서는 단계 S310 내지 단계 S380에 대하여 더욱 상세하게 살펴보기로 한다.
전체 학습이미지 데이터의 개수를 M개, 이때 n번째 학습이미지를
Figure pat00003
행렬(n = 1, 2, …, M)로, 학습 이미지의 샘플들의 평균 이미지를
Figure pat00004
로 나타낸다고 할 때, 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값(
Figure pat00005
)은, 하기 수학식 2로 표현될 수 있다(단계 S310).
Figure pat00006
학습이미지 세트들의 이미지 열의 공분산 행렬 RGt는 하기 수학식 3으로 표현될 수 있다(단계 S320).
Figure pat00007
고유치 분석을 통해
Figure pat00008
의 고유값
Figure pat00009
과 이에 대응하는 고유벡터
Figure pat00010
을 계산할 수 있다(하기 수학식 4 참고, 단계 S330).
Figure pat00011
(T: transpose, λ: 고유값, u: 고유 벡터 r:열의 수)
단계 S330에서 구한 고유값
Figure pat00012
에 대해 고유값이 큰 순서대로 d개의 고유치
Figure pat00013
를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환행렬
Figure pat00014
을 생성할 수 있다(단계 S340).
Figure pat00015
는, d만큼 차원을 줄인 이미지 열의 벡터를 의미한다.
한편, 학습이미지 세트들의 이미지 행의 공분산 행렬 LGt는 하기 수학식 5로 표현될 수 있다(단계 S350).
Figure pat00016
고유치 분석을 통해
Figure pat00017
의 고유값
Figure pat00018
과 이에 대응하는 고유벡터 을 계산할 수 있다(하기 수학식 6 참고, 단계 S360).
Figure pat00019
(T: transpose, λ: 고유값, u: 고유 벡터, c: 행의 수)
단계 S360에서 구한 고유값
Figure pat00020
고유값이 큰 순서대로 d개의 고유치
Figure pat00021
를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환행렬
Figure pat00022
을 생성할 수 있다(단계 S370).
Figure pat00023
는, d만큼 차원을 줄인 이미지 행의 벡터를 의미한다.
단계 S380에서는, 단계 S340에서 생성된 이미지 열의 벡터와 단계 S370에서 생성된 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출할 수 있다. 얼굴 인식을 위한 전체 이미지를 도출하는 식은 하기 수학식 7에 의할 수 있다.
Figure pat00024
단계 S400에서는, 다항식 방사형 기저함수 기반 신경회로망(pRBFNNs)을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식할 수 있다. 본 발명에서 제안하고 있는 pRBFNNs는 기존의 신경회로망과 결합하여 3가지 기능적 모듈로 동작할 수 있다. 즉, 조건부, 결론부, 추론부로 분리되어 기능적 모듈로 동작하되, 상기 조건부의 활성함수로는 FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하고, 상기 결론부의 연결 가중치는 다항식으로 확장하여 사용할 수 있다.
본 발명에서 제안하고 있는 pRBFNNs는 기존의 RBFNN과 달리 결론부의 연결 가중치를 상수항에서 다항식으로 확장하여 사용한다. 그리고 조건부의 활성함수는 기존의 RBFNN에서 사용하는 가우시안 함수 대신 FCM 클러스터링을 사용한다. pRBFNNs 패턴분류기는 전처리가 끝난 입력 이미지 데이터를 학습과 인식 단계에서 사용한다. 도 8은 기존의 방사형 기저 함수 신경회로망을 도시한 도면이고, 도 9는 본 발명에서 제안하고 있는 다항식 방사형 기저함수 기반 신경회로망을 도시한 도면이다. 도 8에 도시된 바와 같이 기존의 방사형 기저 함수 신경회로망은 입력층과 은닉층 그리고 출력층으로 구성되어 있고, 기능적 모듈로서 조건부와 결론부, 추론부로 분리되어 동작한다.
조건부는 일반적인 신경회로망의 은닉층을 의미하며 은닉층의 노드 수는 사용자에 의하여 결정되고 노드 수만큼 활성 함수가 존재한다. 일반적으로 조건부의 활성함수로는 가우시안 함수를 사용하고 결론부는 상수항을 사용한다. 모델의 최종 출력은 조건부와 결론부의 상수항으로 표현한다.
한편, 도 9에 도시된 바와 같이, 본 발명에서 제안하고 있는 pRBFNNs 패턴 분류기의 조건부는, 기존의 RBFNN에서 사용하던 가우시안 함수가 아닌 Fuzzy C-means 클러스터링 알고리즘을 사용하고, FCM 클러스터링은 각 클러스터에 포함되는 데이터의 소속 정도가 퍼지 집합으로 출력되어 방사형의 활성 함수 형태를 나타내기 때문에 가우시안 함수의 역할을 대신할 수 있다. 결론부에서는 하기 표 1과 같이 상수항을 제외한 일차식, 2차식, 변형된 2차식의 3가지 형태 중 하나의 형태를 갖는다.
Type Polynomial Type
Linear
Figure pat00025
Quadratic
Figure pat00026
Modified
Quadratic
Figure pat00027
클러스터링 알고리즘이란 데이터의 분류에서 사용되는 알고리즘으로 데이터 안의 유사한 패턴과 형태 등의 기준을 통하여 데이터를 분류하여 개체의 소속집단을 정의해주는 알고리즘이다. 본 발명에서는 클러스터링에 대한 각 데이터를 거리를 기준으로 하여 소속 정도를 측정하였고 데이터들의 특성을 분류하는 FCM클러스터링 알고리즘을 사용할 수 있다. FCM 클러스터링은, 하나의 클러스터에 속해져 있는 각각의 데이터 점을 소속 정도에 의해서 클러스터에 대한 데이터 소속 정도를 일일이 열거한 데이터 분류 알고리즘이다. FCM 클러스터링 알고리즘을 패턴분류기의 조건부에 가우시안 활성함수 대신 사용함으로써 입력데이터의 특성을 더욱 잘 반영할 수 있다. FCM 클러스터링 알고리즘의 클러스터 수는 은닉층 노드의 수와 같고 퍼지 집합으로 이루어진 소속행렬의 값은 가우시안 활성 함수에 의한 적합도 값과 같고 FCM 클러스터링의 퍼지화 계수는 가우시안 함수의 분포상수와 같은 역할을 한다. 과정은 다음과 같다. 우선, 클러스터의 개수와 퍼지화 계수를 선택하고, 소속행렬 U(r)를 초기화한다(수학식 8 참조).
Figure pat00028
(U(r): 해당 소속행렬, c: 클러스터 수, n: 데이터 수)
두 번째로, 값을 기반으로 각각의 클러스터에 대한 중심 값을 구한다(하기 수학식 9, 수학식 10 참조).
Figure pat00029
(i: 클러스터, n: 데이터 개수, j: 입력, v: 클러스터 중심)
Figure pat00030
(i: 클러스터, n: 데이터 개수, j: 입력, m: 퍼지화 계수, v: 클러스터 중심)
세 번째로, 각각의 클러스터 중심과 데이터와의 거리를 계산하여 새로운 소속행렬을 생성한다(하기 수학식 11, 수학식 12 참조).
Figure pat00031
(i: 클러스터, k: 데이터, l: 입력 개수, u(r+1): 새로운 소속행렬)
Figure pat00032
(i: 클러스터, k: 데이터, c: 클러스터 수, m: 퍼지화 계수, u(r+1): 새로운 소속행렬)
네 번째로, 오차가 허용범위 안에 도달하면 종료하고, 그렇지 않으면 두 번째 단계로 돌아간다(하기 수학식 13 참조).
Figure pat00033
(U(r): 해당 소속행렬, U(r+1): 다음 소속행렬, : 오차율)
다항식 방사형 기저함수 기반 신경회로망의 결론부는 조건부에서 분리한 각 로컬 영역을 다항식 함수의 로컬 회기모델로서 표현하며, 하기 수학식 14의 “then”이후의 규칙을 형성할 수 있다.
Figure pat00034
(A: 멤버십 함수, fij(x): 다항식, i: 규칙, j: 출력 뉴런)
수학식 14의 fji(x)에서 출력 뉴런에 대한 첨자 j(=1,…,s)를 생략한 fi(x)는 수학식 15 내지 17의 형태를 갖는 세 가지 타입의 함수 중 하나의 형태를 갖는다. 즉, 로컬 회기 모델은 상수항, 일차식 또는 이차식으로 표현되어 진다.
Figure pat00035
(i: 규칙)
Figure pat00036
(i: 규칙, n: 입력 수)
Figure pat00037
(i: 규칙, n: 입력 수)
만약 입력 공간의 차원이 매우 클 경우 수학식 17의 2차 항에 대해 입력변수들의 조합 수가 증가하여 계산량이 많이 증가하기 때문에 수학식 18로 표현되는 감소된 2차 함수를 사용하여 계산량을 줄인다.
Figure pat00038
(i: 규칙, n: 입력 수)
다항식 파라미터 계수를 추정하기 위해서 가중 최소자승법 (Weighted Least Square EstimatioN: WLSE)을 사용할 수 있다. WLSE는 회귀다항식의 계수를 추정하는 알고리즘이며 LSE와 유사하다. LSE는 오차제곱의 합이 최소가 되도록 계수를 추정하지만, WLSE는 오차제곱의 가중치가 곱해진다는 차이가 있다. LSE는 다항식의 계수를 한꺼번에 구하기 때문에 전역 모델의 학습을 수행하고, 입력변수와 멤버십 함수의 수가 많아지면 퍼지 규칙 수가 기하급수적으로 늘어나기 때문에 컴퓨터 연산을 수행하지 못하는 경우가 발생한다. 하지만 WLSE는 각 규칙의 독립적으로 구하며 로컬학습을 수행한다. 각 로컬영역에 대한 해석력을 향상시킬 수 있는 장점이 있어 컴퓨터의 계산 부하를 줄일 수 있고 서로 다른 형태의 다항식으로 표현될 수 있다. 본 발명에 제안하고 있는, 다항식 방사형 기저함수 기반의 신경회로망은 기존의 상수항의 연결가중치를 1차식과 2차식으로 확장함으로써, 은닉층 뉴런의 출력 간의 비선형 결합으로 인해 분류기로서의 성능을 향상시킬 수 있다.
제안된 다항식 기반 RBFNNs의 구조는 위에서 언급한 바와 같이 조건부를 FCM 클러스터링을 통한 퍼지 공간 분할, 결론부를 다항식으로 로컬 영역을 표현하는 로컬 회기 모델로 이해할 수 있다. 추론부에서는 “If-then” 퍼지 규칙 기반의 퍼지 추론에 의해 네트워크의 최종출력을 구하게 된다. 추론부의 뉴런에 의해 입력신호들은 합하여져 그 결과를 출력층 뉴런의 최종 출력으로 내보내진다(수학식 19 참조).
Figure pat00039
(j: 데이터, c: 규칙 수)
한편, 단계 S400은, 차분 진화(Differential Evolution, DE) 알고리즘을 이용하여 상기 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화하는 단계를 더 포함할 수 있다. 차분 진화 알고리즘은 Price와 Storn에 의해 벡터 차분을 사용하여 Chebychev 다항 곡선의 내삽 문제를 해결하는 과정에서 개발되었다. 차분 진화 알고리즘은 전역 최적해에 대한 수렴성이 우수하고 구조가 간단하여 다른 진화 알고리즘들에 비해 컴퓨팅 시간이 짧다는 장점을 갖는다. 차분 진화 알고리즘에서 사용되는 연산자는 주로 임의로 선택된 개체들 사이의 차이를 사용한다. 차분 진화 알고리즘을 이용하여 제안된 모델의 다항식의 차수와 클러스터의 수 그리고 퍼지화 계수를 최적화하였다. 차분 진화 알고리즘의 수행 과정은 다음과 같다.
첫 번째로, 초기 집단 생성할 수 있다. 랜덤 값으로 μ개의 개체를 초기화, 각 개체는 n개의 목적 변수로 구성할 수 있다(하기 수학식 20 참조).
Figure pat00040
(u: 개채, n: 개체의 목적 변수, t: 세대)
두 번째로, 집단 내의 모든 개체의 목적 함수를 평가할 수 있다(하기 수학식 21 참조).
Figure pat00041
(Φ: 최소화되어야 하는 목적 함수, u: 총 목적 변수의 한 개체)
세 번째로, 모든 개체(i=1, …, μ)에 대하여 차분 변화를 위한 개체를 선택하여 교배용 벡터를 만들고 이를 교배 대상 벡터와 교배할 수 있다(하기 수학식 22 및 23 참조).
Figure pat00042
(v: 교배용 벡터, i: 교배용 벡터의 순번, ar1, ar2, ar3: 교배용 벡터를 만들기 위한 선택된 개체의 목적변수)
Figure pat00043
(x'i: 교배된 i번째 개체, vi: i번째 교배용 벡터, ai: i번째 개체)
네 번째로, 모든 개체의 목적 함수를 평가할 수 있으며, 다섯 번째로, 종료조건을 확인하고 만족하지 않으면 t=t+1로 하고 세 번째 단계로 복귀할 수 있다.
본 발명은 이하의 실험예에 의하여 더욱 상세히 설명되나, 본 발명이 이하의 실험예에 의해 어떤 식으로든 제한되는 것은 아니다.
실험예 1. 얼굴 인식률 비교 실험
본 실험의 데이터 구성은 수원대학교 지능 제어 및 컴퓨터 지능 연구실(IC&CI Lab)의 인원 12명으로 구성하였고 연구실 인원의 얼굴 데이터는 3가지 조건으로 구성하였다. 첫 번째 조건으로 빛이 존재하지 않는 암전 상태의 상황으로 조도 값은 0~5 Lux 값을 가지는 상황에서 나이트 비전을 사용하여 12명의 얼굴 데이터를 취득하였다. 그리고 두 번째로는 희미한 빛이 존재하는 경우의 상황이며 조도 값은 5~20 Lux 값의 상황을 만들어 데이터를 취득하였고, 마지막으로 상황으로는 우리가 일반적으로 취득하는 방법과 동일한 방법으로 주간에 취득을 하였다. 각 상황별에서 인식후보 12명의 데이터는 10장씩 총 360장으로 구성하였다(표 2 참조).
Figure pat00044
이렇게 취득한 데이터는 광원이 포함되어 있을 수 있어 영상의 식별에 어려움을 주는 경우가 발생할 수 있기 때문에 히스토그램 평활화를 사용하여 광원으로 인한 외란을 최소화하였고. Harr-like feature와 Ada-boost 알고리즘을 통하여 얼굴과 배경을 분리하는 전처리 과정을 수행하였다. 그리고 이렇게 취득된 얼굴 이미지는 고차원의 데이터로 구성이 되어있기 때문에 연산의 시간이 오래 걸리는 단점이 발생할 수 있기 때문에 (2D)2 PCA 알고리즘을 이용하여 고차원 데이터를 축소하는 과정을 거침으로 연산의 시간을 단축하였다. 또한 인식 성능을 향상시키기 위하여 최적화 알고리즘으로 차분 진화 알고리즘을 사용하여 파라미터를 최적화하였다. 실험에 적용한 파라미터 값은 하기 표 3과 같다.
Parameter Value
No. of generations 60
No. of populations 40
Search range Polynomial type 2~4
No. of clusters 2~5
Fuzzification Coefficient 1.1~3.0
이렇게 축소된 데이터를 이용하여 주간과 야간 그리고 PCA와 (2D)2 PCA를 사용하였을 때의 인식률을 pRBFNNs 패턴분류기를 통하여 산출하였다. 하기 표 4는 인식률 산출결과를 나타낸 표이다.
Figure pat00045
표 4에 나타난 바와 같이, PCA 방법에 비하여 (2D)2PCA에 의한 경우에 일괄적으로 인식률의 향상을 나타내었으며, 암전 상태에서도 인식이 가능함을 확인할 수 있었다. 본 발명에서는, 나이트 비전 카메라를 이용하여 야간에서도 이미지 취득이 가능하게 하였고, Ada-Boost 알고리즘을 사용하여 얼굴 이미지를 검출하였으며, 히스토그램 평활화를 이용하여 이미지의 왜곡 현상을 최소화할 수 있다. 이렇게 얻어진 고차원 이미지는 (2D)2PCA 알고리즘을 이용하여 저차원으로 축소하였고, pRBFNNs을 이용한 지능형 패턴 분류 모델을 통하여 얼굴 인식을 수행하였으며, 마지막으로 차분 진화 알고리즘을 사용하여 파라미터를 최적화하였다. 또한, 본 발명에서 제안하고 있는 얼굴 인식 방법의 성능을 평가하기 위하여 IC&CI Lab data를 사용하고 실제 얼굴 인식 시스템을 설계한 결과, 야간에서도 얼굴 인식률이 유의하게 향상함을 확인할 수 있었다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S100: 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계
S200: 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계
S210: 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계
S220: 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계
S221: 단계 S210에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계
S222: 단계 S221에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계
S223: 단계 S210에서 검출된 얼굴 영역 이미지의 화소 위치에 단계 S222에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계
S300: 단계 S200에서 전처리된 데이터를, 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계
S310: 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
S320: 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
S330: 고유치 분석을 통하여 단계 S320에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
S340: 단계 S330에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
S350: 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
S360: 고유치 분석을 통하여 단계 S350에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
S370: 단계 S360에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
S380: 단계 S340 및 단계 S370에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출하는 단계
S400: 다항식 방사형 기저함수 기반 신경회로망을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계

Claims (7)

  1. 조명이 없는 환경에서 얼굴을 인식하는 방법으로서,
    (1) 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계;
    (2) 상기 단계 (1)에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계;
    (3) 상기 단계 (2)에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계; 및
    (4) 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 상기 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
  2. 제1항에 있어서, 상기 단계 (2)는,
    (2-1) 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계; 및
    (2-2) 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
  3. 제2항에 있어서, 상기 단계 (2-2)는,
    (2-2-1) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계;
    (2-2-2) 하기 수학식을 이용하여 상기 단계 (2-2-1)에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계; 및
    Figure pat00046

    (G: 영상의 밝기, N: 영상의 크기, H(i): 정규화 누적값, h(i): 보정 값)
    (2-2-3) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 화소 위치에 상기 단계 (2-2-2)에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
  4. 제1항에 있어서, 상기 단계 (2)는,
    ASM(Active shape Model)을 이용하여 얼굴 영역을 검출하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
  5. 제1항에 있어서, 상기 단계 (3)은,
    (3-1) 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
    (3-2) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
    (3-3) 고유치 분석을 통하여 상기 단계 (3-2)에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
    (3-4) 상기 단계 (3-3)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
    (3-5) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
    (3-6) 고유치 분석을 통하여 상기 단계 (3-5)에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
    (3-7) 상기 단계 (3-6)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
    (3-8) 상기 단계 (3-4) 및 단계 (3-7)에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 상기 얼굴 인식을 위한 전체 이미지를 도출하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
  6. 제1항에 있어서, 상기 단계 (4)에서 상기 pRBFNNs는,
    조건부, 결론부, 추론부로 분리되어 기능적 모듈로 동작하되, 상기 조건부의 활성함수로는 FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하고, 상기 결론부의 연결 가중치는 다항식으로 확장하여 사용하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
  7. 제6항에 있어서, 상기 단계 (4)는,
    차분 진화(Differential Evolution, DE) 알고리즘을 이용하여 상기 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화하는 단계를 더 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
KR1020140058643A 2014-05-15 2014-05-15 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 KR101658528B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140058643A KR101658528B1 (ko) 2014-05-15 2014-05-15 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140058643A KR101658528B1 (ko) 2014-05-15 2014-05-15 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법

Publications (2)

Publication Number Publication Date
KR20150131658A true KR20150131658A (ko) 2015-11-25
KR101658528B1 KR101658528B1 (ko) 2016-09-23

Family

ID=54845450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140058643A KR101658528B1 (ko) 2014-05-15 2014-05-15 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법

Country Status (1)

Country Link
KR (1) KR101658528B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985873A (zh) * 2017-05-30 2018-12-11 株式会社途伟尼 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101886412B1 (ko) 2016-12-22 2018-08-07 세종대학교산학협력단 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
2D PCA 알고리즘을 이용한 최적 RBFNNs 기반 나이트비전 얼굴인식 시뮬레이터 설계, Proceedings of KIIS Fall Conference 2013 Vol 23 No 2* *
ASM알고리즘과 하이브리드 전처리 기법을 이용한 최적화된 RBFNNs 패턴분류기 기반 나이트비전 얼굴인식 시뮬레이터 구현, 2013년 정보 및 제어 학술대회(CICS ‘13) 논문집* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985873A (zh) * 2017-05-30 2018-12-11 株式会社途伟尼 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统

Also Published As

Publication number Publication date
KR101658528B1 (ko) 2016-09-23

Similar Documents

Publication Publication Date Title
KR101254177B1 (ko) 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템
KR101254181B1 (ko) 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법
US7587064B2 (en) Active learning system for object fingerprinting
KR102138657B1 (ko) 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법
Nagi et al. A MATLAB based face recognition system using image processing and neural networks
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101749268B1 (ko) 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법
KR101589149B1 (ko) Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템
JP2004078959A (ja) 人工神経網を利用した顔認識法及びその装置
KR101631694B1 (ko) HOG-PCA 특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법
KR101687217B1 (ko) 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템
Doukim et al. Combining neural networks for skin detection
KR101658528B1 (ko) 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법
Bailly et al. Boosting feature selection for neural network based regression
Aria et al. Generalized cooccurrence matrix to classify IRS-1D images using neural network
Pathak et al. Entropy based CNN for segmentation of noisy color eye images using color, texture and brightness contour features
eddine Agab et al. Dynamic hand gesture recognition based on textural features
Kumar et al. Pixel-based skin color classifier: A review
Deng et al. View-invariant gait recognition based on deterministic learning and knowledge fusion
Sasikala et al. A comparative study on the swarm intelligence based feature selection approaches for fake and real fingerprint classification
Borgi et al. Face, gender and race classification using multi-regularized features learning
CN114743278A (zh) 一种基于生成对抗网络和卷积神经网络的指静脉识别方法
Akilan Video foreground localization from traditional methods to deep learning
CN113435315A (zh) 一种基于双路神经网络特征聚合的表情识别方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right