KR101090269B1 - The method for extracting feature and the apparatus thereof - Google Patents

The method for extracting feature and the apparatus thereof Download PDF

Info

Publication number
KR101090269B1
KR101090269B1 KR1020100015029A KR20100015029A KR101090269B1 KR 101090269 B1 KR101090269 B1 KR 101090269B1 KR 1020100015029 A KR1020100015029 A KR 1020100015029A KR 20100015029 A KR20100015029 A KR 20100015029A KR 101090269 B1 KR101090269 B1 KR 101090269B1
Authority
KR
South Korea
Prior art keywords
variance
class
vector
classes
image
Prior art date
Application number
KR1020100015029A
Other languages
Korean (ko)
Other versions
KR20110095513A (en
Inventor
이상윤
김상기
박윤정
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020100015029A priority Critical patent/KR101090269B1/en
Publication of KR20110095513A publication Critical patent/KR20110095513A/en
Application granted granted Critical
Publication of KR101090269B1 publication Critical patent/KR101090269B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

영상 특징 추출 방법 및 그 장치가 개시된다. 본 영상 특징 추출 방법은, 복수의 학습 영상으로부터 SVM에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하는 제1 단계, 클래스 간 분산에 가중치를 부여하여 클래스 간 분산을 조정하는 제2 단계 및 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 영상의 특징을 추출할 수 있는 기저 벡터를 산출하는 제3 단계를 포함한다. 그리하여 SSS 문제를 해결하고, 보다 효율적이고 신뢰성 있게 영상을 분류할 수 있다. Disclosed are a method and apparatus for extracting image features. The image feature extraction method includes a first step of calculating inter-class variance and intra-class variance based on SVM from a plurality of training images, a second step of adjusting the variance between classes by weighting the variance between classes and the adjusted class And calculating a basis vector from which the feature of the image may be extracted from the inter-variance and the in-class dispersion. Thus, the SSS problem can be solved and images can be classified more efficiently and reliably.

Description

특징 추출 방법 및 그 장치{THE METHOD FOR EXTRACTING FEATURE AND THE APPARATUS THEREOF}Feature extraction method and apparatus therefor {THE METHOD FOR EXTRACTING FEATURE AND THE APPARATUS THEREOF}

본 발명은 특징 추출 방법 및 그 장치에 관한 것으로, 보다 구체적으로, 영상에 나타난 얼굴의 형상(appearance)의 통계적 분석을 통해 얼굴 특징을 추출하는 통계적 형상 기반 얼굴 특징 추출 방법 및 그 장치에 관한 것이다.The present invention relates to a feature extraction method and apparatus, and more particularly, to a statistical shape-based facial feature extraction method and apparatus for extracting facial features through the statistical analysis of the appearance (appearance) of the face in the image.

종래의 부분 공간 기반의 얼굴 특징 추출 방법들은 크게 두 가지로 구분될 수 있다. 1) 클래스 정보 등의 추가적인 정보를 사용치 않는 비지도 학습 방법(혹은 자율 학습: unsupervised learning)과 2) 클래스 정보와 같은 추가 정보에 기반한 지도 학습 방법(supervised learning)이 있다.Conventional subspace based facial feature extraction methods can be classified into two types. There are 1) unsupervised learning methods (or unsupervised learning) that do not use additional information such as class information, and 2) supervised learning based on additional information such as class information.

첫 번째 방법인 비지도 학습으로는 주성분 분석 (Principal Component Analysis), 독립 성분 분석 (Independent Component Analysis), 등의 방법들이 있다. 이들은 주어진 학습 데이터만을 이용하여 통계적 분석을 통해 학습 데이터를 형성하는 근본적인 성분을 분리해 내고 이를 이용하여 입력 데이터의 특징을 추출하게 된다. 이러한 방법들을 통해 추출된 특징은 다양한 용도로 사용될 수 있지만, 인식에 불필요한 정보를 많이 포함하기 때문에 얼굴 인식에의 적용에 한계를 갖는다.The first method, unsupervised learning, includes principal component analysis and independent component analysis. They use only the given learning data to separate the fundamental components that form the learning data through statistical analysis and use them to extract the features of the input data. Features extracted through these methods can be used for a variety of purposes, but there is a limit to the application to face recognition because it contains a lot of unnecessary information for recognition.

두 번째 방법인 지도 학습의 대표적인 예는 선형 판별 분석 (Linear Discriminant Analysis: LDA)이다. 이는 학습 데이터와 함께 주어진 클래스 정보 등을 이용하여, 인식이라는 목적에 가장 적합한 특징을 추출하기 때문에, 보다 높은 인식률 획득이 가능하다.A second example of supervised learning is Linear Discriminant Analysis (LDA). Since a feature most suitable for the purpose of recognition is extracted using class information and the like given together with the learning data, higher recognition rate can be obtained.

이러한 선형 판별 분석은 클래스 내 분산의 등분산성 및 정규 분포를 가정하기 때문에 얼굴 인식을 위한 특징 추출에 적합하지 못하다. 또한 클래스 내 분산 행렬이 비가역 행렬이 됨으로 인해 발생하는 SSS (Small Sample Size) 문제를 주성분 분석이나 의사 역행렬과 같은 방법을 통해 차원 축소를 함으로써 해결하고 있다. 그러나 이는 결과적으로 추출된 특징의 효율성 및 안정성을 저하시키는 요인이 되고 있다. Such linear discriminant analysis is not suitable for feature extraction for face recognition because it assumes uniform and normal distribution of variance in class. In addition, the SSS (Small Sample Size) problem caused by the variance matrix in the class becomes an irreversible matrix is solved by dimension reduction using methods such as principal component analysis or pseudo inverse matrix. However, this results in deterioration of the efficiency and stability of the extracted feature.

본 발명은 상기한 문제점을 해결하기 위해 SSS 문제를 해결하고, 보다 효율적이고 신뢰성 있게 영상을 분류하는 방법 및 장치를 제공한다. The present invention solves the SSS problem to solve the above problems, and provides a method and apparatus for classifying images more efficiently and reliably.

상기 목적을 달성하기 위한 본 발명에 따른, 영상 분류 방법은, 복수의 학습 영상으로부터 SVM에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하는 제1 단계; 상기 클래스 간 분산에 가중치를 부여하여 상기 클래스 간 분산을 조정하는 제2 단계; 및 상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 상기 복수의 학습 영상을 나타낼 수 있는 기저 벡터를 산출하는 제3 단계;를 포함한다.In accordance with an aspect of the present invention, an image classification method includes: a first step of calculating an inter-class variance and an intra-class variance based on an SVM from a plurality of learning images; Adjusting the variance between classes by weighting the variance between classes; And a third step of calculating a basis vector capable of representing the plurality of learning images from the adjusted inter-class variance and the intra-class variance.

그리고, 상기 제1 단계는, 상기 학습 영상 각각의 정규 벡터를 산출하는 단계; 상기 정규 벡터를 비선형 특징 공간에 매핑시켜 매핑된 고차원 벡터를 생성하는 단계; 및 상기 매핑된 고차원 벡터로부터 SVM 및 LDA에 기반한 상기 클래스 간 분산 및 상기 클래스 내 분산을 산출하는 단계;를 포함하는 것이 바람직하다.The first step may include calculating a normal vector of each of the learning images; Mapping the normal vector to a nonlinear feature space to generate a mapped high dimensional vector; And calculating the variance between the class and the variance in the class based on SVM and LDA from the mapped high dimensional vector.

또한, 상기 제2 단계는, 상기 클래스 간 분산에 SVM 마진(margin) 너비의 역수로 가중치를 추가함으로써 상기 클래스 간 분산을 조정하는 것이 바람직하다.Further, in the second step, it is preferable to adjust the variance between classes by adding weights by the inverse of the SVM margin width to the variance between classes.

그리고, 상기 제3 단계는, 피셔 기준을 상기 기저 벡터, 상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 정의하는 단계; 커널 트릭을 이용하여 상기 피셔 기준을 수정하는 단계; 및 상기 수정된 피셔 기준의 해인 상기 기저 벡터를 결정하는 단계;를 포함하는 것이 바람직하다.And the third step comprises: defining a Fisher criterion from the basis vector, the adjusted interclass variance and the intraclass variance; Modifying the Fisher criteria using a kernel trick; And determining the basis vector that is the solution of the modified Fischer criterion.

또한, 상기 기저 벡터를 결정하는 단계는, 상기 클래스 내 분산의 고유치를 특정 값으로 조정하는 단계;상기 조정된 클래스 내 분산으로부터 가역 행렬을 산출하는 단계; 상기 기저 벡터의 고유치를 상기 가역 행렬의 조합으로 표현하는 단계; 및 상기 가역 행렬의 조합으로부터 상기 피셔 기준의 고유해를 상기 기저 벡터와 대응시키는 단계;를 포함하는 것이 바람직하다.The determining of the basis vector may further include: adjusting an eigenvalue of the variance in the class to a specific value; calculating a reversible matrix from the adjusted variance in the class; Expressing the eigenvalues of the basis vector as a combination of the reversible matrices; And mapping the eigensolution of the Fischer criterion to the basis vector from the combination of the reversible matrices.

그리고, 상기 클래스 내 분산의 고유치를 조정하는 단계는, 상기 클래스 내 분산을 적어도 두 개의 영역으로 분할하는 단계; 및 상기 분할된 영역에 각기 다른 고유치를 설정함으로써 상기 클래스 내 분산의 고유치를 조정하는 단계;를 포함하는 것이 바람직하다.And adjusting the eigenvalue of the variance in the class, dividing the variance in the class into at least two regions; And adjusting eigenvalues of variance in the class by setting different eigenvalues in the divided regions.

또한, 테스트 영상을 정규화 시켜 상기 테스트 영상의 정규 벡터를 산출하는 단계; 상기 테스트 영상의 정규 벡터와 상기 기저 벡터를 비선형 특징 공간 상에서 내적함으로써 상기 테스트 영상을 분류하는 단계;를 더 포함하는 것이 바람직하다.The method may further include normalizing a test image to calculate a normal vector of the test image; And classifying the test image by dot product of the normal vector and the basis vector of the test image on a nonlinear feature space.

그리고, 상기 학습 영상은 얼굴 영상인 것이 바람직하다.The learning image is preferably a face image.

한편, 상기 목적을 달성하기 위한 본 발명에 따른, 영상 분류 장치는, 복수의 학습 영상으로부터 SVM에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하는 분산 산출부; 상기 클래스 간 분산에 가중치를 부여하여 상기 클래스 간 분산을 조정하는 클래스 간 분산 조정부; 및 상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 상기 복수의 학습 영상을 나타낼 수 있는 기저 벡터를 산출하는 기저 벡터 산출부;를 포함한다.On the other hand, according to the present invention for achieving the above object, the image classification device, the dispersion calculation unit for calculating the variance and intra-class variance based on the SVM from a plurality of learning images; An inter-class variance adjusting unit that adjusts the inter-class variance by assigning weights to the inter-class variance; And a basis vector calculator configured to calculate a basis vector capable of representing the plurality of learning images from the adjusted inter-class variance and the intra-class variance.

그리고, 상기 분산 산출부는, 상기 학습 영상 각각의 정규 벡터를 산출하는 제1 벡터 산출부; 상기 정규 벡터를 비선형 특징 공간에 매핑시켜 매핑된 고차원 벡터를 산출하는 제2 벡터 산출부; 상기 매핑된 고차원 벡터로부터 SVM 및 LDA에 기반한 상기 클래스 간 분산을 산출하는 제1 산출부; 및 상기 매핑된 고차원 벡터로부터 LDA에 기반한 상기 클래스 내 분산을 산출하는 제2 산출부;를 포함하는 것이 바람직하다.The variance calculator may include a first vector calculator configured to calculate a normal vector of each of the training images; A second vector calculator configured to map the normal vector to a nonlinear feature space to calculate a mapped high dimensional vector; A first calculator configured to calculate a variance between the classes based on SVM and LDA from the mapped high dimensional vector; And a second calculator configured to calculate the variance in the class based on the LDA from the mapped high dimensional vector.

또한, 상기 클래스 간 분산 조정부는, 상기 클래스 간 분산에 SVM 마진(margin) 너비의 역수로 가중치를 추가함으로써 상기 클래스 간 분산을 조정하는 것이 바람직하다.In addition, the inter-class variance adjusting unit preferably adjusts the inter-class variance by adding a weight to an inverse of the SVM margin width to the inter-class variance.

그리고, 상기 기저 벡터 산출부는, 피셔 기준을 상기 기저 벡터, 상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 정의하는 정의부; 커널 트릭을 이용하여 상기 피셔 기준을 수정하는 수정부; 및 상기 수정된 피셔 기준의 해인 상기 기저 벡터를 결정하는 결정부;를 포함하는 것이 바람직하다.The basis vector calculating unit may include: a defining unit defining a fischer criterion from the basis vector, the adjusted interclass variance, and the variance within the class; Modifying the Fisher criterion using kernel tricks; And a determination unit for determining the basis vector that is the solution of the modified Fischer criterion.

또한, 상기 결정부는, 상기 클래스 내 분산의 고유치를 특정 값으로 조정하는 클래스 내 분산 조정부; 상기 조정된 클래스 내 분산으로부터 가역 행렬을 산출하는 가역행렬 산출부; 상기 기저 벡터의 고유치를 상기 가역 행렬의 조합으로 표현하고, 상기 가역 행렬의 조합으로부터 상기 피셔 기준의 고유해를 상기 기저 벡터와 대응시키는 대응부;를 포함하는 것이 바람직하다.The determining unit may further include: an in-class distribution adjusting unit configured to adjust the eigenvalue of the distribution in the class to a specific value; A reversible matrix calculator for calculating a reversible matrix from the adjusted class variance; And a corresponding portion expressing the eigenvalue of the basis vector as a combination of the reversible matrices, and mapping the eigensolution of the Fischer criterion to the basis vector from the combination of the reversible matrices.

그리고, 상기 조정부는, 상기 클래스 내 분산을 적어도 두 개의 영역으로 분할하고, 상기 분할된 영역에 각기 다른 고유치를 설정함으로써 상기 클래스 내 분산의 고유치를 조정하는 것이 바람직하다.Preferably, the adjusting unit divides the variance in the class into at least two regions and adjusts the eigenvalue of the variance in the class by setting different eigenvalues in the divided region.

또한, 테스트 영상을 정규화 하여 상기 테스트 영상의 정규 벡터를 산출하는 정규 벡터 산출부; 및 상기 테스트 영상의 정규 벡터와 상기 기저 벡터를 비선형 특징 공간 상에서 내적함으로써 상기 테스트 영상의 특징을 추출하는 특징 추출부;를 더 포함하는 것이 바람직하다.In addition, a normal vector calculating unit for normalizing a test image to calculate a normal vector of the test image; And a feature extracting unit extracting a feature of the test image by internally embedding the normal vector and the basis vector of the test image in a nonlinear feature space.

그리고, 상기 학습 영상은 얼굴 영상인 것이 바람직하다. The learning image is preferably a face image.

본 발명에 의하면, SVM에 기반한 클래스 간 분산을 정의하고 SVM 마진을 이용하여 조정함으로써 얼굴 영상의 특성에 보다 부합하는 얼굴 특징을 추출할 수 있다. According to the present invention, by defining the distribution between classes based on the SVM and adjusting by using the SVM margin, facial features that more closely match the characteristics of the facial image can be extracted.

또한 정의된 클래스 간 분산의 랭크(rank)의 상승으로 특징 부분 공간의 차원 한도가 늘어남으로써(클래스 간 분산 정의 시 c(c-1)/2개의 SVM 경계 평면을 사용하기 때문에 클래스 간 분산의 rank가 증가하게 됩니다, c는 클래스의 수를 의미한다.), 기존 판별 분석 방법들의 차원 한도로 인한 성능 한계를 극복하고, 보다 높은 효율과 안정성을 보이는 비선형 특징 추출을 가능하게 한다. In addition, by increasing the rank of defined interclass variances, the dimensional limit of feature subspaces is increased (the c (c-1) / 2 SVM boundary planes are used when defining interclass variances, so the rank of interclass variances). C increases the number of classes), overcomes the performance limitations due to the dimensional limitations of existing discriminant analysis methods, and enables the extraction of nonlinear features with higher efficiency and stability.

마지막으로 클래스 내 분산의 고유치 조정은, 비선형 특징 추출 과정에서 클래스 내 분산 행렬을 가역행렬로 수정함과 동시에 고유치의 확산을 방지하여 추출된 특징의 안정성을 높일 수 있는 효과가 있다. Finally, the eigenvalue adjustment of the variance in the class can improve the stability of the extracted feature by preventing the spread of the eigenvalues while modifying the variance matrix in the class as a reversible matrix in the process of nonlinear feature extraction.

도 1은 본 발명의 일 실시예에 따른 특징 추출 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 특징 추출 방법을 설명하는 흐름도,
도 3은 본 발명의 일 실시예에 따른 분산 산출부의 세부 블록도,
도 4는 본 발명의 일 실시예에 따른 분산 산출부의 클래스 간 분산 및 클래스 내 분산을 산출하는 과정을 설명하는 흐름도,
도 5는 본 발명의 일 실시예에 따른 기저 벡터 산출부의 세부 블록도,
도 6은 본 발명의 일 실시예에 따른 결정부의 세부 블록도,
도 7은 본 발명의 일 실시예에 따른 데이터 베이스의 종류에 따라 커널 변수를 달리하면서 기존 특징 추출 방법과 본 발명의 특징 추출 방법의 얼굴 인식 에러율을 비교한 그래프, 그리고,
도 8은 본 발명의 일 실시예에 따른 데이터 베이스의 종류에 따라 특징 수를 달리하면서 기존 특징 추출 방법과 본 발명의 특징 추출 방법의 얼굴 인식 에러율을 비교한 그래프이다.1 is a block diagram of a feature extraction apparatus according to an embodiment of the present invention;
2 is a flowchart illustrating a feature extraction method according to an embodiment of the present invention;
3 is a detailed block diagram of a dispersion calculation unit according to an embodiment of the present invention;
4 is a flowchart illustrating a process of calculating a variance between classes and a variance within a class according to an embodiment of the present invention;
5 is a detailed block diagram of a basis vector calculating unit according to an embodiment of the present invention;
6 is a detailed block diagram of a determination unit according to an embodiment of the present invention;
7 is a graph comparing face recognition error rates between the existing feature extraction method and the feature extraction method of the present invention while varying kernel variables according to the type of database according to an embodiment of the present invention;
8 is a graph comparing face recognition error rates of the existing feature extraction method and the feature extraction method of the present invention while varying the number of features according to the type of database according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.

도 1은 본 발명의 일 실시예에 따른 특징 추출 장치의 블록도이고, 도 2는 본 발명의 일 실시예에 따른 특징 추출 방법을 설명하는 흐름도이다. 1 is a block diagram of a feature extraction apparatus according to an embodiment of the present invention, Figure 2 is a flow chart illustrating a feature extraction method according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 특징 추출 장치는 입력 영상을 표현하기 위한 기저벡터를 산출하는 학습부(110)와 이를 이용하여 테스트 영상의 특징을 추출하는 테스트부(150)로 구분된다.As shown in FIG. 1, the feature extraction apparatus is divided into a learner 110 that calculates a basis vector for representing an input image, and a tester 150 that extracts a feature of a test image using the same.

보다 구체적으로 분산 산출부(120)는 복수의 학습 영상이 입력되면(S210-Y)복수의 학습 영상으로부터 SVM에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하고(S220), 클래스 간 분산 조정부(130)는 클래스 간 분산에 가중치를 부여하여 클래스 간 분산을 조정하며(S230), 기저 벡터 산출부(140)는 조정된 클래스 간 분산 및 클래스 내 분산으로부터 복수의 학습 영상을 나타낼 수 있는 기저 벡터를 산출한다(S240). 학습부(110)는 복수의 학습 영상으로부터 특징을 추출하여 기저 벡터를 산출하기 때문에 학습부(110)도 특징을 추출한다고 할 수 있다.More specifically, when a plurality of learning images are input (S210-Y), the dispersion calculating unit 120 calculates an SVM-based variance and an intra-class variance from a plurality of learning images (S220), and the inter-class variance adjusting unit 130 ) Weights the variances between classes to adjust the variances between classes (S230), and the base vector calculator 140 calculates a basis vector capable of representing a plurality of training images from the adjusted interclass variance and intra-class variance. (S240). Since the learner 110 extracts a feature from the plurality of learning images to calculate a basis vector, the learner 110 also extracts the feature.

한편, 테스트 영상이 입력되면(S250-Y) 정규 벡터 산출부(160)는 테스트 영상을 정규화 시켜 테스트 영상의 정규 벡터를 산출하고(S260), 특징추출부(170)는 테스트 영상의 정규 벡터와 상기 기저 벡터를 비선형 특징 공간 상에서 내적함으로써 상기 테스트 영상의 특징을 추출한다(S270).On the other hand, when a test image is input (S250-Y), the normal vector calculator 160 normalizes the test image to calculate a normal vector of the test image (S260), and the feature extractor 170 is connected to the normal vector of the test image. A feature of the test image is extracted by internalizing the basis vector on a nonlinear feature space (S270).

이하에서는 도 1에 도시된 각 블록들에 대한 보다 구체적이 기능에 대해 설명한다.Hereinafter, a more specific function of each block illustrated in FIG. 1 will be described.

도 3은 본 발명의 일 실시예에 따른 분산 산출부의 세부 블록도이고, 도 4는 본 발명의 일 실시예에 따른 분산 산출부의 클래스 간 분산 및 클래스 내 분산을 산출하는 과정을 설명하는 흐름도이다. 설명의 편의를 도모하기 위해 C명의 사람(이하 클래스라 한다)으로 구성된 N개의 학습 영상으로부터 분류를 위한 특징정보를 추출한다고 가정한다. 3 is a detailed block diagram of a distribution calculator according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating a process of calculating a distribution between classes and a distribution within a class of the distribution calculator according to an embodiment of the present invention. For convenience of explanation, it is assumed that feature information for classification is extracted from N learning images composed of C people (hereinafter referred to as a class).

도 3 및 도 4에 도시된 바와 같이, 제1 벡터 산출부(310)는 학습 영상 각각의 정규 벡터를 산출한다(S410). 구체적으로, 제1 벡터 산출부(310)는 N개의 학습 영상인 얼굴 영상에 대하여 학습 영상의 마스킹 및 히스토그램 균등화 방법을 사용한다. 이는 조명의 변화에 의해 생기는 음영과 배경을 없애고 얼굴영상을 정규화시킨다. 그리고 정규화 된 영상을 벡터화 하여정규 벡터를 하기 수학식 1과 같이 산출한다. As shown in FIG. 3 and FIG. 4, the first vector calculator 310 calculates a normal vector of each training image (S410). In detail, the first vector calculator 310 uses a masking and histogram equalization method of the training images with respect to the N images. This removes shadows and backgrounds caused by changes in lighting and normalizes facial images. The normalized image is vectorized to calculate a normal vector as shown in Equation 1 below.

Figure 112010010947231-pat00001
Figure 112010010947231-pat00001

여기서, k=1,…,N이고, R는 정규 벡터의 차원, D는 차원수,

Figure 112011081277506-pat00085
는 k번째 학습 영상의 정규 벡터, RD는 D차원의(D개의 원소를 가지는) 실수 벡터의 집합을 의미한다. 따라서, 수학식 1은
Figure 112011081277506-pat00086
가 D차원의 실수 벡터에 해당하는 원소임을 의미한다.Where k = 1,... , N is the dimension of the normal vector, D is the number of dimensions,
Figure 112011081277506-pat00085
Is a normal vector of the k-th learning image, and R D is a set of real vectors of D dimension (having D elements). Therefore, Equation 1 is
Figure 112011081277506-pat00086
Means that the element corresponds to the real vector in D dimension.

학습 영상의 정규 벡터 각각은 하나의 열벡터로 표현되는 것이 바람직하다. Each normal vector of the training image is preferably represented by one column vector.

제2 벡터 산출부(320)는 학습 영상 각각의 정규 벡터(

Figure 112010010947231-pat00003
)를 비선형 특징 공간(H)으로 매핑하기 위해 하기 수학식 2와 같은 매핑 함수(
Figure 112010010947231-pat00004
)를 설정하여 비선형 특징 공간에 매핑된 고차원 벡터를 생성한다(S420). The second vector calculator 320 may include a normal vector of each of the training images.
Figure 112010010947231-pat00003
) To map to the nonlinear feature space (H).
Figure 112010010947231-pat00004
) To generate a high-dimensional vector mapped to the nonlinear feature space (S420).

Figure 112011081277506-pat00005

χ는 임의의 벡터를 의미하며, 수학식 2는 D차원의 실수 벡터에 해당하는 임의의 벡터χ에 대하여 함수
Figure 112011081277506-pat00087
를 적용하여 비선형 특징 공간(H)으로 매핑시킴을 의미한다.
Figure 112011081277506-pat00005
χ denotes an arbitrary vector, and Equation 2 is a function of any vector χ corresponding to a real vector in D-dimension.
Figure 112011081277506-pat00087
This means that mapping is applied to the nonlinear feature space (H) by applying.

그리고, 제1 산출부(330) 및 제2 산출부(340) 각각은 복수의 학습 영상으로부터 SVM 및 LDA에 기반하여 클래스 간 분산 및 클래스 내 분산을 산출한다(S430, S440). 제1 산출부(330)는 복수의 학습 영상으로부터 SVM에 기반하여 클래스 간 분산을 산출한다. 제2 산출부(340)는 LDA에 기반하여 클래스내 분산을 산출한다.Each of the first calculator 330 and the second calculator 340 calculates variances between classes and variances within classes based on SVMs and LDAs from the plurality of learning images (S430 and S440). The first calculator 330 calculates variance between classes based on the SVMs from the plurality of training images. The second calculator 340 calculates the variance in the class based on the LDA.

제1 산출부(330)가 클래스 간 분산을 산출하기 위해

Figure 112010010947231-pat00006
개의 학습 영상들 간의 SVM 경계 평면을 학습한다. 구체적으로, 제1 산출부(330)는 비선형 특징 공간에서의 i 와 j 번째 클래스를 판별하는 하기 수학식 3와 같은 경계 평면을 생성한다.The first calculator 330 calculates the variance between classes
Figure 112010010947231-pat00006
SVM boundary plane between two training images is trained. Specifically, the first calculator 330 generates a boundary plane as shown in Equation 3 below for determining the i and j th classes in the nonlinear feature space.

Figure 112010010947231-pat00007
Figure 112010010947231-pat00007

여기서

Figure 112010010947231-pat00008
는 i 와 j 번째 클래스를 구분하는 경계 평면에 수직한 법선 벡터이고,
Figure 112010010947231-pat00009
는 i 와 j 번째 클래스를 구분하는 경계 평면을 만족시키는 상수이다. here
Figure 112010010947231-pat00008
Is a normal vector perpendicular to the boundary plane separating the i and jth classes,
Figure 112010010947231-pat00009
Is a constant that satisfies the boundary plane separating the i and jth classes.

또한,

Figure 112010010947231-pat00010
는 하기 수학식 4과 같이 표현된다. Also,
Figure 112010010947231-pat00010
Is expressed by Equation 4 below.

Figure 112011081277506-pat00011

여기서
Figure 112011081277506-pat00088
는 수학식 4에서 i와 j번째 클래스를 판별하는 SVM 경계 평면을 이루는 서포트 벡터인
Figure 112011081277506-pat00089
의 식별값을 의미한다.
Figure 112011081277506-pat00011
here
Figure 112011081277506-pat00088
Is a support vector forming an SVM boundary plane that identifies the i and jth classes in Equation 4.
Figure 112011081277506-pat00089
Means an identification value of.

여기서

Figure 112011081277506-pat00012
(
Figure 112011081277506-pat00013
)는 서포트 벡터의 집합이고,
Figure 112011081277506-pat00014
및
Figure 112011081277506-pat00090
는 서포트 벡터
Figure 112011081277506-pat00016
에 대한 계수 및 식별값이다.
Figure 112011081277506-pat00017
는 특징 공간에서 매핑된 학습 영상 집합이고,
Figure 112011081277506-pat00018
는
Figure 112011081277506-pat00019
내 대응되는 서포트 벡터의 위치에서
Figure 112011081277506-pat00020
가 놓여 있는 N차원의 벡터이다.here
Figure 112011081277506-pat00012
(
Figure 112011081277506-pat00013
) Is a set of support vectors,
Figure 112011081277506-pat00014
And
Figure 112011081277506-pat00090
Support vector
Figure 112011081277506-pat00016
Coefficient and identification for.
Figure 112011081277506-pat00017
Is a set of learning images mapped in the feature space,
Figure 112011081277506-pat00018
Is
Figure 112011081277506-pat00019
At the position of my corresponding support vector
Figure 112011081277506-pat00020
Is an N-dimensional vector on which

한편, 기존 LDA의 클래스 간 분산은 하기 수학식 5과 같다.On the other hand, the dispersion between classes of the existing LDA is shown in Equation 5 below.

Figure 112010010947231-pat00021
Figure 112010010947231-pat00021

여기서, c는 클래스의 수,

Figure 112010010947231-pat00022
는 클래스 i의 평균 벡터이고 ,
Figure 112010010947231-pat00023
는 클래스 i의 전체 클래스에 대한 확률로서,
Figure 112010010947231-pat00024
과 동일하다. 여기서,
Figure 112010010947231-pat00025
및
Figure 112010010947231-pat00026
각각은 클래스 i의 영상 수 및 전체 영상 수이다. Where c is the number of classes,
Figure 112010010947231-pat00022
Is the mean vector of class i,
Figure 112010010947231-pat00023
Is the probability for the entire class of class i,
Figure 112010010947231-pat00024
. here,
Figure 112010010947231-pat00025
And
Figure 112010010947231-pat00026
Each is the number of images and the total number of images of class i.

제1 산출부는 상기 수학식 5의 (mi-mj)을 정규화된

Figure 112011081277506-pat00091
로 대체함으로써 새로운 클래스 간 분산을 수학식 6과 같이 정의한다.The first calculating unit normalizes (m i -m j ) of Equation 5 above
Figure 112011081277506-pat00091
By replacing with, we define the new class-to-class distribution as shown in Equation 6.

Figure 112011081277506-pat00092
Figure 112011081277506-pat00092

한편 제2 산출부는 LDA에 기반하여 하기 수학식 7과 같은 클래스 내 분산을 산출한다.On the other hand, the second calculation unit calculates the variance in the class as shown in Equation 7 based on the LDA.

Figure 112011081277506-pat00093

여기서 Ci는 학습 영상에서 i번째 클래스의 영상들의 집합이며,
Figure 112011081277506-pat00094
는 특징 공간으로 매핑된 i번째 클래스의 정규영상들의 평균을 말한다.
Figure 112011081277506-pat00093
C i is a set of images of the i th class in the training image,
Figure 112011081277506-pat00094
Denotes the average of the i th class normal images mapped to the feature space.

여기서

Figure 112010010947231-pat00030
, B 는 NxN 블록대각행렬로 각각의 블록은 모든 원소가 1/Ni인 NixNi 행렬이다. here
Figure 112010010947231-pat00030
, B is an N × N block diagonal matrix, where each block is an N i xN i matrix with all elements 1 / N i .

SVM 및 LDA에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하는 방법은 당업자에게 자명하므로 보다 구체적인 설명은 생략한다.Methods of calculating the distribution between classes based on SVM and LDA and the distribution within classes will be apparent to those skilled in the art, and thus a detailed description thereof will be omitted.

한편, 클래스 간 분산 조정부(130)는 클래스 간 분산에 SVM 마진(margin) 너비의 역수로 가중치를 부여함으로써 상기 클래스 간 분산을 조정한다. 구체적으로, 클래스 간 분산 조정부(130)는 각 SVM 마진(margin) 너비의 역수(

Figure 112011081277506-pat00031
)로 가중치로 부여함으로써 수학식 6의 클래스 간 분산을 하기 수학식 8과 같이 조정한다.On the other hand, the inter-class variance adjusting unit 130 adjusts the inter-class variance by weighting the inter-class variance by the inverse of the SVM margin width. In detail, the inter-class distribution adjusting unit 130 may include an inverse of the width of each SVM margin.
Figure 112011081277506-pat00031
By giving a weight as a weight), the variance between classes in Equation 6 is adjusted as in Equation 8 below.

Figure 112010010947231-pat00032
Figure 112010010947231-pat00032

여기서, N은 전체 학습 영상의 수이고,

Figure 112011081277506-pat00095
는 그 중 i번째 클래스에 해당하는 영상들의 수이다. Where N is the total number of learning images,
Figure 112011081277506-pat00095
Is the number of images corresponding to the i th class.

SVM에 기반한 클래스 간 분산을 조정함으로써 얼굴 영상의 특성에 보다 부합하는 얼굴 특징을 추출할 수 있다.  By adjusting the variance between classes based on SVM, we can extract facial features that more closely match the characteristics of facial images.

또한, 상기 수학식 8은 하기 수학식 9과 같이 표현될 수도 있다. In addition, Equation 8 may be expressed as Equation 9 below.

Figure 112010010947231-pat00034
Figure 112010010947231-pat00034

여기서

Figure 112010010947231-pat00035
,
Figure 112010010947231-pat00036
,
Figure 112010010947231-pat00037
이다. here
Figure 112010010947231-pat00035
,
Figure 112010010947231-pat00036
,
Figure 112010010947231-pat00037
to be.

도 5는 본 발명의 일 실시예에 따른 기저 벡터 산출부의 세부 블록도이고, 도 6은 본 발명의 일 실시예에 따른 결정부의 세부 블록도이다.5 is a detailed block diagram of a basis vector calculating unit according to an embodiment of the present invention, and FIG. 6 is a detailed block diagram of a determining unit according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 기저 벡터 산출부(140)는 피셔 기준을 상기 기저 벡터, 조정된 클래스 간 분산 및 클래스 내 분산으로부터 피셔 기준을 정의하는 정의부(510), 커널 트릭을 이용하여 피셔 기준을 수정하는 수정부(520) 및 수정된 피셔 기준의 해인 상기 기저 벡터를 산출하는 결정부(530)로 구성된다.As shown in FIG. 5, the base vector calculation unit 140 uses the Fischer criterion to define Fisher criteria from the base vector, the adjusted inter-class variance, and the intra-class variance. A correction unit 520 for modifying a criterion and a decision unit 530 for calculating the basis vector which is a solution of the modified Fisher criterion.

그리고, 도 6에 도시된 바와 같이, 결정부(530)는 클래스 내 분산의 고유치를 특정 값으로 조정하는 클래스 내 분산 조정부(540), 조정된 클래스 내 분산으로부터 가역 행렬을 산출하는 가역 행렬 산출부(550), 기저 벡터를 상기 가역 행렬의 조합으로 표현하고, 가역 행렬의 조합으로부터 피셔 기준의 고유해를 기저 벡터와 대응시키는 대응부(560)를 포함한다. As shown in FIG. 6, the determination unit 530 includes an in-class variance adjusting unit 540 for adjusting the eigenvalue of the variance in the class to a specific value, and a reversible matrix calculator for calculating a reversible matrix from the adjusted variance in the class. 550, a base vector is represented by a combination of the reversible matrices, and a correspondence unit 560 for mapping the eigensolution of the Fischer criterion to the base vector from the combination of the reversible matrices.

구체적으로, 피셔 기준은 클래스 내 분산과 클래스 간 분산의 비율(

Figure 112010010947231-pat00038
)을 최대화시키는 기저 벡터를 찾는 판별식을 의미한다. 정의부(510)는 상기한 피셔 기준을 기저 벡터, 클래스 내 분산 및 클래스 간 분산에 대한 행렬로부터 하기 수학식 10과 같이 표현할 수 있다. Specifically, the Fisher criterion is the ratio of variance between classes and variance between classes (
Figure 112010010947231-pat00038
) Is a discriminant that finds a basis vector that maximizes The definition unit 510 may express the Fisher criterion as shown in Equation 10 below from a matrix of the basis vector, the variance in the class, and the variance between the classes.

Figure 112010010947231-pat00039
Figure 112010010947231-pat00039

여기서 기저 벡터

Figure 112010010947231-pat00040
는 특징 공간상에서 클래스의 분류를 최대로 하는 기저 벡터이다. Where the basis vector
Figure 112010010947231-pat00040
Is the basis vector that maximizes the class classification in the feature space.

피셔 기준이 학습 영상에 의해 정의된 것이기 때문에 그 식의 해인 기저 벡터 역시 매핑된 학습 영상의 선형 조합으로 표현될 수 있다. 따라서, 기저 벡터

Figure 112010010947231-pat00041
를 하기 수학식 11로 표현할 수 있다. Since the Fisher criterion is defined by the learning image, the basis vector, which is the solution of the equation, can also be expressed as a linear combination of the mapped learning images. Thus, the basis vector
Figure 112010010947231-pat00041
It can be expressed by the following equation (11).

Figure 112011081277506-pat00096

여기서, N은 전체 학습 영상의 수이다.
Figure 112011081277506-pat00096
Where N is the total number of learning images.

여기서,

Figure 112010010947231-pat00043
로서, N-차원 벡터이다.
Figure 112010010947231-pat00044
는 기저 벡터를 매핑된 학습 영상으로 표현시 매핑된 학습 영상의 계수이므로, 매핑된 학습 영상의 계수라고 칭한다. here,
Figure 112010010947231-pat00043
As an N-dimensional vector.
Figure 112010010947231-pat00044
Since the coefficient is the coefficient of the mapped learning image when the basis vector is expressed as the mapped learning image, it is called a coefficient of the mapped learning image.

수학식 11을 이용하여 수학식 10은 수학식 12와 같이 다시 표시할 수 있다.Using Equation 11, Equation 10 may be displayed again as shown in Equation 12.

Figure 112010010947231-pat00045
Figure 112010010947231-pat00045

한편, 수정부(520)는

Figure 112010010947231-pat00046
를 계산시 특징 공간상에서의 내적만이 필요하므로 커널 함수값으로 이를 대체할 수 있다.
Figure 112010010947231-pat00047
를 K 로 대체함으로써 수학식 12를 수학식 13과 같이 다시 쓸 수 있다.On the other hand, the correction unit 520 is
Figure 112010010947231-pat00046
Since we only need to find the dot product in the feature space, we can replace it with a kernel function value.
Figure 112010010947231-pat00047
Equation 12 can be rewritten as Equation 13 by replacing with K.

Figure 112010010947231-pat00048
Figure 112010010947231-pat00048

한편, SSS 문제를 해결하면서 수학식 13의 피셔 기준을 산출하기 위해 클래스 내 분산의 고유치를 조정할 필요가 있다.    Meanwhile, in order to solve the SSS problem, it is necessary to adjust the eigenvalue of the variance in the class in order to calculate the Fisher criterion of Equation 13.

그리하여, 결정부(530)의 클래스 내 분산 조정부(540)는 클래스 내 분산을 고유치 분해한다. 구체적으로, 수학식 14에 정의된 두 개의 임계값을 기준으로 클래스 내 분산을 세 개의 영역으로 분리한다Thus, the in-class variance adjusting unit 540 of the determining unit 530 decomposes the variance in the class. Specifically, the variance in the class is divided into three regions based on the two thresholds defined in Equation (14).

Figure 112010010947231-pat00049
Figure 112010010947231-pat00049

여기서

Figure 112010010947231-pat00050
클래스 내 분산의 고유치이고,
Figure 112010010947231-pat00051
는
Figure 112010010947231-pat00052
과 비교하여 매우 작은 값을 갖는 임계값,
Figure 112010010947231-pat00053
이다. 그리고,
Figure 112010010947231-pat00054
는 튜닝 파라미터(tuning parameter)이다. here
Figure 112010010947231-pat00050
The eigenvalue of the distribution in the class,
Figure 112010010947231-pat00051
Is
Figure 112010010947231-pat00052
A threshold with a very small value compared to
Figure 112010010947231-pat00053
to be. And,
Figure 112010010947231-pat00054
Is a tuning parameter.

분리된 세 영역의 클래스 내 분산의 고유치를 하기 수학식 15로 조정한다. The eigenvalue of the variance in the class of three separate regions is adjusted by the following equation (15).

Figure 112010010947231-pat00055
Figure 112010010947231-pat00055

여기서

Figure 112011081277506-pat00097
이고, 클래스 내 분산 행렬은
Figure 112011081277506-pat00098
×
Figure 112011081277506-pat00099
사이즈의 정방 행렬이다. 즉,
Figure 112011081277506-pat00100
는 클래스 분산 행렬의 열(혹은 행)의 크기를 의미한다.here
Figure 112011081277506-pat00097
The variance matrix in the class
Figure 112011081277506-pat00098
×
Figure 112011081277506-pat00099
Square matrix of size. In other words,
Figure 112011081277506-pat00100
Is the size of the column (or row) of the class variance matrix.

이와 같이, 조정된 고유치에 의해 클래스 내 분산은 하기 수학식 16와 같이 조정된다.In this way, the variance in the class is adjusted as in Equation 16 by the adjusted eigenvalue.

Figure 112010010947231-pat00058
Figure 112010010947231-pat00058

여기서,

Figure 112010010947231-pat00059
및
Figure 112010010947231-pat00060
이다.here,
Figure 112010010947231-pat00059
And
Figure 112010010947231-pat00060
to be.

가역 행렬 산출부(550)는 조정된 고유치를 이용하여 하기 수학식 17과 같은 백색화(whitening) 행렬을 산출할 수 있다.The reversible matrix calculator 550 may calculate a whitening matrix as shown in Equation 17 using the adjusted eigenvalues.

Figure 112010010947231-pat00061
Figure 112010010947231-pat00061

여기서

Figure 112011081277506-pat00101
를 의미하며, N은 전체 학습 영상의 수이며, IN은 N×N 사이즈의 단위 행렬이다.here
Figure 112011081277506-pat00101
Where N is the total number of learning images and I N is a unit matrix of size N × N.

백색화 행렬 P 는 가역행렬이므로 백색화 행렬로 매핑된 학습 영상의 계수로 표현하는 수학식 18과 같은 유일해(

Figure 112010010947231-pat00063
)가 존재한다.Since the whitening matrix P is a reversible matrix, a unique solution such as Equation 18 expressed as a coefficient of the training image mapped to the whitening matrix (
Figure 112010010947231-pat00063
) Exists.

이와 같이, 클래스 내 분산의 고유치 조정은, 비선형 특징 추출 과정에서 클래스 내 분산 행렬을 가역행렬로 수정함과 동시에 작은 고유치의 확산을 방지하여 추출된 특징의 안정성을 높일 수 있는 효과가 있다.As described above, the eigenvalue adjustment of the variance in the class has the effect of improving the stability of the extracted feature by preventing the diffusion of small eigenvalues while modifying the variance matrix in the class as a reversible matrix in the process of nonlinear feature extraction.

Figure 112010010947231-pat00064
Figure 112010010947231-pat00064

여기서,

Figure 112010010947231-pat00065
는 매핑된 학습 영상의 계수를 백색화 행렬로 표현시 유일한 해이므로,
Figure 112010010947231-pat00066
을 구하면
Figure 112010010947231-pat00067
도 구할 수 있다. here,
Figure 112010010947231-pat00065
Since is the only solution to represent the coefficients of the mapped learning image as a whitening matrix,
Figure 112010010947231-pat00066
If you find
Figure 112010010947231-pat00067
Also available.

그리하여 대응부(560)는 상기 수학식 18을 수학식 13에 대입하면 하기 수학식 19와 같이 피셔 기준을

Figure 112010010947231-pat00068
에 대응시킨다.Thus, when the counterpart 560 substitutes Equation 18 into Equation 13, the counterpart 560 generates a Fisher reference as shown in Equation 19 below.
Figure 112010010947231-pat00068
To match.

Figure 112010010947231-pat00069
Figure 112010010947231-pat00069

수학식 19에서,

Figure 112010010947231-pat00070
를 최대화 하는 해인
Figure 112010010947231-pat00071
는
Figure 112010010947231-pat00072
의 고유벡터(eigenvector)로 산출된다. 즉 결정부(530)는 수학식 18로부터
Figure 112010010947231-pat00073
를 산출할 수 있고, 수학식 17 및 수학식 10으로부터 학습 영상의 기저벡터
Figure 112010010947231-pat00074
를 산출할 수 있다. 상기한 기저 벡터로 모든 학습 영상을 분류하는 부분 공간을 표현할 수 있으므로 기저 벡터를 산출하는 과정을 학습 과정으로 통칭할 수 있다.In Equation 19,
Figure 112010010947231-pat00070
To maximize the
Figure 112010010947231-pat00071
Is
Figure 112010010947231-pat00072
It is calculated as the eigenvector of. That is, the determination unit 530 may be obtained from Equation 18
Figure 112010010947231-pat00073
Can be calculated, and the basis vector of the training image from Equations 17 and 10
Figure 112010010947231-pat00074
Can be calculated. Since the partial space for classifying all the learning images can be expressed by the basis vector, the process of calculating the basis vector can be collectively referred to as a learning process.

한편, 테스트 영상의 분류를 위한 특징을 추출하기 위해 입력된 영상에 정규화 작업을 수행하여 정규 벡터를 산출한다.Meanwhile, in order to extract a feature for classification of a test image, a normal vector is calculated by performing a normalization operation on the input image.

그리고, 상기한 정규 벡터를 비선형 특징 공간에 매핑시킨 후 하기 수학식 20과 같이 기저 벡터와 내적을 수행하면 특정 클래스로 분류하기 위한 특징 벡터를 산출할 수 있는 것이다. After the normal vectors are mapped to the nonlinear feature space, the basis vector and the dot product are performed as shown in Equation 20 to calculate a feature vector for classifying into a specific class.

구체적으로, 앞서 수학식 19로부터 구해진 결과를 이용하여 임의의 테스트 영상에 대한 특징을 수학식 20에 근거하여 추출 할 수 있다.In detail, a feature of an arbitrary test image may be extracted based on Equation 20 using the result obtained from Equation 19 above.

Figure 112010010947231-pat00075
Figure 112010010947231-pat00075

여기서, z는 임의의 테스트 영상이고

Figure 112011081277506-pat00102
는 테스트 영상 z를 비선형 특징 공간상으로 매핑한 벡터, 즉 비선형 특징 공간에서의 테스트 영상이다.
Figure 112011081277506-pat00103
는 학습 영상과 z의 특징 공간 상에서의 내적값들을 원소로 하는 커널 행렬이다.Where z is any test image
Figure 112011081277506-pat00102
Is a vector in which the test image z is mapped onto the nonlinear feature space, that is, the test image in the nonlinear feature space.
Figure 112011081277506-pat00103
Is a kernel matrix whose elements are the inner products of the training image and the feature space of z.

본 발명의 영상은 얼굴 영상이 바람직하나 이에 한정되지 않고 다양한 다른 영상 및 벡터 형태의 데이터에도 적용될 수 있음도 물론이다. The image of the present invention is preferably a face image, but is not limited thereto, and may be applied to various other images and vector data.

이하에서는 얼굴 영상을 본 발명에 의해 인식할 때의 효과에 대해 살펴본다.Hereinafter, the effect of recognizing the face image by the present invention will be described.

도 7은 본 발명의 일 실시예에 따른 데이터 베이스의 종류에 따라 커널 변수를 달리하면서 기존 얼굴 특징 추출 방법과 본 발명의 얼굴 특징 추출 방법의 에러율을 비교한 그래프이다.FIG. 7 is a graph comparing error rates of a conventional facial feature extraction method and a facial feature extraction method of the present invention while varying kernel variables according to types of databases according to an embodiment of the present invention.

도 7의 (a)는 FERET(Face Recognition Technology) 데이터 베이스를 적용한 것이고, 도 7의 (b)는 AR(Augmented Reality) 데이터 베이스를 적용한 것이며, 도 7의 (c)는 CMU-PIE 데이터 베이스를 적용한 것이다. 도 7의 (a) 내지 (c)에 도시된 바와 같이, 기존 얼굴 특징 추출 방법에 비해 본 발명의 얼굴 특징 추출 방법인 SVM-DA가 에러율이 현저히 낮아짐을 확인할 수 있다.FIG. 7A illustrates a FERET (Face Recognition Technology) database, FIG. 7B illustrates an AR (Augmented Reality) database, and FIG. 7C illustrates a CMU-PIE database. It is applied. As shown in (a) to (c) of FIG. 7, the error rate of the SVM-DA, which is the facial feature extraction method of the present invention, is significantly lower than that of the conventional facial feature extraction method.

도 8은 본 발명의 일 실시예에 따른 데이터 베이스의 종류에 따라 특징 수를 달리하면서 기존 얼굴 특징 추출 방법과 본 발명의 특징 추출 방법의 인식 에러율을 비교한 그래프이다.8 is a graph comparing recognition error rates of the conventional face feature extraction method and the feature extraction method of the present invention while varying the number of features according to the type of database according to an embodiment of the present invention.

도 8의 (a) 내지 (c)의 데이터베이스에서는 특징 수가 증가하면 기존 특징 추출 방법으로는 에러율 측정이 불가능하거나 에러율이 현저히 증가하게 되는 문제가 있다. 그러나, 본 발명에 따라 얼굴을 분류 혹은 인식하게 되면 에러율이 다른 방법에 비해 낮음을 확인할 수 있다. In the databases of FIGS. 8A to 8C, when the number of features increases, an error rate may not be measured by an existing feature extraction method or the error rate may increase significantly. However, when the face is classified or recognized according to the present invention, it can be confirmed that the error rate is lower than that of other methods.

또한, 본 발명은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The present invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (for example, transmission over the Internet). It also includes. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

110: 학습부 120: 분산 산출부
130: 클래스 간 분산 조정부 140: 기저벡터 산출부
150: 테스트부 160: 정규 벡터 산출부
170: 특징 추출부 310: 제1 벡터 산출부
320: 제2 벡터 산출부 330: 제1 산출부
340: 제2 산출부 110: learning unit 120: distributed calculation unit
130: variance adjustment unit between classes 140: basis vector calculation unit
150: test unit 160: regular vector calculation unit
170: feature extractor 310: first vector calculator
320: second vector calculator 330: first calculator
340: second calculation unit

Claims (17)

복수의 학습 영상으로부터 SVM에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하는 제1 단계;
상기 클래스 간 분산에 가중치를 부여하여 상기 클래스 간 분산을 조정하는 제2 단계; 및
상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 영상의 특징을 추출할 수 있는 기저 벡터를 산출하는 제3 단계;를 포함하는 것을 특징으로 하는 특징 추출 방법.Calculating a distribution between classes and a distribution within a class based on the SVM from the plurality of learning images;
Adjusting a variance between classes by weighting the variance between classes; And
And calculating a basis vector from which the feature of the image can be extracted from the adjusted inter-class variance and the intra-class variance. 제1 항에 있어서,
상기 제1 단계는,
상기 학습 영상 각각의 정규 벡터를 산출하는 단계;
상기 정규 벡터를 비선형 특징 공간에 매핑시켜 매핑된 고차원 벡터를 생성하는 단계; 및
상기 고차원 벡터로부터 SVM 및 LDA에 기반한 상기 클래스 간 분산 및 상기 클래스 내 분산을 산출하는 단계;를 포함하는 것을 특징으로 하는 특징 추출 방법. The method according to claim 1,
The first step,
Calculating a normal vector of each of the learning images;
Mapping the normal vector to a nonlinear feature space to generate a mapped high dimensional vector; And
Calculating the variance between the class and the variance in the class based on SVM and LDA from the high-dimensional vector. 제2 항에 있어서,
상기 제2 단계는,
상기 클래스 간 분산에 SVM 마진(margin) 너비의 역수로 가중치를 부여함으로써 상기 클래스 간 분산을 조정하는 것을 특징으로 하는 특징 추출방법. The method of claim 2,
The second step comprises:
The inter-class distribution is adjusted by weighting the variance between classes by the inverse of the SVM margin width. 제1 항에 있어서,
상기 제3 단계는,
피셔 기준을 상기 기저 벡터, 상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 정의하는 단계;
커널 트릭을 이용하여 상기 피셔 기준을 수정하는 단계; 및
상기 수정된 피셔 기준의 해인 상기 기저 벡터를 결정하는 단계;를 포함하는 것을 특징으로 하는 특징 추출 방법. The method according to claim 1,
In the third step,
Defining a Fisher criterion from the basis vector, the adjusted interclass variance and the intraclass variance;
Modifying the Fisher criteria using a kernel trick; And
Determining the basis vector that is the solution of the modified Fischer criterion. 제4 항에 있어서,
상기 기저 벡터를 결정하는 단계는,
상기 클래스 내 분산의 고유치를 특정 값으로 조정하는 단계;
상기 조정된 클래스 내 분산으로부터 가역 행렬을 산출하는 단계;
상기 기저 벡터의 고유치를 상기 가역 행렬의 조합으로 표현하는 단계; 및
상기 가역 행렬의 조합으로부터 상기 피셔 기준의 고유해를 상기 기저 벡터와 대응시키는 단계;를 포함하는 것을 특징으로 하는 특징 추출 방법. The method of claim 4, wherein
Determining the basis vector,
Adjusting the eigenvalue of the variance in the class to a specific value;
Calculating a reversible matrix from the variance in the adjusted class;
Expressing the eigenvalues of the basis vector as a combination of the reversible matrices; And
Mapping the eigensolution of the Fischer criterion to the basis vector from the combination of the reversible matrices. 제 5항에 있어서,
상기 클래스 내 분산의 고유치를 조정하는 단계는,
상기 클래스 내 분산을 적어도 두 개의 영역으로 분할하는 단계; 및
상기 분할된 영역에 각기 다른 고유치를 설정함으로써 상기 클래스 내 분산의 고유치를 조정하는 단계;를 포함하는 것을 특징으로 하는 특징 추출 방법.6. The method of claim 5,
Adjusting the eigenvalue of the variance in the class,
Dividing the distribution in the class into at least two regions; And
And adjusting eigenvalues of variance in the class by setting different eigenvalues in the divided regions. 제1 항에 있어서,
테스트 영상을 정규화 시켜 상기 테스트 영상의 정규 벡터를 산출하는 단계;
상기 산출된 테스트 영상의 정규 벡터와 상기 기저 벡터를 비선형 특징 공간 상에서 내적함으로써 상기 테스트 영상의 특징을 추출하는 단계;를 더 포함하는 것을 특징으로 하는 특징 추출 방법. The method according to claim 1,
Normalizing a test image to calculate a normal vector of the test image;
And extracting a feature of the test image by internalizing the calculated normal vector and the basis vector in a nonlinear feature space. 제 1항에 있어서
상기 학습 영상은 얼굴 영상인 것을 특징으로 하는 영상 특징 추출 방법. The method of claim 1
The learning image is an image feature extraction method, characterized in that the face image. 제1 항 내지 제 8항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium storing a computer program for executing the method of any one of claims 1 to 8 on a computer. 복수의 학습 영상으로부터 SVM에 기반한 클래스 간 분산 및 클래스 내 분산을 산출하는 분산 산출부;
상기 클래스 간 분산에 가중치를 부여하여 상기 클래스 간 분산을 조정하는 클래스 간 분산 조정부; 및
상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 영상의 특징을 추출할 수 있는 기저 벡터를 산출하는 기저 벡터 산출부;를 포함하는 것을 특징으로 하는 특징 추출 장치.A variance calculator configured to calculate variance between classes and variance in classes based on SVMs from the plurality of learning images;
An inter-class variance adjusting unit that adjusts the inter-class variance by assigning weights to the inter-class variance; And
And a basis vector calculating unit configured to calculate a basis vector from which the adjusted inter-class variance and the intra-class variance can extract a feature of an image. 제10 항에 있어서,
상기 분산 산출부는,
상기 학습 영상 각각의 정규 벡터를 산출하는 제1 벡터 산출부;
상기 정규 벡터를 비선형 특징 공간에 매핑시켜 매핑된 고차원 벡터를 산출하는 제2 벡터 산출부;
상기 고차원 벡터로부터 SVM 및 LDA에 기반한 상기 클래스 간 분산을 산출하는 제1 산출부; 및
상기 매핑된 특징 벡터로부터 LDA에 기반한 상기 클래스 내 분산을 산출하는 제2 산출부;를 포함하는 것을 특징으로 하는 특징 추출 장치. The method of claim 10,
The dispersion calculation unit,
A first vector calculator configured to calculate a normal vector of each of the learning images;
A second vector calculator configured to map the normal vector to a nonlinear feature space to calculate a mapped high dimensional vector;
A first calculator configured to calculate a variance between the classes based on SVM and LDA from the high dimensional vector; And
And a second calculator configured to calculate a variance in the class based on the LDA from the mapped feature vector. 제 11항에 있어서,
상기 클래스 간 분산 조정부는,
상기 클래스 간 분산에 SVM 마진(margin) 너비의 역수로 가중치를 부여함으로써 상기 클래스 간 분산을 조정하는 것을 특징으로 하는 특징 추출 장치. 12. The method of claim 11,
The dispersion adjustment unit between the classes,
And classifying the variance between classes by weighting the variance between classes by the inverse of the SVM margin width. 제 10항에 있어서,
상기 기저 벡터 산출부는,
피셔 기준을 상기 기저 벡터, 상기 조정된 클래스 간 분산 및 상기 클래스 내 분산으로부터 정의하는 정의부;
커널 트릭을 이용하여 상기 피셔 기준을 수정하는 수정부; 및
상기 수정된 피셔 기준의 해인 상기 기저 벡터를 결정하는 결정부;를 포함하는 것을 특징으로 하는 특징 추출 장치. The method of claim 10,
The basis vector calculation unit,
A definer defining a Fisher criterion from the basis vector, the adjusted interclass variance and the intraclass variance;
Modifying the Fisher criterion using kernel tricks; And
And a determination unit for determining the basis vector that is the solution of the modified Fischer criterion. 제 13항에 있어서,
상기 결정부는,
상기 클래스 내 분산의 고유치를 특정 값으로 조정하는 클래스 내 분산 조정부;
상기 조정된 클래스 내 분산으로부터 가역 행렬을 산출하는 가역행렬 산출부;
상기 기저 벡터의 고유치를 상기 가역 행렬의 조합으로 표현하고, 상기 가역 행렬의 조합으로부터 상기 피셔 기준의 고유해를 상기 기저 벡터와 대응시키는 대응부;를 포함하는 것을 특징으로 하는 특징 추출 장치. The method of claim 13,
The determination unit,
An in-class distribution adjustment unit for adjusting the eigenvalue of the in-class distribution to a specific value;
A reversible matrix calculator for calculating a reversible matrix from the adjusted class variance;
And a corresponding unit for representing the eigenvalues of the basis vectors as a combination of the reversible matrices and for matching the eigensolutions of the Fischer criterion with the basis vector from the combination of the reversible matrices. 제 14항에 있어서,
상기 분산 조정부는,
상기 클래스 내 분산을 적어도 두 개의 영역으로 분할하고, 상기 분할된 영역에 각기 다른 고유치를 설정함으로써 상기 클래스 내 분산의 고유치를 조정하는 것을 특징으로 하는 특징 추출 장치.The method of claim 14,
The dispersion adjustment unit,
The eigenvalue of the variance in the class is adjusted by dividing the variance in the class into at least two regions and setting different eigenvalues in the divided region. 제 10항에 있어서,
테스트 영상을 정규화 시켜 상기 테스트 영상의 정규 벡터를 산출하는 정규 벡터 산출부; 및
상기 테스트 영상의 정규 벡터와 상기 기저 벡터를 비선형 특징 공간상에서 내적함으로써 상기 테스트 영상의 특징을 추출하는 특징 추출부;를 더 포함하는 것을 특징으로 하는 특징 추출 장치. The method of claim 10,
A normal vector calculator for normalizing a test image to calculate a normal vector of the test image; And
And extracting a feature of the test image by internalizing the normal vector and the basis vector of the test image in a nonlinear feature space. 제 10항에 있어서
상기 학습 영상은 얼굴 영상인 것을 특징으로 하는 특징 추출 장치.The method of claim 10
And the learning image is a face image.
KR1020100015029A 2010-02-19 2010-02-19 The method for extracting feature and the apparatus thereof KR101090269B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100015029A KR101090269B1 (en) 2010-02-19 2010-02-19 The method for extracting feature and the apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100015029A KR101090269B1 (en) 2010-02-19 2010-02-19 The method for extracting feature and the apparatus thereof

Publications (2)

Publication Number Publication Date
KR20110095513A KR20110095513A (en) 2011-08-25
KR101090269B1 true KR101090269B1 (en) 2011-12-07

Family

ID=44931128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100015029A KR101090269B1 (en) 2010-02-19 2010-02-19 The method for extracting feature and the apparatus thereof

Country Status (1)

Country Link
KR (1) KR101090269B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101632689B1 (en) * 2014-09-16 2016-06-23 상명대학교서울산학협력단 The method for recovery of multimedia piece file
CN112203122B (en) * 2020-10-10 2024-01-26 腾讯科技（深圳）有限公司 Similar video processing method and device based on artificial intelligence and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134966A (en) 2003-10-28 2005-05-26 Seiko Epson Corp Face image candidate area retrieval method, retrieval system and retrieval program
JP2006004003A (en) 2004-06-15 2006-01-05 Sony Corp Image processor and image processing method, recording medium and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134966A (en) 2003-10-28 2005-05-26 Seiko Epson Corp Face image candidate area retrieval method, retrieval system and retrieval program
JP2006004003A (en) 2004-06-15 2006-01-05 Sony Corp Image processor and image processing method, recording medium and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:한국정보과학회

Also Published As

Publication number Publication date
KR20110095513A (en) 2011-08-25

Similar Documents

Publication Publication Date Title
US10621468B2 (en) Local feature representation for image recognition
Agarwal et al. Face recognition using eigen faces and artificial neural network
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
Sharma et al. Discriminative spatial saliency for image classification
US9190026B2 (en) Systems and methods for feature fusion
CN110362677B (en) Text data category identification method and device, storage medium and computer equipment
WO2016138838A1 (en) Method and device for recognizing lip-reading based on projection extreme learning machine
US20150199960A1 (en) I-Vector Based Clustering Training Data in Speech Recognition
US8805752B2 (en) Learning device, learning method, and computer program product
US9342991B2 (en) Systems and methods for generating a high-level visual vocabulary
Guzel Turhan et al. Class‐wise two‐dimensional PCA method for face recognition
Warrell et al. Labelfaces: Parsing facial features by multiclass labeling with an epitome prior
US20220207322A1 (en) Data processing method and apparatus based on neural population coding, storage medium, and processor
KR101090269B1 (en) The method for extracting feature and the apparatus thereof
Ueki et al. Perceived age estimation under lighting condition change by covariate shift adaptation
Rahman et al. Face recognition in low lighting conditions using fisherface method and clahe techniques
Bouguila et al. A generative model for spatial color image databases categorization
Chakraborty et al. Face recognition using eigenvector and principle component analysis
Thanh Do et al. Facial feature extraction using geometric feature and independent component analysis
Türkmen et al. Global feature based female facial beauty decision system
Reddy et al. Comparison of HOG and fisherfaces based face recognition system using MATLAB
Kuang et al. Supervised feature quantization with entropy optimization
Chanklan et al. Fingerprint recognition with edge detection and dimensionality reduction techniques
Seidenari et al. Real-time demographic profiling from face imagery with Fisher vectors
Tan et al. Eigenspectrum regularization on Grassmann discriminant analysis with image set classification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140804

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 9