KR100883040B1 - 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원축소 방법 - Google Patents

Abstract

상기 목적을 달성하기 위한 본 발명은, (A) 원 데이터에서 같은 클래스내의 데이터에 대한 차로 이루어진 새로운 데이터를 생성하는 단계; (B) 상기 새로운 데이터 집합에서의 주성분을 분석하는 단계; (C) 상기 (A) 단계의 원 데이터를 상기 (B) 단계의 주성분에 사영하여, 클래스 내 변동 팩터를 최대로 하는 저차원의 데이터 집합을 계산하는 단계; (D) 상기 (C) 단계를 통하여 계산된 저차원의 데이터 집합을 복원하여 상기 (A) 단계의 원 데이터 집합과 같은 차원의 클래스 내 변형 정보를 가진 데이터 집합을 계산하는 단계; (E) 상기 (A) 단계의 원 데이터로부터 상기 (D) 단계를 통하여 계산된 데이터의 차를 구하여 클래스 간 분별 정보를 가진 데이터 집합을 계산하는 단계; (F) 상기 (E) 단계를 통하여 계산된 클래스 간 분별 정보를 가진 데이터 집합의 주성분을 분석하는 단계; 및 (G) 상기 (E) 단계에서 계산된 클래스 간 분별 정보를 가진 데이터 집합을 상기 (F) 단계의 주성분으로 사영하여, 클래스 간의 정보를 최대로 유지하도록 하는 차원 축소 단계를 포함하는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법을 제공한다.

데이터, 클래스 내 팩터, 클래스 간 팩터, 차원 축소

Description

클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법{The subspace method based on data generation model with class information}

본 발명은 클래스 내 팩터와 클래스 간 팩터로 이루어진 데이터 생성 모델을 기반으로 한 새로운 차원 축소 방법에 관한 것으로, 데이터 쌍으로부터 분류에 핵심이 되는 저차원 정보를 추출하여 적은 양의 학습 데이터로도 패턴인식에 필요한 정보를 추출할 수 있는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법에 관한 것이다.

차원 축소 방법은 패턴 인식이나 시그날 프로세싱 분야에서 분류 성능을 높이거나 시스템의 복잡도나 메모리 용량을 줄이기 위하여 널리 사용되어 왔다.

이러한 차원 축소 방법으로는 데이터 생성 모델에 기초한 PCA(Principal Component Analysis)와 FA(Factor Analysis), LDA(Linear Discriminant Analysis) 방법이 주로 사용되었다.

상기 PCA 방법은 원 변수 정보를 최대한 포함하고 있는 독립 1차 결합의 저차원 부분 공간을 찾는 방법이다. 그러나 이러한 PCA 방법은 클래스 정보를 이용하지 않기 때문에 분류에 요구되는 중요한 정보를 소실할 가능성이 있다는 문제점이 있다.

반면, 상기 LDA 방법은 데이터 목표 라벨(Target Label) 정보를 이용하여, 선형 클래스의 구별 가능성을 최대화하는 저차원 부분 공간의 기저 벡터를 찾는다. 일반적으로 상기 LDA 방법이 클래스 정보를 이용하기 때문에 PCA 방법에 비하여 높은 분류 성능을 준다고 알려져 있다.

그러나 상기 LDA 방법은 k개의 클래스에서 최대 k-1개의 기저만을 제공하며, 각 클래스에서 한정된 데이터 수로부터 데이터의 특징을 안정적으로 추출할 수 없다.

또 다른 차원 축소 방법으로는 얼굴 인식으로부터 발전한 intra-person space 방법이 있다. 상기 intra-person space 방법은 한 사람의 두 얼굴 데이터의 차이로 정의된다. 차원 축소를 위하여 낮은 차원의 고유공간(eigenspace)은 상기 PCA 방법을 상기 intra-person space에 적용함으로서 구해진다. 상기 intra-person space 방법은 FERET 데이터에 있어서 상기 PCA나 LDA에 비하여 더 높은 성능을 나타낸다. 그러나, 이러한 방법은 데이터 생성 모델의 기초가 되지 못하며, 왜 intra-person space가 분류에 있어서 좋은 정보를 제공하는지에 대한 이론적으로 근거를 제공할 수 없다.

한편, 최근에는 클래스 정보를 이용한 데이터 생성 모델이 개발되고 있다. 이 모델은 팩터 분석 모델의 변형으로 두가지 팩터를 사용한다. 상기 두가지 팩터는 외부 클래스 팩터로 칭하는 클래스 팩터와 내부 클래스 팩터로 칭하는 환경 팩터이다. 데이터 생성 모델에 기초하여 상기 내부 클래스 팩터는 동일 클래스 내 서 로 다른 두 데이터 사이의 벡터 차를 이용하여 계산된다. 추정된 내부 클래스 팩터의 확률 분포는 데이터 분류 문제에서 데이터의 유사도 측정에 사용될 수 있다. 이 방법은 클래스 내 정보를 얻고 데이터 간 유사도를 측정하기 위해서 벡터 차를 이용한다는 점에서 상기 intra-person 방법과 유사하다. 하지만, 이 방법은 유사도 측정을 확장하는 데이터 생성 모델에 기반을 하고 있다.

그러나, 이 방법은 차원 축소 방법을 포함하고 있지 않기 때문에 보다 높은 차원의 데이터를 다루기 위해서는 또 다른 차원 축소 방법이 요구된다는 문제점이 있다.

상기 문제점을 해결하기 위하여 안출된 본 발명은 클래스 내 팩터와 클래스 간 팩터로 이루어진 데이터 생성 모델을 기반으로 한 새로운 차원 축소 방법을 제공하는 것을 목적으로 하며, 보다 상세히, 데이터 쌍으로부터 분류에 핵심이 되는 저차원 정보를 추출하여 적은 양의 학습 데이터로도 패턴분류에 필요한 정보를 추출할 수 있는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명은, (A) 원 데이터에서 같은 클래스내의 데이터에 대한 차로 이루어진 새로운 데이터를 생성하는 단계; (B) 상기 새로운 데이터 집합에서의 주성분을 분석하는 단계; (C) 상기 (A) 단계의 원 데이터를 상기 (B) 단계의 주성분에 사영하여, 클래스 내 변동 팩터를 최대로 하는 저차원의 데이터 집합을 계산하는 단계; (D) 상기 (C) 단계를 통하여 계산된 저차원의 데이터 집합을 복원하여 상기 (A) 단계의 원 데이터 집합과 같은 차원의 클래스 내 변형 정보를 가진 데이터 집합을 계산하는 단계; (E) 상기 (A) 단계의 원 데이터로부터 상기 (D) 단계를 통하여 계산된 데이터의 차를 구하여 클래스 간 분별 정보를 가진 데이터 집합을 계산하는 단계; (F) 상기 (E) 단계를 통하여 계산된 클래스 간 분별 정보를 가진 데이터 집합의 주성분을 분석하는 단계; 및 (G) 상기 (E) 단계에서 계산된 클래스 간 분별 정보를 가진 데이터 집합을 상기 (F) 단계의 주성분으로 사 영하여, 클래스 간의 정보를 최대로 유지하도록 하는 차원 축소 단계를 포함하는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법을 제공한다.

상기 (A) 단계를 통하여 계산되는 새로운 데이터 집합은 원 데이터 집합 중 같은 클래스 내 데이터 사이의 차로 계산될 수 있다.

또한 상기 (D) 단계에서 저차원의 클래스 내 변형 정보를 가진 데이터를 복원하여 상기 (A) 단계의 원 데이터와 같은 차원의 클래스 내 변형 정보를 가진 데이터를 계산할 수 있다.

이상에서 설명한 바와 같이, 본 발명은 클래스 내 팩터와 클래스 간 팩터로 이루어진 데이터 생성 모델을 기반으로 한 새로운 차원 축소 방법을 제공한다. 보다 상세히, 데이터 쌍으로부터 분류에 핵심이 되는 저차원 정보를 추출하여 적은 양의 학습 데이터로도 패턴분류에 핵심적인 정보를 추출할 수 있도록 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법을 제공한다.

기존의 LDA 방법과 비교해 볼 때, 본 발명은 within-scatter 행렬의 역행렬을 계산할 필요가 없고, 저차원 부분 공간의 기저 수가 클래스의 수에 의존하지도 않는다는 장점이 있다. 또한, 본 발명은 기저를 찾는데 방법이 간단하며, 다양한 데이터 생성 모델을 적용함으로써 다양한 변형이 만들어질 수 있다는 장점이 있다.

본 발명과 본 발명의 동작성의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도 면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

본 발명은 패턴인식에 사용되는 차원 축소(dimension reduction) 방법에 관한 것으로, 클래스 정보를 이용한 데이터 생성 모델에 기반하고 있다. 우선, 데이터 생성 모델을 정의하기에 앞서, 여러 명의 다른 사람(class)으로부터 여러 장의 사진(data)을 획득했다고 가정하면 다른 사람의 사진들은 명확히 다름을 쉽게 알 수 있다. 또한, 같은 사람의 사진이라도 조명과 같은 환경적인 팩터에 의해 정확히 같지 않음을 알 수 있다. 따라서 데이터는 같은 사람 사진들의 변동과 같은 클래스 내 변동을 나타내는 내부 클래스(intra-class) 팩터와 다른 사람 사진들의 변동과 같은 클래스 간 변동을 나타내는 외부 클래스(extra-class) 팩터로 이루어진다는 가정은 타당하다.

이를 식으로 표현하면 다음 수학식 1과 같다. 즉, 관측 데이터에 대한 랜덤 변수 χ는 두 개의 랜덤 변수 ξ, η를 인자로 하는 함수로 표현할 수 있다.

여기서 ξ는 각 클래스의 유일(unique)한 정보를 가지고 있는 클래스 간 팩터이고, η는 같은 클래스 내의 환경 변동을 나타내는 클래스 내 팩터이다.

명확하게 데이터 생성 모델을 정의하기 위해서, 선형 부가 팩터(linear additive factor) 모델을 적용하여 다음 수학식 2와 같은 모델을 가정한다.

여기서 W와 V는 각 해당 팩터의 변환 행렬이다. 이 모델은 특정 클래스의 데이터가 클래스 간 차이 정보를 가지는 클래스 간 팩터 ξ와 같은 클래스 내의 변동 정보를 가지는 η에 의해 생성되어 진다. 도 1은 이러한 데이터 생성 모델을 표현한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법을 나타낸 플로우 차트이다.

도 2를 참조하면, 주어진 데이터 χ에서 만약, 가능한 최대로 클래스 간 정보는 유지하고 클래스 내 정보를 줄인다면, 보다 분류 성능이 우수한 저차원 부분 공간을 찾을 수 있다. 이러한 측면에 볼 때, 본 발명은 종래 LDA(linear discriminant analysis)와 유사한 측면이 있다. LDA는 주어진 데이터 집합에서 within-scatter 행렬을 최소로 하고 동시에 between-scatter 행렬을 최대로 하는 사영(projection) 행렬을 찾는다.

이에 반해 본 발명은 우선 같은 클래스 내의 데이터 집합에서 이들 사이의 차로 만들어진 새로운 데이터 집합을 만들고(S100), 상기 새로운 데이터 집합에서 주성분을 분석한다(S200). 이후 원 데이터를 상기 주성분에 사영하여, 클래스 내 변동 팩터를 최대로 하는 저차원의 데이터 집합을 계산한다(S300). 상기 S300 단계를 통하여 계산된 저차원의 데이터 집합을 복원하여 원래 차원의 분류 성능을 저해하는 클래스 내 변형 정보를 가진 데이터 집합을 계산한다(S400). 분류 성능을 저해하는 정보를 제거하기 위하여 원 데이터로부터 상기 S400 단계를 통하여 계산된 데이터와의 차를 계산한다(S500). 상기 S500 단계에서 계산된 새로운 데이터 집합에 대하여 주성분을 분석한다(S600). 상기 S500에서 만들어진 데이터 집합을 상기 S600에서 계산된 주성분으로 사영하여 데이터의 차원을 축소한다(S700).

따라서 기존의 LDA와 비교해 볼 때, 본 발명은 within-scatter 행렬의 역행렬을 계산할 필요가 없고, 저차원 부분공간의 기저 수가 클래스의 수에 의존하지도 않는다. 또한, 본 발명은 저차원 부분 공간을 찾는데 방법이 간단하며, 다양한 데이터 생성 모델을 적용함으로써 다양한 변형이 만들어질 수 있다.

이하, 데이터 생성 모델을 기반으로 이루어지는 저차원 부분 공간의 획득 방법에 대하여 보다 상세히 설명한다.

우선, 클래스 내 정보를 획득하기 위해서 클래스 내 팩터 로딩(factor loading) 행렬 V를 찾는 대신에 클래스 내 팩터를 표현하는 프로젝션 행렬 Λ를 찾는다. 이를 위해 먼저, 주어진 데이터 집합에서 다음 수학식 3과 같이 표현되는 같은 클래스 내의 두 데이터 차로 만들어지는 집합을 구한다.

여기서 χ_ki과 χ_kj은 k 클래스로부터 기인한 데이터이다. 따라서 클래스 간 팩터가 큰 차이를 보이지 않음을 가정할 수 있고, 이로 인해 식의 첫 항

이 무시 될 수 있다. 따라서 다음 수학식 4와 같은 새로운 관계식이 성립한다.

이와 같은 관계에 기반하여 클래스 내 팩터를 표현하는 프로젝션 행렬 Λ를 찾을 수 있다. 다음과 같이 획득된 데이터 집합 Δ=δ_kij(k=1,...K, i=1,...N, j=1,...N)에서 PCA를 적용하여 Δ의 주요 성분을 획득할 수 있다. 여기서 K는 클래스의 수이고 N은 각 클래스의 데이터 수이다. Δ의 주요 성분인 Λ행렬은 클래스 내 변동 팩터인 η를 최대로 하는 저차원 부분 공간이다.

이를 이용하여 원래의 데이터 집합 X를 사영하면, 클래스 내 팩터를 표현하는 Y^intra를 다음 수학식 5와 같이 얻을 수 있다.

여기서 Y^intra는 저차원 데이터 집합이고 원래 데이터 집합 X의 클래스 내 정보를 포함하고 있다. 이후, Y^intra를 이용하여 다음 수학식 6과 같이 원래 차원의 X^intra를 복구할 수 있다.

여기서 X^intra는 클래스 내 정보를 가지고 있으며, 이는 분류 성능을 저해하는 정보로 제거 되어야 한다. 이를 제거하기 위해 우리는 원래 데이터 집합 X에서 X^intra을 다음 수학식 7과 같이 빼준다.

위에서 새롭게 획득되어진 데이터 집합

에서, 클래스 간 정보를 최대로 유지하기위해 클래스 간 팩터 로딩(factor loading) 행렬 W를 찾는 대신에 클래스간 팩터를 표현하는 프로젝션 행렬

를 찾는다. 이 문제를 해결하기 위해, 우선 데이터 집합

를 고려하면, 데이터 집합 X^intra내의 데이터 χ^intra는 클래스 내 팩터로부터 복구되어 졌으므로, 다음 수학식 8과 같은 관계로 표현할 수 있다.

이를 위의 데이터 생성 모델과 결합하면, 새롭게 획득되어진 데이터

는 다음 수학식 9와 같이 표현될 수 있다.

이로부터, 새로운 데이터 집합

는 주로 클래스 간 정보를 가지고 있음을 알 수 있고, 따라서 가능한 이러한 정보를 최대로 할 필요가 있다. 이를 위해, 새로운 데이터 집합

에 PCA를 적용하여 데이터 집합

의 주요 성분 행렬

을 다음 수학식 10과 같이 획득할 수 있다.

이렇게 획득되어진 데이터 집합

는 클래스 내 분산을 최소로 하고 클래스 간 분산을 최대로 한다. 따라서 획득되어진 데이터 집합

은 클래스 분류 성능을 향상 시킨다.

본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 본 발명의 바람직한 일 실시예에 따른 데이터 생성 모델을 나타낸 도면.

도 2는 본 발명의 바람직한 일 실시예에 따른 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법을 나타낸 플로우 차트.

Claims (3)

1. (A) 원 데이터에서 같은 클래스내의 데이터에 대한 차로 이루어진 새로운 데이터를 생성하는 단계;

   (B) 상기 새로운 데이터 집합에서의 주성분을 분석하는 단계;

   (C) 상기 (A) 단계의 원 데이터를 상기 (B) 단계의 주성분에 사영하여, 클래스 내 변동 팩터를 최대로 하는 저차원의 데이터 집합을 계산하는 단계;

   (D) 상기 (C) 단계를 통하여 계산된 저차원의 데이터 집합을 복원하여 상기 (A) 단계의 원 데이터 집합과 같은 차원의 클래스 내 변형 정보를 가진 데이터 집합을 계산하는 단계;

   (E) 상기 (A) 단계의 원 데이터로부터 상기 (D) 단계를 통하여 계산된 데이터의 차를 구하여 클래스 간 분별 정보를 가진 데이터 집합을 계산하는 단계;

   (F) 상기 (E) 단계를 통하여 계산된 클래스 간 분별 정보를 가진 데이터 집합의 주성분을 분석하는 단계;

   (G) 상기 (E) 단계에서 계산된 클래스 간 분별 정보를 가진 데이터 집합을 상기 (F) 단계의 주성분으로 사영하여, 클래스 간의 정보를 최대로 유지하도록 하는 차원 축소 단계를 포함하는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법.
2. 제 1항에 있어서,

   상기 (A) 단계를 통하여 계산되는 새로운 데이터 집합은 원 데이터 집합 중 같은 클래스 내 데이터 사이의 차로 계산되는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법.
3. 제 1항에 있어서,

   상기 (D) 단계에서 저차원의 클래스 내 변형 정보를 가진 데이터를 복원하여 상기 (A) 단계의 원 데이터와 같은 차원의 클래스 내 변형 정보를 가진 데이터를 계산하는 클래스 정보를 이용한 데이터 생성 모델에 기반한 차원 축소 방법.

Images