KR101905129B1

KR101905129B1 - 서포트 벡터 머신 기반 분류 방법

Info

Publication number: KR101905129B1
Application number: KR1020160161797A
Authority: KR
Inventors: 최민국; 정우영; 권순; 정희철
Original assignee: 재단법인대구경북과학기술원
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2018-11-28
Also published as: KR20180062001A; US20180150766A1

Abstract

본 발명은 서포트 벡터 머신 기반 분류 방법과 관련한 것으로, 보다 상세하게는 적은 수의 학습 데이터에 효과적인 분류 방법에 관한 것이다.
본 발명에 따른 서포트 벡터 머신 기반 분류 방법은 특징 벡터의 기하학적 분포에 따른 가중치가 적용된 제1 분류 모델을 구축하는 단계와, 특징 벡터의 분류 가능도를 고려한 제2 분류 모델을 구축하는 단계 및 제1, 제2 분류 모델을 병합하는 듀얼 최적화(dual optimization)을 수행하는 단계를 포함하는 것을 특징으로 한다.

Description

서포트 벡터 머신 기반 분류 방법{CLASSIFICATION METHOD BASED ON SUPPORT VECTOR MACHINE}

본 발명은 서포트 벡터 머신 기반 분류 방법과 관련한 것으로, 보다 상세하게는 적은 수의 학습 데이터에 효과적인 분류 방법에 관한 것이다.

서포트 벡터 머신(SVM, Support Vector Machine)은 초평면을 이용하는 분류기 중 하나로서, 최대 마진 분류기 SVM은 positive 특징 벡터와 negative 특징 벡터간의 명확한 분류가 가능한 이점이 있다.

그런데, 이러한 SVM은 데이터셋이 충분히 큰 경우에 효과적이며, 적은 수의 트레이닝 샘플만이 사용 가능한 경우에는 이상점(outlier)에 의하여 영향을 크게 받게 되는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 적은 수의 학습데이터에 효과적인 SVM 기반 분류 방법을 제안하며, 각 특징 벡터의 기하학적 분포에 따른 가중치를 부여하고, 각 특징 벡터가 갖는 분류 가능도를 이용하여 최종 초평면(hyperplane)을 구성함으로써, 적은 수의 데이터를 가지고도 효율적인 분류가 가능하도록 하는 분류 방법을 제안한다.

본 발명에 따른 서포트 벡터 머신 기반 분류 방법은 특징 벡터의 기하학적 분포에 따른 가중치가 적용된 제1 분류 모델을 구축하는 단계와, 특징 벡터의 분류 가능도를 고려한 제2 분류 모델을 구축하는 단계 및 제1, 제2 분류 모델을 병합하는 듀얼 최적화(dual optimization)을 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 서포트 벡터 머신 기반 분류 방법은 종래 SVM 모델이 갖는 소프트 마진(soft margin)을 최대화하는 기준 이외에 입력 특징들의 구조적 형태를 반영함으로써 모델 성능을 향상시키고, 입력 특징 벡터 각각의 분류 역량 측정을 통해 분류 역량이 적은 특징 벡터에 대해 강한 페널티를 부과함으로써 잡음에 강건한 모델을 구축하는 것이 가능한 효과가 있다.

본 발명에 따르면 특징 벡터의 기하학적 분포에 따른 가중치가 적용된 분류 모델을 구축하고, 특징 벡터의 분류 가능도를 고려한 분류 모델을 구축하며, 두 분류 모델을 병합하는 듀얼 최적화(dual optimization)을 제공함으로써, 적은 데이터에서도 효율적인 SVM 모델을 구현하는 것이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 서포트 벡터 머신 기반 분류 방법을 나타내는 순서도이다.
도 2는 종래 기술에 따른 SVM 모델 및 본 발명의 실시예에 따른 SVM 모델을 비교한 도면이다.
도 3은 본 발명의 실시예에 따른 가중치 추출 및 분류 가능도 추출을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 파라미터 설정을 위한 실험 결과를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 MNIST 데이터 셋에 대한 분류 결과를 나타내는 도면이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 서포트 벡터 머신 기반 분류 방법을 나타내는 순서도이고, 도 2는 종래 기술에 따른 SVM 모델 및 본 발명의 실시예에 따른 SVM 모델을 비교한 도면이다.

본 발명의 실시예에 대하여 서술하기에 앞서, 당업자의 이해를 돕기 위하여 종래 기술에 따른 SVM 모델에 대하여 먼저 서술하기로 한다.

최대 마진 분류기 SVM은 마진을 최대로 하는 선형 결정경계를 찾는 분류기를 말한다. 그러나 전술한 바와 같이, 이러한 모델은 트레이닝 샘플의 수가 적은 경우 많은 이상점에 의하여 그 분류 신뢰성이 떨어지는 문제점이 있다.

약간의 오분류를 허용하도록 이러한 문제점을 해결하기 위하여 슬랙 변수를 가진 SVM과 커널법을 이용한 소프트 마진 SVM 등이 제안되었다.

본 발명의 실시예에 따른 서포트 벡터 머신 기반 분류 방법은 소프트 마진(soft margin)을 최대화하는 SVM의 RC-마진(reduced convex hulls-margin) 모델을 사용한다.

트레이닝 데이터의 n개의 아이템을 가정하면, 이진 분류기 학습을 위한 n개의 특징 벡터는 positive 클래스

및 negative 클래스

로 주어지고, n= n₁ + n₂가 되며, 하나의 특징 벡터

는 p 크기를 갖는 열 벡터로 정의한다.
이 때, A_p 및 B_p는 각각 p차원의 positive 데이터 행렬 및 negative 데이터 행렬이다. A는 모든 positive example을 포함하는 행렬로

가 하나의 샘플 데이터일 때

으로 정의되며, B는 모든 negative example을 포함하는 행렬로

가 하나의 샘플 데이터일 때

으로 정의된다.
이 때, 소프트 마진 분류를 위한 두 클래스의 RCH(reduced convex hulls) 간 최단 거리를 나누는 초평면의 primal 최적화(optimization)은 아래 [수학식 1]과 같이 정의된다.

삭제

T는행렬에 대한 transpose 연산(

의 경우 벡터

의 transpose를 의미)을 의미하고, 이 때, k와 l은 초평면(hyperplane)의 오프셋 값으로,

를 만족하며,

와

는 소프트 마진 제공하기 위한 슬랙 변수이다.
W는 SVM에서 선형 분류를 위한 hyper-plane parameter로서, SVM을 학습 시키는 것은 분류 정확도를 최대화하는 최적의 W를 찾는 것으로 볼 수 있다.
ξ는 positive example의 soft margin 허용한 hyper plane을 최적화하기 위한 slack variable로 positive sample 데이터 포인트의 error 허용 정도를 의미하고, η은 negative example의 soft margin 허용한 hyper plane을 최적화하기 위한 slack variable로 negative sample 데이터 포인트의 error 허용 정도를 의미한다.

삭제

e는 모든 원소를 1로 갖는 열 벡터를 의미하고, C는 convex hull의 축소를 제어하기 위한 조절(regularization) 파라미터이다.

이때, 유의미한 C의 범위(valid range)는 일반적으로 M=min(n1, n2) 일때, 1/M≤C≤1로 주어진다.

이하에서는 S100 단계인 RC 마진 SVM에 대한 가중치 모델(제1 분류 모델)을 구축하는 단계에 대하여 상술한다.

본 발명의 실시예에 따르면, 주어진 특징 벡터에 대한 강건한 오분류 패널티(misclassification penalty)를 부여하기 위해, 트레이닝 샘플인 각 특징 벡터의 기하학적 위치 및 분포를 통해 가중치를 획득한다.

기하적 분포 기반의 패널티는 이상점(outlier)에 대해 민감하게 반응할 수 있기 때문에, 제한된 트레이닝 데이터에서 더 효과적인 초평면을 구성하는 것이 가능하다.

가중치 벡터를 ρ_y 로 정의하고, 가중치 ρ₍ _y,,i ₎ 는 클래스 y에 속한 i번째 특징 벡터에 대하여 부여하며, RC-margin 기반의 가중치 모델의 primal 최적화는 아래 [수학식 2]와 같이 정의된다.

이때,

과

는 가중치 벡터(weight vector)이며, 각각 정규화 조건(normalization condition)

및

을 만족한다.

조절 파라미터(weighting parameter) D는 RC-margin 경우와 같이 1/M≤D≤1의 값을 갖는다.

본 발명의 실시예에 따르면 특징벡터에 대한 가중치 벡터 를 추출하기 위해 각 특징벡터에 대한 정규화된 최근린거리를 가중치로 추출한다.

클래스 에 속한 번째 특징벡터에 대한 ρ_1,i 는 아래 [수학식 3]과 같이, 가장 근접한 위치에 있는h_w개의 근접 특징 벡터들의 평균 L2 거리로 연산된다.

는 x_i와 x_j 두 특징 벡터 사이에 L2 거리를 의미한다. ρ_2,i 에 대해서도 유사한 방식으로 가중치를 추출하게 되며, 도 3의 (a)는 h_w=5일 때 가중치 추출의 예시를 도시한다.

이하에서는 S200 단계인 분류 가능도 기반 RC-마진 모델(제2 분류 모델) 구축 단계에 대하여 상술한다.

분류 가능도(classification uncertainty)는 특정 특징벡터가 갖는 대립되는 클래스에 대한 근사된 분류 정확도로 정의된다.

분류 가능도를 모델에 반영하는 것은 각 특징벡터가 실제 분류 과정에서 기여하는 기여도에 따라, 서로 다른 가중치를 부여한다.

클래스 y에 대한 특징 벡터에 대한 분류 가능도 벡터를 τ_y 라 할 때 i 번째 특징벡터에 대한 분류 가능도는 τ_(y,i) 로 정의된다.

이때 분류 가능도를 패널티로 갖는 RC-마진 모델은 아래 [수학식 4]와 같다.

이때 τ₁과 τ₂ 는 분류 가능도 벡터(classification uncertainty vector)를 의미하고 각각은

와

.의 dimension을 가진다.

조절 파라미터 E(weighting parameter)는 convex hull의 크기를 제어하며, 1/M≤E≤1의 범위를 가진다.

분류 가능도 τ_2(y,i)는 특정한 특징 벡터의 분류 정확도의 정규화된 값으로 주어진다.

특정한 클래스를 갖는 특징벡터 x에 대해 최근린거리 갖는 h_u개의 특징 벡터 집합을 가지고 반대 클래스에 대한 지역 선형 분류기(local linear classifier)는

를 구축하고, 구축된 지역 분류기를 통해 분류 가능도를 측정하게 된다.

는 각 특징 벡터의 classification uncertainty를 측정하기 위한 선형 분류기로

로 정의되며, 선택된 특정한

개의 근접한 특징벡터로부터 얻어진 linear classifier로 정의된다.
이때

는 선형 분류기의 hyperplane을 의미하며,

는

번째 특징 벡터

와 주변

개의 근접한 특징벡터로부터 얻어진 데이터 그룹이며

는 선형 분류기의 bias term이다.

는 특징벡터

입력으로부터 학습된 선형 분류기를 의미한다.

i번째 특징 벡터에 대하여 분류기는 최근린거리 갖는 h_u개의 특징 벡터에 대한 학습을 수행하고, i번째 특징 벡터의 분류 가능도는 다음 [수학식 5]와 같이 추정된다.

분류 가능도 추정을 위한 반대 클래스의 분류 가능도 벡터도 유사한 방식으로 측정하게 되며, 각 가능도 벡터 τ는 0와 1사이의 값으로 정규화되며, 도 3의 (b)는 h_u=5의 예시를 도시한다.

이하에서는 S300 단계인 제1 분류 모델 및 제2 분류 모델에 대한 병합 모델을 최적화하는 단계에 대하여 상술한다.

전술한 제1 분류 모델 및 제2 분류 모델의 장점을 동시에 얻기 위해, 본 발명의 실시예에 따른 S300 단계는 최종적으로 두 모델의 primal 최적화 수식 [수학식 2] 및 [수학식 4]를 하나의 수식으로 [수학식 6]과 같이 유도한다.

병합된 조절 파라미터(weighting parameter) Q는 convex hull의 크기를 제어하며, 유효한 범위로서 1/M≤Q≤1의 범위를 가진다.

주어진 [수학식 6]에 대한 최종 primal 최적화 문제의 해를 얻기 위해, 각 최적화 변수에 대한 non-negative라그랑지안 멀티플라이어 벡터

를 도입하여 [수학식 7]과 같이 각각의 편미분을 수행한다.

주어진 수식에 편미분 결과

,

를 대입하여 전개하면, 단순화된 dual 형태(form)의 최적화 함수를 얻을 수 있으며, 주어진 함수는 패널티가 부과된 convex hull의 최단거리를 찾는 문제로 정의된다.
이때, e는 일벡터로 모든 element가 1로 이루어진 벡터를 의미한다.

에 대하여, 수식의 dual공식을 최적화하는 과정을 살펴보면, 함수

에 대해 Lagrangian multiplier를 도입하고 multiplier에 대한 constrain을 활용하여 constrained optimization의 simplest form을 도출한다.
이 때,

또는

는 주어진 최적화 공식을 슬랙 변수

와

에 대해 편미분 하는 과정에서 얻어진다.

수식이 주어졌을 때

를 연산하면, 실제

와 관련 없는 변수들은 모두 탈락하고,

로 주어지게 된다. 원하는 해는

일 때 이므로,

으로 주어지게 되고, 단순한 형태의 전개를 위해 Largrangian multiplier

에 대해 서술하면

으로 얻어지게 된다.
같은 방법으로 수식

에 대해 슬랙 변수 η에 대한 편미분

를 계산하면

의 예와 같이 동일한 계산 방식으로

을 얻을 수 있다.

와

는 특징 벡터(feature vector)들의 convex hull을 의미하고, 조절 파라미터 Q는 가중치된 계수

의

의 상한(upper bound)으로 convex hull을 제어하게 된다.

도 4 및 도 5는 본 발명의 실시예에 따른 실험 결과를 나타내는 도면이다.

도 4의 (a)는 파라미터 Q가 0.9로 고정된 경우 h_w 및 h_u를 도시하며, 도 4의 (b)는 h_w=9, h_u=15인 경우 파라미터 Q의 변동을 나타낸다.

도 5는 digit recognition의 결과를 나타내는 도면으로, (a)는 서로 다른 학습 데이터 수에 따른 SVM, weight, uncertainty의 SVM 모델과 본 발명의 실시예에 따른 분류 모델을 이용한 분류 결과를 나타내는 도면이고, (b)는 200개의 학습 데이터를 분류한 결과를 나타낸다.

본 발명의 실시예에 따르면 적은 수의 학습 데이터인 경우 그 성능이 훨씬 높음을 확인할 수 있었다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

(a) 입력된 특징 벡터에 대한 정규화된 최근린 거리를 이용하여 추출한 가중치를 적용하여 제1 분류 모델을 구축하는 단계;
(b) 상기 특징 벡터가 실제 분류 과정에서 기여하는 기여도에 따라 서로 다른 가중치를 부여하여, 분류 가능도가 반영된 제2 분류 모델을 구축하는 단계; 및
(c) 상기 제1 분류 모델 및 제2 분류 모델을 병합하여 듀얼 최적화를 수행하는 단계를 포함하고,
상기 (c) 단계는 RC 마진 SVM에 대한 가중치 모델인 상기 제1 분류 모델에서의 기하학적 분포에 따른 페널티와, 상기 분류 가능도 기반 RC 마진 모델인 제2 분류 모델에서의 분류 역량에 따른 페널티를 이용하여 듀얼 최적화 함수인 하기 [수학식 6]을 도출하며, 상기 듀얼 최적화 함수에 따른 해를 제공하여 분류 모델을 구축하고, 상기 듀얼 최적화 함수에 대해 논-네거티브 라그랑지안 멀티플라이어 벡터를 도입하여 각각의 편미분을 수행하고, 편미분 결과를 대입하여 단순화된 듀얼 형태의 최적화 함수를 얻고, 패널티가 부과된 convex hull의 최단 거리를 찾는 것
을 특징으로 하는 포함하는 서포트 벡터 머신 기반 분류 방법.
[수학식 6]

T: 행렬에 대한 transpose 연산
W: SVM에서 선형 분류를 위한 hyper-plane parameter.
A: 모든 positive example을 포함하는 행렬
B: 모든 negative example을 포함하는 행렬
ξ: positive example의 soft margin 허용한 hyper plane을 최적화하기 위한 슬랙변수
η: negative example의 soft margin 허용한 hyper plane을 최적화하기 위한 슬랙 변수
Q: 병합된 조절 파라미터
e: 모든 원소를 1로 갖는 열 벡터
ρ : 가중치 벡터
τ : 분류 가능도 벡터 k, l : 초평면(hyperplane)의 오프셋 값
제1항에 있어서,
상기 (a) 단계는 소프트 마진을 최대화하는 기준 이외에 상기 입력된 특징 벡터의 구조적 형태를 반영하며, 기하학적 위치 및 분포를 이용하여 상기 가중치를 획득하는 것
인 서포트 벡터 머신 기반 분류 방법.
제1항에 있어서,
상기 (a) 단계는 정규화 조건을 만족하는 가중치 벡터를 획득하며, 제1 조절 파라미터를 이용하고, 상기 특징 벡터에 대한 정규화된 최근린거리를 가중치로 추출하는 것
인 서포트 벡터 머신 기반 분류 방법.
제1항에 있어서,
상기 (b) 단계는 상기 특징 벡터가 분류 과정에서 기여하는 기여도에 따라 서로 다른 가중치를 부여하는 상기 분류 가능도를 고려하며, convex hull의 크기를 제어하는 제2 조절 파라미터를 이용하고, 기설정된 개수의 특징 벡터 집합을 이용하여 반대 클래스에 대한 지역 선형 분류기를 구축하여 상기 분류 가능도를 측정하는 것
인 서포트 벡터 머신 기반 분류 방법.
제1항에 있어서,
상기 (c) 단계는 convex hull의 크기를 제어하는 병합된 제3 조절 파라미터를 이용하고, 넌-네거티브 라그랑지안 멀티플라이어를 통해 듀얼 최적화를 수행하는 것
인 서포트 벡터 머신 기반 분류 방법.
삭제