KR20190064948A

KR20190064948A - 준지도 학습에서의 꼭지점 중요도를 고려한 레이블 추론 방법 및 시스템

Info

Publication number: KR20190064948A
Application number: KR1020170164310A
Authority: KR
Inventors: 양지훈; 오병화
Original assignee: 서강대학교산학협력단
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2019-06-11

Abstract

본 발명은 준지도 학습에서의 꼭지점 중요도를 고려한 레이블 추론 방법에 관한 것이다. 상기 레이블 추론 방법은, 레이블된 데이터와 레이블되지 않은 데이터를 모두 사용하여 모델을 학습하는 준지도 학습에서의 레이블 추론 방법에 관한 것으로서, 입력 데이터를 그래프의 형태로 변환하는 그래프 구축 단계; 및 상기 구축된 그래프를 사용하여 레이블되지 않은 데이터의 레이블을 예측하는 레이블 추론 단계;를 구비하고, 상기 레이블 추론 단계는 준지도 학습에서의 평활도 가정을 기본으로 하되, 각 꼭지점 중요도를 결합하여 레이블을 추론한다.

Description

준지도 학습에서의 꼭지점 중요도를 고려한 레이블 추론 방법 및 시스템{A Label Inference algorithm considering vertex importance in semi-supervised learning }

본 발명은 준지도 학습에서의 레이블 추론 방법에 관한 것으로서, 더욱 구체적으로는 준지도 학습에서의 평활도 가정을 기본으로 하며, 추가로 각 꼭지점 중요도를 결합함으로써 개선된 레이블 추론 방법에 관한 것이다.

준지도 학습(Semi-Supervised Learning)은 기계 학습의 한 분야로서 레이블 된(Labeled) 데이터와 레이블 되지 않은(Unlabeled) 데이터 모두를 사용하여 분류 모델을 학습한다. 이 방법은 지도 학습에 비해 예측 성능을 높일 수 있다.

그리고 높은 예측 성능으로 인해 최근 주목받고 있는 그래프 기반(Graph-Based) 준지도 학습은, 입력 데이터를 그래프의 형태로 변환하는 그래프 구축(Graph Construction) 단계와 이를 사용하여 레이블되지 않는 데이터의 레이블을 예측하는 레이블 추론(Label Inference)단계로 구성된다.

그래프 구축을 위해서는 k-NN 그래프를 사용하는 최근접 이웃 방법을 가장 많이 사용하지만, 최근 특징 선택 및 차원 축소, 다양체 학습, 낮은 계수 표현 등을 활용한 여러 연구가 발표되고 있다. 레이블 추론은 준지도 학습에서 가장 핵심이 되는 가정인 평활도 가정을 기반으로 하며, 더 높은 정확도를 달성하기 위한 다양한 방법이 연구되어왔다.

한국특허공개공보 제 10-2013-0092272호

전술한 문제점을 해결하기 위한 본 발명의 목적은 준지도 학습에서의 레이블 추론을 준지도 학습에서의 평활도 가정을 기본으로 하면서 추가로 각 꼭지점 중요도를 결합함으로써, 성능을 개선시킨 레이블 추론 방법을 제공하는 것이다.

전술한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 레이블 추론 방법은, 레이블된 데이터와 레이블되지 않은 데이터를 모두 사용하여 모델을 학습하는 준지도 학습에서의 레이블 추론 방법에 관한 것으로서, 입력 데이터를 그래프의 형태로 변환하는 그래프 구축 단계; 및 상기 구축된 그래프를 사용하여 레이블되지 않은 데이터의 레이블을 예측하는 레이블 추론 단계;를 구비하고, 상기 레이블 추론 단계는 준지도 학습에서의 평활도 가정을 기본으로 하되, 각 꼭지점 중요도를 결합하여 레이블을 추론한다.

전술한 특징에 따른 준지도 학습에서의 레이블 추론 방법에 있어서, 상기 레이블 추론 단계는 각 꼭지점에 대하여 중요도를 나타내는 가중치를 부여하고, 상기 가중치는 대각 행렬(Diagonal Matrix)로 정의되어 [0,1] 범위내의 값을 가지며 나머지 성분은 0 인 것이 바람직하다.

전술한 특징에 따른 준지도 학습에서의 레이블 추론 방법에 있어서, 상기 레이블 추론 단계는 꼭지점의 중요도를 측정함에 있어서, 학습 과정 중에 각 꼭지점 i 에 대하여 Fi 의 분포를 고려하여 해당 꼭지점의 중요도를 동적으로 변화시키는 것이 바람직하다.

전술한 특징에 따른 준지도 학습에서의 레이블 추론 방법에 있어서, 상기 레이블 추론 단계에서 각 꼭지점에 대한 중요도를 나타내는 가중치를 결정하는 것은, 초기에는 레이블되지 않은 데이터에 대하여 F의 값은 모두 0이므로 가중치는 1로 설정하고, Minmax Criterion 및 Jensen-Shannon Divergence 를 사용하여 균등 분포와의 차를 구하여 최대값으로 정규화시키는 것이 바람직하다.

본 발명에 따른 레이블 추론 방법은, 꼭지점 중요도의 개념을 사용함으로써, 그래프 기반 준지도 학습 알고리즘의 분류 성능을 향상시키게 된다.

도 1은 기존 레이즐 추론 알고리즘이 추론을 잘 수행하지 못하는 그래프를 예시적으로 도시한 것이다.
도 2는 본 발명에 따른 알고리즘의 성능 평가를 위한 실험의 결과를 도시한 도표이다.

그래프 기반 준지도 학습은 크게 그래프 구축과 레이블 추론 단계로 나누어진다.

레이블 추론에서 대표적인 방법으로 GRF(Gaussian Random Fields)가 있으며 문헌에 따라 Label Propagation(LP) 또는 Harmonic Energy Minimization(HEM) 등으로 불리기도 한다. 이는 수학식 1과 같이, 그래프의 비평활 (Non-smoothness) 척도의 값을 최소화하는 목표를 가진다. GRF는 다음 척도를 최소화함으로써, 큰 가중치로 연결되어 있는 꼭지점들일수록 레이블의 값이 더욱 비슷해지도록 레이블 값을 조정한다.

여기서, D는 학습 데이터, F 는 꼭지점들에 대한 레이블 함수이다. F_i는 꼭지점 i의 레이블 함수로, 클래스 개수가 c 개일 때, c 개의 실수값 벡터가 된다. 예를 들어, 클래스가 3개이고, F_i 벡터의 값이 ( 0.9, 0.02, 0.08 ) 일 경우, 이 꼭지점은 첫 번째 클래스일 신뢰도가 0.9, 두번째일 신뢰도가 0.02, 세번째일 신뢰도가 0.08 임을 뜻한다. 이럴때, 해당 꼭지점은 첫번째 클래스로 분류할 수 있다. Y_L은 초기 레이블로서, 훈련 데이터에서 레이블이 있는 데이터의 레이블 값이다. 보통 해당 클래스 성분만 1로 하고 나머지는 0으로 할당한다. 또한, F_L = Y_L 의 조건은, 학습 중간 또는 종료 이후에도 레이블이 있었던 데이터의 레이블은 불변해야 함을 의미하는 제약 조건이다.

한편, 꼭지점 i 의 차수를

라 하면, 정규화되지 않은 그래프 라플라시안은 L = D - W , 정규화된 그래프 라플라시안은

로 정의된다. 그러므로, 수학식의

성분은 F^TLF 와 같이 행렬곱의 형태로 간단하게 표현할 수 있다. 그 후, 수학식 1을 최소화하는 F를 구하기 위해 최적화 기법을 사용함으로써, 레이블되지 않은 데이터의 레이블을 추론할 수 있다.

[꼭지점 중요도를 고려한 그래프 추론 알고리즘 ]

이하, 꼭지점 중요도를 고려한 그래프 추론 알고리즘의 기반 알고리즘인 Label Spreadding 에 대하여 설명한다.

본 발명에 따른 알고리즘은 Zhou et al. 의 Label Spreading 방법에 기반을 두며, 여기에 추가적으로 꼭지점 가중치(Vertex Weight) 개념을 도입하여. 각 꼭지점마다 중요도를 특별한 기준을 사용하여 할당함으로써, 중요한 꼭지점이 추론에 더 영향을 미치도록 한 것을 특징으로 한다.

우선, 기반 알고리즘에서 최소화하는 목표식은 수학식 2와 같이 나타낼 수 있다.

여기서, i ∈ U 일 경우 (레이블이 없는) Yi는 영벡터이다. i ∈ L 의 경우에는 Y_i 는 해당 클래스의 성분만 1, 나머지는 0 이다.

첫째항은 기본적으로 GRF 의 평활도 개념과 동일한데, 차이점은 꼭지점의 차수가 높을 때, 그 점의 중요도를 차수의 제곱근으로 나누어서 낮추는 것이다. 그 이유는 k-NN 그래프에서는 필연적으로 차수가 매우 높은 꼭지점들이 존재할 수 있으며, 이는 전체 해의 질을 지배할 가능성이 높고, 매우 한쪽으로 치우친 레이블 분포를 도출할 가능성이 있기 때문이다. 둘째항은 초기 레이블과 일치시키려는 목표이다. μ 는 두 항의 중요도를 조절한다. 그리고 i ∈ U 일 때 Y_i = 0 이므로, 둘째항은 Fi 를 0 에 가깝게 맞추려고 함으로서 정규화의 의미도 지닌다.

기반 알고리즘은 수학식 2를 F 에 대하여 미분하여 0 으로 놓은 후, F 에 대하여 정리하여 폐쇄형 해를 유도한다. 또한 해당 해를 반복적으로 구할 수 있는 방법을 제시하고 있다.

본 발명에 따른 알고리즘은 각 꼭지점에 새롭게 중요도를 할당하기 위하여, 각각의 중요도, 즉 가중치를 ω_ii 로 정의한다. 이 중요도는 대각 행렬로 정의한다. 즉, ω_ii 는 [0,1] 범위내의 값을 가지며, 나머지 성분( i ≠ j )은 0 이다. 이를 기반 알고리즘에서 꼭지점의 중요도를 조정하는 방법과 비슷하게 반영하기 위해, 평활도 관련항의 각 꼭지점 레이블 F_i, F_j 에 곱한다.

본 발명은 수학식 3을 최소화시키는 방법, 최소화하는 식을 유도할 대 해가 수렴하기 위해 필요한 조건들, 성능 향상을 위해 중요도 ω 를 결정하는 기준 등을 제시한다.

먼저, 수학식 3을 최소화하기 위하여, 수학식 4와 같이 Q(F) 를 F 에 대하여 미분하여 정리한다.

수학식 4에서

이고,

로 정의한다. 또한, 둘째줄에서 셋째 줄을 유도할 때, A 에 대하여

임을 활용하여 정리한다. 그리고, 마지막 식의 유도를 위해

임을 활용하고, n * 1 행렬 및 1 * n 행렬은 모두 n 차원의 벡터로 간주하여 간소하게 표현한다.

수학식 5는 F 에 F^* 을 대입하고 0 으로 놓음으로써 수학식 4를 F^*에 대하여 정리한 것이다.

즉, 그래프 레이블을 추론하기 전에 꼭지점 중요도 행렬 ω 를 미리 구할 수 있다면, 수학식 5를 사용하여 꼭지점 중요도가 반영된 최종 해를 쉽게 구할 수 있다.

그러나, 꼭지점의 중요도를 측정하기 위하여 해당 꼭지점이 각 클래스에 속할 가능성이 어느 정도인지 미리 알수 있어야 한다. 이는 각 꼭지점의 중요도를 결정하기 위하여 레이블 분포의 균등성을 고려하기 위함이다. 본 발명에서는 ω 를 학습전이 아니라 학습 과정 중간에서 구하도록 한다. 이는 학습 중에 각 꼭지점 i에 대하여 F_i 의 분포를 살펴봄으로써, 이 꼭지점이 과연 클래스를 분명히 나나태는 꼭지점인지를 판단, 해당 꼭지점의 중요도를 동적으로 변화시키기 위해서이다.

도 1은 기존 레이즐 추론 알고리즘이 추론을 잘 수행하지 못하는 그래프를 예시적으로 도시한 것이다. 도 1을 참조하면, 내부가 비어 있는 큰 O 와 X 는 레이블된 꼭지점이며, 작은 O 와 X 는 레이블이 없는 점들이다. 중간에 X 와 O 가 함께 나타나는 부분은 각 레이블된 꼭지점과의 거리 및 주변 점들의 밀도가 비슷하기 때문에 평활도 가정을 사용하는 여러 추론 알고리즘에서 제대로 분류되지 않을 가능성이 높다. 또한, 이 지역에서의 오류 때문에, 추론이 부정확할 수 있다.

즉, 도 1의 중간 지역의 꼭지점들은 오히려 오류를 확산시킬 가능성이 있으므로, 학습에 미치는 영향을 최소화시키는 것이 바람직하다. 이렇게 함으로써 도 1의 문제를 해결할 수 있게 된다. 이는 양쪽 하단 부분의 점들은 덜 중요한 중간 지역의 점들보다, 더 중요한 양쪽 상단의 점들에 더 영향을 받게 될 것이기 때문이다.

이와 같이, 동적 중요도 변경을 학습에서 함께 적용하기 위해 수학식 5를 반복 학습의 형태로 바꾸어야 한다. 이를 위해 Neumann Series 의 정의를 이용한다.

Neumann Series 는

의 형태로 표현되며, T 가 Bounded Linear Operator 이며, Norm 이 1 보다 작을 경우 수렴하는 무한급수이다. F^* 의 식에서 S'-ω+I 는 n*n 행렬이므로 Bounded 이며, n 은 유한한 값이므로 Linear 이다.

또한, ∥S'-ω+I ∥= 1 이므로, 수학식 5의 역행렬 부분을 Neumann Series 의 형태로 바꿀수 있고, 최종적으로 갱신 수식을 유도할 수 있다. 수학식 6에서 F(0)=Y 이다.

수학식 5 의 F^*의 우변의 영행렬 부분을 무한급수로 바꿀 수 있으며 반복 t 시점에서의 F(t) 와 t-1 시점에서의 F(t-1)은 수학식 6의 위 두줄과 같이 표현되므로, 이를 결합하면, F(t) 를 F(t-1)에 대한 식으로 바꿀수 있다. 그리고, Label Spreadidng 과 동일하게 i ∈ U 일 경우 Y_i ( = F(0) ) 는 영벡터이다. i가 L 에 속할 경우에는 Y_i는 해당 클래스의 성분만 1, 나머지는 0 으로 초기화한다. 그 후 t를 증가시키면서 F(t) 를 계산해 나간다. 값이 수렴되는 t 까지 알고리즘을 수행한다.

[ 꼭지점 중요도 결정 방법 ]

이하, 본 발명에 따른 알고리즘에서의 꼭지점 중요도 결정 방법에 대하여 설명한다.

갱신 수식을 통해 F 의 값을 변화시킬 때 마다 ω도 함께 계속 변화시킴으로써, F 의 학습이 꼭지점 중요도를 반영하여 수행할 수 있도록 한다. F 의 값들에 따라 ω를 계산함으로써 학습이 진행될수록 ω의 값들 또한 수렴된다.

ω를 결정하는 기준으로 두 가지 척도를 제안한다. 반복 처음에는 레이블되지 않은 데이터에 대해 F 의 값은 모두 0 이므로 중요도는 1로 설정된다.

(1) MiniMax Criterion

(2) JSD Criterion : Jensen-Shannon Divergence 를 사용하며, 균등 분포 μ와의 차를 구하여 최대값으로 정규화시킨다.

ω는 위 두 기준에서 정의한 것과 같이 반드시 1 보다 작을 필요는 없다. 정리 1에서 ω의 값에 상관없이 정리가 성립하기 때문이다. 하지만, [0,1] 의 범위내의 값을 가지는 것이 바람직하다.

전술한 본 발명에 따른 레이블 추론 방법에 대한 실험 및 성능평가를 위하여, Chapelle et al. 의 벤치마크 데이터 셋을 활용하였다.

데이터는 BCI 와 Secstr 을 제외하고 레이블된 인스턴스 100 개, 레이블이 없는 인스턴스 1400 개가 한 세트로 12개씩 묶여져 있다. 따라서, 데이터마다 각 세트의 오류를 측정하고 평균 오류를 계산하였다. 도 2는 이러한 실험 결과를 도시한 도표이다. 도 2에 표시된 값은 평균 분류 오류를 나타낸다.

도 2를 참조하면, 본 발명에 따른 알고리즘은 오른 쪽 끝의 두 알고리즘 (MinMax, JSD)이며 진하게 표시된 숫자는 기반 알고리즘(LS)에 대해 성능이 향상된 것을 나타낸다. 본 발명에 따른 알고리즘에 의한 두 방법 모두 기반 알고리즘이 잘 분류하는 데이터에 대해서는 약간 정확도가 하락하지만, 잘 분류하지 못하는 데이터의 경우 기반 알고리즘에 비해 대체로 정확도가 높아짐을 확인할 수 있다.

결론적으로, 본 발명에 따른 알고리즘은 기존의 평활도 가정을 기반으로 한 그래프 기반 준지도 학습 알고리즘에서 잘 분류하지 못하는 데이터에 대해 더 잘 분류할 수 있음을 알 수 있다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

레이블된 데이터와 레이블되지 않은 데이터를 모두 사용하여 모델을 학습하는 준지도 학습에서의 레이블 추론 방법에 있어서,
입력 데이터를 그래프의 형태로 변환하는 그래프 구축 단계; 및
상기 구축된 그래프를 사용하여 레이블되지 않은 데이터의 레이블을 예측하는 레이블 추론 단계;
를 구비하고, 상기 레이블 추론 단계는 준지도 학습에서의 평활도 가정을 기본으로 하되, 각 꼭지점 중요도를 결합하여 레이블을 추론하는 것을 특징으로 하는 준지도 학습에서의 레이블 추론 방법.
제1항에 있어서, 상기 레이블 추론 단계는 각 꼭지점에 대하여 중요도를 나타내는 가중치를 부여하고,
상기 가중치는 대각 행렬(Diagonal Matrix)로 정의되어 [0,1] 범위내의 값을 가지며 나머지 성분은 0 인 것을 특징으로 하는 준지도 학습에서의 레이블 추론 방법.
제1항에 있어서, 상기 레이블 추론 단계는 꼭지점의 중요도를 측정함에 있어서,
학습 과정 중에 각 꼭지점 i 에 대하여 Fi 의 분포를 고려하여 해당 꼭지점의 중요도를 동적으로 변화시키는 것을 특징으로 하는 준지도 학습에서의 레이블 추론 방법.
제1항에 있어서, 상기 레이블 추론 단계에서 각 꼭지점에 대한 중요도를 나타내는 가중치를 결정하는 것은,
초기에는 레이블되지 않은 데이터에 대하여 F의 값은 모두 0이므로 가중치는 1로 설정하고,
Minmax Criterion 및 Jensen-Shannon Divergence 를 사용하여 균등 분포와의 차를 구하여 최대값으로 정규화시키는 것을 특징으로 하는 준지도 학습에서의 레이블 추론 방법.
제3항에 있어서, 상기 레이블 추론 단계는 동적 중요도 변경을 학습에서 적용하기 위하여 뉴만 급수(Neumann Series)를 이용하는 것을 특징으로 하는 준지도 학습에서의 레이블 추론 방법.