KR102472046B1

KR102472046B1 - 그래프 기반 준지도 학습에서의 빠른 낮은 계수 표현을 기반으로 한 그래프 구축 방법 및 시스템

Info

Publication number: KR102472046B1
Application number: KR1020170164350A
Authority: KR
Inventors: 양지훈; 오병화
Original assignee: 서강대학교 산학협력단
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2022-11-30
Also published as: KR20190064971A

Abstract

본 발명에 따른 그래프 기반 준지도 학습에서의 그래프 구축 방법은, (a) 데이터셋(X), 최근접 이웃수 (k) 를 입력받는 단계; (b) 데이터셋(X)를 사용하여 k-NN 그래프 생성후, L을 계산하는 단계; (c) Skinny SVD 를 사용하여 X 를 분해하는 단계; (d) SVD 를 사용하여 βL 을 구하는 단계; (e) 일정 조건을 만족하는 동안, J,W, Q를 갱신하는 단계; (f) Y₁, Y₂ 를 계산하여 최적해를 구하는 단계; 를 구비하여, 빠른 낮은 계수 표현 알고리즘을 기반으로 하여 그래프 구축한다. 본 발명에 따른 그래프 구축 방법은, 빠른 낮은 계수 표현을 기반으로 하여, 기반 최적화 목표에 추가 제약 조건을 도입하고 이를 최적화시킴으로써, 더 좋은 해를 빠르게 찾아낼 수 있게 된다.

Description

그래프 기반 준지도 학습에서의 빠른 낮은 계수 표현을 기반으로 한 그래프 구축 방법 및 시스템{Graph Constuction Based on Fast Low-Rank Representation in Graph-Based Semi-Supervised Learning }

본 발명은 그래프 기반 준지도 학습에서의 그래프 구축 방법에 관한 것으로서, 더욱 구체적으로는 빠른 낮은 계수 표현을 기반으로 하여, 기반 최적화 목표에 추가 제약 조건을 도입하고 이를 최적화시킴으로써, 더 좋은 해를 빠르게 찾아낼 수 있도록 한 그래프 기반 준지도 학습에서의 그래프 구축 방법에 관한 것이다.

준지도 학습(Semi-Supervised Learning)은 기계 학습의 한 분야로서 레이블 된(Labeled) 데이터와 레이블 되지 않은(Unlabeled) 데이터 모두를 사용하여 분류 모델을 학습한다. 이 방법은 지도 학습에 비해 예측 성능을 높일 수 있다.

그리고 높은 예측 성능으로 인해 최근 주목받고 있는 그래프 기반(Graph-Based) 준지도 학습은, 그래프 구축(Graph Construction)과 레이블 추론(Label Inference)의 두 단계로 구성된다. 그러므로 데이터에 내포된 특징적 구조를 잘 표현하는 좋은 그래프를 구축하는 것은 매우 중요하다. 왜냐하면 입력 그래프가 달라지면 추론의 결과도 달라지기 때문이다.

그래프 구축에서 가장 널리 사용되는 방법은 k-최근접 이웃(k-Nearest Neighbors, k-NN) 방법인데, 최근 다른 방법들도 제안되었다. 데이터의 다양체 구조를 반영하기 위해 여러 방법들이 국부 선형 임베딩(Locally Linear Embedding, LLE)을 활용하며, 척도 학습(Metric Learning)을 활용하기도 한다.

최근에는 낮은 계수 표현(Low-Rank Representation, LRR) 기반 그래프 구축 방법이 각광받고 있다. 이렇게 구축한 그래프는 군집화(Clustering), 그래프 기반 준지도 학습 등의 다양한 응용에 사용된다. LRR 기반 방법들은 표현 행렬(Representation Matrix)의 Trace Norm을 최소화하기 위하여 반복 계산을 수행하는데, 이 반복 계산에 특이값 분해(Singular Value Decomposition)를 수반한다. 이는 SVD가 n × n 행렬에 대해 O(n ³ ) 의 시간 복잡도를 요구하므로 (

n 은 인스턴스 수) 계산적으로 매우 비효율적이다.

그럼에도, LRR 기반 방법은 높은 정확도 때문에 널리 적용되고 있다. 이를 해결하기 위해 Fixed-Rank Representation(FRR)등이 제안되었으나, LRR 과 다른 해를 도출한다. 한편, Fast LRR Solver(FaLRR)는 속도를 향상시키면서도 LRR과 동일한 해를 도출한다. 그러나 LRR은 2010년에 발표되었기에, Graph-Regul arized Low-Rank Representation(GLRR), Non- Negative Low-Rank And Sparse(NNLRS) Graphs, Manifold Low-Rank Representation(MLRR) 등의 발전된 방법들보다 분류에 사용할 때 성능이 떨어진다.

그러므로 본 발명에서는 GLRR보다 훨씬 빠르면서도 동일한 해를 도출하는 Fast GLRR(FaGLRR)과 동일한 해를 도출하는 방법을 찾아내기는 어렵지만 최소화하는 목표가 추가될 경우 더 좋은 결과를 나타내는 Fast MLRR(FaMLRR)을 제안한다.

한국특허공개공보 10-2016-0076927호

전술한 문제점을 해결하기 위한 본 발명의 목적은 GLRR보다 훨씬 빠르면서도 동일한 해를 도출하는 Fast GLRR(FaGLRR)과 동일한 해를 도출하는 방법을 찾아내기는 어렵지만 최소화하는 목표가 추가될 경우 더 좋은 결과를 나타내는 Fast MLRR(FaMLRR)을 제공하는 것이다.

전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 그래프 기반 준지도 학습에서의 그래프 구축 방법은, (a) 데이터셋(X), 최근접 이웃수 (k) 를 입력받는 단계; (b) 데이터셋(X)를 사용하여 k-NN 그래프 생성후, L을 계산하는 단계; (c) Skinny SVD 를 사용하여 X 를 분해하는 단계; (d) SVD 를 사용하여 βL 을 구하는 단계; (e) 일정 조건을 만족하는 동안, J,W, Q를 갱신하는 단계; (f) Y₁, Y₂ 를 계산하여 최적해를 구하는 단계; 를 구비하여, 빠른 낮은 계수 표현 알고리즘을 기반으로 하여 그래프 구축한다.

본 발명의 제2 특징에 따른 그래프 기반 준지도 학습에서의 그래프 구축 방법은, (a) 데이터셋(X), 최근접 이웃수 (N) 를 입력받는 단계; (b) W, Q, J, Y1, Y2 를 0으로 설정하는 단계; (c) 데이터셋(X)를 SMA를 수행하여 A를 계산하는 단계; (d) Skinny SVD 를 사용하여 X 를 분해하는 단계; (e) W를 갱신하는 경우에만 SVD 를 수행하는 단계; (f) 일정 조건을 만족하는 동안, J,W, Q를 갱신하는 단계; (f) Y₁, Y₂ 를 계산하여 최적해를 구하는 단계;를 구비하여, 빠른 낮은 계수 표현 알고리즘을 기반으로 하여 그래프 구축한다.

낮은 계수 표현(Low-Rank Representation, LRR) 기반 방법은 얼굴 클러스터링, 객체 검출 등의 여러 실제 응용에 널리 사용되고 있다. 이 방법은 그래프 기반 준지도 학습에서 그래프 구축에 사용할 경우 높은 예측 정확도를 확보할 수 있어 많이 사용된다. 그러나 LRR 문제를 해결하기 위해서는 알고리즘의 매 반복마다 데이터 수 크기의 정방행렬에 대해 특이값 분해를 수행하여야 하므로 계산 비효율적이다. 이를 해결하기 위해 속도를 향상시킨 발전된 LRR 방법을 제안한다. 이는 최근 발표된 Fast LRR(FaLRR)을 기반으로 하며, FaLRR이 속도는 빠르지만 실제로 분류 문제에서 성능이 낮은 것을 해결하기 위해 기반 최적화 목표에 추가 제약 조건을 도입하고 이를 최적화하는 방법을 제안한다. 실험을 통하여 제안 방법은 LRR보다 더 좋은 해를 빠르게 찾아냄을 확인할 수 있다. 또한, 동일한 해를 도출하는 방법을 찾아내기는 어렵지만 최소화하는 목표가 추가될 경우 더 좋은 결과를 나타내는 Fast MLRR(FaMLRR)을 제안한다.

도 1은 본 발명의 제1 실시예에 따른 FaGLRR 알고리즘을 도시한 표이다.
도 2는 본 발명의 제2 실시예에 따른 FaMLRR 알고리즘을 도시한 표이다.
도 3은 본 발명에 따른 그래프 구축 방법들에 따른 실험 결과 표이다.
도 4는 ORL (d = 1024, n = 400) 에 따른 결과 그래프이며, 도 5는 Extended Yale B( d = 1024, n = 1000) 에 따른 결과 그래프이며, 도 6은 COIL100 ( d = 1024, n = 7200 ) 에 따른 결과 그래프이며, 도 7은 Isolet ( d = 617, n = 7797 )에 따른 결과 그래프이다.

[낮은 계수 표현]

를 데이터셋(각 열은 인스턴스를 나타냄), d 를 특징 수, n 을 인스턴스 수라 하면, 각 인스턴스는 사전(Dictionary)

의 기저들의 선형 결합으로 표현된다. X = AZ 이고, 이때

는 계수 행렬(Coefficient Matrix)으로, 각 x_i는 이를 대표하는 새로운 표현 z_i로 나타난다. 그리고 사전 A 는 Overcomplete(필요 기저보다 더 많은 벡터로 구성됨)하므로 X = AZ 를 만족하는 여러 해가 존재할 수 있다. 여기서, Z 의 낮은 계수 조건을 만족시키기 위해 다음 수학식 1을 최적화한다.

여기서

는 Z의 Trace Norm으로, Z의 계수(Rank) 대신 최소화하는 목표이다. 데이터의 잡음, 변형, 결측값이 있을 경우를 고려한다면, 최소화시키기 위해 제안된 목표 식은 수학식 2와 같다.

여기서,

는 E의

Norm 이고, λ〉0 는 저계수 항과 오류 최소화 항 사이의 영향력을 조정하는 매개 변수이다. 최적 해 Z^*의 Exact 및 Inexact Augmented Lagrange Multiplier(ALM) 방법으로 구할 수 있다.

FaLRR은 수학식 2의 문제에 대하여 동일한 해를 도출한다. 그 대신, Z 보다 더 작거나 같은 크기의 행렬

에 대해 최적화를 수행한다. W^*가 다음 목표식에 대한 최적 해이고,

으로 정의할 때, 수학식 3은 수학식 2의 Z^*와 동일한 해를 도출한다. 단 수학식 2에서의 A=X 의 경우이다.

여기서,

는 Skinny SVD 를 사용하여

로 분해함으로써 도출되는 열간 직교 행렬이다.

이므로,

도 항상 성립한다. r 이 d, n 중의 작은 수보다 항상 작거나 같으므로, n >> d 일 경우 LRR 의 반복 SVD 계산의 시간 복잡도는 O(tn ³ ) 으로 FaLRR 의 O(tnr ² ) 이 계산적으로 훨씬 효율적이다.

GLRR 은 수학식 2에 그래프 정규화항을 추가한 다음 목표식을 최적화한다. 단 수학식 2에서 A=X 의 경우이다.

여기서, L의 Graph Laplacian 이며, β〉0 는 λ와 같은 각 항의 영향력을 조정하는 매개 변수이다.

이며,

는 k-NN 으로 계산한 X 의 그래프의 가중치 행력이다. 이 항은 곧, k-NN 그래프에서 두 인스턴스 x_i 와 x_j가 가깝다면 새 표현 공간의 z_i 와 z_j또한 가까워야 함을 의미한다.

NNLRS(Non-Negative Low-Rank and Sparse) 그래프 구축 방법의 최적화 목표는 다음과 같다. 이 목표는 입력 데이터에 대하여 낮은 계수이면서도 더 적은 유효 성분으로 표현되는(즉 0인 성분이 많은) Z 의 해를 찾는다.

여기서 Z≥0 의 조건은 이후 해 Z^*를 구한 후 이를 사용하여 무방향 가중치 그래프를 구축할 때, 가중치 행렬 W의 각 원소가 0보다 크거나 같아야 하는 조건을 만족시키기 위해서 제약 조건으로 추가한 것이다.

MLRR은 수학식 5에 다양체 정규화(Manifold Regularization) 항을 추가한 수학식 6을 최적화한다.

여기서,

이다. 가중치 행렬 W는 수학식 6을 최적화하기 전에, Sparse Manifold Adaption(SMA) 방법을 통해 사전에 계산되어진다. 즉, 수학식 6은 새로운 데이터 표현형 Z의 각 인스턴스가 사전에 구한 Sparce Manifold을 통해 얼마나 정확하게 복원될 수 있는지를 평가하는 항을 추가한 것이다.

[ Fast GLRR ]

본 발명에서는 GLRR 을 빠르게 계산하는 방법을 제안한다. 이를 위해 Z 보다 작거나 같은 크기의 W 에 대한 최적화 목표를 새로 정의하고, 이 식이 수학식 4와 동일한 해를 도출함을 보인다.

정리 : W^*가 다음 문제에 대한 최적 해이며,

일때 (Z^*, E^*)는 수학식 4의 최적해이다.

증명 : (Z^*, E^*) 가 최적해가 되기 위해서는 (Z, E)의 어떤 가능한 값에 대해서 다음 수학식 8의 부등식이 항상 성립하여야 한다.

이를 위하여는 수학식 9와 같은 부등식을 전개할 수 있다.

우선, Trace Norm 의 성질에 의하여,

이다. 그리고,

이므로,

Norm 의 성질에 의하여

이다. 또한,

이므로

이다. 따라서, 수학식 9의 첫번째 부등식이 성립한다.

또한,

에서

가 유도되며, Z 는 최적해 또는 그 이전 해이므로 수학식 9의 둘째 줄의 각 Norm은 셋째줄의 각 Norm 보다 크거나 같다. 따라서, 두번째 부등식도 성립한다.

마지막으로

에서, 각각의 Norm 의 정의에 따라

가 성립하고, Trace 의 성질에 의하여

이므로, 마지막 등식도 성립한다. 따라서 수학식 8의 조건이 항상 성립한다.

그러므로, 수학식 9의 셋째줄은 수학식 7의 최적값이며, 수학식 9의 넷째줄과 동일한다. 그리고, 이는 수학식 4의 최적값이다.

일단 수학식 7을 최적화하기 위해, 새로운 변수

를 도입하여 수학식 10과 같이 새로 쓸 수 있다.

그리고 보조 변수

를 추가로 도입하여 다시 쓰면, 수학식 11이 된다.

따라서 해당하는 Augmented Lagrangian 함수는 다음 수학식 12와 같이 정의하며, Inexact ALM을 사용하여 최소화할 수 있다.

여기서 Y₁과 Y₂는 Lagrange 승수,μ〉0 는 페널티 매개 변수(Penalty Parameter)이다. 이 함수는 각 변수를 각자 최소화하는 방법으로 최소화할 수 있다. 매 반복마다, 각 변수에 대해 다른 변수들의 값을 고정시킨 상태에서 변경을 수행한다. 이를 위해 수학식 12를 부분 문제들로 나눈 후 갱신 규칙을 유도한다.

먼저 J 에 대한 항을 모아서 만든 최소화 목표식은, 수학식 13이 된다.

이 식은 Singular Value Thresholding 연산자(아래 수학식 14에서 θ)를 사용하여 해를 구할 수 있다. 즉 J의 갱신 규칙은 수학식 14가 된다.

그리고 수학식 12에서 W에 관한 항만 모은 후 W에 대하여 미분한 뒤 0으로 놓으면 W를 최소화하는 수학식 15를 구할 수 있다.

그러나 μ 가 매 반복마다 변하기에 역행렬도 역시 매번 계산하여야 하므로, 여기서는 다른 방법을 사용한다. 수학식 15로부터 수학식 16을 유도한다.

여기서, μI 와 βL은 모두 실수 대칭 행렬이다. 그러므롸. SVD를 통해,

(U1, U2는 유니타리 행렬)로 분해 가능하며, 수학식 16의 등호 오른쪽 부분을 M 으로 두면, 수학식 16은

이 된다. 그 후 양변의 왼쪽에

, 오른쪽에

를 곱하면 수학식 17과 같다.

여기서,

이고

이 된다. 그러므로, 다음 두식,

이 성립한다. Σ₂가 대각 행렬임을 고려할 때, 각 성분

는 수학식 18과 같이 계산된다.

여기서,

이다. 그러면 W 의 갱신식은 수학식 19와 같다.

한편, Q는 FaLRR에서 제시한 방법에 의해서 갱신하면 된다. 즉,

를

로 정의하였을 때, Q 의 i 번째 열인 q_i 의 최적해는 수학식 20과 같이 계산된다.

여기서,

이고, s_j 는 대각 행렬 S_r의 j 번째 특이값이다. c_i는 C 의 i번째 열이며, c_ji는 c_i의 j 번째 원소를 의미한다. 그리고, a_i 는

의 유일한 양수 근이며, 근 찾기 알고리즘을 사용하여 값을 구할 수 있다.

FaLRR은 근을 찾기 위해 이분법(Bisection Method)를 사용하고 근의 최대하계를 0, 최소상계를 임의의 양수로 제안한다. 그런데 이렇게 하면 많은 시간이 소요되므로, 최대하계가 정확하지 않아도 동작하며, 이분법보다 빠른 Brent’s Method를 사용한다. 그리고 최대하계는 이전 반복에서의 ai를 사용한다.

Y1, Y2 및 종료 조건 등은 도 1과 같이 FaGLRR 알고리즘과 같이 설정한다.

[ Fast MLRR ]

MLRR의 문제는 Z의 각 열마다 희소도가 높도록 조정(즉, 각 열의 Norm이 최소화 됨)하는 항의

인데, 이 항을 FaLRR 및 FaGLRR에서처럼 W에 대하여, 또는 Z보다 작은 크기의 행렬로 표현하면서 동시에 t수학식 6과 동일한 해를 찾아내기는 어렵다. 하지만 이후 실험 결과에 따르면 어떤 데이터들(ORL, Extended Yale B, COIL20)에 대해서는 ∥Z∥₁ 을 최소화하는 목표가 추가될 경우 더 좋은 결과를 나타내므로, 이 희소성 목표를 포함하는 빠른 알고리즘 개발을 계속하여 추진할 필요가 있다.

즉 Fast MLRR에서 최소화하는 목표는 다음 수학식 21과 같이, MLRR에서 희소도와 관련된 항을 빼고 SMA와 관련된 항만 포함하는 형태로 설정한다. 그리고 일단 Z ≥ 0 의 조건을 제외한다.

이 식의 목표는 또한 식에서 G 대신 L을 대입하면 GLRR의 수학식 2와 완전히 동일한 형태가 되므로, 수학식 2가 수학식 5와 동일한 목표를 최적화한다는 것을 응용하면, 역시 수학식 21과 동일한 최적 해를 도출하는 W에 대한 목표 식을 수학식 22 와 같이 정의할 수 있다. 이를 뒷받침하는 정리 및 증명을 구성하기 위해서는 위의 Fast GLRR 정리에서 G 대신 L을 대입함으로써 정리 및 증명을 다시 기술하면 되는데, 이는 자명하므로 생략한다.

따라서 FaGLRR과 유사한 갱신 식을 사용하여 FaMLRR을 수행할 수 있다. 우선 수학식 10과 마찬가지로, Nuclear Norm 부분의 W 만 J

로 변경한 후, 수학식 11과 같이 Augmented Largrangian Function을 정의한다. 그리하면 J

는 FaGLRR과 동일하게 수학식 14를 사용하여 갱신할 수 있다. 그리고 W 는 다음의 수학식 23을 사용하여 갱신할 수 있다. 이 또한 수학식 15에서 L 과 G로 바꾼 것과 동일하다.

또 다른 방법으로 FaGLRR과 마찬가지로, 우선

로 분해한 후

로 설정하면,

으로 동일하게 정리되므로

를 사용하여 W 를 갱신한다. 역시 FaGLRR과 마찬가지로, 역행렬 계산이 반복 수행되는 것을 피하기 위하여 후자의 방법을 기본으로 사용하는 것을 권장한다. 정리하자면 도 2와 같은 FaMLRR 알고리즘으로 설명한다.

Z^*가 계산된 이후에는 간단히 그래프를 구축할 수 있다. Z^*의 각 열

는 x_i를 재구축하는 기여도이므로, 모든 열을

로 정규화한 후, 문턱값(Threshold) θ보다 작은 값을 0 으로 만듦으로써, 그래프 행렬 w 를 수학식 24과 같이 계산한다.

전술한 방법에 따른 그래프 구축방법에 대하여 실험하여 성능을 분석하였다. 실험에는 2개의 얼굴, 1개의 물체, 1개의 음성 데이터셋 즉 ORL (c=40, d=1,024, n=400), Extended Yale B( c=38, d=1,024, n=2,414), COIL100(c=100, d=1,024, n=7,200), Isolet( c=26, d=617, n=7,797)을 사용한다(c는 클래스 수). 데이터셋들은 각각 다른 기관에서 제공하지만 여기서는 Cai의 MATLAB 기반 데이터셋을 활용한다. Isolet을 제외한 데이터셋은 제공되는 것을 그대로 사용하고, Isolet은 Isolet1~5를 합쳐서 사용한다. 그리고 각 데이터에 대해 레이블된 비율을 10~40%로, 그리고 각 레이블 비율마다 50번의 실험을 수행하여 평균을 측정한다.

레이블 추론 방법으로는 Label Spreading 방법을 사용하며 a는 0.5로 설정한다. 그리고 LRR 기반 알고리즘마다 데이터셋에 따라 최적 분류 성능을 달성하는 매개 변수 조합이 다르므로,

,

중에서 최적 값을 찾는다. 나머지 매개 변수들은 앞서 설명한 도 1 및 도 2의 알고리즘 코드에서와 동일하게 설정한다. 수학식 24에서의 θ 값으로는 0.2를 사용한다.

도 3은 본 발명의 바람직한 실시예에 따른 그래프 구축 방법에 따른 실험 결과 표이다.

도 3에서, GLRR과 FaGLRR의 정확도는 거의 동일하다. 이로써 수학식 5는 수학식 4와 동일한 해를 도출함이 실험적으로 증명된다. 그리고 준지도 학습에서 GLRR과 FaGLRR은 LRR과 FaLRR보 다 높은 분류 정확도를 보이며, 제안한 FaGLRR이 GLRR보다 매우 빠른 것을 확인할 수 있다.

FaMLRR은 LRR 및 FaLRR과 비교하여 분류 성능 향상 폭이 적지만, YaleB 데이터셋에서는 희소성 표현을 추가로 고려하는 MLRR과 NNLRS를 통하여 구축된 그래프를 사용하였을 때 다른 방법들에 비해 매우 높은 분류 정확도를 나타내는데, 이는 데이터셋에 따라 희소성 표현을 고려하는 것이 더 좋은 데이터 표현을 도출할 가능성이 있음을 보여 준다. 그리고 전체적으로 FaGLRR과 FaMLRR은 다른 것에 비해 매우 빠른 속도로 해를 도출할 수 있음을 확인할 수 있다.

도 4는 ORL (d = 1024, n = 400) 에 따른 결과 그래프이며, 도 5는 Extended Yale B( d = 1024, n = 1000) 에 따른 결과 그래프이며, 도 6은 COIL100 ( d = 1024, n = 7200 ) 에 따른 결과 그래프이며, 도 7은 Isolet ( d = 617, n = 7797 )에 따른 결과 그래프이다.

도 4 내지 도 7의 꺽은선 그래프를 살펴보면 도 1과 도 2에서는 희소성 표현 관련 목표가 추가된 MLRR과 NNLRS를 통한 그래프 구축이 더 높은 분류 정확도를 보인다. 이에 비해 막대그래프를 살펴볼 때는, FaGLRR과 FaMLRR의 수행 시간은 MLRR과 NNLRS에 비해 매우 짧고, 기존의 Inexact ALM 기반 LRR 방법인 GLRR보다도 매우 빠른 것을 확인할 수 있다. 도 3과 도 4에서도 FaLRR에 비해 FaGLRR과 GaMLRR은 수행시간이 다소 늘어나지만 더 좋은 그래프를 구축할 수 있음을 알 수 있다.

이 뿐만 아니라 모든 그래프에서 GLRR과 FaGLRR의 꺾은선 그래프가 겹치는 것을 볼 수 있는데, 이로서 본 발명에 따른 방법인 FaGLRR은 FaMLRR과 동일한 목표를 더욱 시간에 효율적으로 최적화함을 실험을 통해서도 확인할 수 있다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

컴퓨팅 장치에 의해 수행되는 레이블된 데이터와 레이블되지 않은 데이터를 모두 사용하여 모델을 학습하는 준지도 학습에서의 그래프 구축 방법에 있어서,
(a) 데이터셋(X), 최근접 이웃수 (k) 를 입력받고, 임의의 변수 J,W,Q 를 초기화시키는 단계;
(b) 데이터셋(X)를 사용하여 k-최근접 이웃(k-Neasrest Neighbors; k-NN) 그래프 생성후, 상기 k-최근접 이웃 그래프로부터 L을 계산하는 단계;
(c) Skinny SVD(Singular Value Decomposition; 특이값 분해 방법)를 사용하여 데이터셋(X)을 분해하는 단계;
(d) SVD 를 사용하여 βL을 구하는 단계;
(e) 일정 조건을 만족하는 동안, J, W, Q를 갱신하는 단계;
(f) Y₁, Y₂ 를 계산하여 최적해를 구하는 단계;
를 구비하여, 빠른 Graph-Regularized Low-Rank Representation (FaGLRR) 알고리즘을 기반으로 하여 그래프 구축하는 것을 특징으로 하는 준지도 학습에서의 그래프 구축 방법.
(여기서, J, W, Q는 최적해를 구하기 위해 설정된 임의의 변수이며, L은 그래프 라플라시안(Graph Laplacian)이며, β는 희소도 상수이며, Y₁, Y₂는 라그랑지 승수(Lagrange Multiplier)임.)
컴퓨팅 장치에 의해 수행되는 레이블된 데이터와 레이블되지 않은 데이터를 모두 사용하여 모델을 학습하는 준지도 학습에서의 그래프 구축 방법에 있어서,
(a) 데이터셋(X), 최근접 이웃수 (N) 를 입력받는 단계;
(b) W, Q, J, Y₁, Y₂ 를 0으로 초기 설정하는 단계;
(c) 데이터셋(X)를 SMA(Sparse Manifold Adaption ; 희소 다양체 적용방법)를 수행하여 A를 계산하는 단계;
(d) Skinny SVD(Singular Value Decomposition; 특이값 분해 방법) 를 사용하여 데이터셋(X) 를 분해하는 단계;
(e) W를 갱신하는 경우에만 SVD 를 수행하는 단계;
(f) 일정 조건을 만족하는 동안, J, W, Q를 갱신하는 단계;
(f) Y₁, Y₂ 를 계산하여 최적해를 구하는 단계;
를 구비하여, 빠른 Manifold Low-Rank Representation (FaMLRR) 알고리즘을 기반으로 하여 그래프 구축하는 것을 특징으로 하는 준지도 학습에서의 그래프 구축 방법.
(여기서, W, Q, J는 최적해를 구하기 위해 설정된 임의의 변수이며, Y₁, Y₂는 라그랑지 승수(Lagrange Multiplier)이며, A는 사전(Dictionary)임. )
청구항 제2항에 있어서, Z^*이 계산되면, Z^*의 각 열
는 x_i를 재구축하는 기여도이므로, 모든 열을
로 정규화한 후, 문턱값(Threshold) θ보다 작은 값을 0 으로 만들고, 그래프 행렬(w) 를 수학식 25과 같이 계산하는 것을 특징으로 하는 준지도 학습에서의 그래프 구축 방법
[수학식 25]

.
(여기서, Z는 계수행렬(Coefficient Matrix)이며, X=AZ의 관계를 가지며, X는 데이터셋이며, x_i는 데이터셋(X)의 i번째 인스턴스(데이터)이며, z_i는 i번째 인스턴스(x_i)에 대한 계수이며, 지수형태로 표현된 T는 전치행렬을 의미함.)