KR102096035B1 - 자기회귀 및 l0-그룹 라소를 이용한 변수 선택 방법 및 이를 수행하는 변수 선택 시스템 - Google Patents

Abstract

자기회귀 모형(autoregressive model) 및 L0-패널티가 적용된 변형 그룹 라소(Group Lasso)를 이용하여 기존의 알고리즘 보다 희소하게 변수를 선택할 수 있는 방법 및 이를 수행하는 변수 선택 시스템이 개시된다. 본 발명의 일 측면에 따르면, 변수 선택 시스템이, m개의 변수(variable) 각각의 시계열 데이터를 획득하는 단계, 상기 변수 선택 시스템이, 상기 m개의 변수 각각의 시계열 데이터에 기초하여 N차 자기회귀모형(Autoregressive Model)에 따른 m개의 시계열 데이터 군집을 생성하는 단계, 상기 변수 선택 시스템이, 상기 m개의 시계열 데이터 군집에 L0-패널티가 적용된 변형 그룹 라소(Group Lasso)를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택하는 단계 및 상기 변수 선택 시스템이, 선택된 상기 적어도 일부의 시계열 데이터 군집 각각에 대응되는 변수를 주요 변수로 결정하는 단계를 포함하는 변수 선택 방법이 제공된다.

Description

자기회귀 및 L0-그룹 라소를 이용한 변수 선택 방법 및 이를 수행하는 변수 선택 시스템{Feature selection method using autoregressive model and L0-group lasso, and computing system performing the same}

본 발명은 변수 선택 방법 및 이를 수행하는 변수 선택 시스템에 관한 것으로서, 보다 상세하게는 자기회귀 모형(autoregressive model) 및 L0-패널티가 적용된 변형 그룹 라소(Group Lasso)를 이용하여 기존의 알고리즘 보다 희소하게 변수를 선택할 수 있는 방법 및 이를 수행하는 변수 선택 시스템에 관한 것이다.

빅데이터 시대가 도래하면서, 데이터가 기하급수적으로 늘고 있다. 이에 따라 대용량 데이터를 어떻게 효과적으로 처리할 것인가의 연구가 활발하게 진행되고 있다. 고차원 데이터 변수선택방법(Variable Selection)은 기계학습(machine learning) 및 패턴인식분야에서 중요한 이슈 중 하나로, 원본 데이터에서 가장 좋은 성능을 보여줄 수 있는 데이터의 부분 집합을 찾는 방법이다. 이러한 특징선택 방법은 고차원 데이터 분석 시 반드시 고려해야 될 문제 중 하나이며, 데이터 마이닝(data mining) 분야에서 중요한 분야로 발전했다.

회귀모형에서 변수 선택은 상당히 오랫동안 연구되어온 주제이며, 많은 접근방식이 존재한다. AIC(Akaike information criterion), BIC(Bayesian information criterion), Cp(Mellow's Cp)등의 측정값을 이용한 직접적인 부분선택(subset selection)방법, 변수선택 방법(variable selection)을 가능하게 하는 벌점(penalty)을 이용하는 벌점최소제곱(penalized least squares) 방법이 있다.

전통적인 특징선택방법은 예측 정확도와 안정성을 만족하지 못하는 경우가 많다. 그런 단점을 극복하고 최근 모델선택방법(Model Selection)에 관한 연구가 많이 나타났다. 대표적인 벌점회귀모형으로는 Hoerl과 Kennard (1970)가 제안한 능형회귀(Ridge regression)와 Tibshirani가 제안한 Least Absolute Shrinkage and Selection Operator(Lasso) 등이 있다. 능형회귀모형은 변수에 다중공선성이 존재할 때 유용한 모형으로 회귀모수에 L2 노름(norm)의 패널티를 사용한다. Lasso의 경우 축소 추정과 변수 선택에 유리한 L1 norm을 사용한다. 그러나 Tibshirani 는 다중공선성이 존재할 때, p > n인 경우 예측성능에서는 능형회귀모형의 예측도가 Lasso보다 더 높고, Lasso는 최대 n 개의 변수까지만 선택할 수 있으며, 순서성이나 그룹변수 및 범주형 변수의 경우 개별적인 혹은 카테고리 별로 변수를 선택해야 하는 단점이 있다고 설명하였다. 이러한 Lasso의 추정법에는 Osborne 등이 제안한 두 가지 방법과 최근 Efron 등이 발표한 Least Angle Regression Selection(LARS)알고리즘이 있다. 또한, 알려지지 않은 변수들의 집단과 예측변수들의 다중공선성 문제를 해결하기 위해 Zou와 Hastie는 정칙화된 Lasso의 형태인 Elastic Net을 제안하였다.

최근 변수들 간에 군집이 존재할 때, 이를 고려할 수 있는 군집화 희소(Structured sparsity) 기법들이 제안되었다. Ming Yuan 과 Yi Lin이 제안한 그룹 라소(Group Lasso) 알고리즘은 대표적인 군집화 희소기법 중 하나로 같은 군집에 속한 모든 변수를 함께 선택하는 특징이 있다. 하지만 대부분의 연구에서는 군집 lasso에서 범주화 데이터를 다루고 있고, 연속성 데이터를 잘 사용하지 않는다. Noah SIMON가 제안한 희소-그룹 라소(Sparse-Group Lasso)는 그룹 라소에 L1 노름 패널티를 추가하여 그룹 내에서도 변수가 선택될 수 있도록 한다.

이처럼 대용량 데이터를 가지고 있을 때, 좋은 계산속도 성능을 가지기 쉽지 않다. 최근에 분산처리기법으로 계산 속도에 탁월한 성능을 가지는 ADMM (Alternating Direction Method of Multiplier) 방법이 제안되었다. 주로 볼록 최적화문제(convex problem)을 다루지만 Zheng Xu의 연구에서는 비볼록 최적화문제(Nonconvex problem)을 가지는 상황에서 ADMM 방법을 적용하였다. 이처럼 대용량 시계열 데이터를 그룹 라소에 적용한 것은 아직까지 연구된 바가 없다. 따라서 연속성을 가지는 시계열 데이터를 특징선택하여 중요한 변수를 찾아내어 빠르게 예측하는 방법이 필요하다.

또한 최근 연구에서는 딥러닝을 이용한 ANN(Artificial neural network), RNN(Recurrent neural network)등의 방법도 제시되고 있다. 하지만 모형 복잡도 증가로 계산 시간이 오래 걸리고, 업데이트가 되지 않는 단점이 있다.

본 발명이 해결하고자 하는 과제는 자기회귀 그룹 라소를 이용한 변수 선택 방법 및 이를 수행하는 변수 선택 시스템을 제공하는 것이다.

본 발명에서는 대용량 시계열 데이터를 위한 L0 노름 기반의 그룹 라소 예측 기법을 제안한다. 먼저, 연속적인 시계열 데이터에 일정한 자기회귀 차수를 주어 특징(변수) 개수를 늘리고, AR 차수를 하나의 그룹으로 미리 정하였다. 그러고 나서 특징 선택을 수행하는데, 기존의 그룹 라소보다 중요한 변수를 조금 더 희소하게 선택하기 위하여 그룹 라소의 패널티 텀(penalty term)을 L2 노름 에서 L0 노름으로 변형하였다. 또한 대용량 데이터를 다룰 수 있도록 하기 위하여 분산처리 기법인 ADMM(Alternating Direction Method of Multipliers) 기법을 적용하여 시간이 오래 걸리는 단점을 극복하였다.

정리하면 본 발명에서는 대용량 시계열 데이터를 바탕으로 군집을 만들어 군집간의 정보를 완화시키고 중요한 정보를 담고 있는 군집을 희소하게 선택하기 위하여 L0 Norm을 이용하는 방법을 제안한다.

본 발명의 일 측면에 따르면, 변수 선택 시스템이, m개의 변수(variable) 각각의 시계열 데이터를 획득하는 단계, 상기 변수 선택 시스템이, 상기 m개의 변수 각각의 시계열 데이터에 기초하여 N차 자기회귀모형(Autoregressive Model)에 따른 m개의 시계열 데이터 군집을 생성하는 단계, 상기 변수 선택 시스템이, 상기 m개의 시계열 데이터 군집에 L0-패널티가 적용된 변형 그룹 라소(Group Lasso)를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택하는 단계 및 상기 변수 선택 시스템이, 선택된 상기 적어도 일부의 시계열 데이터 군집 각각에 대응되는 변수를 주요 변수로 결정하는 단계를 포함하는 변수 선택 방법이 제공된다.

일 실시예에서, 상기 변형 그룹 라소의 목적 함수는 하기 [수식 1]에 의해 표현되는 것을 특징으로 할 수 있다.

[수식 1]

일 실시예에서, 상기 변수 선택 시스템이, 상기 m개의 시계열 데이터 군집에 L0-패널티가 적용된 변형 그룹 라소를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택하는 단계는, 하기 [수식 2]에 따른 ADMM(Alternating Direction Method of Multipliers) 기반의 분산 처리를 통해 수행되는 것을 특징으로 할 수 있다.

[수식 2]

ADMM form

ADMM update

일 실시예에서, 상기 m개의 변수 각각의 시계열 데이터는 서로 다른 m개의 센서에 의해 측정되는 시계열 데이터인 것을 특징으로 할 수 있다.

본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.

본 발명의 다른 일 측면에 따르면, 데이터 처리 장치에 설치되며, 상술한 방법을 수행하는 컴퓨터 프로그램이 제공된다.

본 발명의 다른 일 측면에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램이 저장되는 메모리를 포함하는 변수 선택 시스템으로서, 상기 컴퓨터 프로그램은, 상기 적어도 하나의 프로세서에 의해 실행되는 경우, 상기 변수 선택 시스템이, 상술한 방법을 수행하도록 하는 변수 선택 시스템이 제공된다.

본 발명에서는 대용량 시계열 데이터를 바탕으로 군집을 만들어 군집간의 정보를 완화시키고 중요한 정보를 담고 있는 군집을 희소하게 선택하기 위하여 L0 Norm을 이용하여 변수를 선택할 수 있는 시스템을 제안한다. 따라서, 본 발명에 따른 방법에 의하면 대용량 시계열 데이터를 좀 더 빠르게 처리하면서도 정확하고 안정된 예측할 수 있도록 하는 효과가 있다.

또한 종래의 그룹 라소와는 달리 군집(group)을 미리 정의할 필요가 없으므로 모델 구축이 용이하다는 장점이 있다.

또한 본 발명에 제안한 방법은 대부분의 시계열 데이터에 적용이 가능하므로 빅데이터 분석에 효과적이라는 장점이 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 변수 선택 시스템의 구동 환경을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 변수 선택 방법의 개략적인 과정을 도시한 도면이다.
도 3(a)는 m개의 변수 각각의 시계열 데이터를 도식화한 도면이며, 도 3(b)는 도 2(a)의 시계열 데이터에 2차 자기회귀모형을 적용하여 생성한 m개의 시계열 데이터 군집을 도식화한 도면이다.
도 4는 L1-패널티, L2-패널티, L0-패널티를 나타내는 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.

이하에서는 이해의 편의를 위하여 라소(Lasso), 그룹 라소(Group Lasso), 노름(Norm), ADMM에 대하여 설명한 후, 본 발명의 기술적 사상에 따른 본 발명의 기술적 사상에 따른 자기회귀 그룹 라소를 이용한 변수 선택 방법에 대하여 설명하기로 한다.

Lasso

일반 선형모형에서 모형의 편의(bias)를 줄이기 위해 표본의 크기가 작더라도 많은 예측변수를 사용하는 경우가 있다. 그러나 이러한 경우 모형에 포함된 예측변수들이 많아서 변수들 간에 높은 선형 관계가 존재하는 다중공선성의 문제가 발생하게 된다. 그러므로 많은 수의 예측변수를 포함한 모형보다는 적은 수이나 설명력이 큰 중요한 예측변수들이 포함된 모형을 선호한다.

Lasso는 벌점회귀모형들 중 가장 많이 사용되는 모형이다. Lasso 는 회귀모수에 미분 불가능한 L1 norm을 적용하여 기준을 충족하는 어떤 변수 계수를 0 으로 축소 추정함으로써 그 변수를 모형에서 제외시킨다 Hastie et al.[6]. Lasso 추정량은 다음 [수식]과 같이 표현한다.

[수식]

이때,

는 표준화된 예측변수들의

행렬이다.

는 은 각 예측변수에 대한 회귀계수의 벡터이며

는 축소량을 조절하는 조절모수(tuning parameter)이다.

는 추정해야 할 부분으로 대부분의 경우 cross-validation과 같은 방법을 사용하여 최적값을 찾게 된다.

가 충분히 크다면 모든 추정치가 0이 되면서 절편(intercept)만 존재하는 모형이 된다.

Lasso는 비교적 쉬운 방법을 통해 특징선택을 수행할 수 있다는 장점이 있지만, 더미변수(Dummy variable)이 존재할 때 그 변수들이 어떤 하나의 범주형 변수에서 도출되었다는 변수의 구조적 특성을 축소 추정 시 고려하지 않는다는 단점이 있다.

Group Lasso

lasso의 단점을 해결하기 위하여 Yuan과 Lin이 제시한 방법이 바로 group lasso다. Lasso와 비교해 보면, group lasso는 벌점 부분이 다르다. Lasso에서는 L1 벌점을 쓰는 반면, group lasso는 L1에L2 벌점인 회귀계수의 유클리드 노름(Euclidean norm) 제곱 부분이 추가된다. 즉, group lasso의 벌점은 lasso의 L1 벌점과 능형회귀(ridge regression)의 L2 벌점이 섞인 형태이므로, group lasso는 lasso보다 더 포괄적인 모형이라 할 수 있다. 그룹 라소의 목적 함수는 다음의 [수식]으로 표현된다.

[수식]

여기서,

는 j번째 그룹의 회귀계수를 나타내며, 총 m개의 그룹으로 이루어져있다.

은 각 그룹의 크기를 나타낸다.

group lasso는 lasso에서와 마찬가지로 손실함수와 벌점함수의 합으로 구성된 함수 Q를 최소화하는 회귀계수를 추정한다. 이 때 벌점모수인

는 축소추정을 담당한다. 또한 group lasso의 벌점은 그룹간의 거리를 벌점으로 고려한다는 특징이 있다.

group lasso는 변수의 그룹을 미리 정의한 뒤 그룹선택을 시행하는 방식이다. 그룹 내에 주요변수가 하나라도 존재하면, 해당 그룹 내 변수가 모두 주요한 것으로 인식하여 선택되므로 선택되는 변수가 많다. 주로 변수 내 그룹은 범주형 변수끼리 그룹을 묶거나 특징이 비슷한 변수끼리 묶어 시행한다.

ADMM

ADMM(alternating direction method of multipliers)은 볼록 최적화문제를 풀기위한 알고리즘이다. 유연한 프레임워크를 가지고 있어서 여러 블록 제약문제(Convex constraints)에 많이 쓸 수 있다. 이 방식은 데이터를 작은 조각으로 분할하여 문제를 해결하는데, 계산에 필요한 일들을 병렬로 처리할 수 있게 만들어준다. 또한 데이터가 작은 조각으로 여러 개 분할된다면, 볼록 최적화 문제에 다루기 쉬워지고, Factorization caching 방법을 사용하여 자주 사용하는 계산을 재사용함으로써 계산속도가 빨라지는 장점이 있다. 최근 연구에 따르면 ADMM은 많은 분야에서 적용되고 있다. ADMM의 기본식은 다음 [수식]과 같다.

[수식] ADMM 기본식

ADMM에서는 기본적으로 최적화해야 할 목적함수와 변수를 두 개의 부분으로 분리하여 표현하며, 본 명세서에서는 이를 x와 z로 표현한다. y는 제약 문제를 풀기 위해 도입한 라그랑지언(Lagrangian)이다.

ADMM 업데이트 알고리즘은 다음 [수식]과 같다.

[수식] ADMM 업데이트 알고리즘

위 [수식] 에서 (1)은 x를 최소화하는 식이며, (2)는 z를 최소화하는 식이다. (3)의 식을 통해 이중 변수를 업데이트할 수 있다. 위 알고리즘을 이용하면 하위 문제(sub problem)을 손쉽게 계산할 수 있다.

제안하는 시스템 및 방법(자기회귀 및 L0-그룹 라소를 이용한 변수 선택 방법)

대용량 시계열 데이터를 이용하여 비교적 정확도 높고 빠른 예측을 하기 위하여 본 발명의 기술적 사상에 따른 자기회귀 및 L0-그룹 라소를 이용한 변수 선택 방법(이하, '변수 선택 방법')에서는 그룹 라소의 패널티를 L0-노름으로 변형한 방법을 수행한다. 또한 실시예에 따라 ADMM 최적화 방법이 적용될 수도 있다.

한편, 상기 변수 선택 방법은 변수 선택 시스템에 의해 수행될 수 있다. 상기 변수 선택 시스템은 컴퓨팅 시스템, 서버 혹은 데이터 처리 장치일 수 있다. 일 실시예에서, 상기 변수 선택 시스템은 분산 처리 시스템일 수 있다.

도 1은 본 발명의 일 실시예에 따른 변수 선택 시스템의 구동 환경을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 변수 선택 시스템(100)은 m개의 변수 각각의 시계열 데이터를 획득할 수 있다. 여기서 m은 2 이상의 정수일 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 변수 선택 시스템(100)은 m개의 센서(10-1 내지 10-m)로부터 각각 시계열 데이터를 획득할 수 있다.

한편 상기 변수 선택 시스템(100)은 후술하는 변수 선택 방법을 통하여 m개의 변수 중 일부를 주요 변수로 선택할 수 있다.

한편, 주요 변수의 선택 결과는 이후 기계학습에 이용될 수 있다. 즉, 주요 변수의 선택 결과가 기계학습을 수행하는 소정의 기계학습 시스템(200)에 제공될 수 있으며, 기계학습 시스템은 m개의 변수 전체의 시계열 데이터가 아닌 주요 변수의 시계열 데이터만으로 학습을 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 변수 선택 방법의 개략적인 과정을 도시한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 변수 선택 방법에서, 변수 선택 시스템은, m개의 변수(variable) 각각의 시계열 데이터를 획득할 수 있다(S100). 각각의 변수는 소정의 특징(feature)에 상응하는 시계열 데이터를 가질 수 있다.

일 실시예에서, 상기 m개의 변수 각각의 시계열 데이터는 서로 다른 m개의 센서에 의해 측정되는 시계열 데이터일 수 있다. 즉 상기 m개의 변수 각각은 m개의 센서와 일대일 대응하며, 대응되는 센서에서 소정의 단위시간마다 측정한 데이터를 가질 수 있다.

다른 일 실시예에서, 상기 m개의 변수 각각의 시계열 데이터는 소정의 미가공 데이터(raw data)를 가공하여 추출한 m개의 특징 각각의 시계열 데이터일 수도 있다. 여기서 미가공 데이터 역시 시계열 데이터일 수 있다. 예를 들어 상기 미가공 데이터는 일정한 시간 간격을 두고 연속 촬영한 이미지 데이터 혹은 일정한 시간 간격을 두고 녹음한 음향 데이터 등일 수 있다.

한편, 상기 변수 선택 시스템은 상기 m개의 변수 각각의 시계열 데이터에 기초하여 N차 자기회귀모형(Autoregressive Model)에 따른 m개의 시계열 데이터 군집을 생성할 수 있다(S110). 여기서 N은 1이상의 정수일 수 있다.

기본적으로 그룹 라소는 대부분 범주형 데이터를 그룹화 하는 방법이지만, 시계열 데이터 중에서는 그룹으로 묶을 수 없는 것이 많다. 따라서 본 발명의 기술적 사상에 다른 변수 선택 방법에서는 그룹으로 묶이기 어려운 시계열 데이터에 대한 변수 선택을 위하여 자기회귀 모형을 이용한다. 자기회귀모형을 이용하여 특징(변수)을 늘린다면, 과거 시점의 데이터를 이용해서 예측의 정확도를 높이고 그룹화 할 수 없는 데이터에서도 그룹화 할 수 있게 된다.

자기회귀모형이란 시계열 데이터(y_t)가 자기자료의 과거 값들로써 설명된다는 모형이다. 다음 수식은 p차 자기회귀모형을 표현하는 식이다.

[수식]

여기서,

는 자기상관계수,

는 백색잡음 혹은 오차이다. 위의 회귀모형의 [수식]에서 현재(t) 시점의 시계열 값(y_t )은 바로 전기 (t-1)값으로부터

만큼, 2기전 (t-2)의 값으로부터

만큼 등으로 영향을 받는다고 할 수 있을 것이다. 과거 p까지의 값들이 y_t에 영향을 준다고 할 경우의 p차 자기회귀모형이라고 부르며 AR(p)라고 표현한다.

도 3(a)는 m개의 변수(X1 내지 Xm) 각각의 시계열 데이터를 도식화한 도면이며, 도 3(b)는 도 2(a)의 시계열 데이터에 2차 자기회귀모형을 적용하여 생성한 m개의 시계열 데이터 군집(G1 내지 Gm)을 도식화한 도면이다.

도 3과 위의 [수식]에서t는 시계열 상의 순서를 나타낸다.

S110 단계에서는, 도 2(a)와 같은 시계열 데이터에 자기회귀모형을 이용하여 각 변수에 상응하는 변수 군집을 형성할 수 있으며, 형성된 군집이 도 2(b)에 도시되어 있다. 도 2(b)의 각 군집(G1 내지 Gm)은 변수(X1 내지 Xm)의 각각과 대응된다.

다시 도 2를 참조하면 상기 변수 선택 시스템은 상기 m개의 시계열 데이터 군집(G1 내지 Gm)에 L0-패널티가 적용된 변형 그룹 라소를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택할 수 있다(S120).

대용량 시계열 데이터를 그룹 라소에 적용하게 되면, 결과가 희소하지 않게 된다. 최근의 연구에서 높은 예측력을 얻기 위해 인공신경망이나 딥러닝을 알고리즘을 이용하는데, 이 알고리즘들은 특징의 수가 많을수록 시간이 오래 걸리는 단점이 있다. 따라서 특징의 개수를 희소하게 선택하는 것이 중요한 이슈가 될 수 있다. 기본적으로 그룹 라소는 L2-패널티를 이용한다. 본 발명에서는 최대 희소를 가지도록 하기 위하여, L0-패널티가 적용된 변형 그룹 라소를 적용하게 된다.

상기 변형 그룹 라소의 목적 함수는 하기 [수식]에 의해 표현될 수 있다.

[수식]

|| ||는 유클리디언 노름(Euclidean Norm)을 나타낸다.

y는 예측하고자 하는 데이터(설명변수)이며, X_j는 j번째 군집의 데이터, β = (β₁, β₂, …, β_m), β_j는 은 j번째 군집의 회귀계수,

는 축소량을 조절하는 미리 결정된 조절모수를 나타낸다.

위와 같이 변형된 식은 그룹 내의 L2 노름L2 노름 값이 전부 0일 때의 개수를 찾는 것이다. 이를 최소화 한다는 것은 결국 그룹 내의 L2 노름 값을 전부 0으로 만들겠다는 의미이다. 따라서 L0-패널티의 특징인 희소한 특징선택법을 가능하게 해준다. 라소의 L1-패널티와 그룹 라소의 L2-패널티, 그리고 본 발명에서 제안한 방법에 사용되는 L0-패널티의 그림이 도 4에 도시되어 있다.

일 실시예에서, L0-패널티가 적용된 변형 그룹 라소를 적용하는 과정(S120 단계)은 많은 계산을 요구하므로 구현에 따라 계산 속도가 느릴 수 있다. 따라서, 이를 극복하기 위하여 대용량 데이터를 병렬 처리함으로써 계산 속도를 높일 수 있는 ADMM 방법을 적용할 수 있다. 한편, 본 실시예에 따른 ADMM에서 희소하게 특징선택을 하기 위해 이용한 L0-패널티는 근사연산자(proximal operator)로 hard-thresholding을 이용한다.

보다 상세하게는 S120 단계는 아래 [수식]에 따른 ADMM 기반의 분산 처리를 통해 수행될 수 있다.

[수식]

<ADMM 기본식>

<ADMM 업데이트 알고리즘>

위 식에, A는 시계열 데이터의 행렬, b는 측정 벡터(measure vector), c_j는 군집의 크기, J는 미리 정의된 군집,

는 조절 모수, x는 특정 변수의 시계열 데이터, ρ는 벌점 모수(scalar penalty parameter), x와 z는 최적화 변수(optimization variable), y는 라그랑지안 승수(Lagrangian multiplier), z는 회귀계수(regression coefficient)를 나타낸다.

다시 도 2를 참조하면, 상기 변수 선택 시스템은 선택된 상기 적어도 일부의 시계열 데이터 군집 각각에 대응되는 변수를 주요 변수로 결정할 수 있다(S130).

예를 들어, 상기 S120 단계에서 군집 G1, G3, G4가 선택되었다면, 선택된 군집 각각에 대응되는 변수 X1, X3, X4가 주요 변수로 결정될 수 있다.

한편, 본 발명에 따른 변수 선택 방법의 효과를 검증하기 위하여 실험을 진행하였으며, 이하에서는 실험 결과에 대하여 설명한다.

실험은 시뮬레이션 데이터와 얼굴측정 데이터를 이용하여 진행하였다. 실험에서 시뮬레이션의 시나리오는 한가지이며, 데이터는 R의 ARIMA.sim 함수를 사용하여 생성하였다. 각각의 X(설명변수)의 지정한 AR의 차수만큼 coefficient를 (-1,1)의 균등분포(uniform distribution)을 사용하여 임의로 생성하여 시계열 데이터를 생성했다. 같은 방법으로 각각의 300개의 특징 생성하였다. 생성된 행렬은 20000*300이며, 예를 들어 AR 차수를 3으로 주었을 때 행렬은 20000*1200이다. 그리고 나서 x들의 선형결합을 통해 Y를 생성한다. 이때 Y에 영향을 미치는 X(설명변수) 개수를 다르게 하기 위해 1200개의 특징 중에 임의로 20~30개, 40~60개, 60~80개, 100~130개, 150~200개, 200~250개의 특징 선택하여 고정하는 6가지 시나리오를 만들었다. 추가적으로 10~30개가 랜덤하게 변하면서 선택되도록 하였다. 이때 선형결합이 필요한 계수는 (-1,1)의 균등분포를 사용하여 생성한다.

한편, 실험에 쓰이는 데이터는 실제 사용자의 얼굴을 예측하기 위해 만들어진 데이터로, 15명의 각 피실험자로부터 Kinect센서를 이용해 초당 29-30 frame rate로 23분에서 24분 정도의 레코딩된 비디오이다. 비디오는 감정의 변화를 보기위해 무서운 장면과 재미있는 장면을 번갈아 보여주었으며, 개인이 느낀 감정을 수치로 표현하도록 실험하였다. 이 데이터는 각 프레임마다 2D(x-y axis)로 측정된 121개의 얼굴 포인트와 10개의 어깨움직임 포인트가 있다. 총 274개의 (2+30+121*2=274)변수가 존재하는 데이터로서, 총 602,599의 관측치 수를 가지는 대용량 시계열 데이터이다. 종속변수는 V-A 모델을 이용하였다. V-A모델은 2차원으로 이루어진 그래프이며, 각각 쾌/불쾌도(Valnce)와 각성도(Arousal)를 나타낸다.

또한 본 실험에서는 1명의 데이터에서 임의의 20%를 테스트 셋으로 만드는 방식을 통하여 총 15명의 임의의 20% 데이터를 모아서 전체 테스트 셋으로 만들었다. 나머지 80% 데이터는 훈련 데이터이다. 예측성능(prediction accuracy)은 훈련, 테스트셋에 대한 MSE(Mean Square Error)값을 비교하였다.

다음 [표 1]은 시뮬레이션 데이터의 실험 결과를 정리한 것이다.

	Regression			Neural Network
	전체 데이터	Group lasso	자기회귀 L0-그룹 라소(제안)	전체 데이터	Group lasso	자기회귀 L0-그룹 라소(제안)
시간	3분2초	2분43초	1분21초	1h 42min	1 hour	1min
Train MSE	0.9860	0.3898	0.4052	0.9663	0.3752	0.4002
Test MSE	0.9989	0.4669	0.4222	1.3133	0.7915	0.4547
Group 선택개수	1200	1164/4=291	48/4=12	1200	1164/4=291	48/4=12

시뮬레이션 데이터 실험 결과, 그룹 라소를 이용하면 시계열 데이터의 전체 특징(변수) 중 97~98%를 선택하였고, 본 발명의 기술적 사상에 따른 자기회귀 및 L0-그룹 라소를 이용한 변수 선택 방법을 이용하면 전체 특징 중 5~6% 정도로 희소하게 특징을 선택하였다. 특징을 굉장히 희소하게 선택하였음에도 불구하고 대부분의 결과에서 Train MSE는 그룹 라소의 결과와 비슷하였고 모든 테스트에서의 MSE값이 가장 낮아 좋은 성능을 보이는 것으로 판단된다. 히든 레이어가 1개인 인공신경망 결과를 보면, 전체 데이터를 이용할 경우, 비교적 오랜 시간이 소요되고 결과가 좋지 않았다. 하지만, 본 발명의 기술적 사상에 따른 변수 선택 방법을 이용하여 특징을 희소하게 선택한 후 이를 인공신경망을 적용할 경우, 계산시간이 굉장히 단축되고 좋은 성능을 보였다. 이는 시뮬레이션 데이터에서 성능을 낮추는 독립변수들이 많기 때문이다. 인공신경망의 성능을 높이기 위해서는 히든 레이어의 갯수를 증가시켜야 하는데, 그것은 계산 속도가 저하되므로 본 발명의 기술적 사상에 따른 변수 선택 방법을 이용하여 희소하게 특징선택을 하는 것은 의미가 있다. 또한, 종속변수의 영향을 미치는 독립변수의 수가 많아질수록 전체데이터를 이용하는 것이 좋다는 것을 의미하는데, 본 실험에서 그것을 증명하였다. 따라서 본 발명의 기술적 사상에 따른 변수 선택 방법은 전체데이터에서 종속변수의 영향을 미치는 독립변수 수가 적을수록 성능이 좋다.

정리하면, 본 발명의 기술적 사상에 따른 변수 선택 방법은 시계열 데이터가 주어졌을 때, 기존의 그룹 라소 보다 더 희소하게 변수를 선택한다. 본 발명의 기술적 사상에 따른 변수 선택 방법은 미리 그룹을 정의해야 하는 종전 그룹 라소의 단점을 극복하고 AR 차수를 이용하여 그룹핑 할 수 있게 한다. 또한 그룹 라소의 L2-벌점 대신 L0-벌점을 적용함으로써 최대-희소성(maximum sparsity)을 달성할 수 있다. 또한 대용량 데이터처리를 위해 ADMM(Alternating Direction Method of Multiplier) 기법을 이용함으로써 계산 속도를 향상시킬 수 있다. 실제 센서데이터를 가지고 실험한 결과, 본 발명에서 제안한 방법은 기존의 그룹 라소보다 희소하게 변수를 선택하지만, 예측정확도를 유지하거나 혹은 더 좋게 할 수 있다는 것을 확인하였다.

한편, 구현 예에 따라서, 상기 변수 선택 시스템은 적어도 하나의 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.

한편, 상기 변수 선택 시스템은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 변수 선택 시스템은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 변수 선택 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 상기 변수 선택 시스템은 다수의 모듈의 형태로 구현될 수 있다. 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

한편, 본 발명의 실시예에 따른 변수 선택 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

1. 변수 선택 시스템이, m개의 변수(variable) 각각의 시계열 데이터를 획득하는 단계;
   상기 변수 선택 시스템이, 상기 m개의 변수 각각의 시계열 데이터에 기초하여 N차 자기회귀모형(Autoregressive Model)에 따른 m개의 시계열 데이터 군집을 생성하는 단계;
   상기 변수 선택 시스템이, 상기 m개의 시계열 데이터 군집에 L0-패널티가 적용된 변형 그룹 라소(Group Lasso)를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택하는 단계; 및
   상기 변수 선택 시스템이, 선택된 상기 적어도 일부의 시계열 데이터 군집 각각에 대응되는 변수를 주요 변수로 결정하는 단계를 포함하되,
   상기 변형 그룹 라소의 목적 함수는 하기 [수식 1]에 의해 표현되는 것을 특징으로 하는 변수 선택 방법.
   [수식 1]
   

   

   
   (여기서, y는 예측하고자 하는 설명변수, X_j는 j번째 군집의 데이터, β = (β₁, β₂, …, β_m), β_j는 은 j번째 군집의 회귀계수,

   

   는 축소량을 조절하는 미리 결정된 조절모수임)
   
2. 삭제
3. 변수 선택 시스템이, m개의 변수(variable) 각각의 시계열 데이터를 획득하는 단계;
   상기 변수 선택 시스템이, 상기 m개의 변수 각각의 시계열 데이터에 기초하여 N차 자기회귀모형(Autoregressive Model)에 따른 m개의 시계열 데이터 군집을 생성하는 단계;
   상기 변수 선택 시스템이, 상기 m개의 시계열 데이터 군집에 L0-패널티가 적용된 변형 그룹 라소(Group Lasso)를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택하는 단계; 및
   상기 변수 선택 시스템이, 선택된 상기 적어도 일부의 시계열 데이터 군집 각각에 대응되는 변수를 주요 변수로 결정하는 단계를 포함하되,
   상기 변수 선택 시스템이, 상기 m개의 시계열 데이터 군집에 L0-패널티가 적용된 변형 그룹 라소를 적용하여 상기 m개의 시계열 데이터 군집 중 적어도 일부를 선택하는 단계는,
   하기 [수식 2]에 따른 ADMM(Alternating Direction Method of Multipliers) 기반의 분산 처리를 통해 수행되는 것을 특징으로 하는 변수 선택 방법.
   
   [수식 2]
   ADMM form
   

   

   
   ADMM update
   

   

   
   (여기서, A는 시계열 데이터의 행렬, b는 측정 벡터(measure vector), c_j는 군집의 크기, J는 미리 정의된 군집,

   

   는 조절 모수, x는 특정 변수의 시계열 데이터, ρ는 벌점 모수(scalar penalty parameter), x와 z는 최적화 변수(optimization variable), y는 라그랑지안 승수(Lagrangian multiplier), z는 회귀계수(regression coefficient임)
   
4. 제1항 또는 제3항에 있어서,
   상기 m개의 변수 각각의 시계열 데이터는 서로 다른 m개의 센서에 의해 측정되는 시계열 데이터인 것을 특징으로 하는 변수 선택 방법.
   
5. 제1항 또는 제3항에 기재된 방법을 수행하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
   
6. 데이터 처리 장치에 설치되며, 제1항 또는 제3항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 기록된 컴퓨터 프로그램.
   
7. 적어도 하나의 프로세서; 및
   컴퓨터 프로그램이 저장되는 메모리를 포함하는 변수 선택 시스템으로서,
   상기 컴퓨터 프로그램은, 상기 적어도 하나의 프로세서에 의해 실행되는 경우, 상기 변수 선택 시스템이, 제1항 또는 제3항에 기재된 방법을 수행하도록 하는 변수 선택 시스템.

Images