KR20190048119A - Ｆｃｍ과 ｓｍｏｔｅ를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 FCM(Fuzzy C-means Clustering)과 SMOTE(Synthetic Minority Over-sampling Technique) 기법을 결합하여 편중된 학습을 방지할 수 있도록 한 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법에 관한 것으로, 회귀분석 및 분류 기법을 구현하기 위한 학습 데이터가 원시 데이터로 시스템에 입력되면 이를 다수 클래스 데이터와 소수 클래스 데이터로 나누는 분류 모듈;상기 분류 모듈을 통하여 나누어진 소수 클래스 데이터에 FCM을 적용하기 위한 클러스터링 모듈;Extended Gap Statistics를 이용하여 최적의 클러스터 수를 도출하는 파라미터 설정 모듈;합성 데이터를 생성하기 위해 SMOTE 기법을 적용하는 데이터 생성 모듈;을 포함하는 것이다.

Description

ＦＣＭ과 ＳＭＯＴＥ를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법{System and Method for Solutioning Class Imbalance Problem by Using ＦＣＭ and ＳＭＯＴＥ}

본 발명은 데이터 분석에 관한 것으로, 구체적으로 FCM(Fuzzy C-means Clustering)과 SMOTE(Synthetic Minority Over-sampling Technique) 기법을 결합하여 편중된 학습을 방지할 수 있도록 한 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법에 관한 것이다.

지도 학습(Supervised Learning)을 이용하여 우수한 성능의 회귀분석 및 분류 기법을 구현하기 위해서는 학습 데이터를 다량 보유하는 것이 필수적이다.

또한, 대부분의 지도 학습은 주어진 데이터의 클래스 분포가 균일하다고 가정하기 때문에, 실제 환경에서 계측된 데이터의 불균일한 클래스 분포를 별도의 과정을 거치지 않고 사용하게 될 경우 심각한 성능 저하를 초래할 수 있다.

이러한 문제를 해결하기 위해서 다양한 방법들이 개발되어 실제 시스템에 적용되고 있다.

비교적 쉬운 구조로 동작하기 때문에 널리 사용되고 있는 방법은 크게 언더샘플링(Undersampling)과 오버샘플링(oversampling)으로 구분할 수 있다.

두 가지 방법 모두 확률적 기법에 기반을 둔 방법으로, 언더샘플링 기법의 경우 무작위로 선택된 다수 클래스 데이터(Majority Class Data)를 제거하는 방법이고, 오버샘플링 기법의 경우 무작위로 선택된 소수 클래스 데이터(Minority Class Data)를 복제하는 방법으로 다수 클래스 데이터와 소수 클래스 데이터의 수치적 균형을 맞추는 방법이다.

하지만, 언더샘플링 기법의 경우 다수 클래스 데이터와 소수 클래스 데이터 간 격차가 아주 클 경우에는 잠재적으로 유용한 정보를 상실할 수 있는 문제점이 존재한다.

또한, 오버샘플링 기법의 경우 복원 추출(Random Sampling with Replacement) 방식을 채택하고 있기 때문에, 같은 데이터가 중복해서 생성될 경우 과적합(Overfitting) 현상에 의해 오히려 성능이 감소하는 상황이 발생할 수 있다.

이러한 문제를 해결하기 위해서 최근에는 합성 데이터를 생성하는 SMOTE 기법이 주로 사용되고 있다.

오버샘플링 기법의 복원 추출 방식이 가지는 문제점을 해결하기 위해서 제안된 방법으로, k-NN(k-Nearest Neighbor) 방법을 소수 클래스 데이터에 적용하여 특징 공간 내에 소수 데이터와 무작위로 선택된 소수 데이터의 이웃 중 하나 사이에 균일 분포(Uniform Distribution)를 통해서 추출된 수를 곱하여 합성 데이터를 생성하는 방식으로 동작하며, 도 1에 나타난 것과 같다.

SMOTE는 클래스 불균형 문제를 해결하는데 있어서 매우 효과적인 방법이며 널리 사용되고 있지만, 주어진 학습 데이터가 노이즈를 내포하고 있을 경우에는 퍼지 논리를 이용한 응용이 필요하다.

따라서, 데이터 분석 과정에서 빈번하게 발생하는 클래스 불균형 문제를 해결하기 위한 새로운 기술의 개발이 요구되고 있다.

대한민국 공개특허 제10-2015-0091588호 대한민국 공개특허 제10-2016-0113826호 대한민국 공개특허 제10-2010-0126988호

본 발명은 이와 같은 종래 기술의 데이터 분석을 위한 방법의 문제를 해결하기 위한 것으로, FCM(Fuzzy C-means Clustering)과 SMOTE(Synthetic Minority Over-sampling Technique) 기법을 결합하여 편중된 학습을 방지할 수 있도록 한 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 SMOTE 기법에 퍼지 기반 클러스터링 기법인 FCM을 결합하여 퍼지 논리를 기반으로 한 합성 데이터 생성을 통해 클래스 불균형 문제를 해결할 수 있도록 한 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 FCM을 포함한 분할 클러스터링 기법의 전형적인 단점 중 하나인 최적의 클러스터 수를 Extended Gap Statistics 기법의 결합을 통해 도출하여 문제점을 해결하는 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 대표적인 분할 클러스터링(Partitional Clustering) 기법인 FCM과 합성 데이터 생성 기법인 SMOTE를 결합하여 회귀분석 및 분류 기법을 구현하는 데 있어서 편중된 학습을 방지하기 위한 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치는 회귀분석 및 분류 기법을 구현하기 위한 학습 데이터가 원시 데이터로 시스템에 입력되면 이를 다수 클래스 데이터와 소수 클래스 데이터로 나누는 분류 모듈;상기 분류 모듈을 통하여 나누어진 소수 클래스 데이터에 FCM을 적용하기 위한 클러스터링 모듈;Extended Gap Statistics를 이용하여 최적의 클러스터 수를 도출하는 파라미터 설정 모듈;합성 데이터를 생성하기 위해 SMOTE 기법을 적용하는 데이터 생성 모듈;을 포함하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 방법은 입력된 원시 데이터는 분류 모듈을 통해서 다수 클래스 데이터와 소수 클래스 데이터로 구분하는 단계;다수 클래스 데이터와 소수 클래스 데이터의 수치적 차이를 도출하여 합성 데이터를 얼마나 생성할 것인지 결정하는 단계;구분된 소수 클래스 데이터를 클러스터링 모듈에 입력하여 FCM을 이용한 클러스터링 수행하는 단계;클러스터링 모듈을 통해 생성된 클러스터를 이용해서 SMOTE 기법을 통한 합성 데이터가 생성하는 단계;이 과정을 소수 클래스 데이터와 합성 데이터의 개수의 합이 다수 클래스 데이터와 수치적 균형을 이룰 때까지 반복적으로 수행하는 단계;생성된 합성 데이터와 소수 클래스 데이터는 다수 클래스와 합쳐져서 최종적으로 수치적 균형이 맞춰진 보정 데이터 출력하는 단계;를 포함하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법은 다음과 같은 효과를 갖는다.

첫째, FCM(Fuzzy C-means Clustering)과 SMOTE(Synthetic Minority Over-sampling Technique) 기법을 결합하여 편중된 학습을 방지할 수 있도록 한다.

둘째, SMOTE 기법에 퍼지 기반 클러스터링 기법인 FCM을 결합하여 퍼지 논리를 기반으로 한 합성 데이터 생성을 통해 클래스 불균형 문제를 해결할 수 있다.

셋째, Extended Gap Statistics를 이용하여 클러스터 수를 자동으로 생성함으로서 결과에 중요한 영향을 미치는 파라미터를 최적화하여 도출할 수 있다.

넷째, 클래스 불균형 문제를 해결하는 데 있어서 퍼지 논리를 도입하여 노이즈에 강인한 형태의 합성 데이터 생성을 수행할 수 있다.

도 1은 종래 기술의 k-NN(k-Nearest Neighbor) 방법을 소수 클래스 데이터에 적용하는 방법을 나타낸 구성도
도 2는 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치의 구성도
도 3은 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 방법을 나타낸 플로우 차트

이하, 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 2는 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치의 구성도이고, 도 3은 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 방법을 나타낸 플로우 차트이다.

본 발명은 FCM(Fuzzy C-means Clustering)과 SMOTE(Synthetic Minority Over-sampling Technique) 기법을 결합하여 퍼지 논리를 기반으로 한 합성 데이터 생성을 통해 편중된 학습을 방지하여 클래스 불균형 문제를 해결할 수 있도록 한 것이다.

이를 위하여 본 발명은 FCM과 Extended Gap Statistics를 결합하여 최적의 클러스터를 생성하고 SMOTE를 적용하는 구성을 포함한다.

본 발명은 주어진 데이터에 최적화된 형태의 클러스터를 생성하고, 생성된 클러스터의 중심 값을 이용하여 합성 데이터를 생성하는 구성을 포함한다.

본 발명은 퍼지 소속도를 통한 노이즈에 강인한 합성 데이터 생성하는 구성을 포함하는 것으로, 퍼지 클러스터링 기법을 적용하였기 때문에 합성 데이터를 생성하는 데 있어 소속도를 기반으로 한 연산이 가능하며, 이를 통해 노이즈에 의한 부정적 영향을 최소화할 수 있다.

본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치는 도 2에서와 같이, 회귀분석 및 분류 기법을 구현하기 위한 학습 데이터가 원시 데이터로 시스템에 입력되면 이를 다수 클래스 데이터와 소수 클래스 데이터로 나누는 분류 모듈(21)과, 소수 클래스 데이터에 FCM을 적용하기 위한 클러스터링 모듈(22)과, Extended Gap Statistics를 이용하여 최적의 클러스터 수를 도출하는 파라미터 설정 모듈(23)과, 합성 데이터를 생성하기 위해 SMOTE 기법을 적용하는 데이터 생성 모듈(24)을 포함한다.

도 2는 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결 방법의 전반적인 구조를 나타낸 것이다.

생성된 합성 데이터와 소수 클래스 데이터는 다수 클래스와 합쳐져서 최종적으로 수치적 균형이 맞춰진 보정 데이터 출력된다.

본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 방법은 다음과 같다.

도 3에서와 같이, 시스템에 입력된 원시 데이터는 분류 모듈을 통해서 다수 클래스 데이터와 소수 클래스 데이터로 구분된다.(S301)

이때, 다수 클래스 데이터와 소수 클래스 데이터의 수치적 차이를 도출하여 합성 데이터를 얼마나 생성할 것인지도 같이 결정된다.(S302)

구분된 소수 클래스 데이터는 클러스터링 모듈의 입력이 되며, FCM을 이용한 클러스터링이 수행되는데,(S303) 퍼지 클러스터링에 적용하기 위한 Gap Statistics의 변형된 형태인 Extended Gap Statistics를 구현한 파라미터 설정 모듈이 함께 동작한다.(304)

클러스터링 모듈을 통해 생성된 클러스터를 이용해서 SMOTE 기법을 통한 합성 데이터가 생성되는데, 기존의 SMOTE 기법과는 달리 생성된 퍼지 클러스터의 중심 좌표와 선택된 소수 클래스 데이터 사이에 합성 데이터를 생성하는 형태로 동작하게 된다.(S305)

이 과정을 소수 클래스 데이터와 합성 데이터의 개수의 합이 다수 클래스 데이터와 수치적 균형을 이룰 때까지 반복적으로 수행하게 된다.(S306)

생성된 합성 데이터와 소수 클래스 데이터는 다수 클래스와 합쳐져서 최종적으로 수치적 균형이 맞춰진 보정 데이터가 되며, 이를 회귀분석 및 분류 기법의 구현에 적용하는 형태가 된다.(S307)

이와 같은 본 발명에 따른 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치 및 방법은 FCM(Fuzzy C-means Clustering)과 SMOTE(Synthetic Minority Over-sampling Technique) 기법을 결합하여 퍼지 논리를 기반으로 한 합성 데이터 생성을 통해 편중된 학습을 방지할 수 있도록 하여, 클래스 불균형 문제를 해결할 수 있도록 한 것이다.

또한, 본 발명은 FCM을 포함한 분할 클러스터링 기법의 전형적인 단점 중 하나인 최적의 클러스터 수를 Extended Gap Statistics 기법의 결합을 통해 도출하여 문제점을 해결하는 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

21. 분류 모듈
22. 클러스터링 모듈
23. 파라미터 설정 모듈
24. 데이터 생성 모듈

Claims (2)

1. 회귀분석 및 분류 기법을 구현하기 위한 학습 데이터가 원시 데이터로 시스템에 입력되면 이를 다수 클래스 데이터와 소수 클래스 데이터로 나누는 분류 모듈;
   상기 분류 모듈을 통하여 나누어진 소수 클래스 데이터에 FCM을 적용하기 위한 클러스터링 모듈;
   Extended Gap Statistics를 이용하여 최적의 클러스터 수를 도출하는 파라미터 설정 모듈;
   합성 데이터를 생성하기 위해 SMOTE 기법을 적용하는 데이터 생성 모듈;을 포함하는 것을 특징으로 하는 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 장치.
2. 입력된 원시 데이터는 분류 모듈을 통해서 다수 클래스 데이터와 소수 클래스 데이터로 구분하는 단계;
   다수 클래스 데이터와 소수 클래스 데이터의 수치적 차이를 도출하여 합성 데이터를 얼마나 생성할 것인지 결정하는 단계;
   구분된 소수 클래스 데이터를 클러스터링 모듈에 입력하여 FCM을 이용한 클러스터링 수행하는 단계;
   클러스터링 모듈을 통해 생성된 클러스터를 이용해서 SMOTE 기법을 통한 합성 데이터가 생성하는 단계;
   이 과정을 소수 클래스 데이터와 합성 데이터의 개수의 합이 다수 클래스 데이터와 수치적 균형을 이룰 때까지 반복적으로 수행하는 단계;
   생성된 합성 데이터와 소수 클래스 데이터는 다수 클래스와 합쳐져서 최종적으로 수치적 균형이 맞춰진 보정 데이터 출력하는 단계;를 포함하는 것을 특징으로 하는 FCM과 SMOTE를 이용한 클래스 불균형 문제 해결을 위한 방법.
   

Images