KR20200094938A - 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법 - Google Patents

생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법 Download PDF

Info

Publication number
KR20200094938A
KR20200094938A KR1020190012374A KR20190012374A KR20200094938A KR 20200094938 A KR20200094938 A KR 20200094938A KR 1020190012374 A KR1020190012374 A KR 1020190012374A KR 20190012374 A KR20190012374 A KR 20190012374A KR 20200094938 A KR20200094938 A KR 20200094938A
Authority
KR
South Korea
Prior art keywords
data
gan
learning
ensemble
generative confrontation
Prior art date
Application number
KR1020190012374A
Other languages
English (en)
Other versions
KR102284356B1 (ko
Inventor
강대기
Original Assignee
동서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교 산학협력단 filed Critical 동서대학교 산학협력단
Priority to KR1020190012374A priority Critical patent/KR102284356B1/ko
Publication of KR20200094938A publication Critical patent/KR20200094938A/ko
Application granted granted Critical
Publication of KR102284356B1 publication Critical patent/KR102284356B1/ko

Links

Images

Classifications

    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 생성적 대립 네트워크를 이용한 데이터불균형 해결방법에 관한 것이다. 본 발명은 GAN(생성적 대립 네트워크)를 이용한 데이터의 불균형 해결방법에 있어서, GAN(생성적 대립 네트워크)의 학습, 샘플링, 스태킹(stacking)의 순서로 반복하여 상기 GAN기반 동형 앙상블(homogeneous ensemble) 학습모델을 구성하는 것을 특징으로 한다.
본 발명은 생성적 대립 네트워크(GAN)의 샘플링 능력을 이용하여 데이터의 불균형을 해결할 수 있는 효과가 있는 것이다.

Description

생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법{Data imbalance solution method using Generative adversarial network}
본 발명은 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법에 관한 것으로, 더욱 자세하게는 데이터의 반복적인 생성을 통하여 불균형을 해소할 수 있는 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법에 관한 것이다.
오늘날 인공지능(AI)의 발달은 끝없이 진행되고 있으며, 최근 들어 GAN(Generative Adversarial Network), 우리 말로 생성적 대립 신경망(또는 네트워크)이라고 불리는 연구에 대해서도 끊임없는 기술이 개발되고 있다.
상기 생성적 대립 신경망(또는 네트워크)이라는 이름처럼 두 신경망 모델의 대립과 이로 인한 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 모델은‘생성자(Generator)’와‘감별자(Discriminator)'로 부르는 상반된 목적을 갖고 있다.
생성자는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성하는데, 결국은 실제에 가까운 거짓 데이터를 생성하는 것이 목적이다.
그리고, 감별자는 생성자가 내놓은 데이터가 실제인지 거짓인지 판별하도록 학습한다. 생성자의 거짓 데이터에 놀아나지 않는 게 목적이다.
GAN의 발명자인 이안 굿펠로우는 생성자(Generator)를 위조지폐범에, 감별자(Discriminator)를 경찰에 비유했다. 예로서, 생성자는 감별자를 속이지 못한 데이터를, 감별자는 생성자에게 속은 데이터를 입력받아 학습한다. 이러한 과정이 반복되면서 위조지폐가 정교해지듯 점점 더 실제에 가까운 거짓 데이터를 만들 수 있게 되는 셈이다.
도 1a는 상기 GAN의 학습과정의 원리를 나타낸 도면이고, 도 1b는 GAN의 개념을 도식화한 도면이다. 도 1a와 도 1b에 도시된 대로, G(Generator)가 D(Discriminator)를 속일수 있는 더욱 사실적인 이미지를 만들려고 시도하는 동안, 상기 D는 G가 생성한 이미지를 진짜 이미지로부터 구별하기 위하여 지속적으로 매개변수를 조정한다. 게임이론적 관점에서 이들 네트워크들은 제로섬 게임에서 서로 경쟁하는 것이다.
지난 2014년 GAN 논문이 처음 발표된 뒤로 다양한 후속 연구가 발표되고 있다. 학계에서 GAN이 차세대 딥러닝 알고리즘으로 주목받는 이유는 기존 지도 학습 방식에서 벗어나 비지도 학습의 초석을 다졌기 때문이다. 대부분의 AI 연구는 지도 학습 방식으로 사람이 정답을 알려주는 방식의 학습이다. 해당 이미지가 고양이인지, 개인지 태그를 달아주는 등 AI가 학습할 수 있는 방식으로 데이터를 가공하는 과정이 필요하다. AI의 세계 뒤에선 데이터에 일일이 라벨을 붙여주는 인간의 수작업이 벌어지고 있는 것이다.
이처럼 지도 학습 방식의 한계는 대량의 데이터를 정제 과정 없이 처리할 수 없다는 점과 이 과정에서 인간의 개입이 필요하다는 점이다. 반면에, GAN은 인간이 정답을 알려주지 않아도 경쟁 과정 속에 스스로 학습한다. 대량 데이터를 AI 스스로 학습하기 때문에 파급 효과가 더 크며, 특히 생성모델을 통하여 직접 이미지나 음성을 만들어낸다는 점에서 다른 지도 학습형 알고리즘과 크게 차별화된다.
이러한 발전과 응용을 거듭하고 있는 상기 GAN(생성적 대립 네트워크)은 본 발명에서와 같이 샘플링(Sampling)을 수행하여 새로운 데이터 집합을 만들고 이의 앙상블을 구성하는 방식을 적용하여 데이터의 불균형 문제를 해결하는 데 사용한 기술의 개발은 아직까지 이루어지지 않은게 현실이다.
대한민국 특허공개 제2001-0087974호 대한민국 특허공개 제2007-0067484호 대한민국 특허공개 제2018-0130511호
따라서, 본 발명은 GAN의 학습(Learning)과 샘플링(Sampling), 그리고 스태킹(Stacking)을 반복함으로써 더욱 진일보된 샘플링 효과를 낼 수 있는 생성모델을 학습하고, 전체적으로는 GAN 기반 동형 앙상블(homogeneous ensemble)을 제공하고자 하는데 있다.
또한, 이러한 생성적 대립 네트워크(GAN)의 샘플링 능력을 데이터의 불균형 문제를 해결하는 데 이용하는 것을 목적으로 하는 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법을 제공하고자 하는데 있다.
이러한 목적을 달성하기 위하여 본 발명은 GAN(생성적 대립 네트워크)를 이용한 데이터의 불균형 해결방법에 있어서, GAN(생성적 대립 네트워크)의 학습, 샘플링, 스태킹(stacking)의 순서로 반복하여 상기 GAN기반 동형 앙상블(homogeneous ensemble) 학습모델을 구성하는 것을 특징으로 한다.
또한, 상기 학습의 과정은 데이터(X)-> 감별자(D) -> 생성자(G)의 순서를 반복하여 이루어지는 것을 특징으로 한다.
또한, 상기 GAN기반 동형 앙상블(homogeneous ensemble) 학습모델은 배깅(bagging) 앙상블 알고리즘 또는 부스팅(boosting) 앙상블 알고리즘 중에서 선택되는 어느 하나를 이용하여 수행되는 것을 특징으로 한다.
그리고, 상기 배깅 앙상블 알고리즘은
Figure pat00001
인 것을 특징으로 한다.
따라서, 본 발명은 생성적 대립 네트워크(GAN)의 샘플링(Sampling) 능력을 이용하여 데이터의 불균형을 해결할 수 있어 회사 부도 예측 등과 같은 데이터를 구하기 힘든 사안의 문제점을 해소할 수 있는 효과가 있다.
도 1a는 GAN의 학습과정의 원리를 나타낸 도면.
도 1b는 GAN의 개념을 도식화한 도면.
도 2는 배깅(bagging) 알고리즘에 관하여 나타낸 사진.
도 3은 본 발명에서의 GAN의 반복 알고리즘을 나타내는 도면.
도 4는 신경 네트워크인 G와 D를 이용하여 새로운 데이터(T)를 생성해내는 것을 나타낸 다이아그램.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
참고로, 명세서에서 나오는 용어인 '학습'은 일반적으로 사용되는 학문을 배우고 익힌다는 의미가 아니고, 절차에 따른 컴퓨팅(computing)을 통하여 머신러닝(mdachine learning)을 수행함을 일컫는 용어라는 점을 미리 밝혀두고자 한다.
먼저, 본 발명을 설명하기에 앞서 명세서에서 자주 등장하는 GAN(Generative Adversarial Network: 생성적 대립 네트워크 또는 생성적 대립 신경망)에 대하여 자세히 설명하기로 한다.
생성적 대립 네트워크(GAN : Generative adversarial network)는 현재 생성 모델 네트워크에서 뿐만 아니라 전체 머신러닝 분야에서 가장 주목받는 모델 중에 하나이다. 상기 GAN(생성적 대립 네트워크)은 주로 심층신경망(deep neutral network) 구조를 사용하는 인공지능(AI) 알고리즘의 일종으로, 딥 러닝(deep learning) 기술인 GAN 기술은 사람의 눈에 매우 사실적으로 보이며 현실적인 특성을 지닌 이미지를 생성하도록 도와준다.
사진과 거의 동일할 정도로 정교한 이미지는 현재 신발, 가방 또는 컴퓨터 게임 장면 등 다양한 산업디자인 분야에서 사용된다. 상기 GAN은 동영상의 모션 패턴을 모델링하거나 이미지에서 물체의 3D 모델을 재구성하고 천문학적 이미지를 만들어내기도 한다.
또한, GAN은 우선 난수(亂數: random number)를 취해 이미지를 반환한다. 이미지들은 실제 데이터 세트에서 파생된 정보로 구성되어 상기 이미지는 감별자(discriminator)로 보내지며, 상기 감별자는 실제 이미지와 가짜 이미지를 모두 가져와 확률을 계산한다.
상기 GAN의 근본이 되는 신경망을 응용한 기술인 심층 신경망 학습기술인 딥 러닝은 인공신경망의 계보를 잇는 기술로서, 대부분의 머신러닝(machine learning)에 사용되는 상기 심층 신경망은 다양한 예시를 가진다. 최근의 GAN 기술은 고비용과 많은 시간을 들이는 문제를 해결하기 위해 새로운 학습기술의 개발이 제안되고 있다.
따라서, 본 발명은 상기 GAN의 샘플링 능력을 응용하여 데이터의 불균형 문제를 해소하기 위한 것을 소개하고자 한다. 본 발명이 해결하고자 하는 문제를 이해하기 위해 먼저, 데이터의 불균형이 초래하는 문제점들을 설명하고자 한다.
데이터 불균형은 머신러닝 및 딥러닝 분야에서 분류기(classifier)의 학습이 제대로 되지 않는 문제를 초래한다. 예를 들어, 시스템에 대해 해커나 크래커가 침입하는 것을 자동으로 판단하는 침입 탐지 시스템의 경우를 보면 침입 상황의 데이터보다 정상적인 상황의 데이터가 훨씬 많다는 것은 상식적으로 알 수 있다. 비슷한 경우로, 적의 비행기를 판별하기 위한 레이더(radar) 탐지를 봐도 아군 비행기의 데이터는 얻기 쉬우나 적 비행기의 데이터는 얻기 어렵다. 이렇게 한 쪽 데이터를 얻기 어려운 경우, 데이터의 개수에 있어 불균형한 상황이 발생한다.
예를 들어, 침입 데이터는 10개 미만인데, 정상 데이터는 10,000 개 또는 백만 개가 넘을 수도 있다. 이러한 경우, 대부분의 머신러닝 및 딥러닝 알고리즘들은 제대로 작동하지 않는다. 단순하고 극단적인 예를 보자면 침입 데이터가 10개, 정상 데이터가 9,990개이면 모든 데이터에 대해서 정상이라고 주장하는 분류기도 9,990/(10 + 9,990)=99.9%의 정확도를 가지게 된다.
따라서, 한 쪽 카테고리의 데이터가 심하게 불균형한 경우, 기존의 머신러닝/딥러닝 알고리즘은 제대로 학습을 수행하지 않게 된다. 이러한 문제를 해결하기 위한 방법으로, (1) 비용기반 분류(cost-based classification)를 학습하는 방법, (2) 샘플링(sampling), (3) 그리고 데이터 불균형을 감안하는 학습 알고리즘을 설계하는 방안들이 제시되고 있다.
상기 비용 기반 분류방법은 침입 데이터와 같이 소수 카테고리(minority category)의 데이터들에 대해 더 높은 비용을 제시하는 방법이다. 예를 들어 정상적인 상황을 침입 상황으로 오분류하는 것보다, 침입 상황을 정상적인 상황으로 오분류하는 것이 훨씬 심각하다.
그리고, 상기 샘플링 기법은 상대적으로 다수인 카테고리의 데이터의 수를 줄이는 언더 샘플링(under-sampling)과 상대적으로 소수인 카테고리의 데이터의 수를 늘리는 오버 샘플링(over-sampling) 등이 있다.
마지막으로, 데이터 불균형을 그대로 인식하면서 학습을 수행하도록 학습 알고리즘을 개선하는 방안이 있다. 본 발명에서는 GAN을 이용하여 상대적으로 소수인 카테고리의 데이터의 수를 늘리는 오버 샘플링(over-sampling)을 수행하고 보다 견고한 학습을 위해 앙상블을 구성하는 방안을 제시하는 것이다.
이하에서는 도면을 참조하여 본 발명에 의한 생성적 대립 네트워크(GAN)를 이용한 데이터의 불균형 해결방법을 설명하고자 한다.
도 2는 배깅(bagging) 알고리즘에 관하여 나타낸 사진이고, 도 3은 본 발명에서의 GAN의 반복 알고리즘을 나타내는 도면이고, 도 4는 신경 네트워크인 G와 D를 이용하여 새로운 데이터(T1 ~ T4)를 생성해내는 것을 나타낸 다이아그램이다.
우선 본 명세서에 등장하는 용어인 배깅(bagging)에 대하여 도면을 참조하여 설명하기로 한다.
배깅(bagging)은 bootstrap aggregating의 준말로서, 훈련용 데이터 집합으로부터 같은 크기의 표본을 여러번 단순 확률 반복추출하여 각각에 대해 분류기(classifier)를 생성하고, 이렇게 생성된 분류기들의 결과를 종합하여 의사결정을 내리는 방법이다.
상기 배깅은 예측 모형의 변동성이 큰 경우 이를 감소시키기 위하여 사용된다. 즉, 원래 자료로부터 여러차례의 복원 샘플링을 통해 예측모형의 분산을 줄여줌으로서 예측모형의 정확도를 향상시키는 방법이다.
본 발명에서는 GAN의 샘플링 능력을 데이터 불균형 문제를 해결하는 데 사용하고자 하는 것으로 생성자를 하나만 만드는 것이 아니라, GAN의 학습(Learning)을 통해 하나의 G(생성자)와 D(감별자)를 만들어 내면, 여기서 G를 이용하여 샘플링(Sampling)을 수행하여 새로운 데이터 집합을 만든다.
그리고, 새로운 데이터 집합을 통해 새로운 G와 D를 만들고, 이러한 것들을 계속 스태킹(Stacking) 반복하는 것이다. 이를 통해, 더 나은 샘플링 효과를 낼 수 있는 생성모델을 학습하고, 전체적으로 GAN 기반 동형 앙상블(homogeneous ensemble)을 생성시키고자 한다. 참고로, 상기 생성자(G)는 복수의 컨볼루션(convolution) 계층을 포함하는 인코더(encoder) 및 복수의 디컨볼루션 계층을 포함하는 디코더(decoder)로 구성되며, 상기 감별자(D)는 복수의 디컨볼루션(deconvolution) 계층 및 시그모이드(sigmoid)를 포함하는 인코더로 구성된 것을 특징으로 한다.
본 발명에 의한 GAN(생성적 대립 네트워크)를 이용한 데이터의 불균형 해결방법은 도 3에 도시된 대로, GAN(생성적 대립 네트워크)의 학습(Learning), 샘플링(Sampling), 스태킹(Stacking)의 순서로 반복하여 상기 GAN기반 동형 앙상블(homogeneous ensemble) 학습모델을 구성하는 것으로 이루어지는 데 이를 설명하기로 한다.
기본적으로 GAN 모델은 대립 모델로 생성자(generator: G)와 감별자(discriminator: D) 간의 경쟁을 통해 내쉬 균형(Nash Equilibrium)을 찾는 방안이다. 내쉬 균형을 이루면 생성자인 상기 G를 통해 해당 도메인의 데이터 X를 생성하는 샘플링을 수행할 수 있는 것이다. 이렇게 새로 학습된 G가 생성하는 샘플들과 기존의 샘플들을 기반으로 새로운 감별자 D를 학습할 수 있다. 이러한 학습 과정은 반복하면 다음과 같이 나타낼 수 있다.
X1->D1->G1->X2->D2->G2->X3->D3->G3 (1)
따라서, 상기 학습의 과정은 데이터(X) -> 감별자(D) -> 생성자(G)의 순서를 반복하여 여러번 이루어지는 것이다. 이러한 순서로 여러 개의 분류기(classifier)들을 구성할 수 있다.
이러한 여러 개의 분류기를 하나의 앙상블로 구성할 수 있는 데, 생성된 감별자들(discriminator) D1,D2,D3,D4...와 생성된 데이터 집합들 X1,X2,X3,X4...의 가중치(weight) 조정을 통해 부스팅(boosting) 및 배깅(bagging)의 앙상블 모델을 구성할 수 있는 것이다. 앙상블 모델(ensemble model)은 여러개의 모델 결과를 조합하여 더 좋은 예측성능을 얻기 위한 모델구조를 의미한다.
도 4는 상기 앙상블 모델의 예를 나타내는 도면인데, 이를 참조하면 트레이닝 데이터인 T1을 모방하여 신경망 G1이 T2를 만들어내고, 상기 T1과 T2는 신경망 D1을 생성하며, 또 다른 신경망 G2는 T2를 모방하여 T3를 만들며, 상기 T2와 T3는 신경망 D2를 생성하며, 다른 신경망 G3는 T3를 모방하여 T4를 만들며, 상기 T3와 T4는 D3를 생성하여 자꾸 반복되도록 하여 더욱 좋은 아웃풋이 현출되도록 하는 것이다.
또한, GAN기반 동형 앙상블(homogeneous ensemble) 학습 알고리즘은 배깅(bagging) 앙상블 알고리즘 또는 부스팅(boosting) 앙상블 알고리즘 중에서 선택되는 어느 하나를 이용한다. 상기 배깅 앙상블 알고리즘과 상기 부스팅 앙상블 알고리즘은 어떠한 일정 학습데이터를 샘플링하여 다양한 학습데이터를 생성하며, 하나의 학습 알고리즘을 적용하여 다양한 분류기(classifier)를 생성한다.
따라서, 다양한 분류기의 예측결과를 결합함으로서, 단일 분류기보다 신뢰성이 높은 예측이 가능한 것이다.
예로서 배깅의 경우, 이하와 같이 GAN 배깅 알고리즘을 구성할 수 있다.
Figure pat00002
(용어의 설명: argminG은 생성자(G)의 최소값, argmaxD은 감별자(D)의 최대값, t는 생성할 배깅 앙상블이 가지는 분류기의 갯수, GANt는 t번째 반복에서 생성되는 GAN신경망, V(G,D)는 G(생성자)와 D(구별자)를 입력변수로 하는 손해 함수, x는 신경망에 주어진 실제 이미지 또는 실제 데이터, z는 무작위로 만들어 내는 잡음(노이즈), E는 평균값)
상기 알고리즘에서 GANt는 t 번째 반복에서 생성되는 GAN 신경망을 가리키며, 하나의 상기 GANt는 판별자 (D)와 생성자 (G)를 가진다. 알고리즘의 세 번째 줄의 V(G,D)는 G와 D를 입력 변수로 하는 손해 함수(loss function)이다.
즉, 세 번째 줄의 의미는 손해 함수 V(G,D)의 값을 최대화하는 D와 최소화시키는 G를 찾으면, 찾아낸 그 두 신경망 G와 D가 하나의 GAN을 이룬다는 의미이다.
네 번째와 다섯번째줄의
Figure pat00003
는 손해 함수를 풀어 쓴 것이다. 첫 번째 항
Figure pat00004
값은 판별자 D에 대한 것으로, 주어진 실제 이미지 또는 실제 데이터 x를 판별자가 잘 판별해 낼 경우 D(x) 값이 커진다.
즉, 판별자 D는 데이터 x를 입력받아서 그것이 특정한 부류(category)에 속하는지를 판별한다. 판별한 결과는 0과 1 사이의 값이다. 주어진 데이터가 진짜 데이터이면 D는 1을 출력하고 가짜 데이터이면 D는 0을 출력한다.
D(x)의 값이 0과 1 사이로 정규화(normalized)되어 있기 때문에 단순히 수치적으로 다루기 편하도록 log 함수를 앞에 붙인 것이다. 여기서, 입력 이미지나 실제 데이터인 x는 무작위로 만들어지는 데이터가 아니고 예를 들면 사람의 얼굴 이미지, 침입탐지 데이터, 기업 부실 데이터 등의 특정한 패턴을 가지는 데이터이므로, 이 x가 특정한 분포로부터 온다고 가정할 수 있다.
이를
Figure pat00005
에서
Figure pat00006
로 나타내는 것이다.
Figure pat00007
의 의미는 x가
Figure pat00008
라는 분포를 따라서 만들어진다는 뜻이다. 마지막으로 맨 앞의 E는 여러 개의 데이터를 적용한 평균값(Expectation)을 나타낸다.
손해함수
Figure pat00009
에서 두번째 식인
Figure pat00010
도 비슷하게 해석할 수 있다. 여기서, E는 평균이고, log는 D 값이 0과 1 사이이므로 이를 수치적으로 잘 다루기 위한 점이라는 것은 동일하다.
그리고, z는 무작위로 만들어 내는 잡음이다. 이 잡음도 무작위라는 분포가 있으므로
Figure pat00011
로 나타낸다. 잡음 z가 무작위 분포인
Figure pat00012
를 따라 만들어진다는 의미이다.
이렇게 만들어진 잡음은 G(z)를 통해 특정 이미지 또는 데이터 (예를 들어 얼굴 이미지, 침입 탐지 데이터, 기업 부실데이터)로 만들어진다. 즉, 생성자 G는 잡음 z를 입력받고 특정 데이터(또는 이미지)를 출력하는 것이 G(z)인 것이다.
판별자 D는 생성자 G가 생성한 데이터가 진짜인지 가짜인지를 구별해 본다. 생성자 G가 생성한 데이터는 사실은 가짜이므로 D는 0을 출력해야 한다.
즉, D(G(z))는 0이거나 0에 가까운 값이어야 한다. 그러나, 생성자 G가 생성한 데이터가 진짜와 매우 흡사하다면, D는 제대로 판별을 못해서, D(G(z))는 1이나 1에 가까운 값이 된다. 두 번째 항을 보면
Figure pat00013
이므로 G가 만든 데이터가 조악해서 D가 가짜라고 판별을 하면
Figure pat00014
는 1-0이 돼서 손해 함수 값이 커지고, G가 데이터를 잘 만들면 D(G(z))가 1에 가까워지므로 1-1이 돼서 손해 함수 값이 매우 작아진다.
손해함수를 최소화하는 G를 찾는 것이므로(argmin G), 두 번째 항
Figure pat00015
에 따르면 G는 데이터를 잘 만들어야 한다.
또한, 손해 함수를 최대화하는 D를 찾는 것(argmax D)이므로 첫 번째 항
Figure pat00016
과 두 번째 항
Figure pat00017
에서 D는 판별을 잘해야 하는 것이다.
상기와 같은 배깅 알고리즘 방식은 균일한 확률분포에 따라 학습 데이터로부터 반복적으로 샘플링하여 각 기본 분류기의 학습데이터를 생성하고 상기 학습데이터를 이용하여 각 기본 분류기를 학습할 수 있으며, 나중에 미지의 데이터가 제공된다면 그 데이터를 학습된 기본 분류기에 입력하고 각 분류기의 판단결과를 얻을수 있는데, 최종 판단의 경우에 다수결로도 이루어질 수 있다.
상기와 같이 생성된 앙상블의 성능 평가를 위해 데이터 불균형 문제의 경우에 응용할 수 있다. 이와 관련된 사례로 부도예측 및 침입탐지 시스템의 문제에 적용하고자 한다.
상기 부도예측 문제는 부도과정에서 제반 법적비용의 발생, 매출 감소, 영업활동의 마비 등 직, 간접적인 피해가 엄청나게 크기 때문에 기업에 대한 부도예측은 다양한 이해관계자들의 중요한 실무적 관심사이다.
그러나, 이러한 부도 관련 데이터는 건전한 회사의 데이터들은 구하기 쉬운 반면에 부도 회사의 데이터는 구하기 매우 어렵다.
또한, 상기 침입탐지 시스템의 경우, 이미 알려진 공격 패턴들을 단순히 분류하는 오용 탐지(misuse detection)가 아닌, 시스템에 대한 원치 않는 조작을 탐지하기 위해 사용자의 각종 비정상적이거나 악의적인 행동을 찾아내는 비정상 탐지(anomaly detection)를 기반으로 작업을 수행한다.
상기와 같은 침입탐지 시스템의 관련 데이터는 더욱 심각한 데, 일반적으로 정상 데이터의 분량이 전체 데이터의 99~ 100%에 달하고, 나머지 0~ 1% 정도만이 비정상 데이터인 경우가 많다. 이와 같은 비정상 데이터는 그만큼 얻기 어려우므로, 데이터의 불균형 또는 불일치 문제는 어려운 응용 사례인 것이다. GAN의 우수한 특성 중 하나는, 이러한 데이터 불균형 문제를 G(생성기)의 데이터 생성을 통해 해소시켜 준다.
GAN의 결과 구성물을 계층적으로 학습하고 이를 앙상블로 구성하는 방안은, 사회경제적으로 상당한 파급 효과를 불러올 것이다. 이는 감별자(D)의 정확도를 높이는 측면 뿐만 아니라, 생성자(G)의 앙상블 구성을 통해 데이터 생성 능력을 높이는 측면도 산업계에서의 니드(need)가 매우 크기 때문이다.
예를 들어, 현재 가장 딥러닝이 치열하게 실행되는 산업 분야 중 하나로 메디컬 이미징이 있다. 메디컬 이미징 분야 중 특히 폐암이나 유방암, 그리고 암세포 등을 자동으로 판별하는 분야는 활발한 연구가 이루어지고 있다. 그러나 이러한 비정상 데이터는 쉽게 얻을 수 없기 때문에 매우 중요하고, 데이터의 레이블링 비용이 매우 비싸다.
따라서 메디컬 이미징의 폐암, 유방암, 침입탐지의 침입 데이터, 부도 예측의 부도 데이터 등과 같이 특정 소수 카테고리(minority category)에 속해 있는 새로운 데이터의 생성은 많은 경제적 가능성을 제시할 수 있다.
다른 예로 감별자(D)의 앙상블 구성을 통한 정확도 성능 향상도 산업계 전반에 걸쳐 상당한 파급효과를 불러올 것이다. 데이터로부터 정확한 함수를 모델링할 수 있다는 것의 강점은 단순히 컴퓨터 분야 뿐만 아니라 산업계 전반에 영향을 미칠 수 있다. 예를 들어 컴퓨터 공학과 관련이 없는 환경공학 분야에서 미세먼지의 경우, 대기질 모델링 시스템은 기상 모델, 배출량 모델, 그리고 대기질 모델을 사용한다. 최근의 연구를 보면 심층 신경망을 사용하는 대기질 모델이 기존의 가장 우수한 모델로 알려진 3차원 광화학 대기질 모델인 CMAQ(Community Multi-scale Air Quality Model)의 성능을 추월한 것으로 알려졌다.
앞에서 언급했지만, 부도 관련 데이터를 생성하거나 발굴하는 것이나 기업의 부실은 발생빈도가 매우 희귀한 사건으로 특정 전문 신용평가기관은 국내 외부감사 법인의 장기평균 부도율을 약 3~ 5% 수준으로 예상하고 있다.
또한, 앞에서 언급한 침입탐지 시스템의 경우에도 이미 알려진 공격 패턴들을 단순히 분류하는 오용탐지(misuse detection)가 아닌, 시스템에 대한 원치 않는 조작을 탐지하기 위하여 사용자의 각종 비정상적이거나 악의적인 행동을 찾아내는 비정상 탐지(anomaly detection)를 기반으로 작업을 수행한다. 침입탐지 관련 데이터에서도 이러한 실제 침입 데이터를 구하기가 상당히 어렵다.
그러나, 상기와 같이 설명한 내용과 같이 본 발명에 의한 GAN의 특별한 특성 중 하나는 이러한 데이터의 불균형 문제를 G의 데이터 생성을 통해 해소시켜 주는 우수한 효과가 있는 것이다.
이상에서와 같이, 상기 서술한 내용은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (4)

  1. GAN(생성적 대립 네트워크)를 이용한 데이터의 불균형 해결방법에 있어서,
    GAN(생성적 대립 네트워크)의 학습, 샘플링, 스태킹(stacking)의 순서로 반복하여 상기 GAN기반 동형 앙상블(homogeneous ensemble) 학습모델을 구성하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법.
  2. 제1항에 있어서,
    상기 학습의 과정은 데이터(X)-> 감별자(D) -> 생성자(G)의 순서를 반복하여 이루어지는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법.
  3. 제1항에 있어서,
    상기 GAN기반 동형 앙상블(homogeneous ensemble) 학습모델은 배깅(bagging) 앙상블 알고리즘 또는 부스팅(boosting) 앙상블 알고리즘 중에서 선택되는 어느 하나를 이용하여 수행되는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법.
  4. 제3항에 있어서,
    상기 배깅 앙상블 알고리즘은
    Figure pat00018
    인 것을 특징으로 하는 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법.
    (용어의 설명 : t는 생성할 배깅 앙상블이 가지는 분류기의 갯수, GANt는 t번째 반복에서 생성되는 GAN신경망, argminG은 생성자(G)의 최소값, argmaxD은 감별자(D)의 최대값, V(G,D)는 G(생성자)와 D(구별자)를 입력변수로 하는 손해 함수, x는 신경망에 주어진 실제 이미지 또는 실제 데이터, z는 무작위로 만들어 내는 잡음, E는 평균값)


KR1020190012374A 2019-01-31 2019-01-31 컴퓨터 네트워크 시스템의 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법 KR102284356B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190012374A KR102284356B1 (ko) 2019-01-31 2019-01-31 컴퓨터 네트워크 시스템의 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190012374A KR102284356B1 (ko) 2019-01-31 2019-01-31 컴퓨터 네트워크 시스템의 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법

Publications (2)

Publication Number Publication Date
KR20200094938A true KR20200094938A (ko) 2020-08-10
KR102284356B1 KR102284356B1 (ko) 2021-08-02

Family

ID=72049296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190012374A KR102284356B1 (ko) 2019-01-31 2019-01-31 컴퓨터 네트워크 시스템의 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법

Country Status (1)

Country Link
KR (1) KR102284356B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022035237A1 (ko) * 2020-08-11 2022-02-17 (주)휴톰 수술 도구 및 장기 인식 학습 훈련을 위한 학습 데이터 수집 장치 및 방법
KR20220021423A (ko) * 2020-08-11 2022-02-22 (주)휴톰 수술 도구 및 장기 인식 학습 훈련을 위한 학습 데이터 수집 장치 및 방법
CN116155630A (zh) * 2023-04-21 2023-05-23 北京邮电大学 恶意流量识别方法及相关设备
WO2023224302A1 (ko) * 2022-05-17 2023-11-23 계명대학교 산학협력단 Gan을 활용한 디지털병리 염색 복원 장치 및 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087974A (ko) 2000-03-09 2001-09-26 백승헌 네트워크를 기반으로 한 3차원 이미지 생성 시스템 및 그방법
KR20070067484A (ko) 2005-12-23 2007-06-28 삼성전자주식회사 무선 네트워크 기능을 갖는 복합 화상 형성 장치 및 그복합 화상 형성 장치에서의 이미지 데이터 처리 방법
KR20100083765A (ko) * 2007-08-17 2010-07-22 인스티튜트 포 에너지테크니크 가스 방출의 경험적 앙상블 기반 가상 감지를 위한 시스템 및 방법
KR20130063565A (ko) * 2011-12-07 2013-06-17 조윤진 언라벨데이터를 이용한 앙상블 형태의 데이터마이닝 모형 구축장치 및 그 방법
KR20150069424A (ko) * 2013-12-13 2015-06-23 건국대학교 산학협력단 하둡 기반의 대용량 불균형 데이터 분류분석 시스템 및 방법
US20160092789A1 (en) * 2014-09-29 2016-03-31 International Business Machines Corporation Category Oversampling for Imbalanced Machine Learning
KR101848321B1 (ko) * 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR101843066B1 (ko) * 2017-08-23 2018-05-15 주식회사 뷰노 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치
JP2018097807A (ja) * 2016-12-16 2018-06-21 株式会社デンソーアイティーラボラトリ 学習装置
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR20180130511A (ko) 2016-03-09 2018-12-07 에코너스 인코퍼레이티드 인공지능 네트워크를 이용한 초음파 이미지 인식 시스템 및 방법
KR101926404B1 (ko) * 2018-04-27 2018-12-07 남정우 인공지능을 이용한 온라인 쇼핑몰에서의 프로모션 이미지 수정 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087974A (ko) 2000-03-09 2001-09-26 백승헌 네트워크를 기반으로 한 3차원 이미지 생성 시스템 및 그방법
KR20070067484A (ko) 2005-12-23 2007-06-28 삼성전자주식회사 무선 네트워크 기능을 갖는 복합 화상 형성 장치 및 그복합 화상 형성 장치에서의 이미지 데이터 처리 방법
KR20100083765A (ko) * 2007-08-17 2010-07-22 인스티튜트 포 에너지테크니크 가스 방출의 경험적 앙상블 기반 가상 감지를 위한 시스템 및 방법
KR20130063565A (ko) * 2011-12-07 2013-06-17 조윤진 언라벨데이터를 이용한 앙상블 형태의 데이터마이닝 모형 구축장치 및 그 방법
KR20150069424A (ko) * 2013-12-13 2015-06-23 건국대학교 산학협력단 하둡 기반의 대용량 불균형 데이터 분류분석 시스템 및 방법
US20160092789A1 (en) * 2014-09-29 2016-03-31 International Business Machines Corporation Category Oversampling for Imbalanced Machine Learning
KR20180130511A (ko) 2016-03-09 2018-12-07 에코너스 인코퍼레이티드 인공지능 네트워크를 이용한 초음파 이미지 인식 시스템 및 방법
JP2018097807A (ja) * 2016-12-16 2018-06-21 株式会社デンソーアイティーラボラトリ 学習装置
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR101843066B1 (ko) * 2017-08-23 2018-05-15 주식회사 뷰노 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치
KR101848321B1 (ko) * 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR101926404B1 (ko) * 2018-04-27 2018-12-07 남정우 인공지능을 이용한 온라인 쇼핑몰에서의 프로모션 이미지 수정 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Ian J 외 4인, Generative Adversarial Nets, cornell university, 2014.06.10 *
Zhang et al. Metagan An adversarial approach to few shot learning. NIPS, 2018년 12월 8일, pp. 2365-2374. 1부. *
김경민외 2인, 불균형 데이터 처리를 위한 과표본화 기반 앙상블 학습 기법, 정보과학회 컴퓨팅의 실제 논문지, 한국정보과학회, 20(10), 2014.10, 549-554(6 pages) *
손민재 외 2인, Conditional GAN 을 활용한 오버샘플링 기법, 한국정보처리학회, 2018 추계학술발표대회 논문집 제25권, 2018.11* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022035237A1 (ko) * 2020-08-11 2022-02-17 (주)휴톰 수술 도구 및 장기 인식 학습 훈련을 위한 학습 데이터 수집 장치 및 방법
KR20220021423A (ko) * 2020-08-11 2022-02-22 (주)휴톰 수술 도구 및 장기 인식 학습 훈련을 위한 학습 데이터 수집 장치 및 방법
WO2023224302A1 (ko) * 2022-05-17 2023-11-23 계명대학교 산학협력단 Gan을 활용한 디지털병리 염색 복원 장치 및 방법
CN116155630A (zh) * 2023-04-21 2023-05-23 北京邮电大学 恶意流量识别方法及相关设备
CN116155630B (zh) * 2023-04-21 2023-07-04 北京邮电大学 恶意流量识别方法及相关设备

Also Published As

Publication number Publication date
KR102284356B1 (ko) 2021-08-02

Similar Documents

Publication Publication Date Title
Pan et al. Recent progress on generative adversarial networks (GANs): A survey
KR20200094938A (ko) 생성적 대립 네트워크를 이용한 데이터의 불균형 해결방법
CN101290660A (zh) 一种用于行人检测的树状组合分类方法
Hada et al. Sparse oblique decision trees: A tool to understand and manipulate neural net features
CN112801297A (zh) 一种基于条件变分自编码器的机器学习模型对抗性样本生成方法
CN107194438A (zh) 一种基于多重栈式自编码的深度特征表示方法
Nida et al. Video augmentation technique for human action recognition using genetic algorithm
Fujita et al. Data augmentation using evolutionary image processing
Chen et al. Patch selection denoiser: An effective approach defending against one-pixel attacks
CN117057408A (zh) 一种基于gan的黑盒可迁移性对抗攻击方法
Baia et al. Effective universal unrestricted adversarial attacks using a MOE approach
Li et al. Defending deepfakes by saliency-aware attack
Khormali et al. Self-supervised graph Transformer for deepfake detection
Berrahal et al. A comparative analysis of fake image detection in generative adversarial networks and variational autoencoders
Zhang Sketch-to-color image with GANs
CN114638356B (zh) 一种静态权重引导的深度神经网络后门检测方法及系统
Al-Qazzaz et al. Robust deepfake face detection leveraging xception model and novel snake optimization technique
Jiao et al. Plant leaf recognition based on conditional generative adversarial nets
Ain et al. Regularized forensic efficient net: a game theory based generalized approach for video deepfakes detection
Cao et al. Incremental learning for fine-grained image recognition
Concas et al. Experimental results on multi-modal deepfake detection
Xie et al. Blind Adversarial Training: Towards Comprehensively Robust Models Against Blind Adversarial Attacks
Wang Enhanced forest microexpression recognition based on optical flow direction histogram and deep multiview network
Ren et al. Digital Visual Design Reengineering and Application Based on K-means Clustering Algorithm.
Pericherla et al. Improving adversarial images using activation maps

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190131

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210118

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210726

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210727

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210727

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240829

Start annual number: 4

End annual number: 4