KR102405168B1 - 데이터 셋 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 - Google Patents

Abstract

실시예는 데이터 셋 생성 장치에서 수행되는 데이터 셋 생성 방법에 있어서, 서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계와, 상기 제1 이미지들의 특징을 추출하는 단계와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계와, 상기 대표 이미지들에 대해 상기 특징 정보가 변환된 제2 이미지들을 생성하는 단계와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계를 포함할 수 있다.

Description

데이터 셋 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램{METHOD AND APPARATUS FOR GENERATING OF DATA SET, COMPUTER-READABLE STORAGE MEDIUM AND COMPUTER PROGRAM}

실시예는 데이터의 분류 정확도를 향상시키기 위한 데이터 셋 생성 방법에 관한 것이다.

일반적으로, 딥러닝(deep learning)은 분류(classification)하고 물체를 탐지(object detection)함에 있어서 인간을 능가할 정도의 성능으로 발전해왔다. 딥러닝은 학습을 통해 물체 탐지 등의 목표를 수행하게 되는데, 이때 입력으로 들어오는 이미지가 학습 결과에 큰영향을 미친다.

학습 이미지를 구성하고 있는 물체와 배경 모두 학습에 중요한 역할을 하기 때문에 클래스별 물체의 수에 불균형이 심해지거나 배경의 불균형이 심한 경우에 학습에 영향을 주어서 목표수행의 결과에 성능하락을 주는 편향이 생길 수 있게 된다. 예를 들어, 차량 탐지기를 학습할 때, 흰색의 차량만 학습이미지에 들어가게 된다면 딥러닝 모델은 흰색의 물체를 보고 차량으로 잘못 탐지할 확률이 높아지게 된다.

배경의 불균형에서도 마찬가지인데, 만약 차량 이미지의 배경이 모두 검정색 아스팔트 위에 있었다면 차량이 녹색 풀밭 위에 있는 경우에는 차량이 아니라고 잘못 탐지할 확률이 높아지는 편향이 생기게 되어 전체적인 성능하락을 야기하게 된다. 이는 자율주행이나 군사적인 목표 등으로 딥러닝을 사용하게 될 때 조금의 잘못된 판단도 큰 문제를 야기시키게 된다.

상술한 문제점을 해결하기 위해, 실시예는 물체의 분류 성능을 향상시키기 위한 입력 데이터 셋을 생성하기 위한 데이터 셋 생성 방법 및 장치를 제공하는 것을 그 목적으로 한다.

실시예는 데이터 셋 생성 장치에서 수행되는 데이터 셋 생성 방법에 있어서, 서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계와, 상기 제1 이미지들의 특징을 추출하는 단계와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계와, 상기 대표 이미지들에 대해 상기 특징 정보가 변환된 제2 이미지들을 생성하는 단계와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계를 포함할 수 있다.

상기 군집화하는 단계는, t-SNE 기법을 이용하여 상기 제1 이미지들을 영역 별로 군집화할 수 있다.

상기 대표 이미지들을 추출하는 단계는, PCA 기법을 이용하여 상기 군집 영역 내의 제1 이미지들의 상대적인 거리의 평균값을 측정하고, 상기 평균값이 임계값 미만인 이미지들을 대표 이미지로 추출할 수 있다.

상기 각각의 군집 영역에서 추출된 대표 이미지들의 개수는 동일할 수 있다.

또한, 실시예에 따른 데이터 셋 생성 장치는 데이터 셋 생성을 위한 제어 프로그램이 저장된 메모리와, 상기 메모리에 저장된 제어 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 서로 다른 정보를 가지는 제1 이미지들을 수집하고, 상기 제1 이미지들의 특징을 추출하고, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하고, 각각의 군집 영역에서 대표 이미지들을 추출하고, 상기 대표 이미지들에 대해 상기 특징 정보가 변환된 제2 이미지들을 생성하고, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성할 수 있다.

상기 프로세서는, t-SNE 기법을 이용하여 상기 제1 이미지들을 영역 별로 군집화할 수 있다.

상기 프로세서는, PCA 기법을 이용하여 상기 군집 영역 내의 제1 이미지들의 상대적인 거리의 평균값을 측정하고, 상기 평균값이 임계값 미만인 이미지들을 대표 이미지로 추출할 수 있다.

상기 각각의 군집 영역에서 추출된 대표 이미지들의 개수는 동일할 수 있다.

또한, 실시예는 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계와, 상기 제1 이미지들의 특징을 추출하는 단계와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계와, 상기 추출된 대표 이미지들에 대해 상기 특징 정보가 변환된 제2 이미지들을 생성하는 단계와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계를 포함하는 동작을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

또한, 실시예는 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계와, 상기 제1 이미지들의 특징을 추출하는 단계와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계와, 상기 대표 이미지들에 대해 상기 특징 정보가 변환된 제2 이미지들을 생성하는 단계와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계를 포함하는 동작을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

실시예는 제1 이미지들로부터 스타일 변환된 제2 이미지들을 이용하여 데이터 셋을 생성함으로써, 물체에 대해 분류 성능이 향상된 모델을 개발할 수 있는 효과가 있다.

또한, 실시예는 실제 데이터를 추가로 수집하거나 라벨링하는 작업을 하는 추가적인 노동없이 딥러닝 모델의 학습 성능 향상에 도움이 되도록 불균형 데이터셋을 개선할 수 있는 효과가 있다.

도 1은 실시예에 따른 데이터 셋 생성 방법을 나타낸 순서도이다.
도 2는 제1 이미지들의 종류를 나타낸 도면이다.
도 3은 제1 이미지들로 군집화한 모습을 나타낸 도면이다.
도 4는 대표 이미지들을 제2 이미지로 변환된 모습을 나타낸 도면이다.
도 5는 제1 이미지들과 제2 이미지들을 이용하여 군집화한 모습을 나타낸 도면이다.
도 6은 실시예에 따른 데이터 셋을 이용하여 군집화된 모습을 나타낸 도면이다.
도 7은 실시예에 따라 생성된 데이터 셋의 분포도와 딥러닝 모델의 성능 데이터를 나타낸 도면이다.
도 8은 실시예에 따른 데이터 셋 생성 장치를 나타낸 블록도이다.

이하, 도면을 참조하여 실시예를 상세히 설명하기로 한다.

도 1은 실시예에 따른 데이터 셋 생성 방법을 나타낸 순서도이고, 도 2는 제1 이미지들의 종류를 나타낸 도면이고, 도 3은 제1 이미지들로 군집화한 모습을 나타낸 도면이고, 도 4는 대표 이미지들을 제2 이미지로 변환된 모습을 나타낸 도면이고, 도 5는 제1 이미지들과 제2 이미지들을 이용하여 군집화한 모습을 나타낸 도면이고, 도 6은 실시예에 따른 데이터 셋을 이용하여 군집화된 모습을 나타낸 도면이고, 도 7은 실시예에 따라 생성된 데이터 셋의 분포도와 딥러닝 모델의 성능 데이터를 나타낸 도면이다.

도 1을 참조하면, 실시예에 따른 데이터 셋 생성 방법은 서로 다른 특징 정보를 가지는 제1 이미지들을 수집하는 단계(S100)와, 상기 제1 이미지들의 특징을 추출하는 단계(S200)와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계(S300)와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계(S400)와, 상기 추출된 대표 이미지들의 특징 정보가 변환된 제2 이미지들을 생성하는 단계(S500)와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계(S600)를 포함할 수 있다.

단계(S100)는 서로 다른 특징 정보를 가지는 복수의 제1 이미지들을 수집할 수 있다. 도 2에 도시된 바와 같이, 제1 이미지들은 물체와 배경 이미지를 포함할 수 있다. 예컨대, 복수의 제1 이미지들은 물체의 종류가 상이하거나, 배경이 상이하거나, 물체를 바라보는 방향이 상이하거나 물체가 가지는 색감이 상이할 수 있으나, 이에 한정되지 않는다.

예컨대, 도 2a에 도시된 바와 같이, 제1 이미지들은 물체(100)와 들판 배경(200)을 가지는 이미지이거나 도 2b에 도시된 바와 같이, 물체와 사막 배경을 가지는 이미지이거나 도 2c에 도시된 바와 같이, 물체와 눈 배경을 가지는 이미지일 수 있으나, 이에 한정되지 않는다.

단계(S200)는 임의의 딥러닝 네트워크에 전이 학습(Transfer Learning)하여 이미지들의 특징을 추출할 수 있다. 여기서, 특징은 물체, 배경, 색감 등을 포함할 수 있으나, 이에 한정되지 않는다.

단계(S300)는 단계(S200)에서 추출된 특징들을 기초로 제1 이미지들을 영역별로 군집화할 수 있다. 여기서, 특징은 물체, 배경, 색감 등 다양한 특징을 포함할 수 있으나, 편의상 특징이 배경인 것을 일 예로 들어 설명한다.

단계(S300)는 t-분포 확률적 임베딩(t-distributed Stochastic Nearest Neighbor, t-SNE) 기법을 이용하여 제1 이미지들을 군집화할 수 있다.

t-SNE 기법은 데이터의 차원 축소에 사용되는 기계학습 알고리즘 중 하나일 수 있다. t-SNE는 비선형 차원 축소 기법으로, 고차원 데이터를 2,3차원 등으로 줄여 가시화하는데 유용하게 사용될 수 있다. t-SNE 알고리즘은 각 데이터 쌍에 대하여 결합 분포를 만드는데, 이 분포는 비슷한 데이터가 선택될 확률이 매우 높지만 다른 데이터끼리는 선택될 확률이 매우 낮도록 설계되어 있다. 따라서, 비슷한 데이터는 2,3차원의 근접한 지점으로 서로 다른 데이터는 멀리 떨어진 지점으로 군집화해줄 수 있다.

도 3에 도시된 바와 같이, 특징 중 배경 정보를 기초로 제1 군집 영역(A1), 제2 군집 영역(A2), 제3 군집 영역(A3)으로 제1 이미지들이 군집되어 있는 것을 알 수 있다. 여기서, 군집 영역의 개수는 한정되지 않는다. 도 3에 도시된 바와 같이, 데이터의 분포도의 불균형은 좋지 않은 것을 알 수 있다.

단계(S400)는 제1 군집 영역, 제2 군집 영역 및 제3 군집 영역에서의 대표 이미지들을 추출할 수 있다. 대표 이미지들은 주성분 분석(Principal Component Analysis, PCA) 기법을 이용하여 추출할 수 있다.

PCA 기법은 고차원의 데이터를 저차원의 데이터로 환원시키는 기법으로, 서로 연관 가능성이 있는 고차원 공간의 표본들을 선형 연관성이 없는 저차원 공간의 표본으로 변환시키기 위해 직교 변환을 사용할 수 있다.

주성분의 차원수는 원래 표본의 차원수보다 작거나 같다. PCA 기법은 데이터를 한 개의 축으로 사상시켰을 때 그 분산이 가장 커지는 축을 첫번째 주성분, 두번째로 커지는 축을 두 번째 주성분으로 놓이도록 새로운 좌표계로 데이터를 선형 변환해서 차원을 축소시킬 수 있다. 분산이 큰 값은 표본의 차이를 가장 잘 나타낼 수 있는 성분일 수 있다.

따라서, PCA 기법을 이용하여 군집 영역 내의 상대적인 거리의 평균값을 측정하고, 평균값이 임계값 미만인 이미지들을 대표 이미지로 추출할 수 있다. 여기서, 평균값이 임계값 이상이면 데이터가 군집으로부터 멀리 떨어져 있으며, 평균값이 임계값 미만이면 데이터가 군집으로부터 가까운 거리에 있을 수 있다.

대표 이미지들은 군집으로부터 가까운 거리에 있는 이미지들을 차례대로 추출하게 되면 일정 개수의 이미지들을 추출할 수 있게 된다.

제1 군집 영역, 제2 군집 영역 및 제3 군집 영역에서의 대표 이미지들을 동일한 개수로 추출될 수 있다.

단계(S500)는 대표 이미지들의 스타일을 변환시킬 수 있다. 예컨대, 대표 이미지들을 이전 단계에서 추출된 특징 정보 예컨대, 배경 정보를 반영하여 변환된 제2 이미지들을 생성할 수 있다.

도 4에 도시된 바와 같이, 제1 군집 영역에서 추출된 대표 이미지(IM1)는 사막, 눈 배경 정보를 가지는 제2 이미지들(IM1-1)로 변환시킬 수 있다. 제2 군집 영역에서 추출된 대표 이미지(IM2)는 들판, 눈 배경 정보를 가지는 제2 이미지들(IM2-1)로 변환시킬 수 있다. 제3 군집 영역에서 추출된 대표 이미지(IM3)는 들판, 사막 재경 정보를 가지는 제2 이미지들(IM3-1)로 변환시킬 수 있다. 각 군집 영역에서 변환된 제2 이미지들은 동일한 개수를 가질 수 있다.

도 5에 도시된 바와 같이, 제2 이미지들은 각 군집(AA1, AA2, AA3) 별로 균일하게 분포되어 있는 것을 알 수 있다. 또한, 군집 내에서도 특정 클래스에 치우져지지 않고 균일하게 분포되어 있는 것을 알 수 있다.

단계(S600)는 제1 이미지들과 제2 이미지들을 이용하여 새로운 데이터 셋을 생성할 수 있다. 앞서 설명한 바와 같이, 제1 이미지들을 기존의 데이터 셋이며, 제2 이미지들은 제1 이미지들로부터 스타일 변환이 수행된 데이터 셋일 수 있다.

단계(S600)는 제1 이미지들과 제2 이미지들을 딥러닝 모델을 입력으로 하여 딥러닝 모델을 학습시켜 분류 모델을 생성할 수 있게 된다.

도 6a는 제1 이미지들과 제2 이미지들을 합쳐서 생성된 데이터 셋을 이용하여 학습된 경우의 분포이고, 도 6b는 제1 이미지들을 포함하지 않고 제2 이미지들의 데이터 셋으로 학습한 경우의 분포도이다.

도 6b에 도시된 바와 같이, 주어진 데이터 셋으로 학습을 하지 않고 이전의 학습된 가중치를 사용한다면 이전의 불균형된 데이터셋을 표현하는 가중치로 분포를 표현하는 것이기 때문에 물체보다 다른 특징에 초점을 맞춰서 군집화가 일어나게 된다. 따라서, 비슷한 배경을 지니는 눈과 사막의 데이터가 정확히 군집화 되지 않고 있는 것을 볼 수 있다.

도 7에 도시된 바와 같이, 데이터 분포 그래프를 보면 실제 데이터(빨강)의 분포는 고정되어있고 가상데이터(파랑)의 분포가 스타일 변환을 통해 조금 더 실제 데이터에 가까운 분포(분홍)를 띄는 것을 볼 수 있다. 또한, 스타일 변환 데이터(stylized images)를 포함한 가상 데이터 셋으로 모델을 학습시켜서 실제데이터를 테스트하는 물체 탐지를 수행했을 때 높은 성능을 가짐을 알 수 있다. 따라서, 본 실시예에서도 스타일 변환을 분포 불균형 해소에 적절히 사용하면 상당히 효과적임을 알 수 있다.

도 8은 실시예에 따른 데이터 셋 생성 장치를 나타낸 블록도이다.

도 8에 도시된 바와 같이, 실시예에 따른 데이터 셋 생성 장치(1000)는 메모리(1100)와 프로세서(1200)를 포함할 수 있다.

메모리(1100)는 데이터 셋 생성을 위한 제어 프로그램 등 전반적인 동작을 위한 다양한 데이터가 저장될 수 있다. 구체적으로 메모리에는 데이터 셋 생성 장치에서 구동되는 다수의 응용 프로그램 데이터 셋 생성 장치의 동작을 위한 데이터 및 명령어를 저장할 수 있다.

메모리(1100)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 이에 한정되는 것은 아니다.

프로세서(1200)는 일종의 중앙처리장치로서 데이터 셋 생성을 장치의 전체 동작을 제어할 수 있다.

프로세서(1200)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 이에 한정되는 것은 아니다.

프로세서(1200)의 동작을 살펴보면 다음과 같다. 프로세서의 동작은 도 1 내지 도 7에 의해 수행되는 동작을 수행할 수 있다.

예컨대, 프로세서(1200)는 서로 다른 정보를 가지는 제1 이미지들을 수집할 수 있다.

프로세서(1200)는 임의의 딥러닝 네트워크에 전이 학습(Transfer Learning)하여 이미지들의 특징을 추출할 수 있다.

프로세서(1200)는 t-SNE 기법을 이용하여 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화할 수 있다.

프로세서(1200)는 PAC 기법을 이용하여 각각의 군집 영역에서 대표 이미지들을 추출할 수 있다.

프로세서(1200)는 대표 이미지들의 상기 특징 정보가 변환된 제2 이미지들을 생성할 수 있다.

프로세서(1200)는 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성할 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 메모리(내장 메모리 또는 외장 메모리))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다. 상기 명령이 제어부에 의해 실행될 경우, 제어부가 직접, 또는 상기 제어부의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, 비일시적은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다.

일 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계와, 상기 제1 이미지들의 특징을 추출하는 단계와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계와, 상기 대표 이미지들의 상기 특징 정보가 변환된 제2 이미지들을 생성하는 단계와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계를 수행하기 위한 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

일 실시예에 따르면, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계와, 상기 제1 이미지들의 특징을 추출하는 단계와, 상기 추출된 특징을 기초로 상기 제1 이미지들을 영역 별로 군집화하는 단계와, 각각의 군집 영역에서 대표 이미지들을 추출하는 단계와, 상기 대표 이미지들의 상기 특징 정보가 변환된 제2 이미지들을 생성하는 단계와, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 입력으로 하여 학습시키기 위한 입력 데이터 셋으로 생성하는 단계를 수행하기 위한 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 실시예의 기술적 사상으로부터 벗어나지 않는 범위 내에서 실시예는 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

1000: 데이터 셋 생성 장치
1100: 메모리
1200: 프로세서

Claims (10)

1. 데이터 셋 생성 장치에서 수행되는 데이터 셋 생성 방법에 있어서,
   서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계;
   상기 제1 이미지들의 특징을 추출하는 단계;
   상기 추출된 특징을 기초로 상기 제1 이미지들을 군집화하는 단계;
   각각의 군집에서 대표 이미지들을 추출하는 단계;
   상기 대표 이미지들 각각의 특징을 변환하여 제2 이미지들을 생성하는 단계; 및
   상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 학습시키기 위한 입력 데이터 셋으로 생성하는 단계;를 포함하고,
   상기 제2 이미지들을 생성하는 단계는,
   상기 대표 이미지들 중에서 어느 하나의 특징을, 나머지 대표 이미지들의 특징으로 변환하여 상기 제2 이미지들을 생성하는 데이터 셋 생성 방법.
2. 제1항에 있어서,
   상기 군집화하는 단계는,
   t-SNE 기법을 이용하여 상기 제1 이미지들을 군집화하는 데이터 셋 생성 방법.
3. 제1항에 있어서,
   상기 대표 이미지들을 추출하는 단계는,
   PCA 기법을 이용하여 상기 군집 내의 제1 이미지들의 상대적인 거리의 평균값을 측정하고, 상기 평균값이 임계값 미만인 이미지들을 대표 이미지로 추출하는 데이터 셋 생성 방법.
4. 제3항에 있어서,
   상기 각각의 군집에서 추출된 대표 이미지들의 개수는 동일한 데이터 셋 생성 방법.
5. 데이터 셋 생성을 위한 제어 프로그램이 저장된 메모리; 및
   상기 메모리에 저장된 제어 프로그램을 실행하는 프로세서를 포함하고,
   상기 프로세서는,
   서로 다른 정보를 가지는 제1 이미지들을 수집하고, 상기 제1 이미지들의 특징을 추출하고, 상기 추출된 특징을 기초로 상기 제1 이미지들을 군집화하고, 각각의 군집에서 대표 이미지들을 추출하고, 상기 대표 이미지들 각각의 특징을 변환하여 제2 이미지들을 생성하고, 상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델을 학습시키기 위한 입력 데이터 셋으로 생성하고,
   상기 제2 이미지들을 생성할 때, 상기 대표 이미지들 중에서 어느 하나의 특징을, 나머지 대표 이미지들의 특징으로 변환하여 상기 제2 이미지들을 생성하는 데이터 셋 생성 장치.
6. 제5항에 있어서,
   상기 프로세서는,
   t-SNE 기법을 이용하여 상기 제1 이미지들을 군집화하는 데이터 셋 생성 장치.
7. 제5항에 있어서,
   상기 프로세서는,
   PCA 기법을 이용하여 상기 군집 내의 제1 이미지들의 상대적인 거리의 평균값을 측정하고, 상기 평균값이 임계값 미만인 이미지들을 대표 이미지로 추출하는 데이터 셋 생성 장치.
8. 제7항에 있어서,
   상기 각각의 군집에서 추출된 대표 이미지들의 개수는 동일한 데이터 셋 생성 장치.
9. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
   상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
   서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계;
   상기 제1 이미지들의 특징을 추출하는 단계;
   상기 추출된 특징을 기초로 상기 제1 이미지들을 군집화하는 단계;
   각각의 군집에서 대표 이미지들을 추출하는 단계;
   상기 대표 이미지들 각각의 특징을 변환하여 제2 이미지들을 생성하는 단계; 및
   상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 학습시키기 위한 입력 데이터 셋으로 생성하는 단계;를 포함하고,
   상기 제2 이미지들을 생성하는 단계는,
   상기 대표 이미지들 중에서 어느 하나의 특징을, 나머지 대표 이미지들의 특징으로 변환하여 상기 제2 이미지들을 생성하는 단계를 포함하는 동작을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
10. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    서로 다른 정보를 가지는 제1 이미지들을 수집하는 단계;
    상기 제1 이미지들의 특징을 추출하는 단계;
    상기 추출된 특징을 기초로 상기 제1 이미지들을 군집화하는 단계;
    각각의 군집에서 대표 이미지들을 추출하는 단계;
    상기 대표 이미지들 각각의 특징을 변환하여 제2 이미지들을 생성하는 단계; 및
    상기 제1 이미지들과 상기 제2 이미지들을 딥러닝 모델에 학습시키기 위한 입력 데이터 셋으로 생성하는 단계;를 포함하고,
    상기 제2 이미지들을 생성하는 단계는,
    상기 대표 이미지들 중에서 어느 하나의 특징을, 나머지 대표 이미지들의 특징으로 변환하여 상기 제2 이미지들을 생성하는 단계를 포함하는 동작을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.

Images