KR102485303B1 - 데이터 레이블링 장치 및 방법 - Google Patents

Abstract

본 발명은 데이터 레이블링 장치 및 방법에 관한 것으로서, 보다 상세하게는 딥 러닝에 사용되는 학습 데이터를 생성하기 위한 데이터 레이블링 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따른 데이터 레이블링 장치는, 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 장치로서, 사용자의 레이블링 조건에 따라 자동으로 데이터를 1차적으로 레이블링하고, 1차적으로 레이블링된 데이터를 사용자의 처리 명령에 따라 수동으로 2차적으로 레이블링하여 학습 데이터를 생성하기 위한 처리부;를 포함한다.

Description

데이터 레이블링 장치 및 방법{APPARATUS AND MEHOD FOR LABELING DATA}

본 발명은 데이터 레이블링 장치 및 방법에 관한 것으로서, 보다 상세하게는 딥 러닝에 사용되는 학습 데이터를 생성하기 위한 데이터 레이블링 장치 및 방법에 관한 것이다.

최근, 영상 등에 나타나는 객체를 보다 정확하게 인지하기 위한 기술에 대한 연구가 이루어지고 있다.

기계 학습(machine learning)이란 인공 지능(AI; Artificial Intelligence)의 한 종류로서, 데이터를 기반으로 컴퓨터가 스스로 학습한 내용을 바탕으로 회귀(regression), 분류(classification), 군집화(clustering) 등의 예측 작업을 수행하는 것을 말한다. 딥 러닝(deep learning)은 이와 같은 머신 러닝의 한 분야이며, 인공 신경망(ANN, Artificial Neural Networks)에 기반하여 설계된다. 인공 신경망은 가상의 뉴런(neuron)을 수학적으로 모델링한 후 시뮬레이션하여 인간의 뇌와 같은 학습 능력을 갖게 하고자 하는 알고리즘으로서 객체 탐지, 인지 및 식별에 주로 사용되고 있다.

딥 러닝의 학습 과정에서는 학습 데이터를 가지고 인공 신경망 모델의 파라미터를 최적화하게 된다. 학습 데이터를 이용한 학습 과정이 수행되고 나면 최적화된 파라미터를 가지는 모델이 생성되며, 생성된 모델에 레이블링(labeling)되지 않은 데이터를 입력하면, 입력된 데이터에 상응하는 결과 값을 도출할 수 있다.

학습 데이터의 수가 많을수록 보다 정확한 예측이 가능한 모델이 형성되므로, 딥 러닝의 학습 과정에서는 많은 양의 학습 데이터가 필요하다. 그러나, 이와 같은 학습 데이터에는 각각의 데이터마다 레이블이 부여되어야 하는데, 많은 양의 학습 데이터에 각각 올바른 레이블을 부여하기 위하여는 많은 인력과 시간이 소요된다는 문제점이 있었다.

KR 10-2004-0101495 A

본 발명은 데이터를 자동으로 레이블링하는 방식과 수동으로 레이블링하는 방식을 병용하여 학습 데이터를 생성할 수 있는 데이터 레이블링 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 데이터 레이블링 장치는, 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 장치로서, 사용자의 레이블링 조건에 따라 자동으로 데이터를 1차적으로 레이블링하고, 1차적으로 레이블링된 데이터를 사용자의 처리 명령에 따라 수동으로 2차적으로 레이블링하여 학습 데이터를 생성하기 위한 처리부;를 포함한다.

한편, 본 발명의 실시 예에 따른 데이터 레이블링 장치는, 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 장치로서, 사용자로부터 레이블링 조건을 입력받기 위한 제1 인터페이스부; 사용자로부터 처리 명령을 입력받기 위한 제2 인터페이스부; 및 상기 제1 인터페이스부로부터 입력받은 레이블링 조건에 따라 데이터를 레이블링하여 제1 학습 데이터를 생성하고, 상기 제2 인터페이스부로부터 입력받은 처리 명령에 따라 상기 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성하기 위한 처리부;를 포함할 수 있다.

상기 처리부는, 신경망 모델을 사용하여 제1 학습 데이터를 생성하기 위한 데이터 생성부; 및 생성된 제2 학습 데이터를 입력받아 상기 신경망 모델을 업데이트하기 위한 업데이트부;를 포함할 수 있다.

상기 데이터 생성부는 서로 다른 방식으로 데이터에 포함된 객체를 검출하기 위한 복수 개의 검출 모델을 포함하고, 상기 제1 인터페이스부는, 상기 복수 개의 검출 모델 중 객체를 검출하기 위하여 사용될 검출 모델을 사용자로부터 선택받기 위한 검출 모델 입력부;를 포함할 수 있다.

상기 복수 개의 검출 모델은, YOLO(You Only Look Once) 알고리즘을 이용하여 객체를 검출하기 위한 제1 검출 모델; RCNN(Region Convolutional Neural Network) 알고리즘을 이용하여 객체를 검출하기 위한 제2 검출 모델; 및 SSD(Single Shot Detector) 알고리즘을 이용하여 객체를 검출하기 위한 제3 검출 모델;을 포함할 수 있다.

상기 제2 인터페이스부는, 상기 처리부로부터 생성된 제1 학습 데이터를 전시하기 위한 전시부;를 포함할 수 있다.

또한, 본 발명의 실시 예에 따른 데이터 레이블링 방법은, 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 방법으로서, 레이블링 조건을 입력하는 과정; 입력된 레이블링 조건에 따라 자동으로 데이터를 레이블링하여 제1 학습 데이터를 생성하는 과정; 처리 명령을 입력하는 과정; 및 입력된 처리 명령에 따라 수동으로 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성하는 과정;을 포함한다.

레이블링 조건을 입력하는 과정은, 데이터에 포함된 객체를 검출하기 위한 검출 모델을 선택하는 과정;을 포함할 수 있다.

검출 모델을 선택하는 과정은, YOLO(You Only Look Once) 알고리즘을 이용하여 객체를 검출하기 위한 제1 검출 모델, RCNN(Region Convolutional Neural Network) 알고리즘을 이용하여 객체를 검출하기 위한 제2 검출 모델 및 SSD(Single Shot Detector) 알고리즘을 이용하여 객체를 검출하기 위한 제3 검출 모델 중 어느 하나를 선택할 수 있다.

제1 학습 데이터를 제공하는 과정은, 자동으로 데이터를 레이블링한 레이블링 결과를 제1 학습 데이터의 파일 정보로 저장하여 제공할 수 있다.

상기 제1 학습 데이터는 영상에 나타나는 객체의 이미지를 바운딩 박스로 구분하여 표시한 데이터를 포함하고, 상기 처리 명령을 입력하는 과정은, 표시한 바운딩 박스의 위치, 크기 및 모양 중 적어도 하나를 조절하거나, 영상에 바운딩 박스를 추가하는 명령을 입력할 수 있다.

상기 영상은 적외선 영상을 포함할 수 있다.

한편, 본 발명의 실시 예에 따른 기록 매체는 전술한 데이터 레이블링 방법을 수행하기 위하여 컴퓨터 프로그램을 저장한 기록 매체일 수 있다.

본 발명의 실시 예에 따르면, 데이터를 자동으로 레이블링하는 방식과 수동으로 레이블링하는 방식을 조합하여 사용함으로써 사용자의 부담을 최소화시킴과 동시에, 검출 모듈을 이용한 획일적인 데이터 처리로 인한 오류를 방지할 수 있다.

또한, 사용자에 의하여 수정 또는 보완된 데이터에 기초하여 데이터를 자동으로 레이블링하는 방식에 사용되는 검출 모델의 성능을 향상시킴으로써 사용자의 개입을 점진적으로 감소시킬 수 있다.

도 1은 학습 데이터를 생성하기 위하여 데이터를 레이블링하는 모습을 나타내는 도면.
도 2는 본 발명의 실시 예에 따른 데이터 레이블링 장치를 개략적으로 나타내는 도면.
도 3은 본 발명의 실시 예에 따른 제1 인터페이스부의 모습을 나타내는 도면.
도 4는 본 발명의 실시 예에 따른 제2 인터페이스부의 모습을 나타내는 도면.
도 5는 본 발명의 실시 예에 따른 데이터 레이블링 방법을 개략적으로 나타내는 도면.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 발명을 상세하게 설명하기 위해 도면은 과장되어 도시될 수 있으며, 도면상에서 동일 부호는 동일한 요소를 지칭한다.

도 1은 학습 데이터를 생성하기 위하여 데이터를 레이블링하는 모습을 나타내는 도면이다.

레이블링(labeling)은 기계 학습(machine learning)을 위한 학습 데이터를 생성하기 위하여 수행되는 과정으로서, 학습 데이터에, 예를 들어 지도 학습(supervised learning)을 위한 지도 정보(supervised information)를 추가하는 일련의 과정을 의미할 수 있다.

예를 들어, 레이블링은 학습용 영상에 포함된 객체의 위치를 나타내는 영역 정보 및 지정된 영역에 포함된 객체에 대한 정보를 포함할 수 있으나, 이에 제한되는 것은 아니며, 텍스트, 음성 등의 데이터에 대하여도 다양하게 적용될 수 있음은 물론이다.

이러한 레이블링은 사용자의 수작업으로 수행되는 경우가 많으며, 사용자가 직접 영역을 지정하고, 지정된 영역에 속하는 객체에 대한 정보를 입력하는 방식 혹은 컴퓨터가 자동으로 객체의 영역을 식별한 후, 사람이 해당 영역에 속하는 객체에 대한 정보를 입력하는 방식으로 수행될 수 있다.

그런데, 도 1에 도시된 바와 같이 사용자가 10개의 바운딩 박스(B)(bounding box)를 이용하여 객체를 레이블링하기 위하여는 최소 5분 이상의 시간이 소요된다. 하나의 이미지(I)를 레이블링하는데 5분의 시간은 짧다고도 볼 수 있으나, 하나의 이미지 내에 많은 수의 객체가 포함되는 경우, 객체를 레이블링하기 위한 이미지의 개수가 매우 많은 경우 등에는 레이블링을 위하여 소요되는 시간이 기하 급수적으로 증가하게 된다.

또한, 객체를 레이블링하기 위하여 프로그래밍된 검출 모델을 이용하여 컴퓨터가 자동으로 레이블링을 수행하는 경우에는 레이블링을 위하여 소요되는 시간은 획기적으로 단축시킬 수 있으나 정형화된 검출 모델에 의한 획일적인 데이터 처리로 인하여 레이블링에 빈번한 오류가 발생하게 된다.

이에, 이하에서 설명되는 본 발명의 실시 예는 데이터를 자동으로 레이블링하는 방식과 수동으로 레이블링하는 방식을 병용하여 학습 데이터를 생성함으로써 사용자의 부담을 최소화시킴과 동시에, 검출 모듈을 이용한 획일적인 데이터 처리로 인한 오류를 방지할 수 있는 기술적 특징을 제공한다.

도 2는 본 발명의 실시 예에 따른 데이터 레이블링 장치를 개략적으로 나타내는 도면이다. 또한, 도 3은 본 발명의 실시 예에 따른 제1 인터페이스부의 모습을 나타내는 도면이고, 도 4는 본 발명의 실시 예에 따른 제2 인터페이스부의 모습을 나타내는 도면이다.

도 2 내지 도 4를 참조하면, 본 발명의 실시 예에 따른 데이터 레이블링 장치는 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 장치로서, 사용자의 레이블링 조건에 따라 자동으로 데이터를 1차적으로 레이블링하고, 1차적으로 레이블링된 데이터를 사용자의 처리 명령에 따라 수동으로 2차적으로 레이블링하여 학습 데이터를 생성하기 위한 처리부(300)를 포함한다. 여기서, 본 발명의 실시 예에 따른 데이터 레이블링 장치는 사용자로부터 레이블링 조건을 입력받기 위한 제1 인터페이스부(100), 사용자로부터 처리 명령을 입력받기 위한 제2 인터페이스부(200) 및 상기 제1 인터페이스부(100)로부터 입력받은 레이블링 조건에 따라 데이터를 레이블링하여 제1 학습 데이터를 생성하고, 상기 제2 인터페이스부(200)로부터 입력받은 처리 명령에 따라 상기 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성하기 위한 처리부(300)를 포함할 수 있다.

제1 인터페이스부(100)는 사용자로부터 레이블링 조건을 입력받는다. 이와 같은 제1 인터페이스부(100)는 사용자 화면에 그래픽 유저 인터페이스(GUI; Graphical User Interface)로 제공될 수 있다. 이때, 사용자 화면은 컴퓨터와 같은 단말 장치를 통해 표시되는 화면을 의미할 수 있으며, 사용자는 사용자 화면을 통하여 레이블링 조건을 입력하기 위한 정보를 확인하고, 해당 레이블링 조건에 따라 데이터를 자동으로 레이블링하기 위한 수행 명령을 내리게 된다.

여기서, 제1 인터페이스부(100)는 데이터의 종류를 나타내는 데이터 종류 전시부(110)를 포함할 수 있다. 데이터는 학습을 위한 영상 데이터를 포함할 수 있으며, 영상 데이터 이외에도 텍스트, 음성 등의 데이터를 포함할 수 있음은 물론이다. 또한, 영상 데이터는 가시광 영상뿐만 아니라, 적외선 영상의 데이터를 포함할 수도 있다. 영상 데이터의 경우, 데이터 종류 전시부(110)는 영상 데이터가 동영상에 해당하는지 정지 영상에 해당하는지를 도 3에 도시된 바와 같이 "Video"와 "Image"로 구분하여 전시한다.

또한 제1 인터페이스부(100)는 학습을 위한 영상 데이터를 전시하기 위한 데이터 전시부(120)를 포함할 수 있다. 데이터 전시부(120)는 영상 데이터를 사용자가 식별할 수 있는 이미지로 전시하며, 정지 영상의 경우에는 해당 이미지를 전시하고, 동영상의 경우에는 재생 버튼과 함께 동영상을 전시할 수 있다.

제1 인터페이스부(100)는 복수 개의 검출 모델 중 객체를 검출하기 위하여 사용될 검출 모델을 사용자로부터 선택받기 위한 검출 모델 입력부(130)를 포함할 수 있다. 후술하는 처리부(300)는 신경망 모델을 사용하여 제1 학습 데이터를 생성하기 위한 데이터 생성부를 포함하는데, 이때 데이터 생성부는 서로 다른 방식으로 데이터에 포함된 객체를 검출하기 위한 복수 개의 검출 모델을 포함할 수 있다. 이때, 검출 모델 입력부(130)은 데이터 생성부에 포함된 복수 개의 검출 모델 중 객체를 검출하기 위하여 사용될 검출 모델을 사용자로부터 선택받게 된다. 이와 같은 검출 모델 입력부(130)는 검출 모델의 종류에 따라 도 3에 도시된 바와 같이 "YOLO", "RCNN", "SSD" 등으로 구분되어 전시될 수 있다. 물론, 검출 모델 입력부(130)는 이외의 다양한 다른 검출 모델을 전시할 수도 있음은 물론이다.

제1 인터페이스부(100)는 업데이트부를 통하여 신경망 모델을 업데이트하기 위한 설정 입력부(140)를 포함할 수 있다. 여기서, 설정 입력부(140)는 후술할 제2 학습 데이터를 이용하여 신경망 모델을 업데이트하는 것으로 기본적으로 설정되나, 데이터 생성부를 통하여 제1 학습 데이터를 생성할지 또는 업데이트부를 통하여 신경망 모델을 업데이트할지를 설정할 수 있도록 구성될 수도 있다. 즉, 후술하는 처리부(300)는 신경망 모델을 사용하여 제1 학습 데이터를 생성하기 위한 데이터 생성부 및 생성된 제2 학습 데이터를 입력받아 상기 신경망 모델을 업데이트하기 위한 업데이트부를 포함할 수 있는데, 이때, 설정 입력부(140)는 데이터 생성부를 통하여 제1 학습 데이터를 생성할지 또는 업데이트부를 통하여 신경망 모델을 업데이트할지를 사용자로부터 선택받을 수도 있다.

제1 인터페이스부(100)는 프레임 선택부(150)를 더 포함할 수 있다. 프레임 선택부(140)는 동영상 데이터를 사용하여 레이블링을 수행하는 경우 객체의 움직임과 변화량이 적은 경우 프레임을 건너뛸 수 있도록 하는 역할을 한다. 프레임 선택부(140)는 기본적으로 하나의 프레임 단위로 설정되어 있으며, 사용자의 입력에 따라 건너뛸 프레임의 개수를 선택할 수 있다.

제1 인터페이스부(100)는 형식 지정부(160)를 더 포함할 수 있다. 데이터가 자동으로 레이블링된 제1 학습 데이터는 이미지 데이터로 저장될 수 있다. 이와 같은 이미지 데이터의 저장 형식은 jpeg, png, ppm 등을 사용할 수 있으며, 형식 지정부(140)는 이와 같은 이미지 데이터의 저장 형식을 지정하는 역할을 한다.

이때, 제1 학습 데이터는 자동으로 데이터를 레이블링한 레이블링 결과를 제1 학습 데이터의 파일 정보로 저장할 수 있다. 즉, 데이터가 자동으로 레이블링된 제1 학습 데이터는 바운딩 박스(B)가 없는 이미지 데이터로 저장되고, 추후에 제2 인터페이스부(200)에 불러오기를 할 때 파일 정보를 이용하여 바운딩 박스(B) 및 객체의 정보가 표시되도록 할 수 있다.

또한, 제1 인터페이스부(100)는 도 3에 도시된 바와 같이 파일 이름을 설정하기 위한 파일 이름 설정부(170), 저장되는 파일을 단일 파일의 형태로 포맷하여 저장할지 통합 파일의 형태로 포맷하여 저장할지를 설정하기 위한 포맷 설정부(180) 및 생성된 제1 학습 데이터의 미리보기 사진(Thumbnail)을 전시하기 위한 제1 프리뷰 전시부(190) 중 적어도 하나를 더 포함할 수 있다.

제2 인터페이스부(200)는 사용자로부터 처리 명령을 입력받는다. 이와 같은 제2 인터페이스부(200)는 제1 인터페이스부(100)와 동일하게 사용자 화면에 그래픽 유저 인터페이스로 제공될 수 있다. 이때, 사용자는 사용자 화면을 통하여 제1 학습 데이터의 레이블링 결과를 확인하고, 제1 학습 데이터를 수정 또는 보완하기 위한 처리 명령을 내리게 된다.

여기서, 제2 인터페이스부(200)는 도 4에 도시된 바와 같이 제1 학습 데이터의 미리보기 사진(Thumbnail)을 전시하기 위한 제2 프리뷰 전시부(210), 레이블링되지 않은 이미지 파일의 이름과, 제1 학습 데이터 파일의 이름을 전시하고, 제2 학습 파일의 이름을 설정하기 위한 제2 학습 파일 이름 설정부(220)를 포함할 수 있다.

제2 인터페이스부(200)는 제1 학습 데이터 전시부(230)를 더 포함할 수 있다. 여기서, 제1 학습 데이터 전시부(230)는 제1 학습 데이터를 사용자가 식별할 수 있는 이미지로 전시할 수 있다.

여기서, 사용자는 제1 학습 데이터 전시부(230)를 통하여 제1 학습 데이터에 포함된 바운딩 박스(B)를 확인하고, 사용자가 원하지 않는 결과에 대하여 삭제를 할 수 있다. 이는 제1 학습 데이터 전시부(230)에서 표시된 바운딩 박스(B)를 클릭하고, (-) 버튼(270)을 눌러 수행될 수 있다.

반면, 사용자의 예상과 다르게 원하는 위치에 바운딩 박스(B)가 없다면 바운딩 박스(B)를 추가할 수도 있음은 물론이다. 이는, 바운딩 박스 선택부(240)에서 원하는 바운딩 박스(B)의 모양을 선택하고, 선택된 바운딩 박스(B)를 제1 학습 데이터 전시부(230)에 표시한 후 (+) 버튼(260)을 눌러 수행될 수 있다.

사용자는 모든 수정 사항을 반영하였다면 (↓) 버튼(290)을 이용하여 제2 학습 데이터 파일을 생성할 수 있다. 이와 같이 생성된 제2 학습 데이터 파일은 딥 러닝의 학습 과정에 사용되거나, 전술한 바와 같이 처리부(300)의 업데이트부를 통하여 신경망 모델을 업데이트하는데 사용된다.

처리부(300)는 먼저, 제1 인터페이스부(100)로부터 입력받은 레이블링 조건에 따라 데이터를 레이블링하여 제1 학습 데이터를 생성한다. 이후, 제1 학습 데이터가 생성되면, 제2 인터페이스부(200)로부터 입력받은 처리 명령에 따라 상기 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성한다.

이와 같은, 처리부(300)는 서로 다른 방식의 신경망 모델을 사용하여 제1 학습 데이터를 생성하기 위한 데이터 생성부 및 생성된 제2 학습 데이터를 입력받아 상기 신경망 모델을 업데이트하기 위한 업데이트부를 포함할 수 있으며, 복수 개의 검출 모델은, YOLO(You Only Look Once) 알고리즘을 이용하여 객체를 검출하기 위한 제1 검출 모델, RCNN(Region Convolutional Neural Network) 알고리즘을 이용하여 객체를 검출하기 위한 제2 검출 모델 및 SSD(Single Shot Detector) 알고리즘을 이용하여 객체를 검출하기 위한 제3 검출 모델 등을 포함할 수 있다. 처리부(300)는 이외에도 다양한 검출 모델을 포함할 수 있음은 물론이다.

여기서, YOLO 알고리즘은 각 이미지를 S×S 개의 그리드로 분할하고, 그리드의 신뢰도를 계산한다. 신뢰도는 그리드 내 객체 인식시 정확성을 반영하며, 처음에는 객체 인식과는 동떨어진 경계 상자가 설정되지만, 신뢰도를 계산하여 경계 상자의 위치를 조정함으로써, 가장 높은 객체 인식 정확성을 가지는 경계 상자를 얻을 수 있다.

또한, RCNN 알고리즘은 객체 분류에 필요한 바운딩 박스(B)의 수를 줄일 수 있다. RCNN 알고리즘은 선택적 검색을 위해, 질감, 강도, 컬러, insideness 등의 로컬 정보를 사용할 수 있다.

한편, SSD 알고리즘은 객체 검출 속도 및 정확도 사이의 균형이 있는 알고리즘이다. SSD 알고리즘은 한번만 입력 이미지에 대한 CNN(Convolutional Neural Network))을 실행하고 형상 맵(feature map)을 계산한다. 경계 상자 및 객체 분류 확률을 예측하기 위해 이 형상 맵을 3×3 크기로 CNN을 수행한다. SSD는 CNN처리 후 경계 상자를 예측하며, SSD 알고리즘은 다양한 스케일의 물체를 검출 할 수 있다.

이하에서, 본 발명의 실시 예에 따른 데이터 레이블링 방법을 보다 상세히 설명하기로 한다. 본 발명의 실시 예에 따른 데이터 레이블링 방법은 전술한 데이터 레이블링 장치에 의하여 수행될 수 있으므로, 본 발명의 실시 예에 따른 데이터 레이블링 방법을 설명함에 있어서 데이터 레이블링 장치와 관련하여 전술한 내용과 중복되는 설명은 생략하기로 한다.

도 5는 본 발명의 실시 예에 따른 데이터 레이블링 방법을 개략적으로 나타내는 도면이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 데이터 레이블링 방법은 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 방법으로서, 레이블링 조건을 입력하는 과정(S100), 입력된 레이블링 조건에 따라 자동으로 데이터를 레이블링하여 제1 학습 데이터를 생성하는 과정(S200), 처리 명령을 입력하는 과정(S300) 및 입력된 처리 명령에 따라 수동으로 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성하는 과정(S400)을 포함한다.

레이블링 조건을 입력하는 과정(S100)은 제1 인터페이스부(100)를 통하여 사용자로부터 레이블링 조건을 입력받는다. 이와 같은 제1 인터페이스부(100)는 사용자 화면에 그래픽 유저 인터페이스(GUI; Graphical User Interface)로 제공될 수 있다. 이때, 사용자 화면은 컴퓨터와 같은 단말 장치를 통해 표시되는 화면을 의미할 수 있으며, 사용자는 사용자 화면을 통하여 레이블링 조건을 입력하기 위한 정보를 확인하고, 해당 레이블링 조건에 따라 데이터를 자동으로 레이블링하기 위한 수행 명령을 내리게 된다.

여기서, 레이블링 조건을 입력하는 과정(S100)은, 데이터에 포함된 객체를 검출하기 위한 검출 모델을 선택하는 과정을 포함할 수 있다. 전술한 바와 같이, 처리부(300)는 서로 다른 방식의 신경망 모델을 사용하여 제1 학습 데이터를 생성하기 위한 데이터 생성부 및 생성된 제2 학습 데이터를 입력받아 상기 신경망 모델을 업데이트하기 위한 업데이트부를 포함할 수 있으며, 복수 개의 검출 모델은, YOLO(You Only Look Once) 알고리즘을 이용하여 객체를 검출하기 위한 제1 검출 모델, RCNN(Region Convolutional Neural Network) 알고리즘을 이용하여 객체를 검출하기 위한 제2 검출 모델 및 SSD(Single Shot Detector) 알고리즘을 이용하여 객체를 검출하기 위한 제3 검출 모델을 포함할 수 있다. 이때, 레이블링 조건을 입력하는 과정(S100)은, 데이터에 포함된 객체를 검출하기 위한 검출 모델을 제1 검출 모델, 제2 검출 모델 및 제3 검출 모델 중에서 선택할 수 있다.

또한, 레이블링 조건을 입력하는 과정(S100)은, 검출 모델을 이용하여 제1 학습 데이터를 생성하는 제1 모드와 이전에 생성된 제2 학습 데이터에 의하여 상기 검출 모델을 업데이트하는 제2 모드 중 어느 하나를 선택하는 과정을 포함할 수 있다. 즉, 제1 인터페이스부(100)는 데이터 생성부를 통하여 제1 학습 데이터를 생성할지 또는 업데이트부를 통하여 신경망 모델을 업데이트할지를 설정하기 위한 설정 입력부(140)를 포함할 수 있다. 후술하는 처리부(300)는 신경망 모델을 사용하여 제1 학습 데이터를 생성하기 위한 데이터 생성부 및 생성된 제2 학습 데이터를 입력받아 상기 신경망 모델을 업데이트하기 위한 업데이트부를 포함할 수 있는데, 이때, 레이블링 조건을 입력하는 과정(S100)은 데이터 생성부를 통하여 제1 학습 데이터를 생성할지 또는 업데이트부를 통하여 신경망 모델을 업데이트할지를 사용자로부터 선택받도록 구성될 수도 있다.

제1 학습 데이터를 생성하는 과정(S200)은, 입력된 레이블링 조건에 따라 자동으로 데이터를 레이블링하여 제1 학습 데이터를 생성한다. 이는 처리부(300)에 의하여 수행되며, 처리부(300)는 제1 인터페이스부(100)로부터 입력받은 레이블링 조건에 따라 데이터를 레이블링하여 제1 학습 데이터를 생성한다.

이때, 제1 학습 데이터를 생성하는 과정(S200)에서는 자동으로 데이터를 레이블링한 레이블링 결과를 제1 학습 데이터의 파일 정보로 저장하여 제공할 수 있다. 즉, 데이터가 자동으로 레이블링된 제1 학습 데이터는 바운딩 박스(B)가 없는 이미지 데이터로 저장되고, 추후에 제2 인터페이스부(200)에 불러오기를 할 때 파일 정보를 이용하여 바운딩 박스(B) 및 객체의 정보가 표시되도록 할 수 있다.

처리 명령을 입력하는 과정(S300)은, 사용자에 의하여 수동으로 제1 학습 데이터를 수정 또는 보완한다. 여기서, 제2 인터페이스부(200)는 사용자로부터 처리 명령을 입력받는다. 이와 같은 제2 인터페이스부(200)는 제1 인터페이스부(100)와 동일하게 사용자 화면에 그래픽 유저 인터페이스로 제공될 수 있다. 이때, 사용자는 사용자 화면을 통하여 제1 학습 데이터의 레이블링 결과를 확인하고, 표시한 바운딩 박스(B)의 위치, 크기 및 모양 중 적어도 하나를 조절하거나, 영상에 바운딩 박스를 추가하는 명령을 입력하는 등 제1 학습 데이터를 수정 또는 보완하기 위한 처리 명령을 내리게 된다.

제2 학습 데이터를 생성하는 과정(S400)은 입력된 처리 명령에 따라 수동으로 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성한다.

예를 들어, 제2 인터페이스부(200)에서는 제1 학습 데이터에 포함된 바운딩 박스(B)를 확인하고, 사용자가 원하지 않는 결과에 대하여 삭제를 할 수 있다. 이는 제2 인터페이스부(200)에 전시된 제1 학습 데이터 전시부(230)에서 표시된 바운딩 박스(B)를 클릭하고, (-) 버튼(270)을 눌러 수행될 수 있다.

반면, 사용자의 예상과 다르게 원하는 위치에 바운딩 박스(B)가 없다면 바운딩 박스(B)를 추가할 수도 있음은 물론이다. 이는, 바운딩 박스 선택부(240)에서 원하는 바운딩 박스(B)의 모양을 선택하고, 선택된 바운딩 박스(B)를 제1 학습 데이터 전시부(230)에 표시한 후 (+) 버튼(260)을 눌러 수행될 수 있다.

사용자는 모든 수정 사항을 반영하였다면 (↓) 버튼(290)을 이용하여 제2 학습 데이터 파일을 생성할 수 있다. 이와 같이 생성된 제2 학습 데이터 파일은 딥 러닝의 학습 과정에 사용되거나, 전술한 바와 같이 처리부(300)의 업데이트부를 통하여 신경망 모델을 업데이트하는데 사용된다.

한편, 본 발명의 실시 예에 따른 데이터 레이블링 방법은 상기의 방법을 수행하게 하는 컴퓨터 프로그램을 저장한 기록 매체에도 적용될 수 있다.

즉, 본 발명의 실시 예에 따른 데이터 레이블링 방법은 기록 매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록 매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터 간에 연결된 네트워크를 통해 전송될 수도 있다.

이와 같이, 본 발명의 실시 예에 따르면, 데이터를 자동으로 레이블링하는 방식과 수동으로 레이블링하는 방식을 조합하여 사용함으로써 사용자의 부담을 최소화시킴과 동시에, 검출 모듈을 이용한 획일적인 데이터 처리로 인한 오류를 방지할 수 있다.

또한, 사용자에 의하여 수정 또는 보완된 데이터에 기초하여 데이터를 자동으로 레이블링하는 방식에 사용되는 검출 모델을 업데이트시킴으로써 사용자의 개입을 점진적으로 감소시킬 수 있다.

상기에서, 본 발명의 바람직한 실시 예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이며, 본 발명의 실시 예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시 예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안 되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

100: 제1 인터페이스부 200: 제2 인터페이스부
300: 처리부

Claims (13)

1. 삭제
2. 딥 러닝을 위한 학습 데이터를 생성하기 위한 데이터 레이블링 장치로서,
   사용자로부터 레이블링 조건을 입력받기 위한 제1 인터페이스부;
   사용자로부터 처리 명령을 입력받기 위한 제2 인터페이스부; 및
   상기 제1 인터페이스부로부터 입력받은 레이블링 조건에 따라 데이터를 레이블링하여 제1 학습 데이터를 생성하고, 상기 제2 인터페이스부로부터 입력받은 처리 명령에 따라 상기 제1 학습 데이터를 수정 또는 보완하여 제2 학습 데이터를 생성하기 위한 처리부;를 포함하고,
   상기 제1 인터페이스부는,
   데이터의 종류가 정지 영상인지 동영상인지를 구분하여 전시하기 위한 데이터 종류 전시부; 및
   데이터의 종류가 정지 영상인 경우 상기 정지 영상을 전시하고, 동영상 데이터인 경우 재생 버튼과 함께 동영상을 전시하는 데이터 전시부;를 포함하고,
   상기 제1 학습 데이터는, 정지 영상 또는 동영상에 나타나는 객체의 이미지를 바운딩 박스로 구분하여 표시한 데이터를 포함하고,
   상기 제2 인터페이스부는,
   상기 제1 학습 데이터에 추가할 바운딩 박스의 모양을 선택하기 위한 바운딩 박스 선택부; 및
   상기 제1 학습 데이터에 상기 바운딩 박스 선택부로부터 선택된 모양의 바운딩 박스를 추가하여 상기 제2 학습 데이터를 생성하기 위한 버튼부;를 포함하고,
   상기 처리부는,
   신경망 모델을 사용하여 상기 제1 학습 데이터를 생성하기 위한 데이터 생성부; 및
   상기 제1 학습 데이터를 수정 또는 보완하여 생성된 제2 학습 데이터를 입력받아 상기 신경망 모델을 업데이트하기 위한 업데이트부;를 포함하며,
   상기 제1 인터페이스부는,
   상기 데이터 생성부를 통하여 제1 학습 데이터를 생성할지 또는 상기 업데이트부를 통하여 상기 제2 학습데이터로 상기 신경망 모델을 업데이트할지를 선택하기 위한 설정 입력부;를 더 포함하는 데이터 레이블링 장치.
3. 삭제
4. 청구항 2에 있어서,
   상기 데이터 생성부는 서로 다른 방식으로 데이터에 포함된 객체를 검출하기 위한 복수 개의 검출 모델을 포함하고,
   상기 제1 인터페이스부는, 상기 복수 개의 검출 모델 중 객체를 검출하기 위하여 사용될 검출 모델을 사용자로부터 선택받기 위한 검출 모델 입력부;를 포함하는 데이터 레이블링 장치.
5. 청구항 4에 있어서,
   상기 복수 개의 검출 모델은,
   YOLO(You Only Look Once) 알고리즘을 이용하여 객체를 검출하기 위한 제1 검출 모델;
   RCNN(Region Convolutional Neural Network) 알고리즘을 이용하여 객체를 검출하기 위한 제2 검출 모델; 및
   SSD(Single Shot Detector) 알고리즘을 이용하여 객체를 검출하기 위한 제3 검출 모델;을 포함하는 데이터 레이블링 장치.
6. 청구항 2에 있어서,
   상기 제2 인터페이스부는,
   상기 처리부로부터 생성된 제1 학습 데이터를 전시하기 위한 학습 데이터 전시부;를 포함하는 데이터 레이블링 장치.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제

Images