KR102227906B1 - 자동 학습 데이터 생성을 통한 모델 학습 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 컴퓨터 - 제1컴퓨터라고 함 - 에 이미지를 수집하는 동작을 실행시키기 위한 이미지 크롤러(11)로서 컴퓨터 기록 매체에 저장된 상기 이미지 크롤러(11); 상기 이미지 크롤러(11)에 의해 수집된 원본 이미지들을 저장하고, 원본 이미지들에 대한 라벨 정보를 저장하는 빅데이터 클러스터(23); 컴퓨터 - 제2컴퓨터라고 함 - 에 상기 빅데이터 클러스터(23)에 저장된 원본 이미지들에 대한 카테고리 분류 및 객체 인식을 위한 라벨을 붙이는 동작을 실행시키기 위한 라벨 메이커(21)로서 컴퓨터 기록 매체에 저장된 상기 라벨 메이커(21); 및 컴퓨터 - 제3컴퓨터라고 함 - 에 라벨이 붙은 이미지를 인식하는 기계학습을 수행하는 모델을 실행시켜 학습 데이터를 생성하고, 생성한 학습 데이터를 검증하여 상기 모델을 평가하고, 평가 결과 모델을 교체할 필요가 있을 경우 모델을 변경하는 동작을 실행시키는 모델 러너(31)로서 컴퓨터 기록 매체에 저장된 상기 모델 러너(31); 를 포함하는 자동 학습 데이터 생성을 통한 모델 학습 시스템이 제공된다.

Description

자동 학습 데이터 생성을 통한 모델 학습 시스템 및 방법{Model learning system and method by automatic learning and data generation}

본 발명은 자동 학습 데이터 생성을 통한 모델 학습 시스템 및 방법에 관한 것이다.

일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.

어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열 벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(deep neural networks), 합성곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥러닝 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 우수한 성능의 응용프로그램들이 개발되고 있다.

이와 같은 콘텐츠 내에 포함되어 있는 객체를 인식하며, 태깅하는 종래의 기술로는 대한민국 공개특허 제10-2015-0079064호(자동 태깅 시스템 및 그 방법)이 있다.

본 발명의 일 실시예에 따르면 자동 학습 데이터 생성을 통한 모델 학습 시스템이 제공된다.

본 발명의 다른 실시예에 따르면 자동 학습 데이터 생성을 통한 모델 학습 방법이 제공된다.

본 발명의 일 실시예에 따르면,

컴퓨터 - 제1컴퓨터라고 함 - 에 이미지를 수집하는 동작을 실행시키기 위한 이미지 크롤러(11)로서 컴퓨터 기록 매체에 저장된 상기 이미지 크롤러(11);

상기 이미지 크롤러(11)에 의해 수집된 원본 이미지들을 저장하고, 원본 이미지들에 대한 라벨 정보를 저장하는 빅데이터 클러스터(23);

컴퓨터 - 제2컴퓨터라고 함 - 에 상기 빅데이터 클러스터(23)에 저장된 원본 이미지들의 카테고리 분류 및 객체 인식을 위한 라벨을 붙이는 동작을 실행시키기 위한 라벨 메이커(21)로서 컴퓨터 기록 매체에 저장된 상기 라벨 메이커(21); 및

컴퓨터 - 제3컴퓨터라고 함 - 에 라벨이 붙은 이미지를 인식하는 기계학습을 수행하는 모델을 실행시켜 학습 데이터를 생성하고, 생성한 학습 데이터를 검증하여 상기 모델을 평가하고, 평가 결과 모델을 교체할 필요가 있을 경우 모델을 변경하는 동작을 실행시키는 모델 러너(31)로서 컴퓨터 기록 매체에 저장된 상기 모델 러너(31); 를 포함하는 자동 학습 데이터 생성을 통한 모델 학습 시스템이 제공된다.

본 실시예에서, 상기 라벨 메이커(21)는, 또한, 제2컴퓨터에 사용자가 객체의 영역을 지정하여 라벨을 붙일 수 있는 화면을 제공하는 동작을 실행시키고, 사용자가 지정한 객체와 그러한 객체에 붙은 라벨을 서로 연관시켜서 빅데이터 클러스터(23)에 저장하는 동작을 시키는 것일 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 또한, 모델 러너(31)에 의해 실행되는 모델의 기계 학습에 의해 생성된 학습 데이터 - 객체를 인식할 수 있는 학습 데이터 - 를 이용하여 상기 화면상에 객체의 영역을 지정하는 동작을 실행시키는 것일 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 상기 화면상에서 상기 학습 데이터를 이용하여 지정된 객체의 영역을 사용자가 수정할 수 있도록 하는 상기 화면을 제공하는 동작을 실행시키고, 상기 모델 러너(31)는 제3컴퓨터에 사용자에 의해 상기 수정된 객체의 영역이 기준 이상 달라지면 상기 학습 데이터를 생성한 모델을 다른 모델로 교체하는 동작을 실행시키는 것일 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 상기 화면상에서 상기 학습 데이터를 이용하여 지정된 객체의 영역을 사용자가 수정할 수 있도록 하는 상기 화면을 제공하고, 상기 모델 러너(31)는 제3컴퓨터에 상기 수정된 객체의 영역을 이용하여 상기 객체에 대한 학습 데이터를 생성하도록 상기 모델을 실행시키는 것일 수 있다.

본 발명의 다른 실시예에 따르면,

이미지 수집 장치가 이미지를 추출하는 단계;

이미지 수집 장치에 의해 수집된 원본 이미지들을 저장하고, 원본 이미지들에 대한 라벨 정보를 빅데이터 클러스터에 저장하는 단계;

라벨 메이커(21)가, 컴퓨터 - 제1컴퓨터라고 함 - 빅데이터 클러스터(23)에 저장된 원본 이미지들의 카테고리 분류 및 객체 인식을 위한 라벨을 붙이는 라벨링 동작을 수행하는 단계;

모델이, 컴퓨터 - 제2컴퓨터라고 함 - 에 라벨이 붙은 이미지들을 인식하는 기계학습을 실행하고 학습 데이터를 생성하는 단계를 실행시키는 딥 러닝 단계; 및

모델 러너(31)가, 컴퓨터 - 제3컴퓨터라고 함 - 에 상기 모델을 평가하고, 평가 결과 모델을 교체할 필요가 있을 경우 모델을 변경하여 변경된 모델을 실행시켜 상기 기계학습을 수행하도록 하는 단계를 실행시키는 단계;를 포함하는 자동 학습 데이터 생성을 통한 모델 학습 방법이 제공될 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 또한, 제1컴퓨터에 사용자가 객체의 영역을 지정하여 라벨을 붙일 수 있는 화면을 제공하는 동작을 실행시키고, 사용자가 지정한 객체와 그러한 객체에 붙은 라벨을 서로 연관시켜서 빅데이터 클러스터(23)에 저장하는 동작을 실행시키는 것일 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 또한, 제2컴퓨터에 모델 러너(31)에 의해 실행되는 모델의 기계 학습에 의해 생성된 학습 데이터 - 객체를 인식할 수 있는 학습 데이터 - 를 이용하여 상기 화면상에 객체의 영역을 지정하는 동작을 실행시키는 것일 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 제2컴퓨터에 상기 화면상에서 상기 학습 데이터를 이용하여 지정된 객체의 영역을 사용자가 수정할 수 있도록 하는 상기 화면을 제공하는 동작을 실행시키고, 상기 모델 러너(31)는, 제3컴퓨터에 사용자에 의해 상기 수정된 객체의 영역이 기준 이상 달라지면 상기 학습 데이터를 생성한 모델을 다른 모델로 교체하는 동작을 실행시키는 것일 수 있다.

본 실시예에서, 상기 라벨 메이커(21)는, 제2컴퓨터에 상기 화면상에서 상기 학습 데이터를 이용하여 지정된 객체의 영역을 사용자가 수정할 수 있도록 하는 상기 화면을 제공하고, 상기 모델 러너(31)는, 제3컴퓨터에 상기 수정된 객체의 영역을 이용하여 상기 객체에 대한 학습 데이터를 생성하도록 상기 모델을 실행시키는 것일 수 있다.

본 발명의 하나 이상의 실시예에 따르면 라벨 메이커를 통하여 수집된 이미지의 정보 수정(메타 정보 수정, 데이터 정확도 상승)과, 이미지 수집 과정에서 자동으로 분류 및 객체 추출된 정보의 정확도를 레벨 메이커를 통하여 사용자가 보강 또는 수정할 수 있도록 함으로써 모델 학습에 사용될 데이터의 신뢰도 상승과 모델 평가가 상승되는 효과가 발휘된다.

도 1과 도 2는 본 발명의 일 실시예에 따른 자동 학습 데이터 생성을 통한 모델 학습 시스템을 설명하기 위한 도면들이다.
도 3은 본 발명의 일 실시예에 따른 라벨 메이커를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 모델 러너의 이미지 처리 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 모델 러너의 모델 교체(스위칭) 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 자동 학습 데이터 생성을 통한 모델 학습 방법을 설명하기 위한 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시 할 수 있도록 상세히 설명한다.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. 또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

본 발명에 있어서 "~상에"라 함은 대상부재의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력방향을 기준으로 상부에 위치하는 것을 의미하는 것은 아니다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

용어의 정의

소프트웨어: 컴퓨터에서 하드웨어를 움직이는 기술

하드웨어: 컴퓨터를 구성하는 유형의 장치나 기기(예: CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)

단계: 소정의 목적을 달성하기 위해 시계열적으로 연결된 일련의 처리 또는 조작

프로그램: 컴퓨터로 처리하기에 적합한 명령의 집합

프로그램 기록 매체: 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 ‘프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체’

본원 명세서에서, '컴퓨터'는 분산형 또는 집중형 컴퓨터를 포함하는 의미로 사용된다.

본원 명세서에서, '구성요소 A 및/또는 구성요소 B'라고 함은 '구성요소 A와 구성요소 B 중에서 적어도 하나'를 의미하는 것으로 사용된다.

본원 명세서에서, "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본원 명세서에서, 컴퓨터A가 프로그램 B를 포함한다고 함은, 컴퓨터A는 프로그램 B가 실행되어 제 기능(프로그램 B가 제공하는 기능)을 수행할 수 있도록 하는 소프트웨어, 프로그램, 및 하드웨어를 포함하는 것을 의미한다. 여기서, 프로그램 B의 전부 또는 일부는 컴퓨터 A 또는 컴퓨터 A와 유선 및/또는 무선으로 연결된 다른 컴퓨터에 집중 또는 분산 저장되어 있을 수 있으며, 프로그램 B가 실행될 때 컴퓨터 A에 구비된 하드웨어의 하나인 메모리에 로딩되어 제 기능을 수행한다.

본원 명세서에서, 프로그램 B가 어떤 동작 C를 한다(또는 실행한다)라고 함은, 프로그램 B가 컴퓨터 A에 동작 C를 실행시키는 것을 의미한다. 여기서, 프로그램 B는 컴퓨터 A에 포함되어 있다.

본원 명세서에서, 컴퓨터로 읽을 수 있는 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magnetic-optical media), 롬(ROM), 램(RAM) 및 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

도 1과 도 2는 본 발명의 일 실시예에 따른 자동 학습 데이터 생성을 통한 모델 학습 시스템을 설명하기 위한 도면들이다.

도 1과 도 2를 참조하면, 본 발명의 일 실시예에 따른 자동 학습 데이터 생성을 통한 모델 학습 시스템은 이미지 수집장치(10), 이미지 저장 및 라벨링 시스템(20), 딥 러닝 시스템(30), 및 검색시스템(40)을 포함한다.

이미지 수집장치(10)는 인터넷에 연결된 이미지들을 수집한다. 예를 들면, 이미지 수집장치(10)는 포털, SNS(Social Network Service), 및/또는 로컬 네트워크를 검색하여 이미지를 수집(추출)할 수 있다.

이미지 수집장치(10)는 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어를 포함하여 구성되는 컴퓨터이며, 이러한 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어는 자신의 기능(이미지 검색 및 수집)을 수행하도록 구성되어 있다. 본 실시예에서, 이미지 크롤러(10)는 이미지 수집장치(10)에 포함된 컴퓨터 기록 매체(예를 들면, 메모리 및/또는 저장장치(예를 들면, HDD, 또는 SSD)와 같은 하드웨어)에 저장되어 컴퓨터 프로세서의 제어하에 실행된다. 즉, 이미지 크롤러(10)는 이미지 수집장치(10)에 이미지를 검색 및 수집하는 동작을 실행시키는 동작을 수행한다.

이미지 저장 및 라벨링 시스템(20)은 라벨 메이커(21)와 이미지를 저장하는 빅데이터 클러스터(23)를 포함하는 컴퓨터이다. 예를 들면, 이미지 저장 및 라벨링 시스템(20)은 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어를 포함하여 구성되는 컴퓨터이며, 이러한 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어는 자신의 기능(이미지 저장 및 라벨링)을 수행하도록 구성되어 있다.

본 실시예에서, 빅데이터 클러스터(23)는 이미지 크롤러(11)에 의해 수집된 원본 이미지들을 저장하고, 원본 이미지들에 포함된 객체들에 대한 라벨 정보를 저장한다.

본 실시예에서, 라벨 메이커(21)는 빅데이터 클러스터(23)에 저장된 원본 이미지들에 포함된 카테고리 분류 및 객체 정의를 위한 라벨을 붙이는 동작을 이미지 저장 및 라벨링 시스템(20)에 실행시킬 수 있다.

딥 러닝 시스템(30)은 모델 러너(31)와 딥러닝 클러스터(35)를 포함하는 컴퓨터이다. 예를 들면, 딥 러닝 시스템(30)은 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어를 포함하여 구성되는 컴퓨터이며, 이러한 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어는 자신의 기능(모델에 대한 기계적 학습, 모델 실행, 모델 평가, 모델 교체)을 수행하도록 구성되어 있다.

딥 러닝 시스템(30)은 또한 라벨이 붙은 이미지의 카테고리 분류 및/또는 객체를 인식하는 기계학습을 수행하는 모델을 실행하여 학습 데이터를 생성하고, 생성한 학습 데이터를 검증하여 모델을 평가하고, 평가 결과 모델을 교체할 필요가 있을 경우 모델을 변경하는 동작을 수행한다.

본 실시예에서, 모델 러너(31)는 딥 러닝 시스템(30)에 라벨이 붙은 이미지의 카테고리 분류 및/또는 객체를 인식하는 기계학습을 수행하는 모델을 실행시켜 학습 데이터를 생성하고, 생성한 학습 데이터를 검증하여 모델을 평가하고, 평가 결과 모델을 교체할 필요가 있을 경우 모델을 변경하는 동작을 실행시킨다.

여기서, 모델은 카테고리 분류 및 객체 정의를 위한 기계적 학습을 수행하는 프로그램으로서, 적어도 하나 이상의 모델이 딥러닝 클러스터(35)의 임의 장소에 집중 또는 분산되어 저장되어 있거나, 또는 딥러닝 클러스(35)가 아닌 다른 임의의 컴퓨터에 집중 또는 분산되어 저장되어 있을 수 있다.

모델의 종류로는 예를 들면, Deep Belief Network, Autoencoder, Convolutional Neural Network, Recurrent Neural Network, 또는 Deep Q-Network 와 같은 것이 사용될 수 있다. 이러한 모델들은 예시적인 것으로서 이미지를 기계적인 학습을 통해서 인식하는 모델은 어떠한 것이라도 본원 발명에 사용될 수 있다.

검색시스템(40)은 이미지 검색 엔진(41)과 검색 클러스터(43)를 포함하는 컴퓨터로 구성될 수 있다. 검색시스템(40)은 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어를 포함하여 구성되는 컴퓨터이며, 이러한 컴퓨터 프로세서, 메모리, 소프트웨어, 및 하드웨어는 자신의 기능(검색의 편의를 위한 색인 작업 및 이미지 검색)을 수행하도록 구성되어 있다.

한편, 도 2에 예시적으로 도시되어 있는 것처럼, 빅데이터 클러스터(23)에 저장된 이미지를 대상으로 모델 러너(31)는 카테고리 분류 및 객체 인식을 위한 기계적 학습을 주기적으로 수행한다. 구체적으로, 모델 러너(31)는 카테고리 분류 및 객체 인식을 위한 모델을 실행시켜 학습 데이터가 생성되도록 하고, 그러한 학습 데이터를 평가하여 모델의 교환(스위칭)을 할 수 있다. 라벨 메이커(21)는 빅데이터 클러스터(23)에 저장된 이미지를 로딩(읽어서)하여 카테고리 분류 및 객체 정의를 위한 라벨을 붙이는 동작(라벨링)을 수행하고, 라벨링 동작의 결과를 로딩된 이미지에 대한 메타 정보에 반영하여 기존 메타 정보를 수정하여 빅데이터 클러스터(23)에 다시 저장한다.

이렇게 메타 정보가 수정된 이미지에 대하여 모델 러너(31)는 다시 모델을 실행시켜 카테고리 분류 및 객체 인식을 위한 학습데이터가 생성되도록 한다. 이와 같은 방식으로 주기적으로 재학습함으로써, 카테고리 분류 및 객체 인식률이 자동적으로 향상되도록 한다.

도 3은 본 발명의 일 실시예에 따른 라벨 메이커를 설명하기 위한 도면이다.

도 3을 참조하여, 본 발명의 일 실시예에 따른 라벨 메이커(21)의 동작을 설명하기로 한다.

라벨 메이커(21)는, 이미지 저장 및 라벨링 시스템(20)에 사용자가 객체의 영역을 지정하여 라벨을 붙일 수 있는 화면을 제공하는 동작을 실행시키고, 사용자가 지정한 객체와 그러한 객체에 붙은 라벨을 서로 연관시켜서 빅데이터 클러스터(23)에 저장하는 동작을 실행시키는 동작을 수행한다.

도 3을 참조하면, 오른쪽 화면상에 자전거를 탄 사람이 있고, 사람을 지정한 영역(22)와, 자전거를 지정한 영역(24)이 표시되어 있다.

설명의 목적을 위해서, 본 실시예에서 사람(22)은 이미 모델에 의해 인식되어 학습 데이터가 존재하는 객체이고, 자전거는 모델에 의해 인식되어 있지 않은 새로운 객체라고 가정한다.

라벨 메이커(21)는 이미지 저장 및 라벨링 시스템(20)에 도 3의 오른쪽에 도시된 화면(이하, '라벨링 화면')이 표시되도록 한다. 구체적으로, 라벨 메이커(21)는 이미지 저장 및 라벨링 시스템(20)에 포함되거나 또는 연결된 디스플레이 장치에, 라벨링 화면이 표시되는 동작이 수행되도록 한다.

본 실시예에서, 이미지 저장 및 라벨링 시스템(20)에 라벨 메이커(21)는 사람이라는 객체에 대한 학습 데이터를 읽어서 이미지상에 사람이라는 객체에 대한 영역을 표시하는 동작이 수행되도록 한다. 예를 들면, 도 3의 라벨링 화면을 참조하면, 사람이 직사각형의 영역(22)으로 표시되어 있음을 알 수 있다.

본 실시예에서, 이미지 저장 및 라벨링 시스템(20)에 라벨 메이커(21)는 자전거라는 객체에 대하여는 학습 데이터가 없으므로 자전거에 대하여는 이미지상에 자전거 영역을 표시할 수 없다. 다만, 사용자가 자전거의 영역을 임의로 지정할 수 있으며, 도 3의 라벨링 화면에서 도면부호 24로 표시한 영역은 사용자가 임의로 지정할 수 있다. 사용자가 객체에 대하여 임의로 지정하면, 라벨 메이커(21)는 사용자가 지정한 객체 및 그러한 객체의 영역에 대한 정보(라벨)를 메타 정보로서 저장한다. 이후, 딥 러닝 시스템(30)의 모델은 사용자가 지정한 객체 및 그러한 객체에 대한 정보인 메타 정보를 토대로, 자전거라는 객체에 대한 기계 학습을 실행한다. 실행결과, 모델은 자전거라는 객체에 대한 학습 데이터를 생성하며, 생성한 학습 데이터를 빅데이터 클러스터(23)에 저장한다. 이후, 라벨 메이커(21)는 이미지에서 그러한 학습 데이터를 이용하여 자전거를 인식하여 라벨링 화면에 자전거의 영역을 표시할 수 있다.

본 실시예에서, 상술한 바와 같이 라벨 메이커(21)는 기존의 학습 데이터를 이용하여 객체의 영역을 라벨링 화면에 표시할 수 있다. 한편, 사용자는 그러한 객체의 영역이 틀리다고 판단하면, 객체의 영역을 수정(적어도 일부 영역을 넓히거나 좁히거나 하는 방식으로) 할 수 있다. 또한, 사용자는 라벨 메이커(21)가 지정한 객체의 영역이 전혀 틀리다고 판단할 경우, 객체를 지정한 영역(22)을 삭제할 수 있다. 사용자가 객체에 대한 영역(22)을 수정 또는 삭제하면, 라벨 메이커(21)는 사용자가 지정한 객체 및 그러한 객체의 수정 영역에 대한 정보를 메타 정보로서 저장한다. 이후, 딥 러닝 시스템(30)의 모델은 사용자가 지정한 객체 및 그러한 객체에 대한 정보인 메타 정보를 토대로, 사람이라는 객체에 대한 기계 학습을 실행한다. 실행결과, 모델은 사람이라는 객체에 대한 학습 데이터를 새로이 생성하며, 새로이 생성한 학습 데이터를 빅데이터 클러스터(23)에 저장한다. 이후, 라벨 메이커(21)는 이미지에서 그러한 학습 데이터를 이용하여 사람을 인식하여 라벨링 화면에 사람의 영역을 보다 정확히 표시할 수 있을 것이다.

도 4는 본 발명의 일 실시예에 따른 모델 러너의 이미지 처리 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 모델 러너(31)는 이미지 처리(태그 생성) 동작을 수행할 수 있다. 예를 들면, 이미지 크롤러(11)가 이미지를 추출하여 빅데이터 클러스터(23)에 업로드하여 저장하면 모델 러너(31)는 그러한 이미지에 대하여 모델을 실행시켜서 카테고리 분류 및 객체 인식을 위한 기계 학습이 수행되도록 한다. 모델 러너(31)는 모델의 기계 학습의 수행결과인 학습 데이터와 이미지에 대한 태그(검색을 위한 태그)를 메타 정보로서 빅데이터 클러스터(23)에 저장한다.

또한, 사용자가 웹 어플리케션(웹 프로그램)을 이용하여 이미지를 빅데이터 클러스터(23)에 업로드하여 저장하면, 모델 러너(31)는 그러한 이미지에 대하여 모델을 실행시켜서 카테고리 분류 및 객체 인식에 대한 기계 학습이 수행되도록 한다. 모델 러너(31)는 모델의 기계 학습의 수행결과인 학습 데이터와 이미지에 대한 태그(검색을 위한 태그)를 메타 정보로서 빅데이터 클러스터(23)에 저장한다.

모델 러너(31)는 모델의 실행값(학습 데이터)을 평가하여, 더 정확한 학습 데이터를 생성하는 모델을 선택하여 기존 모델을 교체할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 모델 러너의 모델 교체(스위칭) 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 모델 러너(31)는 기존 모델(old model)의 정확도를 검증하는 동작을 수행하며, 정확도가 기준보다 낮아지거나 정확도가 기준보다 더 높은 모델이 존재하면 다른 모델(new model)로 교체할 수 있다. 기존 모델의 정확도를 검증하는 동작은 예를 들면, 같은 객체(예를 들면 사람)가 포함된 서로 다른 이미지들에 대하여 기계학습을 하도록 하고, 서로 다른 이미지에 포함된 객체를 잘 인식하는지 여부에 따라서 정확도를 검증할 수 있다.

도 6은 본 발명의 일 실시예에 따른 자동 학습 데이터 생성을 통한 모델 학습 방법을 설명하기 위한 도면이다.

도 6은 본 발명의 일 실시예에 따른 자동 학습 데이터 생성을 통한 모델 학습 방법은

이미지 수집 장치가 이미지를 추출하는 단계(S101); 이미지 수집 장치에 의해 수집된 원본 이미지들을 저장하고, 원본 이미지들에 대한 카테고리 분류 및 객체 정의를 위한 라벨을 메타정보로서 빅데이터 클러스터에 저장하는 단계(S103); 라벨 메이커(21)가, 컴퓨터 - 제1컴퓨터라고 함 - 빅데이터 클러스터(23)에 저장된 원본 이미지들에 대한 카테고리 분류 및 객체 정의를 위한 라벨링 동작을 수행하는 단계(S105), 모델이, 컴퓨터 - 제2컴퓨터라고 함 - 에 라벨이 붙은 이미지들을 인식하는 기계학습을 실행하고 학습 데이터를 생성하는 단계를 실행시키는 딥 러닝 단계(S107); 및 모델 러너(31)가, 컴퓨터 - 제3컴퓨터라고 함 - 에 모델을 평가하고, 평가 결과 모델을 교체할 필요가 있을 경우 모델을 변경하여 변경된 모델을 실행시켜 기계학습을 수행하도록 하는 단계를 실행시키는 단계(S109)를 포함한다.

본 실시예에서, 라벨 메이커(21)는, 또한, 제1컴퓨터에 사용자가 객체의 영역을 지정하여 라벨을 붙일 수 있는 화면 - 라벨링 화면 - 을 제공하는 동작을 실행시키고, 사용자가 지정한 객체와 그러한 객체에 붙은 라벨을 서로 연관시켜서 빅데이터 클러스터(23)에 저장하는 동작을 실행시킬 수 있다.

본 실시예에서, 라벨 메이커(21)는, 또한, 제2컴퓨터에 모델 러너(31)에 의해 실행되는 모델의 기계 학습에 의해 생성된 학습 데이터 - 객체를 인식할 수 있는 학습 데이터 - 를 이용하여 라벨링 화면상에 객체의 영역을 지정하는 동작을 실행시킬 수 있다.

본 실시예에서, 라벨 메이커(21)는, 제2컴퓨터에 라렐링 화면상에서 학습 데이터를 이용하여 지정된 객체의 영역을 사용자가 수정할 수 있도록 하는 라벨링 화면을 제공하는 동작을 실행시킬 수 있다.

본 실시예에서, 모델 러너(31)는, 제3컴퓨터에 사용자에 의해 수정된 객체의 영역이 기준 이상 달라지면 기존 학습 데이터를 생성한 모델을 다른 모델로 교체하는 동작을 실행시킬 수 있다.

본 실시예에서, 라벨 메이커(21)는, 제2컴퓨터에 라벨링 화면상에서 학습 데이터를 이용하여 지정된 객체의 영역을 사용자가 수정할 수 있도록 하는 라벨링 화면을 제공할 수 있다.

본 실시예에서, 모델 러너(31)는, 제3컴퓨터에 수정된 객체의 영역을 이용하여 객체에 대한 학습 데이터를 생성하도록 모델을 실행시킬 수 있다.

10: 이미지 수집장치
11: 이미지 크롤러
20: 이미지 저장 및 라벨링 시스템
21: 라벨 메이커
23: 빅데이터 클러스터
30: 딥 러닝 시스템
31: 모델 러너
35: 딥러닝 클러스터
40: 검색시스템
41: 이미지 검색엔진
43: 검색 클러스터

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 라벨 메이커(21)가, 컴퓨터 - 제1컴퓨터라고 함 -에 원본 이미지들의 카테고리 분류 및 객체 정의를 위한 라벨을 붙이는 라벨링 동작을 수행하는 단계;
   모델이 컴퓨터 - 제2컴퓨터라고 함 - 에 라벨이 붙은 이미지들을 인식하는 단계를 실행시키는 단계; 및
   모델 러너(31)가, 컴퓨터 - 제3컴퓨터라고 함 - 에 모델을 교체할 필요가 있을 경우 모델을 변경하는 단계를 실행시키는 단계;를 포함하며,
   라벨 메이커(21)는, 또한, 제1컴퓨터에 사용자가 객체의 영역을 지정하여 라벨을 붙일 수 있는 화면을 제공하는 동작을 실행시키고,
   라벨 메이커(21)는, 또한, 제1컴퓨터에 학습 데이터 - 객체를 인식할 수 있는 학습 데이터 - 를 이용하여 상기 화면상에 객체의 영역을 지정하는 동작을 실행시키고,
   모델 러너(31)는, 제3컴퓨터에 상기 사용자에 의해 수정된 객체의 영역이 기준이상 달라지면 상기 모델을 변경하는 단계를 실행시키는 것인, 자동 학습 데이터 생성을 통한 모델 학습 방법.
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images