KR102585925B1 - 이미지 기반의 학습 데이터를 수집하기 위한 장치 및 이를 위한 방법 - Google Patents

Abstract

본 발명의 학습 데이터를 수집하기 위한 방법은 수집부가 검색하고자 하는 대상을 나타내는 검색어에 상응하는 대상의 이미지를 나타내는 대상 이미지를 수집하는 단계와, 연산부가 기 저장된 학습 데이터 중 상기 대상과 동일한 대상을 나타내는 레이블을 가지는 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 단계와, 처리부가 상기 유사도가 기 설정된 조건을 만족하면, 상기 대상 이미지를 학습 데이터에 부가하는 단계를 포함한다.

Description

이미지 기반의 학습 데이터를 수집하기 위한 장치 및 이를 위한 방법{Apparatus for automatically collecting learning data and method therefor}

본 발명은 학습 데이터를 수집하기 위한 기술에 관한 것으로, 보다 상세하게는 이미지 기반의 학습 데이터를 수집하기 위한 장치 및 이를 위한 방법에 관한 것이다.

한편, 본 발명은 다음의 표 1의 국가연구개발사업의 지원을 받았다.

과제고유번호	-
과제번호	-
부처명	과학기술정보통신부
과제관리(전문)기관명	정보통신산업진흥원
연구사업명	AI융합 불법복제품 판독시스템 사업
연구과제명	AI융합 불법복제품 판독시스템 사업
기여율	100%
과제수행기관명	(주)딥노이드
연구기간	2022.05.01 ~ 2022.12.31

인공지능 산업의 급속한 성장과 함께 연구실 환경이 아닌 실제 다양한 산업 분야에서 활발한 적용이 이루어지고 있다. 각 산업 분야에 적용되는 인공지능 시스템은 분야에 적합한 전용 데이터를 통한 모델 학습이 필수적으로 요구된다. 특히 인공지능 학습을 위한 전용 데이터는 그 품질과 수량에 따라 인공지능 시스템의 실제 산업 현장에서의 신뢰도에 직접적 영향을 미침에 따라 다양한 양질의 데이터 확보의 중요성이 증대되고 있다. 현재, 개별 프로젝트 팀 내에서 단일 프로젝트를 위한 지역적(Local) 데이터 수집 방법이 주로 사용하고 있지만, 이는 프로젝트의 인적 규모, 투자 수준, 프로젝트 기간에 정비례하여 데이터의 규모와 품질이 결정되게 되며 이는 개별 프로젝트 수행 시마다 데이터 수집을 위한 고정된 비용과 시간의 소모를 발생시키게 된다.

한국공개특허 제2020-0119370호 (2020년10월20일 공개)

본 발명의 목적은 인터넷 공간의 공개된 정보를 일관되게 자동으로 수집하며 수집된 정보에 대한 데이터 품질 검증을 수행하는 시스템을 통해 인공지능 모델의 학습을 위한 양질의 대규모 데이터를 보다 낮은 비용과 적은 시간으로 수집하기 위한 것이다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 학습 데이터를 수집하기 위한 방법은 수집부가 검색하고자 하는 대상을 나타내는 검색어에 상응하는 대상의 이미지를 나타내는 대상 이미지를 수집하는 단계와, 연산부가 기 저장된 학습 데이터 중 상기 대상과 동일한 대상을 나타내는 레이블을 가지는 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 단계와, 처리부가 상기 유사도가 기 설정된 조건을 만족하면, 상기 대상 이미지를 학습 데이터에 부가하는 단계를 포함한다.

상기 유사도를 산출하는 단계는 상기 연산부가 대조모델을 통해 상기 복수의 대조 이미지를 상기 대조모델이 정의하는 벡터 공간에 사상하여 복수의 대조 벡터를 도출하는 단계와, 상기 연산부가 복수의 대조 벡터의 중심 벡터를 도출하는 단계와, 상기 연산부가 상기 대조모델을 통해 상기 수집된 대상 이미지를 상기 벡터공간에 사상하여 대상 벡터를 도출하는 단계와, 상기 연산부가 상기 벡터공간 상에서 상기 중심 벡터와 상기 대상 벡터와의 거리에 따라 상기 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 단계를 포함한다.

상기 학습 데이터로 저장하는 단계는 상기 처리부가 상기 중심 벡터와 상기 대상 벡터 간의 거리가 제1 거리 이상이고, 상기 제1 거리 보다 긴 거리인 제2 거리 미만이면, 상기 대상 이미지를 학습 데이터로 저장하는 것을 특징으로 한다.

상기 대상 벡터를 도출하는 단계는 상기 대조모델의 적어도 하나의 컨벌루션층 및 적어도 하나의 풀링층이 상기 대상 이미지에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 특징 지도를 생성하는 단계와, 상기 대조모델의 완전연결층이 상기 특징 지도의 성분에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 상기 완전연결층의 복수의 연산 노드 각각에 대응하는 성분을 가지는 대상 벡터를 생성하는 단계를 포함한다.

상기 방법은 상기 대상 이미지를 수집하는 단계 전, 학습부가 대상의 이미지인 학습용 대상 이미지와 상기 대상을 나타내는 레이블인 타겟벡터를 포함하는 학습 데이터를 마련하는 단계와, 학습모델이 학습용 대상 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 대상 이미지가 복수의 학습 클래스에 속할 확률을 나타내는 출력벡터를 산출하는 연산 단계와, 상기 학습부가 손실함수를 통해 상기 타겟벡터와 상기 출력벡터와의 차이를 나타내는 손실을 산출하는 손실 산출 단계와, 상기 학습부가 상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 단계와, 기 설정된 학습 종료 조건이 만족 될 때까지 상기 연산 단계, 상기 손실 산출 단계 및 상기 최적화 단계를 반복하는 단계와, 학습이 종료되면, 상기 학습모델의 출력층을 제거하여 대조모델을 생성하는 단계를 더 포함한다.

상기 학습 데이터에 부가하는 단계는 상기 처리부가 상기 검색어가 나타내는 대상에 따라 상기 대상 이미지를 레이블링하는 단계와, 상기 처리부가 상기 레이블링된 대상 이미지를 상기 학습 데이터에 부가하는 단계를 더 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 학습 데이터를 수집하기 위한 장치는 검색하고자 하는 대상을 나타내는 검색어에 상응하는 대상의 이미지를 나타내는 대상 이미지를 수집하는 수집부와, 기 저장된 학습 데이터 중 상기 대상과 동일한 대상을 나타내는 레이블을 가지는 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 연산부와, 상기 유사도가 기 설정된 조건을 만족하면, 상기 대상 이미지를 학습 데이터에 부가하는 처리부를 포함한다.

상기 연산부는 대조모델을 통해 상기 복수의 대조 이미지를 상기 대조모델이 정의하는 벡터 공간에 사상하여 복수의 대조 벡터를 도출하고, 복수의 대조 벡터의 중심 벡터를 도출하고, 상기 대조모델을 통해 상기 수집된 대상 이미지를 상기 벡터공간에 사상하여 대상 벡터를 도출하고, 상기 벡터공간 상에서 상기 중심 벡터와 상기 대상 벡터와의 거리에 따라 상기 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 것을 특징으로 한다.

상기 처리부는 상기 중심 벡터와 상기 대상 벡터 간의 거리가 제1 거리 이상이고, 상기 제1 거리 보다 긴 거리인 제2 거리 미만이면, 상기 대상 이미지를 학습 데이터로 저장하는 것을 특징으로 한다.

상기 대조모델은 상기 대상 이미지에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 특징 지도를 생성하는 적어도 하나의 컨벌루션층 및 적어도 하나의 풀링층과, 상기 특징 지도의 성분에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 완전연결층의 복수의 연산 노드 각각에 대응하는 성분을 가지는 대상 벡터를 생성하는 완전연결층을 포함한다.

상기 장치는 대상의 이미지인 학습용 대상 이미지와 상기 대상을 나타내는 레이블인 타겟벡터를 포함하는 학습 데이터를 마련하고, 학습모델이 학습용 대상 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 대상 이미지가 복수의 학습 클래스에 속할 확률을 나타내는 출력벡터를 산출하는 연산 프로세스, 손실함수를 통해 상기 타겟벡터와 상기 출력벡터와의 차이를 나타내는 손실을 산출하는 손실 산출 프로세스, 상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 프로세스를 수행하면, 기 설정된 학습 종료 조건이 만족 될 때까지 상기 연산 프로세스, 상기 손실 산출 프로세스 및 상기 최적화 프로세스를 반복하고, 학습이 종료되면, 상기 학습모델의 출력층을 제거하여 대조모델을 생성하는 학습부를 더 포함한다.

상기 처리부는 상기 검색어가 나타내는 대상에 따라 상기 대상 이미지를 레이블링하고, 상기 레이블링된 대상 이미지를 상기 학습 데이터에 부가하는 것을 특징으로 한다.

본 발명에 따르면, 개별 특수목적을 갖는 산업 현장에서의 인공지능 모델의 학습을 위한 데이터 수집의 시간과 비용을 감소시킬 수 있다. 특히, 데이터를 실제 선취한 환경의 다양성이 적용되어 인공지능 시스템의 편향을 감소시킬 수 있다. 게다가, 본 발명은 인터넷 공간에서 수집된 정보를 인공지능 기반 검증을 통해 필터링 함으로써 데이터의 신뢰도가 향상된다. 그리고 본 발명은 범용 데이터가 아닌 특수목적 데이터를 보다 쉽게 선취할 수 있다.

도 1은 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 학습모델 및 대조모델의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 대조모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.

본 발명의 상세한 설명에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

특히, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

먼저, 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 장치의 구성에 대해 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 학습모델 및 대조모델의 구성을 설명하기 위한 도면이다.

도 1을 참고하면, 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 수집장치(10)는 학습부(100), 수집부(200), 연산부(300), 처리부(400)를 포함한다.

학습부(100)는 본 발명의 실시예에 따른 학습(machine learnging/deep learning)을 통해 학습모델(LM) 및 대조모델(CM)을 생성하기 위한 것이다. 학습부(100)는 학습모델(LM)을 생성한 후, 생성된 학습모델(LM)로부터 대조모델(CM)을 생성한다.

수집부(200)는 검색하고자 하는 대상의 이미지인 대상 이미지를 수집하기 위한 것이다.

연산부(300)은 기 저장된 학습 데이터 중 대상과 동일한 대상을 나타내는 레이블을 가지는 복수의 대조 이미지와 수집된 대상 이미지와의 유사도를 도출하기 위한 것이다. 이를 위하여, 연산부(300)은 대조모델(CM)을 이용할 수 있다.

처리부(400)는 연산부(300)가 도출한 유사도에 따라 대상 이미지를 학습 데이터에 부가할지 여부를 판별하고, 소정의 조건이 만족되면, 대상 이미지를 학습 데이터에 부가한다.

전술한 학습부(100), 수집부(200), 연산부(300), 처리부(400)를 포함하는 수집장치(10)의 구체적인 동작에 대해서는 아래에서 더 상세하게 설명하기로 한다.

도 2를 참조하면, 연산부(300)은 대조모델(CM)을 이용하여 복수의 대조 이미지와 수집된 대상 이미지의 유사도를 도출할 수 있다. 대조모델(CM)은 학습모델(LM)을 기초로 생성된다. 학습모델(LM) 및 대조모델(CM)은 인공신경망(ANN: Artificial Neural Network) 모델이 될 수 있다. 이러한 학습모델(LM) 및 대조모델(CM)을 포함하는 인공신경망 모델(ANN)은 서로 연결된 복수의 계층(혹은 모듈)을 포함하며, 복수의 계층(혹은 모듈)은 복수의 연산으로 이루어진다. 또한, 복수의 계층(혹은 모듈)은 가중치(W: weight)로 연결된다. 즉, 어느 하나의 계층(혹은 모듈)의 연산 결과에 따른 출력은 가중치가 적용되어 다음 계층의 연산에 입력된다. 인공신경망 모델(ANN)은 입력되는 데이터에 대해 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 수행하여 출력값을 도출한다. 이러한 인공신경망 모델(ANN)의 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 '가중치 연산'이라고 칭하기로 한다.

도 2에 도시된 바와 같이, 학습모델(LM)은 입력되는 대상 이미지에 대해 가중치 연산을 수행하여 입력되는 대상 이미지에 도시된 대상을 예측하는 출력벡터를 산출하도록 학습된다. 여기서, 출력벡터는 학습모델(LM)의 추론 결과 대상 이미지가 복수의 학습 클래스 각각에 속할 확률을 나타낸다. 예컨대, 학습 클래스가 3개이며, 자전거, 카메라, 주전자라고 가정한다. 이때, 출력벡터가 "[자전거, 주전자, 카메라]=[0.11, 0.11, 0.88]"이라면, 학습용 이미지가 자전거, 카메라, 주전자 각각에 속할 확률이 11%, 11%, 88%임을 나타낸다.

학습모델(LM)은 입력층(IL), 적어도 하나의 컨볼루션층(CL), 적어도 하나의 풀링층(PL), 완전연결계층(FL) 및 출력층(OL)을 포함한다. 일 실시예에 따르면, 도 2에 도시된 바와 같이, 학습모델(LM)은 학습모델(LM)은 입력층(IL), 제1 컨볼루션층(CL1), 제1 풀링층(PL1), 제2 컨볼루션층(CL2), 제2 풀링층(PL2), 완전연결계층(FL) 및 출력층(OL)을 포함한다. 이와 같이, 컨볼루션층(CL) 및 풀링층(PL)이 복수인 경우, 교번으로 반복된다.

컨볼루션층(CL) 및 풀링층(PL)은 적어도 하나의 특징지도(FM: Feature Map)로 구성된다. 특징지도(FM)는 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터(혹은 커널)를 통해 적용된다. 여기서, 필터는 가중치 행렬로 이루어진다.

입력층(IL)은 입력 버퍼의 역할을 수행하며, 입력층(IL)에 대상 이미지(혹은 학습용 이미지)가 입력되면, 제1 컨볼루션층(CL1)은 대상 이미지에 대해 필터를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 특징 지도를 도출한다. 이어서, 제1 풀링층(PL1)은 제1 컨볼루션층(CL1)의 특징 지도에 대해 필터를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 특징 지도를 도출한다.

이어서, 제2 컨볼루션층(CL)은 제1 풀링층(PL1)의 특징 지도에 대해 필터를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 특징 지도를 도출한다. 이어서, 제2 풀링층(PL2)은 제2 컨볼루션층(CL2)의 특징 지도에 대해 필터를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 특징 지도를 도출한다.

완결연결층(FL)은 복수의 연산노드(h1 내지 hk)로 이루어진다. 완결연결층(FL)의 복수의 연산노드(h1 내지 hk)는 풀링층(PL)의 복수의 제3 특징지도(FM3)에 대해 활성화함수에 의한 연산을 통해 복수의 연산 노드값을 산출한다.

출력층(OL)은 학습 크래스에 대응하는 수의 출력 노드를 포함한다. 완결연결층(FL)의 복수의 연산 노드(h1 내지 hk) 각각은 가중치(W: weight)를 가지는 채널로 출력층(OL)의 출력 노드와 연결된다. 다른 말로, 복수의 연산노드(h1 내지 hk)의 복수의 연산노드값은 가중치가 적용되어 출력 노드에 각각 입력된다. 이에 따라, 출력층(OL)의 출력 노드는 완결연결층(FL)의 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력벡터를 산출한다.

전술한 컨벌루션층(CL1, CL2), 완결연결층(FL) 및 출력층(OL)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다.

한편, 대조모델(CM)은 학습모델(LM)에서 출력층(OL)이 제거된 것이다. 이러한 대조모델(CM)은 예컨대, 대조 이미지, 혹은, 대상 이미지와 같은 입력되는 데이터를 대조모델(CM)이 정의하는 벡터 공간(VS)에 사상하여 임베딩 벡터를 생성한다. 여기서, 대조 이미지에 대한 임베딩 벡터를 대조 벡터라고 칭하기로 한다. 또한, 대상 이미지에 대한 임베딩 벡터를 대상 벡터라고 칭하기로 한다.

이에 따라, 대조모델(CM)은 입력층(IL), 적어도 하나의 컨벌루션층(CL: 예컨대, CL1, CL2), 적어도 하나의 풀링층(PL: 예컨대, PL1, PL2) 및 완전연결층(fully-connected layer: FL)을 포함한다.

대조모델(CM)의 입력층(IL)은 대조 이미지, 대상 이미지와 같은 입력 데이터를 입력받을 수 있다. 입력층(IL)에 데이터가 입력되면, 적어도 하나의 컨벌루션층(CL: 예컨대, CL1, CL2) 및 적어도 하나의 풀링층(PL: 예컨대, PL1, PL2)이 대상 이미지(혹은 대조 이미지)에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 특징 지도를 생성하고, 완전연결층(FL)이 특징 지도의 성분에 대해 가중치가 적용되는 가중치 연산을 수행하여 벡터 공간(VS: Vector Space)에 사상되는 임베딩 벡터인 대상 벡터(혹은 대조 벡터)를 도출한다. 여기서, 대상 벡터(혹은 대조 벡터)는 완전연결층(FL)의 복수의 연산 노드 각각에 대응하는 성분을 가진다.

다음으로, 본 발명의 실시예에 따른 대조모델을 생성하는 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 대조모델을 생성하는 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 학습부(100)는 S110 단계에서 학습 데이터를 마련한다. 학습 데이터는 학습부가 학습용 이미지 및 학습용 이미지에 대응하는 레이블을 포함한다. 학습용 이미지는 알려진 대상이 도시된 이미지이다. 레이블은 학습용 이미지에 도시된 대상을 나타낸다. 이러한 레이블은 복수의 학습 클래스 중 해당 학습용 이미지가 도시된 대상을 나타내는 원 핫 인코딩 벡터가 적용될 수 있다. 가령, 학습 클래스가 3개이며, 자전거, 주전자, 카메라라고 가정한다. 여기서, 학습용 이미지가 카메라를 도시한 이미지라면, 레이블은 이러한 카메라를 나타내는 성분을 가지는 벡터가 될 수 있으며, [자전거, 주전자, 카메라]=[0, 0, 1]과 같이 표현될 수 있다.

그런 다음, 학습부(100)는 S120 단계에서 학습용 이미지를 학습모델(LM)에 입력한다. 그러면, 학습모델(LM)은 S130 단계에서 학습용 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 출력벡터를 산출한다. 출력벡터는 학습모델(LM)의 추론 결과 학습용 이미지가 복수의 학습 클래스 각각에 속할 확률을 나타낸다. 예컨대, 이러한 출력벡터는 [0.11, 0.11, 0.88]이라면, 학습용 이미지가 자전거, 주전자, 카메라 각각에 속할 확률이 11%, 11%, 88%임을 나타낸다.

그러면, 학습부(100)는 S140 단계에서 손실함수를 통해 출력벡터와 레이블의 차이를 나타내는 손실을 산출한다. 이어서, 학습부(100)는 S150 단계에서 도출된 손실이 최소가 되도록 최적화 알고리즘을 통해 학습모델(LM)의 가중치를 갱신하는 최적화를 수행한다.

다음으로, 학습부(100)는 S160 단계에서 학습 완료 조건을 만족하는지 여부를 확인한다. 여기서, 학습 완료 조건은 손실이 임계치 미만인 경우, 손실이 수렵하는 경우, 학습률이 소정 수치 이상인 경우 등을 예시할 수 있다.

상기 확인 결과, 학습 완료 조건을 만족하지 않는 경우, 전술한 S120 단계 내지 S160 단계를 반복한다. 반면, 상기 확인 결과, 학습 완료 조건을 만족하는 경우, 학습부(100)은 S170 단계에서 학습을 완료한다.

학습이 완료된 후, 학습부(100)는 S180 단계에서 학습모델(LM)의 출력층(OL)을 제거하여 대조모델(CM)을 생성한다.

다음으로, 본 발명의 실시예에 따른 대조모델을 이용하여 학습 데이터를 수집하기 위한 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 실시예에 따른 학습 데이터를 수집하기 위한 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 수집부(200)는 S210 단계에서 사용자의 검색하고자 하는 대상을 나타내는 검색어를 입력하면, 검색어에 상응하여 대상의 이미지인 대상 이미지를 수집한다. 일 실시예에 따르면, 수집부(200)는 Open API를 이용하여 공공데이터 포털로부터 검색어에 상응하는 대상 이미지를 수집할 수 있다. 다른 실시예에 따르면, 검색 엔진에 접속하여 검색 엔진이 제공하는 데이터베이스로부터 검색어에 상응하는 대상 이미지를 수집할 수 있다. 이때, 수집부(200)은 공개 혹은 비공개 네트워크를 통해 접속되는 데이터베이스(데이터베이스 서버)로부터 크롤링(crawling) 혹은 스크레이핑(scraping)을 통해 검색어에 해당하는 이미지를 포함하는 하나 이상의 페이지를 검색한다. 여기서, 데이터베이스는 예컨대, danawa.com, naver.com, google.com 등을 예시할 수 있다.

다음으로, 연산부(300)는 S220 단계에서 기 저장된 학습 데이터에서 복수의 대조 이미지를 추출하고, 추출된 복수의 대조 이미지와 수집된 대상 이미지와의 유사도를 도출한다. 여기서, 대조 이미지는 검색어에 상응하는 대상을 나타내는 레이블을 가지는 이미지이다. 다른 말로, 대조 이미지는 검색어에 상응하는 대상과 동일한 대상을 나타내는 레이블을 가진다.

이때, 연산부(300)는 대조모델(CM)을 이용하여 기 저장된 복수의 대조 이미지와 수집된 대상 이미지와의 유사도를 도출한다. 이에 대해 도 2 및 도 5를 참조하여 상세히 설명하면 다음과 같다.

먼저, 연산부(300)는 대조모델(CM)을 통해 복수의 대조 이미지를 대조모델(CM)이 정의하는 벡터 공간(VS: Vector Space)에 사상하여 복수의 대조 벡터를 도출한다. 여기서, 벡터 공간은 2차원으로 형성되는 것이 바람직하다. 대조모델(CM)을 통해 대조 벡터를 도출하는 것은 앞서 도 2를 참조로 설명된 바와 같다.

그런 다음, 연산부(300)는 복수의 대조 벡터의 중심 벡터를 도출한다. 이를 위하여, 연산부(300)는 벡터 공간(VS) 상에서 복수의 대조 벡터에 대한 컨벡스 헐(CH: Convex Hull)을 도출한다. 예컨대, 도 5에 도시된 바와 같이, 연산부(300)는 클러스터에 포함된 복수의 대조 벡터 중 복수의 컨벡스(H)를 선택하여 컨벡스 헐(CH: Convex Hull)을 구성할 수 있다. 이어서, 추천부(500)는 S290 단계에서 컨벡스 헐(CH)을 구성하는 다각형의 무게 중심에 임베딩 벡터를 사상하여 중심 벡터(CV)로 설정한다. 예컨대, 연산부(300)는 도 6에 도시된 바와 같이, 컨벡스 헐(CH)을 구성하는 7각형의 무게 중심에 임베딩 벡터를 사상하여 중심 벡터(CV)로 설정할 수 있다.

중심 벡터(CV)가 도출되면, 연산부(300)는 대조모델(CM)을 통해 수집된 대상 이미지를 벡터 공간(VS)에 사상하여 대상 벡터(예컨대, V1, V2, V3)를 도출한다. 대조모델(CM)을 통해 대상 벡터를 도출하는 것은 앞서 도 2를 참조로 설명된 바와 같다.

그런 다음, 연산부(300)는 벡터 공간(VS) 상에서 중심 벡터(CV)와 대상 벡터(예컨대, V1, V2, V3)와의 거리에 따라 복수의 대조 이미지와 수집된 대상 이미지와의 유사도를 도출한다.

다음으로, 처리부(400)는 S230 단계에서 앞서 도출된 유사도에 따라 대상 이미지가 학습 데이터의 조건을 만족하는지 여부를 판별한다. 본 발명에 따르면, 대상 이미지가 중심 벡터(CV)와의 유사도가 너무 높은 경우, 전형적인 대상의 특징만을 학습하게 되고, 중심 벡터(CV)와의 유사도가 너무 낮은 경우, 학습하고자 하는 대상이 아닐 수 있다. 이에 따라, 처리부(400)는 중심 벡터(CV)와 대상 벡터(예컨대, V1, V2, V3) 간의 거리가 제1 거리(N) 이상이고 제2 거리(M) 미만이면, 학습 데이터의 조건을 만족하는 것으로 판별할 수 있다. 도 5에 도시된 바와 같이, 제1 거리(N) 및 제2 거리(M)는 미리 설정된다. 또한, 제2 거리(M)는 제1 거리(N) 보다 긴 거리이다. 다른 말로, 제1 거리(N)는 제2 거리(M) 보다 짧은 거리이다. 특히, 제2 거리(M)는 컨벡스 헐(CH)을 벗어나지 않으면서 최대 크기를 가지는 원의 반경이 될 수 있다.

이에 따라, 처리부(400)는 S230 단계에서 중심 벡터(CV)와 대상 벡터 간의 거리가 제1 거리(N) 이상이고 제2 거리(M) 미만이 아니면, 학습 데이터의 조건을 만족하지 않는 것으로 판별하고, S250 단계에서 해당 대상 이미지를 소거하거나, 노이즈 학습을 위해 별도로 저장할 수 있다. 예를 들면, 제1 대상 벡터(V1)의 경우, 중심 벡터(CV)와의 거리가 제1 거리(N) 미만으로, 제1 대상 벡터(V1)에 대응하는 대상 이미지는 대상의 전형적인 특징만을 학습시킬 수 있는 이미지이다. 따라서 제1 대상 벡터(V1)에 대응하는 대상 이미지를 이용한 학습은 해당 모델에 편향을 가져오기 때문에 제외한다. 또한, 제3 대상 벡터(V3)의 경우, 중심 벡터(CV)와의 거리가 제2 거리(M) 이상으로, 제3 대상 벡터(V3)에 대응하는 대상 이미지는 대상과는 상이한 특징을 학습시킬 수 있는 이미지이다. 따라서 제3 대상 벡터(V3)에 대응하는 대상 이미지를 이용한 학습은 모델의 신뢰도를 떨어뜨릴 수 있기 때문에 제외한다.

반면, 처리부(400)는 S230 단계에서 중심 벡터(CV)와 대상 벡터 간의 거리가 제1 거리(N) 이상이고 제2 거리(M) 미만이면, 학습 데이터의 조건을 만족하는 것으로 판별하고, S240 단계에서 대상 벡터에 대응하는 대상 이미지를 학습 데이터로 저장한다. 예를 들면, 제2 대상 벡터(V2)의 경우, 중심 벡터(CV)와의 거리가 제1 거리(N) 이상이고, 제2 거리(M) 미만이다. 이러한 제2 대상 벡터(V2)에 대응하는 대상 이미지는 대상의 특징 뿐만 아니라 변형된 예들을 학습시킬 수 있어, 모델의 성능 향상에 가져올 수 있는 이미지이다. 이에 따라, 제2 대상 벡터(V2)에 대응하는 대상 이미지를 학습 데이터에 추가하는 것이 바람직하다.

이러한 S240 단계에서 처리부(400)는 검색어가 나타내는 대상에 따라 대상 이미지를 레이블링한다. 다른 말로, 대상 이미지를 복수의 대조 이미지와 동일하게 레이블링하고, 레이블링된 대상 이미지를 상기 학습 데이터에 부가한다.

전술한 바와 같은 본 발명에 따르면, 개별 특수목적을 갖는 산업현장에서의 인공지능 모델의 학습을 위한 데이터 수집에 있어서 그 시간과 비용을 감소시켜 다양한 분야에서 인공지능 방법론의 도입 난이도롤 감소시킬 수 있다. 특히, 데이터를 실제 선취한 환경의 다양성이 적용되어 인공지능 시스템의 편향을 감소시킬 수 있으며 이에 따른 시스템의 전반적인 신뢰도를 향상시킬 수 있다. 게다가, 인터넷 공간에서 수집된 정보를 인공지능 기반 검증을 통해 필터링 함으로써 기존 키워드 검색으로 불필요한 결과를 리턴하는 산술적 비율을 크게 감소시킬 수 있어 데이터의 신뢰도를 향상시킬 수 있다. 그리고 인공지능 연구 분야에 있어서 ImageNet과 같은 범용 데이터가 아닌 특수목적 데이터를 보다 쉽게 선취할 수 있도록 하여 다양한 분야에서의 인공지능 연구를 활성화 하는데 도움을 줄 수 있다.

도 6은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 6의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 수집장치(10) 등이 될 수 있다.

도 6의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

10: 수집장치
100: 학습부
200: 수집부
300: 연산부
400: 처리부

Claims (12)

1. 학습 데이터를 수집하기 위한 방법에 있어서,
   수집부가 검색하고자 하는 대상을 나타내는 검색어에 상응하는 대상의 이미지를 나타내는 대상 이미지를 수집하는 단계;
   연산부가 기 저장된 학습 데이터 중 상기 대상과 동일한 대상을 나타내는 레이블을 가지는 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 단계; 및
   처리부가 상기 유사도가 기 설정된 조건을 만족하면, 상기 대상 이미지를 학습 데이터에 부가하는 단계;
   를 포함하며,
   상기 유사도를 산출하는 단계는
   상기 연산부가 대조모델을 통해 상기 복수의 대조 이미지를 상기 대조모델이 정의하는 벡터 공간에 사상하여 복수의 대조 벡터를 도출하는 단계;
   상기 연산부가 복수의 대조 벡터의 중심 벡터를 도출하는 단계;
   상기 연산부가 상기 대조모델을 통해 상기 수집된 대상 이미지를 상기 벡터공간에 사상하여 대상 벡터를 도출하는 단계; 및
   상기 연산부가 상기 벡터공간 상에서 상기 중심 벡터와 상기 대상 벡터와의 거리에 따라 상기 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 단계;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 방법.
2. 삭제
3. 제1항에 있어서,
   상기 학습 데이터로 저장하는 단계는
   상기 처리부가 상기 중심 벡터와 상기 대상 벡터 간의 거리가 제1 거리 이상이고, 상기 제1 거리 보다 긴 거리인 제2 거리 미만이면, 상기 대상 이미지를 학습 데이터로 저장하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 방법.
4. 제1항에 있어서,
   상기 대상 벡터를 도출하는 단계는
   상기 대조모델의 적어도 하나의 컨벌루션층 및 적어도 하나의 풀링층이 상기 대상 이미지에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 특징 지도를 생성하는 단계; 및
   상기 대조모델의 완전연결층이 상기 특징 지도의 성분에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 상기 완전연결층의 복수의 연산 노드 각각에 대응하는 성분을 가지는 대상 벡터를 생성하는 단계;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 방법.
5. 제1항에 있어서,
   상기 대상 이미지를 수집하는 단계 전,
   학습부가 대상의 이미지인 학습용 대상 이미지와 상기 대상을 나타내는 레이블인 타겟벡터를 포함하는 학습 데이터를 마련하는 단계;
   학습모델이 학습용 대상 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 대상 이미지가 복수의 학습 클래스에 속할 확률을 나타내는 출력벡터를 산출하는 연산 단계;
   상기 학습부가 손실함수를 통해 상기 타겟벡터와 상기 출력벡터와의 차이를 나타내는 손실을 산출하는 손실 산출 단계;
   상기 학습부가 상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 단계;
   기 설정된 학습 종료 조건이 만족 될 때까지 상기 연산 단계, 상기 손실 산출 단계 및 상기 최적화 단계를 반복하는 단계; 및
   학습이 종료되면, 상기 학습모델의 출력층을 제거하여 대조모델을 생성하는 단계;
   를 더 포함하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 방법.
6. 제1항에 있어서,
   상기 학습 데이터에 부가하는 단계는
   상기 처리부가 상기 검색어가 나타내는 대상에 따라 상기 대상 이미지를 레이블링하는 단계; 및
   상기 처리부가 상기 레이블링된 대상 이미지를 상기 학습 데이터에 부가하는 단계;
   를 더 포함하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 방법.
7. 학습 데이터를 수집하기 위한 장치에 있어서,
   검색하고자 하는 대상을 나타내는 검색어에 상응하는 대상의 이미지를 나타내는 대상 이미지를 수집하는 수집부;
   기 저장된 학습 데이터 중 상기 대상과 동일한 대상을 나타내는 레이블을 가지는 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 연산부; 및
   상기 유사도가 기 설정된 조건을 만족하면, 상기 대상 이미지를 학습 데이터에 부가하는 처리부;
   를 포함하며,
   상기 연산부는
   대조모델을 통해 상기 복수의 대조 이미지를 상기 대조모델이 정의하는 벡터 공간에 사상하여 복수의 대조 벡터를 도출하고,
   복수의 대조 벡터의 중심 벡터를 도출하고,
   상기 대조모델을 통해 상기 수집된 대상 이미지를 상기 벡터공간에 사상하여 대상 벡터를 도출하고,
   상기 벡터공간 상에서 상기 중심 벡터와 상기 대상 벡터와의 거리에 따라 상기 복수의 대조 이미지와 상기 수집된 대상 이미지와의 유사도를 도출하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 장치.
8. 삭제
9. 제7항에 있어서,
   상기 처리부는
   상기 중심 벡터와 상기 대상 벡터 간의 거리가 제1 거리 이상이고, 상기 제1 거리 보다 긴 거리인 제2 거리 미만이면, 상기 대상 이미지를 학습 데이터로 저장하는 것을 특징으로 하는
   학습 데이터를 수집하기 위한 장치.
10. 제7항에 있어서,
    상기 대조모델은
    상기 대상 이미지에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 특징 지도를 생성하는 적어도 하나의 컨벌루션층 및 적어도 하나의 풀링층; 및
    상기 특징 지도의 성분에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 완전연결층의 복수의 연산 노드 각각에 대응하는 성분을 가지는 대상 벡터를 생성하는 완전연결층;
    을 포함하는 것을 특징으로 하는
    학습 데이터를 수집하기 위한 장치.
11. 제7항에 있어서,
    대상의 이미지인 학습용 대상 이미지와 상기 대상을 나타내는 레이블인 타겟벡터를 포함하는 학습 데이터를 마련하고,
    학습모델이 학습용 대상 이미지에 대해 학습이 완료되지 않은 가중치가 적용되는 가중치 연산을 수행하여 상기 대상 이미지가 복수의 학습 클래스에 속할 확률을 나타내는 출력벡터를 산출하는 연산 프로세스,
    손실함수를 통해 상기 타겟벡터와 상기 출력벡터와의 차이를 나타내는 손실을 산출하는 손실 산출 프로세스,
    상기 손실이 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 최적화 프로세스를 수행하면,
    기 설정된 학습 종료 조건이 만족 될 때까지 상기 연산 프로세스, 상기 손실 산출 프로세스 및 상기 최적화 프로세스를 반복하고,
    학습이 종료되면, 상기 학습모델의 출력층을 제거하여 대조모델을 생성하는 학습부;
    를 더 포함하는 것을 특징으로 하는
    학습 데이터를 수집하기 위한 장치.
12. 제7항에 있어서,
    상기 처리부는
    상기 검색어가 나타내는 대상에 따라 상기 대상 이미지를 레이블링하고,
    상기 레이블링된 대상 이미지를 상기 학습 데이터에 부가하는 것을 특징으로 하는
    학습 데이터를 수집하기 위한 장치.