KR102393801B1 - 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 - Google Patents

배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102393801B1
KR102393801B1 KR1020210188853A KR20210188853A KR102393801B1 KR 102393801 B1 KR102393801 B1 KR 102393801B1 KR 1020210188853 A KR1020210188853 A KR 1020210188853A KR 20210188853 A KR20210188853 A KR 20210188853A KR 102393801 B1 KR102393801 B1 KR 102393801B1
Authority
KR
South Korea
Prior art keywords
image
synthesizing
region
composite
data
Prior art date
Application number
KR1020210188853A
Other languages
English (en)
Inventor
박준영
최우식
김태규
김판규
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Priority to KR1020210188853A priority Critical patent/KR102393801B1/ko
Application granted granted Critical
Publication of KR102393801B1 publication Critical patent/KR102393801B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

학습데이터를 생성하기 위한 방법은 전경처리부가 학습 대상인 객체가 포함된 대상 이미지로부터 객체만으로 이루어진 객체 이미지를 추출하는 단계와, 배경처리부가 3차원 지도 데이터로부터 임의의 배경을 랜더링하여 모든 픽셀에 대한 좌표정보를 가지는 배경 이미지를 추출하는 단계와, 합성부가 상기 좌표정보에 따라 합성 가능한 영역을 검출하는 단계와, 상기 합성부가 상기 배경 이미지의 합성 가능한 영역에 상기 객체 이미지를 합성하는 단계를 포함한다.

Description

배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법{Apparatus for generating training data through background synthesis and method therefor}
본 발명은 학습 데이터 생성 기술에 관한 것으로, 보다 상세하게는, 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법에 관한 것이다.
인공지능을 활용한 객체 인식용 학습 데이터들은 같은 물품일지라도 다양한 배경으로부터 선취되어야 한다. 이 결과, 배경 변화를 다양하게 만들기 위해 시간적, 인력적 소모가 상당하다. 만일 배경이 일관적으로 선취된다면 환경 변화에 강인하지 못한 모델이 학습되어 제대로 된 추론 성능을 보장할 수 없다.
한국공개특허 제2020-0087310호 (2020년07월21일 공개)
본 발명의 목적은 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 학습데이터를 생성하기 위한 방법은 전경처리부가 학습 대상인 객체가 포함된 대상 이미지로부터 객체만으로 이루어진 객체 이미지를 추출하는 단계와, 배경처리부가 3차원 지도 데이터로부터 임의의 배경을 랜더링하여 모든 픽셀에 대한 좌표정보를 가지는 배경 이미지를 추출하는 단계와, 합성부가 상기 좌표정보에 따라 합성 가능한 영역을 검출하는 단계와, 상기 합성부가 상기 배경 이미지의 합성 가능한 영역에 상기 객체 이미지를 합성하는 단계를 포함한다.
상기 좌표정보는 상기 픽셀의 법선벡터를 포함하며, 상기 합성 가능한 영역을 검출하는 단계는 상기 합성부가 수학식
Figure 112021151052573-pat00001
을 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출한다. 여기서, 상기 T는 임계치이고, 기 설정되는 각도 값이며, 상기 normal은 법선벡터인 것을 특징으로 한다.
상기 좌표정보는 상기 픽셀의 뎁스를 포함하며, 상기 합성 가능한 영역을 검출하는 단계는 상기 합성부가 수학식
Figure 112021151052573-pat00002
를 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출한다. 여기서, 상기 d는 상기 뎁스를 나타내며, 상기
Figure 112021151052573-pat00003
는 제1 거리이고, 상기
Figure 112021151052573-pat00004
는 제2 거리이며, 렌더링 시 가상의 카메라의 위치를 기준으로 상기 제1 거리는 상기 제2 거리 보다 가까운 거리인 것을 특징으로 한다.
상기 객체 이미지를 합성하는 단계는 상기 합성부가 상기 합성 가능한 영역을 상기 객체 이미지의 객체의 크기에 따라 복수의 합성영역으로 구분하고, 상기 합성부가 상기 복수의 합성영역 각각에 상기 객체 이미지를 합성하여 복수의 합성 이미지를 생성하는 것을 특징으로 한다.
상기 방법은 분류부가 복수의 합성 이미지를 상기 구분된 합성영역의 위치의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링하는 단계와, 상기 분류부가 상기 복수의 합성 이미지 그룹에서 랜덤 방식으로 소정 수의 합성 이미지를 추출하여 소정 비율에 따라 학습용 학습 데이터와 검증용 데이터로 분류하는 단계를 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 학습데이터를 생성하기 위한 장치는 학습 대상인 객체가 포함된 대상 이미지로부터 객체만으로 이루어진 객체 이미지를 추출하는 전경처리부와, 3차원 지도 데이터로부터 임의의 배경을 랜더링하여 모든 픽셀에 대한 좌표정보를 가지는 배경 이미지를 추출하는 배경처리부와, 상기 좌표정보에 따라 합성 가능한 영역을 검출하고, 상기 배경 이미지의 합성 가능한 영역에 상기 객체 이미지를 합성하는 합성부를 포함한다.
상기 좌표정보는 상기 픽셀의 법선벡터를 포함하며, 상기 합성부는 수학식
Figure 112021151052573-pat00005
을 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출한다. 여기서, 상기 T는 임계치이고, 기 설정되는 각도 값이며, 상기 normal은 법선벡터인 것을 특징으로 한다.
상기 좌표정보는 상기 픽셀의 뎁스를 포함하며, 상기 합성부는 수학식
Figure 112021151052573-pat00006
를 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출한다. 여기서, 상기 d는 상기 뎁스를 나타내며, 상기
Figure 112021151052573-pat00007
는 제1 거리이고, 상기
Figure 112021151052573-pat00008
는 제2 거리이며, 렌더링 시 가상의 카메라의 위치를 기준으로 상기 제1 거리는 상기 제2 거리 보다 가까운 거리인 것을 특징으로 한다.
상기 합성부는 상기 합성 가능한 영역을 상기 객체 이미지의 객체의 크기에 따라 복수의 합성영역으로 구분하고, 상기 복수의 합성영역 각각에 상기 객체 이미지를 합성하여 복수의 합성 이미지를 생성하는 것을 특징으로 한다.
상기 장치는 복수의 합성 이미지를 상기 구분된 합성영역의 위치의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링하고, 상기 복수의 합성 이미지 그룹에서 랜덤 방식으로 소정 수의 합성 이미지를 추출하여 소정 비율에 따라 학습용 학습 데이터와 검증용 데이터로 분류하는 분류부를 더 포함한다.
본 발명에 따르면 배경 이미지의 렌더링시 도출되는 좌표정보에 따라 객체 이미지를 합성할 수 있는 영역을 구분한 후, 객체 이미지를 합성시킴으로써, 보다 자연스러운 객체의 합성이 이루어질 수 있다. 따라서 보다 정교한 학습 데이터를 생성할 수 있다. 이에 따라 해당 학습 데이터를 이용하여 인공신경망을 학습시키는 경우, 그 학습에 대한 신뢰도가 향상된다.
도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 이미지의 색상을 생성하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 배경 합성을 통한 학습 데이터를 생성하기 위한 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 객체 이미지를 생성하기 위한 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 렌더링을 통해 좌표정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 법선벡터를 통해 합성 가능한 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 뎁스를 통해 합성 가능한 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 합성 가능한 영역을 복수의 합성영역으로 구분하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 객체의 위치의 상관도에 따라 복수의 합성 이미지 그룹을 생성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 배경 합성을 통한 학습 데이터를 생성하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 배경 합성을 통한 학습 데이터를 생성하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 배경 합성을 통한 학습 데이터를 생성하기 위한 장치(이하, '합성장치'로 칭함)는 전경처리부(100), 배경처리부(200), 합성부(300) 및 분류부(400)를 포함한다.
전경처리부(100)는 학습 대상인 객체가 포함된 대상 이미지로부터 객체만으로 이루어진 객체 이미지를 추출하기 위한 것이다.
배경처리부(200)는 3차원 지도 데이터로부터 임의의 배경을 랜더링하여 모든 픽셀에 대한 좌표정보를 가지는 배경 이미지를 추출하기 위한 것이다. 여기서, 랜더링은 광선추적법(Ray tracing)을 이용할 수 있다. 또한, 좌표정보는 픽셀의 법선벡터(normal: Normal Vector) 및 뎁스(d: depth)를 포함한다.
합성부(300)는 좌표정보에 따라 합성 가능한 영역을 검출하고, 배경 이미지의 합성 가능한 영역에 상기 객체 이미지를 합성하기 위한 것이다. 이때, 합성부(300)는 합성 가능한 영역을 상기 객체 이미지의 객체의 크기에 따라 복수의 합성영역으로 구분하고, 복수의 합성영역 각각에 상기 객체 이미지를 합성하여 복수의 합성 이미지를 생성할 수 있다.
분류부(400)는 복수의 합성 이미지를 학습용 학습 데이터와 검증용 데이터로 분류하여 학습용 학습 데이터와 검증용 데이터를 포함하는 학습 데이터를 생성하기 위한 것이다. 이를 위하여, 분류부(400)는 복수의 합성 이미지를 상기 구분된 합성영역의 위치의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링하고, 복수의 합성 이미지 그룹에서 랜덤 방식으로 소정 수의 합성 이미지를 추출하여 소정 비율에 따라 학습용 학습 데이터와 검증용 데이터로 분류할 수 있다.
다음으로, 본 발명의 실시예에 따른 배경 합성을 통한 학습 데이터를 생성하기 위한 방법에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 배경 합성을 통한 학습 데이터를 생성하기 위한 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 실시예에 따른 객체 이미지를 생성하기 위한 방법을 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 렌더링을 통해 좌표정보를 획득하는 방법을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 법선벡터를 통해 합성 가능한 영역을 검출하는 방법을 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 뎁스를 통해 합성 가능한 영역을 검출하는 방법을 설명하기 위한 도면이다. 도 7은 본 발명의 실시예에 따른 합성 가능한 영역을 복수의 합성영역으로 구분하는 방법을 설명하기 위한 도면이다. 그리고 도 8은 본 발명의 실시예에 따른 객체의 위치의 상관도에 따라 복수의 합성 이미지 그룹을 생성하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 전경처리부(100)는 S110 단계에서 학습 대상인 객체가 포함된 대상 이미지로부터 픽셀 단위의 객체 인식을 통해 학습 대상인 객체만으로 이루어진 객체 이미지를 추출한다. 예를 들면, 도 3에 도시된 바와 같이, 전경처리부(100)는 인공신경망인 객체인식망(ORN)을 통해 픽셀 단위로 대상 이미지(a)에 포함된 객체(cupboard, Bed, Dog, Table)를 인식한다. 그런 다음, 전경처리부(100)는 객체가 인식된 이미지(b)로부터 인식된 객체(cupboard, Bed, Dog, Table) 중 학습 대상인 객체(Dog)를 추출하여 객체 이미지(c)를 생성한다. 이때, 전경처리부(100)는 인식된 객체(cupboard, Bed, Dog, Table) 중 학습 대상인 객체(Dog) 이외의 다른 객체(cupboard, Bed, Table)를 모두 소거하여 객체 이미지(c)를 생성할 수 있다.
다음으로, 배경처리부(200)는 S120 단계에서 3차원 지도 데이터로부터 임의의 배경을 렌더링하여 배경 이미지를 생성한다. 즉, 3차원 지도 데이터의 임의의 위치에서 가상의 카메라를 통한 촬영을 통해 배경 이미지를 생성한다. 여기서, 렌더링 기법은 광선추적법(Ray tracing)을 이용할 수 있다. 이러한 렌더링을 통해 생성된 배경 이미지는 모든 픽셀에 대한 좌표정보를 가진다. 도 4에 도시된 바와 같이, 좌표정보는 렌더링 시 정해지는 가상의 카메라의 위치(기준점)를 기준으로 정해진다. 이러한 좌표정보는 픽셀의 법선벡터(normal: Normal Vector) 및 뎁스(d: depth)를 포함한다.
다음으로, 합성부(300)는 S130 단계에서 좌표정보에 따라 배경 이미지에서 합성 가능한 영역을 검출한다.
이때, 합성부(300)는 배경 이미지 중 다음의 수학식 1을 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출할 수 있다.
Figure 112021151052573-pat00009
여기서, T는 임계치이고, 기 설정되는 각도 값이다. 예컨대, T는 15도가 될 수 있다. 또한, normal은 법선벡터를 나타낸다.
예를 들면, 도 5의 (A)는 렌더링한 배경 이미지이며, 도 5의 (B)는 배경 이미지의 모든 픽셀을 법선벡터의 값으로 변환하여 표현한 법선벡터 이미지이다.
N 영역은 수학식 1을 만족하지 않은 영역이며, P 영역은 수학식 1을 만족하는 영역을 나타낸다. N 영역에 포함된 픽셀은
Figure 112021151052573-pat00010
을 만족한다. 반면, P 영역에 포함된 픽셀은 수학식 1을 만족한다.
이때, 합성부(300)는 배경 이미지 중 다음의 수학식 2를 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출할 수 있다.
Figure 112021151052573-pat00011
여기서, d는 뎁스를 나타낸다. 또한, α는 기 설정되는 뎁스값인 제1 거리이고, β는 기 설정되는 뎁스값인 제2 거리이다. 렌더링 시 가상의 카메라의 위치를 기준으로 제1 거리는 제2 거리 보다 가까운 거리를 나타낸다(α<β).
예컨대, 도 6을 참조하면, R 영역은 합성 가능한 영역이며, 수학식 2를 만족한다. 반면, C 영역은 합성 가능한 영역이 아니며, 가상의 카메라를 기준으로 R 영역에 비해 가까운 영역을 의미한다(d<α). 또한, F 영역 역시 합성 가능한 영역이 아니며, 가상의 카메라를 기준으로 R 영역에 비해 먼 영역을 의미한다(d>β). 이와 같이, 본 발명은 수학식 2에 따라, 상대적으로, 멀지도 그리고 가깝지도 않은 영역을 합성 가능한 영역으로 검출할 수 있다.
합성 가능한 영역이 검출되면, 합성부(300)는 S140 단계에서 합성 가능한 영역을 복수의 합성영역으로 구분한다. 합성부(300)는 합성 가능한 영역을 객체 이미지의 객체의 크기에 따라 기 설정된 개수로 균등하게 분할하여 복수의 합성영역으로 구분한다. 이때, 기 설정된 개수와 객체의 크기의 곱이 합성 가능한 영역 보다 큰 경우, 복수의 합성영역은 일부 중첩될 수 있다. 도 7에 객체 이미지(Oimg)의 객체(obj)와 배경 이미지(Bimg)가 도시되었다.
예컨대, 도 7에서, 객체(obj)와 배경 이미지(Bimg)의 합성 가능한 영역은 동일한 높이를 가지며, 객체(obj)의 폭은 5cm이고, 배경 이미지(Bimg)의 합성 가능한 영역(R)의 폭은 21cm라고 가정한다. 또한, 합성영역의 개수는 5개로 미리 설정되었다고 가정한다. 그러면, 도 7에 도시된 바와 같이, 합성 가능한 영역(R)을 1cm씩 폭이 중첩되는 5개의 합성영역(ca1 내지 ca5)으로 구분할 수 있다.
전술한 바와 같이, 배경 이미지(Bimg)의 합성 가능한 영역을 복수의 합성영역으로 구분한 후, 합성부(300)는 S150 단계에서 객체 이미지를 복수의 합성영역 각각에 순차로 합성하여 복수의 합성 이미지를 생성한다.
다음으로, 분류부(400)는 S160 단계에서 복수의 합성 이미지를 검증용 데이터 및 학습용 데이터로 분류하여 검증용 데이터 및 학습용 데이터를 포함하는 학습 데이터를 생성한다. 학습용 데이터는 인공신경망의 최적화를 위한 학습에 사용되며, 검증용 데이터는 인공신경망이 학습된 정도를 판별하기 위해 사용된다.
이때, 분류부(400)는 복수의 합성 이미지를 합성된 객체의 위치(혹은 합성영역의 위치)의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링한 후, 미리 설정된 학습용 데이터 대비 검증용 데이터의 비율에 따라 복수의 합성 이미지 그룹 각각에 포함된 합성 이미지를 학습용 데이터와 검증용 데이터로 분류할 수 있다.
예컨대, 복수의 합성 이미지(ca)의 객체(obj)의 위치(혹은 합성영역의 위치)의 상관도에 따라 2개의 합성 이미지 그룹(cag1, cag2)으로 클러스터링하였다고 가정한다. 이에 따르면, 도 8의 제1 합성영역(R1)은 제1 합성 이미지 그룹(cag1)에 속하는 합성 이미지의 객체가 위치하는 합성영역이고, 제2 합성영역(R2)은 제2 합성 이미지 그룹(cag2)에 속하는 합성 이미지의 객체(obj)가 위치하는 합성영역이 될 수 있다.
또한, 학습용 데이터와 검증용 데이터의 비율은 8 대 2로 설정되었다고 가정한다. 여기서, 전체 합성 이미지(ca)의 수는 130개이고, 객체의 위치에 따라 제1 합성 이미지 그룹(cag1)에 속한 합성 이미지의 수는 100개이고, 객체의 위치에 따라 제2 합성 이미지 그룹(cag2)에 속한 합성 이미지의 수는 30개라고 가정한다. 이러한 경우, 제1 합성 이미지 그룹(cag1)에 속한 100개의 합성 이미지에서 80개의 학습용 데이터와, 20개의 검증용 데이터를 랜덤으로 추출하고, 제2 합성 이미지 그룹(cag2)에 속한 30개의 합성 이미지에서 24개의 학습용 데이터와, 6개의 검증용 데이터를 랜덤으로 추출할 수 있다. 이와 같이, 복수의 합성 이미지를 합성된 객체의 위치의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링한 후, 합성 이미지 그룹에서 소정 비율로 학습용 데이터 및 검증용 데이터를 추출하여 학습데이터로 사용할 수 있다. 여기서, 학습용 데이터는 인공신경망의 최적화에 사용되며, 검증용 데이터는 인공신경망이 과대적합(Overfitting) 혹은 과소적합(Underfitting)되지 않게 학습이 이루어지도록 학습 종료 시점을 판별하기 위해 사용된다. 따라서 전술한 바와 같은 방법으로 학습 데이터를 구성하는 경우, 객체가 합성되는 위치에 무관하게 과대적합(Overfitting) 혹은 과소적합(Underfitting)되지 않게 최적의 학습이 이루어지도록 할 수 있다. 이에 따라, 그 학습 결과에 대한 신뢰도를 향상시킬 수 있다.
도 9는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 합성장치(10) 등) 일 수 있다.
도 8의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 합성장치
100: 전경처리부
200: 배경처리부
300: 합성부
400: 분류부

Claims (10)

  1. 학습데이터를 생성하기 위한 방법에 있어서,
    전경처리부가 학습 대상인 객체가 포함된 대상 이미지로부터 객체만으로 이루어진 객체 이미지를 추출하는 단계;
    배경처리부가 3차원 지도 데이터로부터 임의의 배경을 랜더링하여 모든 픽셀에 대한 좌표정보를 가지는 배경 이미지를 추출하는 단계;
    합성부가 상기 좌표정보에 따라 합성 가능한 영역을 검출하는 단계; 및
    상기 합성부가 상기 배경 이미지의 합성 가능한 영역에 상기 객체 이미지를 합성하는 단계;
    를 포함하며,
    상기 객체 이미지를 합성하는 단계는
    상기 합성부가 상기 합성 가능한 영역을 상기 객체 이미지의 객체의 크기에 따라 복수의 합성영역으로 구분하고,
    상기 합성부가 상기 복수의 합성영역 각각에 상기 객체 이미지를 합성하여 복수의 합성 이미지를 생성하며,
    상기 방법은
    분류부가 복수의 합성 이미지를 상기 구분된 합성영역의 위치의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링하는 단계; 및
    상기 분류부가 상기 복수의 합성 이미지 그룹에서 랜덤 방식으로 소정 수의 합성 이미지를 추출하여 소정 비율에 따라 학습용 학습 데이터와 검증용 데이터로 분류하는 단계;
    를 더 포함하는 것을 특징으로 하는
    학습데이터를 생성하기 위한 방법.
  2. 제1항에 있어서,
    상기 좌표정보는
    상기 픽셀의 법선벡터를 포함하며,
    상기 합성 가능한 영역을 검출하는 단계는
    상기 합성부가 수학식
    Figure 112021151052573-pat00012

    을 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출하며,
    상기 T는 임계치이고, 기 설정되는 각도 값이며,
    상기 normal은 법선벡터인 것을 특징으로 하는
    학습데이터를 생성하기 위한 방법.
  3. 제1항에 있어서,
    상기 좌표정보는
    상기 픽셀의 뎁스를 포함하며,
    상기 합성 가능한 영역을 검출하는 단계는
    상기 합성부가 수학식
    Figure 112021151052573-pat00013
    를 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출하며,
    상기 d는 상기 뎁스를 나타내며,
    상기
    Figure 112021151052573-pat00014
    는 제1 거리이고,
    상기
    Figure 112021151052573-pat00015
    는 제2 거리이며,
    렌더링 시 가상의 카메라의 위치를 기준으로 상기 제1 거리는 상기 제2 거리 보다 가까운 거리인 것을 특징으로 하는
    학습데이터를 생성하기 위한 방법.
  4. 삭제
  5. 삭제
  6. 학습데이터를 생성하기 위한 장치에 있어서,
    학습 대상인 객체가 포함된 대상 이미지로부터 객체만으로 이루어진 객체 이미지를 추출하는 전경처리부;
    3차원 지도 데이터로부터 임의의 배경을 랜더링하여 모든 픽셀에 대한 좌표정보를 가지는 배경 이미지를 추출하는 배경처리부; 및
    상기 좌표정보에 따라 합성 가능한 영역을 검출하고, 상기 배경 이미지의 합성 가능한 영역에 상기 객체 이미지를 합성하는 합성부;
    를 포함하며,
    상기 합성부는
    상기 합성 가능한 영역을 상기 객체 이미지의 객체의 크기에 따라 복수의 합성영역으로 구분하고,
    상기 복수의 합성영역 각각에 상기 객체 이미지를 합성하여 복수의 합성 이미지를 생성하며,
    상기 장치는
    복수의 합성 이미지를 상기 구분된 합성영역의 위치의 상관도에 따라 복수의 합성 이미지 그룹으로 클러스터링하고,
    상기 복수의 합성 이미지 그룹에서 랜덤 방식으로 소정 수의 합성 이미지를 추출하여 소정 비율에 따라 학습용 학습 데이터와 검증용 데이터로 분류하는 분류부;
    를 더 포함하는 것을 특징으로 하는
    학습데이터를 생성하기 위한 장치.
  7. 제6항에 있어서,
    상기 좌표정보는
    상기 픽셀의 법선벡터를 포함하며,
    상기 합성부는
    수학식
    Figure 112021151052573-pat00016

    을 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출하며,
    상기 T는 임계치이고, 기 설정되는 각도 값이며,
    상기 normal은 법선벡터인 것을 특징으로 하는
    학습데이터를 생성하기 위한 장치.
  8. 제6항에 있어서,
    상기 좌표정보는
    상기 픽셀의 뎁스를 포함하며,
    상기 합성부는
    수학식
    Figure 112021151052573-pat00017
    를 만족하는 픽셀로 이루어진 영역을 합성 가능한 영역으로 검출하며,
    상기 d는 상기 뎁스를 나타내며,
    상기
    Figure 112021151052573-pat00018
    는 제1 거리이고,
    상기
    Figure 112021151052573-pat00019
    는 제2 거리이며,
    렌더링 시 가상의 카메라의 위치를 기준으로 상기 제1 거리는 상기 제2 거리 보다 가까운 거리인 것을 특징으로 하는
    학습데이터를 생성하기 위한 장치.
  9. 삭제
  10. 삭제
KR1020210188853A 2021-12-27 2021-12-27 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 KR102393801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210188853A KR102393801B1 (ko) 2021-12-27 2021-12-27 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188853A KR102393801B1 (ko) 2021-12-27 2021-12-27 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102393801B1 true KR102393801B1 (ko) 2022-05-03

Family

ID=81591196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188853A KR102393801B1 (ko) 2021-12-27 2021-12-27 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102393801B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591489B1 (ko) 2022-10-13 2023-10-20 주식회사 심투리얼 가상환경을 활용한 합성 데이터 생성 시스템 및 그 방법
CN117523341A (zh) * 2023-11-23 2024-02-06 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149219A (ja) * 2012-01-23 2013-08-01 Canon Inc 映像処理装置及びその制御方法
KR101886754B1 (ko) * 2017-05-04 2018-09-10 국방과학연구소 머신 러닝을 위한 학습 이미지 생성 장치 및 방법
JP2018163468A (ja) * 2017-03-24 2018-10-18 Kddi株式会社 前景抽出装置及びプログラム
US20190205667A1 (en) * 2017-12-29 2019-07-04 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
KR20200087310A (ko) 2018-12-28 2020-07-21 소프트온넷(주) 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법
JP2020119127A (ja) * 2019-01-22 2020-08-06 日本金銭機械株式会社 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法
KR20200108609A (ko) * 2019-03-11 2020-09-21 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR20210002970A (ko) * 2019-07-01 2021-01-11 고려대학교 산학협력단 영상 학습 장치
KR102317182B1 (ko) * 2020-11-25 2021-10-27 주식회사 리얼이매진 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149219A (ja) * 2012-01-23 2013-08-01 Canon Inc 映像処理装置及びその制御方法
JP2018163468A (ja) * 2017-03-24 2018-10-18 Kddi株式会社 前景抽出装置及びプログラム
KR101886754B1 (ko) * 2017-05-04 2018-09-10 국방과학연구소 머신 러닝을 위한 학습 이미지 생성 장치 및 방법
US20190205667A1 (en) * 2017-12-29 2019-07-04 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
KR20200087310A (ko) 2018-12-28 2020-07-21 소프트온넷(주) 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법
JP2020119127A (ja) * 2019-01-22 2020-08-06 日本金銭機械株式会社 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法
KR20200108609A (ko) * 2019-03-11 2020-09-21 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR20210002970A (ko) * 2019-07-01 2021-01-11 고려대학교 산학협력단 영상 학습 장치
KR102317182B1 (ko) * 2020-11-25 2021-10-27 주식회사 리얼이매진 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591489B1 (ko) 2022-10-13 2023-10-20 주식회사 심투리얼 가상환경을 활용한 합성 데이터 생성 시스템 및 그 방법
CN117523341A (zh) * 2023-11-23 2024-02-06 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备

Similar Documents

Publication Publication Date Title
KR102393801B1 (ko) 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
JP7011146B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
US9552536B2 (en) Image processing device, information storage device, and image processing method
US11106903B1 (en) Object detection in image data
JP2019036008A (ja) 制御プログラム、制御方法、及び情報処理装置
KR102280201B1 (ko) 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치
WO2020159437A1 (en) Method and system for face liveness detection
CN114627173A (zh) 通过差分神经渲染进行对象检测的数据增强
KR20210026521A (ko) 헤어스타일 분석을 통한 3d 아바타를 생성하는 방법 및 장치
Hassan et al. Learning Feature Fusion in Deep Learning‐Based Object Detector
US11176455B2 (en) Learning data generation apparatus and learning data generation method
Salami et al. Motion pattern recognition in 4d point clouds
US11941498B2 (en) Facial motion detection and image correction method and apparatus
US20240054771A1 (en) Processing apparatus, information processing method and recording medium
US11715197B2 (en) Image segmentation method and device
Alletto et al. Head pose estimation in first-person camera views
KR101681233B1 (ko) 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
US11373313B2 (en) Image processing apparatus and image processing method
WO2022096343A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR102419579B1 (ko) 지적 재산권 침해 여부를 판별하기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
Akbas et al. Low-level image segmentation based scene classification
KR20220063331A (ko) 딥러닝 기반 이미지 재구성 장치 및 그 방법
Nguwi et al. Automatic detection of lizards

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant