KR20210155907A - 미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법 - Google Patents

미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법 Download PDF

Info

Publication number
KR20210155907A
KR20210155907A KR1020200073393A KR20200073393A KR20210155907A KR 20210155907 A KR20210155907 A KR 20210155907A KR 1020200073393 A KR1020200073393 A KR 1020200073393A KR 20200073393 A KR20200073393 A KR 20200073393A KR 20210155907 A KR20210155907 A KR 20210155907A
Authority
KR
South Korea
Prior art keywords
content
style
image
influence
undetected
Prior art date
Application number
KR1020200073393A
Other languages
English (en)
Inventor
김종항
이상학
김보연
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020200073393A priority Critical patent/KR20210155907A/ko
Priority to US17/077,378 priority patent/US11551434B2/en
Publication of KR20210155907A publication Critical patent/KR20210155907A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법이 개시된다. 일 실시예에 따른 재학습 장치는 미검출 이미지를 입력받는 입력부; 상기 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성하는 스타일 전이부; 상기 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제2 증강 이미지를 생성하는 콘텐츠 전이부; 및 상기 미검출 이미지, 상기 제1 증강 이미지, 및 상기 제2 증강 이미지의 객체 검출 신뢰도를 비교하여 상기 미검출 이미지의 미검출 원인을 분석하는 영향도 분석부를 포함한다.

Description

미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법{APPARATUS AND METHOD FOR RELEARNING OEJECT DETECTOR USING UNDETECTED IMAGE}
개시되는 실시예들은 기계 학습 기반의 객체 검출(object detection) 기술과 관련된다.
객체 검출은 이미지 내에서 특정 유형의 객체의 위치 정보를 찾는 기술이다. 객체 검출 기술에는 여러 가지가 있으나 최근에는 기계 학습 기반의 객체 검출기가 많이 사용된다.
학습된 객체 검출기를 이용한 객체 검출시, 다양한 이유로 객체의 미검출이 발생할 수 있다. 종래에는 미검출 객체가 포함된 이미지를 이용하여 검출기를 재학습하거나, 또는 개발자가 미검출 이미지로부터 수동으로 미검출 원인을 분석하는 등의 방식으로 객체의 미검출에 대응하였다. 그러나 재학습에 필요한 만큼의 충분한 미검출 이미지를 취득하는 것은 현실적으로 어려운 경우가 많다. 또한 미검출의 원인 분석을 개발자의 직관에 의존할 경우 잘못된 분석으로 인해 객체 미검출 문제의 해결이 어려워질 가능성이 존재한다.
개시되는 실시예들은 소수의 미검출 이미지만을 이용하여 객체 검출기를 재학습함으로써 미검출 문제를 개선하고 객체 검출기의 성능을 높이기 위한 기술적인 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 미검출 이미지를 입력받는 입력부; 상기 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성하는 스타일 전이부; 상기 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제2 증강 이미지를 생성하는 콘텐츠 전이부; 및 상기 미검출 이미지, 상기 제1 증강 이미지, 및 상기 제2 증강 이미지의 객체 검출 신뢰도를 비교하여 상기 미검출 이미지의 미검출 원인을 분석하는 영향도 분석부를 포함하는, 객체 검출기의 재학습 장치가 제공된다.
상기 스타일 전이부는, 상기 객체 영역으로부터 상기 콘텐츠 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 스타일 셋(style-set)과 조합하여 상기 제1 증강 이미지를 생성할 수 있다.
상기 콘텐츠 전이부는, 상기 객체 영역으로부터 상기 스타일 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 콘텐츠 셋(content-set)과 조합하여 상기 제2 증강 이미지를 생성할 수 있다.
상기 영향도 분석부는, 상기 미검출 이미지, 상기 제1 증강 이미지, 상기 제2 증강 이미지 및 기 설정된 사전 데이터의 객체 검출 신뢰도를 이용하여 상기 미검출에 대한 스타일 영향도 및 콘텐츠 영향도를 계산할 수 있다.
상기 스타일 영향도는 다음의 수학식
Figure pat00001
(이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Style(1, 2)는 A1의 스타일 영향도)
에 의하여 계산될 수 있다.
상기 콘텐츠 영향도는 다음의 수학식
Figure pat00002
(이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Content(A, B)는 A1의 콘텐츠 영향도)
에 의하여 계산될 수 있다.
상기 장치는, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 미검출 이미지로부터 하나 이상의 재학습 이미지를 생성하는 학습 데이터 생성부를 더 포함할 수 있다.
상기 학습 데이터 생성부는, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 재학습 이미지의 증강 시 스타일 속성 및 콘텐츠 속성의 변화율을 변화시킬 수 있다.
상기 장치는, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 객체 검출기의 손실 함수를 갱신하는 손실 함수 갱신부를 더 포함할 수 있다.
상기 손실 함수 갱신부는, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 손실 함수의 분류 손실(classification loss)의 가중치를 변화시킬 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 미검출 이미지를 입력받는 단계; 상기 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성하는 단계; 상기 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제2 증강 이미지를 생성하는 단계; 및 상기 미검출 이미지, 상기 제1 증강 이미지, 및 상기 제2 증강 이미지의 객체 검출 신뢰도를 비교하여 상기 미검출 이미지의 미검출 원인을 분석하는 단계를 포함하는, 객체 검출기의 재학습 방법이 제공된다.
상기 제1 증강 이미지를 생성하는 단계는, 상기 객체 영역으로부터 상기 콘텐츠 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 스타일 셋(style-set)과 조합하여 상기 제1 증강 이미지를 생성할 수 있다.
상기 제2 증강 이미지를 생성하는 단계는, 상기 객체 영역으로부터 상기 스타일 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 콘텐츠 셋(content-set)과 조합하여 상기 제2 증강 이미지를 생성할 수 있다.
상기 분석 단계는, 상기 미검출 이미지, 상기 제1 증강 이미지, 상기 제2 증강 이미지 및 기 설정된 사전 데이터의 객체 검출 신뢰도를 이용하여 상기 미검출에 대한 스타일 영향도 및 콘텐츠 영향도를 계산할 수 있다.
상기 스타일 영향도는 다음의 수학식
Figure pat00003
(이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Style(1, 2)는 A1의 스타일 영향도)
에 의하여 계산될 수 있다.
상기 콘텐츠 영향도는 다음의 수학식
Figure pat00004
(이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Content(A, B)는 A1의 콘텐츠 영향도)
에 의하여 계산될 수 있다.
상기 방법은, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 미검출 이미지로부터 하나 이상의 재학습 이미지를 생성하는 단계를 더 포함할 수 있다.
상기 재학습 이미지를 생성하는 단계는, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 재학습 이미지의 증강 시 스타일 속성 및 콘텐츠 속성의 변화율을 변화시킬 수 있다.
상기 방법은, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 객체 검출기의 손실 함수를 갱신하는 단계를 더 포함할 수 있다.
상기 손실 함수 갱신 단계는, 상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 손실 함수의 분류 손실(classification loss)의 가중치를 변화시킬 수 있다.
개시되는 실시예들에 따를 경우 객체 미검출의 원인을 개발자의 직관에 의존하지 않고 정량적으로 분석할 수 있다. 또한 소수의 미검출 이미지만으로 재학습에 필요한 데이터를 증강함으로써 재학습 이미지 수집 및 라벨링에 소요되는 시간을 감소시키는 동시에, 미검출 문제를 개선하고 객체 검출기의 성능을 높일 수 있다.
도 1은 일 실시예에 따른 객체 검출기의 재학습 장치(100)를 설명하기 위한 블록도
도 2는 일 실시예에 따른 입력부(102)에서 미검출 이미지(200)를 입력받는 과정을 설명하기 위한 예시도
도 3은 일 실시예에 따른 스타일 전이부(104)의 상세 구성을 설명하기 위한 블록도
도 4는 일 실시예에 따른 콘텐츠 전이부(106)의 상세 구성을 설명하기 위한 블록도
도 5는 일 실시예에 따른 영향도 분석부(108)에서의 스타일 영향도 및 콘텐츠 영향도 계산 과정을 설명하기 위한 예시도
도 6은 일 실시예에 따른 객체 검출기의 재학습 방법(600)을 설명하기 위한 흐름도
도 7는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 객체 검출기의 재학습 장치(100)를 설명하기 위한 블록도이다. 일 실시예에 따른 재학습 장치(100)는 객체 검출기(object detector)에서 검출하지 못한 객체를 포함하는 이미지를 이용하여 객체 검출기를 재학습하기 위한 장치를 의미한다. 이하의 설명에서 '미검출 객체(undetected object)'란 객체 검출기에서 검출하지 못한 객체를, '미검출 이미지'란 상기 미검출 객체를 포함하는 이미지를 의미한다. 도 1에 도시된 바와 같이, 일 실시예에 따른 재학습 장치(100)는 입력부(102), 스타일 전이부(104), 콘텐츠 전이부(106), 영향도 분석부(108), 학습 데이터 생성부(110), 손실 함수 갱신부(112) 및 재학습부(114)를 포함한다.
입력부(102)는 객체 검출기로부터 객체가 검출되지 않은 미검출 이미지를 입력받는다.
도 2는 일 실시예에 따른 입력부(102)에서 미검출 이미지(200)를 입력받는 과정을 설명하기 위한 예시도이다. 미검출 이미지의 재학습을 위해서는 미검출 이미지 내에서 검출하고자 하는 객체 영역을 특정할 필요가 있다. 만약 객체 영역을 특정하지 않고 이미지 전체를 재학습할 경우 객체의 미검출 원인과 무관한 배경의 특성이 함께 학습될 수 있기 때문이다.
이를 위하여, 도 2의 (b)에 도시된 바와 같이, 입력부(102)는 입력된 미검출 이미지(200)에 대하여 바운딩 박스(bounding box) 형태로 객체 영역(202)을 레이블링(labeling)한다. 이를 통하여 입력부(102)는 도 2의 (c)에 도시된 바와 같이 이미지 내에서 객체와 그 밖의 영역을 구분할 수 있다.
한편, 실시예에 따라 도 2의 (d)에 도시된 바와 같이 입력부(102)는 객체 영역(202) 내에서 객체를 부위별로 세분화(segmentation)할 수 있다. 예컨대 검출하고자 하는 객체가 사람의 얼굴인 경우, 입력부(102)는 얼굴 영역 중 눈, 코, 입 등의 세부 영역을 세분화하여 지정할 수 있다. 이와 같이 객체를 세분화하여 지정할 경우 후술할 학습 데이터 생성부(110)에서 학습 데이터를 생성시 데이터의 품질을 높일 수 있다.
스타일 전이부(104)는 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성한다.
개시되는 실시예들에서, 콘텐츠 속성이란 객체의 외형과 관련된 속성을 의미한다. 예를 들어, 상기 객체가 사람의 얼굴일 경우 다양한 환경(실내, 실외, 주간, 야간 등) 촬영한 동일한 사람의 얼굴 영상은 동일한 콘텐츠 속성을 가진다. 또한 스타일 속성이란 객체의 외형이 아닌 색상이나 질감(texture) 등과 관련된 속성을 의미한다. 예를 들어, 동일한 사람을 촬영한 영상이라 할지라도 조도나 노이즈 변화, 카메라의 종류(RGB 카메라 혹은 적외선(IR) 카메라 등), 역광의 유무 등에 따라 스타일 속성은 각기 다를 수 있다.
도 3은 일 실시예에 따른 스타일 전이부(104)의 상세 구성을 설명하기 위한 블록도이다. 일 실시예에서, 스타일 전이부(104)는 생성적 적대 신경망(GAN; Generative Adversarial Networks)을 이용하여 상기 제1 증강 이미지를 생성할 수 있다. 구체적으로 스타일 전이부(104)는 별도의 스타일 셋(style-set)을 구비하고, 스타일 인코더(302)를 이용하여 스타일 셋으로부터 스타일 속성(스타일 latent code)을 추출해 놓을 수 있다. 이때 상기 스타일 셋은 복수의 서로 다른 스타일을 포함할 수 있다. 이후, 스타일 전이부(104)는 콘텐츠 인코더(304)를 이용하여 미검출 객체로부터 콘텐츠 속성(콘텐츠 latent code)을 추출한 뒤, 이를 상기 스타일 속성과 조합하여 생성자(306, generator)에 입력함으로써 하나 이상의 제1 증강 이미지를 생성한다.
다음으로, 콘텐츠 전이부(106)는 미검출 이미지의 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제1 증강 이미지를 생성한다.
도 4는 일 실시예에 따른 콘텐츠 전이부(106)의 상세 구성을 설명하기 위한 블록도이다. 일 실시예에서, 콘텐츠 전이부(106)는 스타일 전이부(104)와 마찬가지로 생성적 적대 신경망(GAN; Generative Adversarial Networks)을 이용하여 상기 제1 증강 이미지를 생성할 수 있다. 구체적으로 콘텐츠 전이부(106)는 별도의 콘텐츠 셋(content-set)을 구비하고, 콘텐츠 인코더(402)를 이용하여 콘텐츠 속성(콘텐츠 latent code)을 추출해 놓을 수 있다. 이때 상기 콘텐츠 셋은 복수의 서로 다른 콘텐츠를 포함할 수 있다. 이후, 콘텐츠 전이부(106)는 스타일 인코더(404)를 이용하여 미검출 객체로부터 스타일 속성(스타일 latent code)을 추출한 뒤, 이를 상기 콘텐츠 속성과 조합하여 생성자(406, generator)에 입력함으로써 하나 이상의 제2 증강 이미지를 생성한다.
다음으로, 영향도 분석부(108)는 미검출 객체의 콘텐츠와 스타일이 각각 객체의 미검출에 미치는 영향도를 분석한다. 이를 위하여 영향도 분석부(108)는 미검출 이미지, 제1 증강 이미지, 제2 증강 이미지 및 기 설정된 사전 데이터를 객체 검출기에 입력하여 각각의 이미지별 객체 검출 신뢰도를 계산하고, 계산된 신뢰도의 비교를 통해 미검출 이미지의 미검출 원인에 대한 스타일 영향도와 콘텐츠 영향도를 계산한다.
예를 들어, 제1 증강 이미지의 객체 검출 신뢰도가 미검출 이미지의 객체 검출 신뢰도보다 높은 경우, 영향도 분석부(108)는 객체 미검출에 스타일의 영향이 있다고 판단할 수 있다. 이 경우 스타일 영향도는 제1 증강 이미지의 객체 검출 신뢰도와 미검출 이미지의 객체 검출 신뢰도의 차이에 기반하여 계산될 수 있다. 즉 제1 증강 이미지의 객체 검출 신뢰도와 미검출 이미지의 객체 검출 신뢰도의 차이가 클수록 스타일 영향도 값도 증가하게 된다. 반대로 제1 증강 이미지의 객체 검출 신뢰도가 미검출 이미지의 객체 검출 신뢰도보다 낮은 경우, 영향도 분석부(108)는 객체 미검출에 스타일의 영향이 없는 것으로 판단할 수 있다.
또한 제2 증강 이미지의 객체 검출 신뢰도가 미검출 이미지의 객체 검출 신뢰도보다 높은 경우, 영향도 분석부(108)는 객체 미검출에 콘텐츠의 영향이 있다고 판단할 수 있다. 이 경우 콘텐츠 영향도는 제1 증강 이미지의 객체 검출 신뢰도와 미검출 이미지의 객체 검출 신뢰도의 차이에 기반하여 계산될 수 있다. 즉 제2 증강 이미지의 객체 검출 신뢰도와 미검출 이미지의 객체 검출 신뢰도의 차이가 클수록 콘텐츠 영향도 값도 증가하게 된다. 반대로 제2 증강 이미지의 객체 검출 신뢰도가 미검출 이미지의 객체 검출 신뢰도보다 낮은 경우, 영향도 분석부(108)는 객체 미검출에 콘텐츠의 영향이 없는 것으로 판단할 수 있다.
한편, 제1 증강 이미지의 객체 검출 신뢰도가 제2 증강 이미지의 객체 검출 신뢰도보다 높은 경우, 영향도 분석부(108)는 미검출 원인에 스타일의 영향이 콘텐츠보다 더 크다고 판단할 수 있다. 반대로 제1 증강 이미지의 객체 검출 신뢰도가 제2 증강 이미지의 객체 검출 신뢰도보다 낮은 경우, 영향도 분석부(108)는 미검출 원인에 콘텐츠의 영향이 더 크다고 판단할 수 있다.
일 실시예에서, 상기 스타일 영향도와 콘텐츠 영향도는 미검출 객체와 사전 데이터를 이용하여 다음과 같이 계산될 수 있다. 여기서 사전 데이터는 사전에 객체 검출기에서 검출 가능한 것으로 판단된 객체로서, 미검출 객체와의 비교를 위해 사용되는 객체이다.
도 5는 일 실시예에 따른 영향도 분석부(108)에서의 스타일 영향도 및 콘텐츠 영향도 계산 과정을 설명하기 위한 예시도이다. 도시된 예시도에서, A1은 미검출 객체로서 A라는 콘텐츠 속성과 1이라는 스타일 속성을 가진다. B2는 사전 데이터로서 B라는 콘텐츠 속성과 2라는 스타일 속성을 가진다. A2는 A1의 스타일 속성을 1에서 2로 전이시킨 제1 증강 이미지, B1은 A2의 콘텐츠 속성을 A에서 B로 전이시킨 제2 증강 이미지에 해당한다.
이와 같은 상황에서 미검출 객체의 스타일 영향도(Style(1, 2))와 콘텐츠 영향도(Content(A, B))는 다음의 수학식 1 및 2와 같이 계산될 수 있다.
[수학식 1]
Figure pat00005
[수학식 2]
Figure pat00006
이때, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도이다.
만약 A1, A2, B1, B2 각각의 객체 검출 신뢰도가 0.3, 0.5, 0.8, 0.9로 계산되는 경우 스타일 영향도 및 콘텐츠 영향도는 다음과 같다.
Style(1, 2) = (0.5 - 0.3) + (0.9 - 0.8) = 0.3
Content(A, B) = (0.8 - 0.3) + (0.9 - 0.5) = 0.9
즉, 이 경우는 객체 미검출의 원인으로 스타일 영향도보다 콘텐츠 영향도가 더 큰 경우이다.
다음으로, 학습 데이터 생성부(110)는 영향도 분석부(108)에서 계산된 스타일 영향도 및 콘텐츠 영향도에 기반하여 미검출 이미지로부터 하나 이상의 재학습 이미지를 생성한다. 구체적으로 학습 데이터 생성부(110)는 GAN을 이용하여 미검출 이미지 내의 미검출 객체의 스타일 속성 또는 콘텐츠 속성 중 하나 이상을 변화시켜가면서 미검출 객체를 증강함으로써 상기 하나 이상의 재학습 이미지를 생성할 수 있다.
일 실시예에서, 학습 데이터 생성부(110)는 앞서 계산된 스타일 영향도 및 콘텐츠 영향도에 따라 재학습 이미지의 증강 시 스타일 속성 및 콘텐츠 속성의 변화율을 조절할 수 있다. 예를 들어, 학습 데이터 생성부(110)는 스타일 영향도가 콘텐츠 영향도에 비해 클 경우 스타일 속성을 최대한 유지하는 방향으로 학습 데이터를 생성할 수 있다. 예컨대, 역광 스타일의 영향도가 큰 경우, 학습 데이터 생성부(110)는 기본적으로 역광 스타일을 유지하되, 영향도가 클수록 다양한 역광 세기를 조절하며 학습 데이터를 생성할 수 있다. 반대로 콘텐츠 영향도가 스타일 영향도보다 클 경우, 학습 데이터 생성부(110)는 콘텐츠 속성을 최대한 유지하는 방향으로 학습 데이터를 생성할 수 있다. 예컨대 특정인의 얼굴 콘텐츠의 영향도가 크다면 학습 데이터 생성부는 기본적으로 해당 얼굴을 유지하되, 영향도가 클수록 보다 다양한 얼굴 각도의 얼굴 데이터를 생성하는 방식으로 학습 데이터를 생성할 수 있다.
다음으로, 손실 함수 갱신부(112)는 상기 스타일 영향도 및 콘텐츠 영향도에 기반하여 객체 검출기의 손실 함수를 갱신한다.
객체 검출기의 손실 함수(loss)는 일반적으로 아래의 수학식 3과 같은 구조를 가진다.
[수학식 3]
Figure pat00007
이때 Lconf는 분류 손실(classification loss), Lloc은 위치 손실(localization loss)을 의미한다.
일 실시예에서, 손실 함수 갱신부(112)는 스타일 영향도 및 콘텐츠 영향도에 따라 손실 함수의 분류 손실(classification loss)의 가중치를 변화시킬 수 있다. 이를 수학식으로 나타내면 다음과 같다. 이때 ωi는 i번째 객체에 대한 분류 손실 가중치, α는 콘텐츠 가중치, β는 스타일 가중치이다.
[수학식 4]
Figure pat00008
Figure pat00009
상기 수학식에서 콘텐츠 영향도가 스타일 영향도보다 더 크고 이 값이 기준값 이상인 경우는 콘텐츠 가중치를, 스타일 영향도가 더 크고 이 값이 기준값 이상인 경우는 스타일 가중치를 각각 적용한다. 콘텐츠 가중치 및 스타일 가중치는 각각 다음과 같이 계산될 수 있다.
[수학식 5]
Figure pat00010
[수학식 6]
Figure pat00011
도 5에 도시된 예의 경우 콘텐츠 영향도가 더 큰 경우이다. 만약 W = 2, B = 1이라 가정하면 위 손실 함수의 콘텐츠 가중치는 다음과 같다.
α = 0.9 * 2 + 1 = 2.8
지막으로, 재학습부(114)는 학습 데이터 생성부(110)에서 생성된 학습 데이터 및 손실 함수 갱신부(112)에서 갱신된 손실 함수를 이용하여 객체 검출기의 재학습을 수행함으로써, 객체 검출기가 미검출 이미지에 효과적으로 대처할 수 있도록 한다.
도 6은 일 실시예에 따른 객체 검출기의 재학습 방법(600)을 설명하기 위한 흐름도이다. 도시된 흐름도는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예를 들어 객체 검출기의 재학습 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 602에서, 재학습 장치(100)의 입력부(102)는 객체 검출기에서 미검출로 판단된 이미지를 입력받는다.
단계 604에서, 스타일 전이부(104)는 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성한다.
단계 606에서, 콘텐츠 전이부(106)는 상기 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제2 증강 이미지를 생성한다.
단계 608에서, 영향도 분석부(108)는 미검출 이미지, 제1 증강 이미지, 및 제2 증강 이미지의 객체 검출 신뢰도를 비교하여 상기 미검출 이미지의 미검출 원인을 분석한다. 전술한 바와 같이, 영향도 분석부(108)는 미검출 이미지, 제1 증강 이미지, 및 제2 증강 이미지의 객체 검출 신뢰도를 이용하여 상기 미검출에 대한 스타일 영향도 및 콘텐츠 영향도를 계산하도록 구성된다.
단계 610에서, 학습 데이터 생성부(110)는 상기 608 단계에서 계산된 스타일 영향도 및 콘텐츠 영향도에 기반하여 상기 미검출 이미지로부터 하나 이상의 재학습 이미지를 생성한다. 이때 학습 데이터 생성부(110)는 상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 재학습 이미지의 증강 시 스타일 속성 및 콘텐츠 속성의 변화율을 변화시킬 수 있다.
단계 612에서, 손실 함수 갱신부(112)는 상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 객체 검출기의 손실 함수를 갱신한다. 일 실시예에서, 손실 함수 갱신부(112)는 상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 손실 함수의 분류 손실(classification loss)의 가중치를 변화시킬 수 있다.
단계 614에서, 재학습부(114)는 학습 데이터 생성부(110)에서 생성된 학습 데이터 및 손실 함수 갱신부(112)에서 갱신된 손실 함수를 이용하여 객체 검출기의 재학습을 수행한다.
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 개시되는 실시예들에 따른 객체 검출기의 재학습 장치(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 객체 검출기의 재학습 장치
102: 입력부
104: 스타일 전이부
106: 콘텐츠 전이부
108: 영향도 분석부
110: 학습 데이터 생성부
112: 손실 함수 갱신부
114: 재학습부
200: 미검출 이미지
202: 객체 영역
302, 404: 스타일 인코더
304, 402: 콘텐츠 인코더
306, 406: 생성자

Claims (20)

  1. 미검출 이미지를 입력받는 입력부;
    상기 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성하는 스타일 전이부;
    상기 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제2 증강 이미지를 생성하는 콘텐츠 전이부; 및
    상기 미검출 이미지, 상기 제1 증강 이미지, 및 상기 제2 증강 이미지의 객체 검출 신뢰도를 비교하여 상기 미검출 이미지의 미검출 원인을 분석하는 영향도 분석부를 포함하는, 객체 검출기의 재학습 장치.
  2. 청구항 1에 있어서,
    상기 스타일 전이부는,
    상기 객체 영역으로부터 상기 콘텐츠 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 스타일 셋(style-set)과 조합하여 상기 제1 증강 이미지를 생성하는, 객체 검출기의 재학습 장치.
  3. 청구항 1에 있어서,
    상기 콘텐츠 전이부는,
    상기 객체 영역으로부터 상기 스타일 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 콘텐츠 셋(content-set)과 조합하여 상기 제2 증강 이미지를 생성하는, 객체 검출기의 재학습 장치.
  4. 청구항 1에 있어서,
    상기 영향도 분석부는,
    상기 미검출 이미지, 상기 제1 증강 이미지, 상기 제2 증강 이미지의 객체 검출 신뢰도, 및 기 설정된 사전 데이터를 이용하여 상기 미검출에 대한 스타일 영향도 및 콘텐츠 영향도를 계산하는, 객체 검출기의 재학습 장치.
  5. 청구항 4에 있어서,
    상기 스타일 영향도는 다음의 수학식
    Figure pat00012

    (이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Style(1, 2)는 A1의 스타일 영향도)
    에 의하여 계산되는, 객체 검출기의 재학습 장치.
  6. 청구항 4에 있어서,
    상기 콘텐츠 영향도는 다음의 수학식
    Figure pat00013

    (이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Content(A, B)는 A1의 콘텐츠 영향도)
    에 의하여 계산되는, 객체 검출기의 재학습 장치.
  7. 청구항 4에 있어서,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 미검출 이미지로부터 하나 이상의 재학습 이미지를 생성하는 학습 데이터 생성부를 더 포함하는, 객체 검출기의 재학습 장치.
  8. 청구항 7에 있어서,
    상기 학습 데이터 생성부는,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 재학습 이미지의 증강 시 스타일 속성 및 콘텐츠 속성의 변화율을 변화시키는, 객체 검출기의 재학습 장치.
  9. 청구항 4에 있어서,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 객체 검출기의 손실 함수를 갱신하는 손실 함수 갱신부를 더 포함하는, 객체 검출기의 재학습 장치.
  10. 청구항 9에 있어서,
    상기 손실 함수 갱신부는,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 손실 함수의 분류 손실(classification loss)의 가중치를 변화시키는, 객체 검출기의 재학습 장치.
  11. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    미검출 이미지를 입력받는 단계;
    상기 미검출 이미지의 객체 영역과 동일한 콘텐츠 속성을 가지되, 스타일 속성이 상이한 하나 이상의 제1 증강 이미지를 생성하는 단계;
    상기 객체 영역과 동일한 스타일 속성을 가지되, 콘텐츠 속성이 상이한 하나 이상의 제2 증강 이미지를 생성하는 단계; 및
    상기 미검출 이미지, 상기 제1 증강 이미지, 및 상기 제2 증강 이미지의 객체 검출 신뢰도를 비교하여 상기 미검출 이미지의 미검출 원인을 분석하는 단계를 포함하는, 객체 검출기의 재학습 방법.
  12. 청구항 11에 있어서,
    상기 제1 증강 이미지를 생성하는 단계는,
    상기 객체 영역으로부터 상기 콘텐츠 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 스타일 셋(style-set)과 조합하여 상기 제1 증강 이미지를 생성하는, 객체 검출기의 재학습 방법.
  13. 청구항 11에 있어서,
    상기 제2 증강 이미지를 생성하는 단계는,
    상기 객체 영역으로부터 상기 스타일 속성을 추출하고, 추출된 상기 콘텐츠 속성을 기 설정된 콘텐츠 셋(content-set)과 조합하여 상기 제2 증강 이미지를 생성하는, 객체 검출기의 재학습 방법.
  14. 청구항 11에 있어서,
    상기 분석 단계는,
    상기 미검출 이미지, 상기 제1 증강 이미지, 상기 제2 증강 이미지, 및 기 설정된 사전 데이터의 객체 검출 신뢰도를 이용하여 상기 미검출에 대한 스타일 영향도 및 콘텐츠 영향도를 계산하는, 객체 검출기의 재학습 방법.
  15. 청구항 14에 있어서,
    상기 스타일 영향도는 다음의 수학식
    Figure pat00014

    (이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Style(1, 2)는 A1의 스타일 영향도)
    에 의하여 계산되는, 객체 검출기의 재학습 방법.
  16. 청구항 14에 있어서,
    상기 콘텐츠 영향도는 다음의 수학식
    Figure pat00015

    (이때, A1은 미검출 객체, B2는 사전 데이터, A2는 A1의 스타일 속성을 B2에 대응하도록 전이시킨 제1 증강 이미지, B1은 A1의 컨텐츠 속성을 B2에 대응하도록 전이시킨 제2 증강 이미지, ConfA1, ConfA2, ConfB1, ConfB2는 각각 A1, A2, B1, B2의 객체 검출 신뢰도, Content(A, B)는 A1의 콘텐츠 영향도)
    에 의하여 계산되는, 객체 검출기의 재학습 방법.
  17. 청구항 14에 있어서,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 미검출 이미지로부터 하나 이상의 재학습 이미지를 생성하는 단계를 더 포함하는, 객체 검출기의 재학습 방법.
  18. 청구항 17에 있어서,
    상기 재학습 이미지를 생성하는 단계는,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 재학습 이미지의 증강 시 스타일 속성 및 콘텐츠 속성의 변화율을 변화시키는, 객체 검출기의 재학습 방법.
  19. 청구항 14에 있어서,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 기반하여 상기 객체 검출기의 손실 함수를 갱신하는 단계를 더 포함하는, 객체 검출기의 재학습 방법.
  20. 청구항 19에 있어서,
    상기 손실 함수 갱신 단계는,
    상기 스타일 영향도 및 상기 콘텐츠 영향도에 따라 상기 손실 함수의 분류 손실(classification loss)의 가중치를 변화시키는, 객체 검출기의 재학습 방법.
KR1020200073393A 2020-06-17 2020-06-17 미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법 KR20210155907A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200073393A KR20210155907A (ko) 2020-06-17 2020-06-17 미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법
US17/077,378 US11551434B2 (en) 2020-06-17 2020-10-22 Apparatus and method for retraining object detection using undetected image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200073393A KR20210155907A (ko) 2020-06-17 2020-06-17 미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210155907A true KR20210155907A (ko) 2021-12-24

Family

ID=79022400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200073393A KR20210155907A (ko) 2020-06-17 2020-06-17 미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법

Country Status (2)

Country Link
US (1) US11551434B2 (ko)
KR (1) KR20210155907A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880957B2 (en) * 2020-09-04 2024-01-23 Adobe Inc. Few-shot image generation via self-adaptation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366989B2 (en) * 2019-08-20 2022-06-21 Microsoft Technology Licensing, Llc Negative sampling algorithm for enhanced image classification
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks

Also Published As

Publication number Publication date
US20210397868A1 (en) 2021-12-23
US11551434B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
Dewi et al. Yolo V4 for advanced traffic sign recognition with synthetic training data generated by various GAN
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US20230237088A1 (en) Automatically detecting user-requested objects in digital images
KR102597377B1 (ko) 이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램
KR102287407B1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
JP2002049920A (ja) 画像オブジェクトの所望の輪郭を推定するための方法および装置
US20210048938A1 (en) Visual hierarchy design governed user interface modification via augmented reality
JP2022531620A (ja) Ａｉによるディープラーニングネットワークを学習させる方法及びこれを利用した学習装置
KR20210149530A (ko) 이미지 분류 모델 학습 방법 및 이를 수행하기 위한 장치
EP4080470A2 (en) Method and apparatus for detecting living face
US20210217443A1 (en) Film-making using style transfer
KR101963756B1 (ko) 소프트웨어 취약점 예측 모델 학습 장치 및 방법, 소프트웨어 취약점 분석 장치 및 방법
CN110390327A (zh) 前景提取方法、装置、计算机设备及存储介质
Yu Emotion monitoring for preschool children based on face recognition and emotion recognition algorithms
KR20210155907A (ko) 미검출 이미지를 이용한 객체 검출기의 재학습 장치 및 방법
JP2021103598A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20210048315A (ko) 통합 특징 벡터 생성 방법 및 장치
US20230103060A1 (en) Context-based speaker counter for a speaker diarization system
KR20220159104A (ko) 딥페이크 이미지 판별 장치 및 그 학습 방법
KR20210142930A (ko) 퓨 샷 학습 방법 및 이를 수행하기 위한 장치
CN111739046A (zh) 用于模型更新和检测图像的方法、装置、设备和介质
KR20210157052A (ko) 객체 인식 방법 및 객체 인식 장치
KR102647320B1 (ko) 객체 추적 장치 및 방법
KR102339625B1 (ko) 공간 지도 갱신 장치 및 방법
WO2022190301A1 (ja) 学習装置、学習方法、及びコンピュータ可読媒体

Legal Events

Date Code Title Description
A201 Request for examination