KR102482262B1 - 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법 - Google Patents

객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법 Download PDF

Info

Publication number
KR102482262B1
KR102482262B1 KR1020210135023A KR20210135023A KR102482262B1 KR 102482262 B1 KR102482262 B1 KR 102482262B1 KR 1020210135023 A KR1020210135023 A KR 1020210135023A KR 20210135023 A KR20210135023 A KR 20210135023A KR 102482262 B1 KR102482262 B1 KR 102482262B1
Authority
KR
South Korea
Prior art keywords
image
background
synthesized
data set
information
Prior art date
Application number
KR1020210135023A
Other languages
English (en)
Inventor
김형복
박예성
이진석
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Priority to KR1020210135023A priority Critical patent/KR102482262B1/ko
Application granted granted Critical
Publication of KR102482262B1 publication Critical patent/KR102482262B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법을 개시한다. 본 발명은 이미지의 단순한 위치 이동이나 회전 등을 통한 데이터 증강이 아니라 이미지 내의 객체를 인지하여 추출하고, 추출된 객체를 변환하여 다양한 이미지 데이터를 생성함으로써, 대규모 이미지 데이터 셋의 구축이 가능하다.

Description

객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법{APPARATUS AND METHOD FOR AUGMENTING DATA USING OBJECT SEGMENTATION AND BACKGROUND SYNTHESIS}
본 발명은 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 이미지 내의 객체를 인지하여 추출하고 추출된 객체를 변환하여 다양한 이미지 데이터를 생성하는 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법에 관한 것이다.
인공지능 및 로봇 개발이 가속화되면서 인간처럼 생각하는 분야의 연구가 확대되고 있으며, 가상 및 증강 현실 시스템, 자율 주행, 의료 로봇, 드론 등 실시간으로 움직이며 판단하고 동작을 수행하는 연구에 대한 관심이 늘어나고 있다.
이러한 인공지능을 학습하기 위해서는 다양한 상황에 대한 많은 데이터의 확보가 요구되고 있고, 다양한 데이터로 학습한 인공지능 모델은 강인(Robust)해질 수 있다.
도1은 종래기술에 따른 일반적인 데이터 증강을 나타낸 예시도이다.
도1에 나타낸 바와 같이, 일반적인 이미지 데이터 증강 기술은 원본 이미지를 기반으로 이미지의 밝기 조절, 이미지 이동(Shift), 줌(Zooming)을 이용한 이미지 확대 또는 이미지 축소, 미러(Mirror) 기능을 이용한 이미지의 좌/우 반전, 이미지 상/하 반전, 이미지 회전(Rotate) 등 이미지 내의 콘텐츠(Content)는 변형하지 않고, 입력 이미지(또는 영상)의 영역 및 범위를 조절하는 형태로 수행된다.
이러한 종래 기술에 따른 이미지 데이터 증강 기술은 데이터의 다양성 확보에 제약이 있고, 의미적(Semantic)으로 새로운 환경에 적용할 경우, 성능 향상이 어려운 문제점이 있다.
한국 등록특허공보 등록번호 제10-2167808호(발명의 명칭: AR에 적용 가능한 의미적인 분할 방법 및 시스템)
이러한 문제점을 해결하기 위하여, 본 발명은 이미지 내의 객체를 인지하여 추출하고 추출된 객체를 변환하여 다양한 이미지 데이터를 생성하는 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 객체 분할과 배경 합성을 이용한 데이터 증강 장치로서, 입력 이미지에서 하나 이상의 객체를 의미적 분할(Semantic Segmentation)을 통해 추출하여 객체 이미지와 배경 이미지로 분할하고, 객체가 추출된 배경 이미지의 데이터 셋(Set)과, 상기 추출된 객체 이미지의 데이터 셋을 생성하는 배경/객체 이미지 데이터 생성부; 및 상기 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 대상 배경 이미지, 객체 이미지, 합성 특징 정보를 추출하고, 상기 합성 대상 배경 이미지에서 추정된 조명(Illumination) 정보와, 상기 합성 대상 객체 이미지에 적용될 조명 정보를 기반으로 상기 합성 대상 객체 이미지를 랜더링하여 합성 이미지를 출력하는 합성 이미지 데이터 증강부;를 포함한다.
또한, 상기 실시 예에 따른 배경/객체 이미지 데이터 생성부는 하나 이상의 객체를 포함한 이미지를 수신하는 이미지 데이터 입력부; 상기 입력 이미지에서 의미적 분할(Semantic segmentation)을 통해 객체를 추출하여 추출된 객체 이미지와 배경 이미지로 분할하는 의미적 분할부; 상기 객체가 추출된 배경 이미지의 빈 픽셀 영역을 임의의 색상으로 채워 보정된 배경 이미지를 생성하는 배경 이미지 처리부; 및 상기 보정된 배경 이미지를 기반으로 배경 이미지의 데이터 셋과, 상기 추출된 객체 이미지를 기반으로 객체 이미지의 데이터 셋을 생성하는 데이터 생성부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 배경 이미지 처리부는 상기 객체가 추출된 배경 이미지의 빈 픽셀 영역을 인공지능 기반의 보정 모델을 이용하여 주변 이미지의 픽셀 정보에 기반한 최적의 색상으로 채워 보정된 배경 이미지를 생성하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 합성 이미지 데이터 증강부는 상기 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 대상 배경 이미지, 객체 이미지, 합성 특징 정보를 추출하는 노벨티 체크부; 상기 검색된 합성 대상 배경 이미지에서 광원의 위치 및 세기를 포함한 조명(Illumination) 정보를 추정하는 배경 조명 추출부; 상기 검색된 합성 대상 객체 이미지에 상기 추정된 조명 정보와 합성 특징 정보에 기반한 전처리 정보를 반영하는 배경 조명 관리부; 상기 추정된 조명 정보와 전처리 정보를 반영하여 합성 대상 객체 이미지를 랜더링하는 랜더링부; 및 상기 배경 이미지와 랜더링된 객체 이미지를 합성하여 증강된 이미지를 생성하는 합성 이미지 출력부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 노벨티 체크부의 합성 특징 정보는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기 중 적어도 하나를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 전처리 정보는 객체의 확대, 축소, 이동, 반전 및 회전 중 어느 하나인 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 객체 분할과 배경 합성을 이용한 데이터 증강 방법으로서, a) 배경/객체 이미지 데이터 생성부가 임의의 이미지를 입력 받으면, 상기 입력 이미지에서 하나 이상의 객체를 의미적 분할(Semantic Segmentation)을 통해 추출하여 객체 이미지와 배경 이미지로 분할하는 단계; b) 상기 배경/객체 이미지 데이터 생성부가 상기 객체 이미지가 추출된 배경 이미지의 빈 픽셀 영역을 임의의 색상으로 채워 보정된 배경 이미지를 생성하고, 상기 보정된 배경 이미지를 기반으로 배경 이미지의 데이터 셋(Set)과, 상기 추출된 객체 이미지를 기반으로 객체 이미지의 데이터 셋을 생성하는 단계; 및 c) 합성 이미지 데이터 증강부가 상기 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 대상 배경 이미지, 객체 이미지, 합성 특징 정보를 추출하고, 상기 합성 대상 배경 이미지에서 추정된 조명(Illumination) 정보와, 상기 합성 대상 객체 이미지에 적용될 조명 정보를 기반으로 상기 합성 대상 객체 이미지를 랜더링하여 합성 이미지를 생성하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 c) 단계는 배경/객체 이미지 데이터 생성부가 상기 객체가 추출된 배경 이미지의 빈 픽셀 영역을 인공지능 기반의 보정 모델을 이용하여 주변 이미지의 픽셀 정보에 기반한 최적의 색상으로 채워 보정된 배경 이미지를 생성하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 d) 단계는 c-1) 합성 이미지 데이터 증강부가 상기 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 대상 배경 이미지, 객체 이미지, 합성 특징 정보를 추출하는 단계; c-2) 상기 합성 이미지 데이터 증강부가 검색된 합성 대상 배경 이미지에서 광원의 위치 및 세기를 포함한 조명(Illumination) 정보를 추출하여 추정하는 단계; c-3) 상기 합성 이미지 데이터 증강부가 검색된 합성 대상 객체 이미지에 상기 추정된 조명 정보와 합성 특징 정보에 기반한 전처리 정보를 반영하는 단계; 및 c-4) 상기 합성 이미지 데이터 증강부가 추정된 조명 정보와 전처리 정보를 반영하여 합성 대상 객체 이미지를 랜더링하고, 상기 배경 이미지와 랜더링된 객체 이미지를 합성하여 증강된 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명은 이미지의 단순한 위치 이동이나 회전 등을 통한 데이터 증강이 아니라 이미지 내의 객체를 인지하여 추출하고, 추출된 객체를 변환하여 다양한 이미지 데이터를 생성함으로써, 대규모 이미지 데이터 셋의 구축이 가능한 장점이 있다.
또한, 본 발명은 데이터 편향 문제를 해소하고, 희소 데이터를 증강할 수 있는 장점이 있다.
또한, 본 발명은 이미지 내의 객체를 인지하여 추출하고, 추출된 객체를 변환함으로써, 데이터 품질의 개선과, 불필요한 객체를 제거할 수 있는 장점이 있다.
도1은 종래기술에 따른 일반적인 데이터 증강을 나타낸 예시도.
도2는 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치의 구성을 나타낸 블록도.
도3은 도2의 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치의 배경/객체 이미지 데이터 생성부의 구성을 나타낸 블록도.
도4는 도2의 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치의 합성 이미지 데이터 증강부 구성을 나타낸 블록도.
도5는 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 설명하기 위해 나타낸 흐름도.
도6은 도5의 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법의 합성 이미지 증강과정을 설명하기 위해 나타낸 흐름도.
도7은 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법의 배경 및 객체를 분리하는 과정을 설명하기 위해 나타낸 예시도.
도8은 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법의 분리된 배경을 나타낸 예시도.
도9는 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법의 분리된 객체를 나타낸 예시도.
도10은 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 통해 복수의 객체를 합성하여 나타낸 데이터 증강 예시도.
도11은 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 통해 객체를 의미적으로 합성하여 나타낸 데이터 증강 예시도.
도12는 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 통해 배경 이미지를 합성하여 나타낸 데이터 증강 예시도.
도13은 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 통해 이종 객체를 합성하여 나타낸 데이터 증강 예시도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도2는 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치의 구성을 나타낸 블록도이고, 도3은 도2의 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치의 배경/객체 이미지 데이터 생성부의 구성을 나타낸 블록도이며, 도4는 도2의 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치의 합성 이미지 데이터 증강부 구성을 나타낸 블록도이다.
도2 내지 도4를 참조하면, 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 장치(100)는 배경/객체 이미지 데이터 생성부(100)와, 합성 이미지 데이터 증강부(200)를 포함하여 구성될 수 있다.
상기 배경/객체 이미지 데이터 생성부(100)는 입력 이미지에서 하나 이상의 객체를 의미적 분할(Semantic Segmentation)을 통해 추출하여 객체 이미지와 배경 이미지로 분할하고, 객체가 추출된 배경 이미지의 데이터 셋(Set)과, 상기 추출된 객체 이미지의 데이터 셋을 생성할 수 있다.
이를 위해, 상기 배경/객체 이미지 데이터 생성부(100)는 이미지 데이터 입력부(110)와, 의미적 분할부(120)와, 배경 이미지 처리부(130)와, 데이터 생성부(140)를 포함하여 구성될 수 있다.
상기 이미지 데이터 입력부(110)는 메모리 등의 저장수단에 미리 저장되거나 또는 PC, 카메라 등의 외부 단말로부터 전송되는 하나 이상의 객체를 포함한 이미지를 수신한다.
상기 의미적 분할부(120)는 상기 수신된 이미지에서 의미적 분할(Semantic segmentation)을 통해 객체를 추출하고, 상기 이미지를 추출된 객체 이미지와 배경 이미지로 분할한다.
여기서 의미적 분할은 이미지 내에 있는 객체들을 의미 있는 단위, 즉 이미지 내의 모든 픽셀에 대하여 각 픽셀이 어느 클래스에 속하는지 예측하고, 해당하는 픽셀끼리 분할하는 것이다.
상기 배경 이미지 처리부(130)는 의미적 분할을 통해 객체가 추출된 배경 이미지의 빈 픽셀 영역에 대하여, 임의의 색상으로 채워 보정된 배경 이미지를 생성한다.
또한, 상기 배경 이미지 처리부(130)는 객체가 추출된 배경 이미지의 빈 픽셀 영역을 인공지능 기반의 보정 모델을 이용하여 보정된 배경 이미지를 생성할 수 있다.
또한, 상기 배경 이미지 처리부(130)는 빈 픽셀 영역을 GAN(Generative Adversarial Network) 또는 이미지 프로세싱을 이용한 이미지 인페인팅(Image Inpainting)을 이용하여 채워넣을 수 있다.
상기 이미지 인페인팅 기술은 채워넣을 부분의 주변 이미지 픽셀 정보를 활용하여 가장 적합한 색상으로 픽셀을 채워 넣는 방식이다.
즉, 상기 인공지능 기반의 보정 모델은 객체가 추출된 주변 이미지의 픽셀 정보를 기반으로 최적의 색상을 추출하고, 상기 추출된 색상 정보에 기초하여 빈 픽셀 영역을 채워 보정된 배경 이미지를 생성할 수 있다.
또한, 상기 인공지능 기반의 보정 모델은 머신러닝중에서 딥러닝(Deep learning)이라는 방법을 통해 만들어진 보정 모델로 구현될 수 있다.
또한, 머신러닝은 복잡한 시스템이 명시적으로 프로그래밍되지 않고서, 경험으로부터 자동으로 학습하고 개선할 수 있게 하는 인공 지능의 응용이다.
또한, 머신러닝 모델들의 정확도 및 유효성은 그들 모델들을 훈련시키는 데 사용되는 데이터에 부분적으로 의존할 수 있다.
따라서, 본 발명의 일 실시 예에 따른 보정 모델은 하나 이상의 객체를 포함한 다수의 학습 이미지 데이터의 픽셀 정보를 서로 비교한 결과 값에 기반하여 추출되는 최적의 색상 데이터를 학습 데이터로 반복 학습할 수도 있다.
상기 데이터 생성부(140)는 추출된 색상 정보에 기초하여 빈 픽셀 영역을 채워 보정한 배경 이미지를 기반으로 배경 이미지의 데이터 셋과, 상기 추출된 객체 이미지를 기반으로 객체 이미지의 데이터 셋을 생성하는 구성으로서, 객체 이미지부(141)와, 배경 이미지부(142)를 포함하여 구성될 수 있다.
상기 객체 이미지부(141)는 추출된 객체 이미지(들)를 기반으로 객체 이미지의 데이터 셋을 생성하여 저장한다.
상기 배경 이미지부(142)는 빈 픽셀 영역을 채워 보정한 배경 이미지(들)를 기반으로 배경 이미지의 데이터 셋을 생성하여 저장한다.
즉, 객체 이미지 및 배경 이미지에 대한 m×n 크기, 개별 클래스, 이미지를 구성하고 있는 픽셀 값과, 각 픽셀에 대한 손실 값, 조명(Illumination) 정보 등을 임의의 포맷에 맞춘 데이터 셋으로 저장할 수 있다.
또한, 생성된 객체 이미지의 데이터 셋과, 배경 이미지의 데이터 셋은 인공지능 학습의 성능 향상을 위해 편향 없이 고르게 분포한 데이터 셋으로 제공될 수 있다.
상기 합성 이미지 데이터 증강부(200)는 데이터 밸런스를 고려한 증강(Augmentation)을 위해 데이터 생성부(140)에 저장된 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색할 수 있고, 공지의 데이터 셋을 이용하여 검색을 수행할 수도 있다.
또한, 상기 합성 이미지 데이터 증강부(200)는 합성 대상 배경 이미지, 객체 이미지, 합성 특징 정보를 추출할 수 있다.
또한, 상기 합성 이미지 데이터 증강부(200)는 합성 대상 배경 이미지에서 추정된 조명(Illumination) 정보와, 상기 합성 대상 객체 이미지에서 추정된 조명 정보를 기반으로 상기 합성 대상 객체 이미지를 랜더링하여 합성 이미지를 출력할 수 있다.
이를 위해, 상기 합성 이미지 데이터 증강부(200)는 노벨티 체크부(210)와, 배경 조명 추출부(220)와, 배경 조명 관리부(230)와, 랜더링부(240)와, 합성 이미지 출력부(250)를 포함하여 구성될 수 있다.
상기 노벨티 체크부(Novelty check, 210)는 배경/객체 이미지 데이터 생성부(100)에서, 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하고, 검색 결과로부터 합성 대상 배경 이미지, 객체 이미지와, 사용자로부터 입력되는 합성 특징 정보를 추출할 수 있다.
상기 합성 특징 정보는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기 등을 하나 이상 포함할 수 있다.
상기 배경 조명 추출부(220)는 검색된 합성 대상 배경 이미지에서 광원의 위치 및 세기를 포함한 조명(Illumination) 정보를 추정한다.
즉, 이미지 내에서 광원의 위치와 그에 따른 그림자의 방향과, 배경 이미지 내의 영역별 밝기 정도 등을 판단하기 위한 조명 정보를 추출한다.
상기 배경 조명 관리부(230)는 검색된 합성 대상 객체 이미지에 상기 배경 조명 추출부(220)에서 추정된 조명 정보와 합성 특징 정보에 기반한 전처리 정보를 반영한다.
상기 추정된 조명 정보를 합성에 이용할 객체 이미지에 반영함으로써, 광원의 위치 및 그에 따른 그림자와 빛의 밝기 정도에 따른 객체의 부자연스러움이 개선될 수 있도록 하고, GAN 또는 광선 추적법(Object Ray-tracing)을 이용할 수도 있다.
또한, 상기 전처리 정보는 확대, 축소, 이동, 반전 및 회전 등으로서, 객체 이미지가 할 경우 반영될 수 있도록 한다.
상기 랜더링부(240)는 상기 배경 조명 추출부(220)의 조명 정보와 배경 조명 관리부(230)의 전처리 정보를 반영하여 합성 대상 객체 이미지를 랜더링한다.
상기 합성 이미지 출력부(250)는 배경 이미지와 랜더링된 객체 이미지를 합성하여 증강된 이미지를 생성한다.
다음은 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 설명한다.
도5는 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법을 설명하기 위해 나타낸 흐름도이고, 도6은 도5의 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법의 합성 이미지 증강과정을 설명하기 위해 나타낸 흐름도이다.
도2 내지 도5를 참조하면, 본 발명의 일 실시 예에 따른 객체 분할과 배경 합성을 이용한 데이터 증강 방법은 배경/객체 이미지 데이터 생성부(100)가 임의의 이미지를 입력 받으면(S100), 상기 입력 이미지에서 하나 이상의 객체를 의미적 분할(Semantic Segmentation)을 통해 추출하여 객체 이미지와 배경 이미지로 분할(S200)한다.
또한, 상기 배경/객체 이미지 데이터 생성부(100)는 상기 객체 이미지가 추출된 배경 이미지의 빈 픽셀 영역을 임의의 색상으로 채워 보정된 배경 이미지를 생성(S300)한다.
또한, 상기 배경/객체 이미지 데이터 생성부(100)는 보정된 배경 이미지를 기반으로 배경 이미지의 데이터 셋(Set)과, 상기 추출된 객체 이미지를 기반으로 객체 이미지의 데이터 셋을 생성하여 저장(S400)한다.
즉,도7(a)와 같이, 배경 이미지(310)와 객체 이미지(320)를 포함한 입력 이미지(300)가 수신되면, 배경/객체 이미지 데이터 생성부(100)는 의미적 분할을 통해 도7(b)와 같이 객체 이미지가 분리되어 빈 영역인 객체 이미지 영역(320')을 구비한 분할된 배경 이미지(310a)과 도7(c)와 같이 추출된 객체 이미지(320a)로 분할한다.
또한, 상기 배경/객체 이미지 데이터 생성부(100)는 빈 픽셀 영역을 인공지능 기반의 보정 모델에 기반한 이미지 인페인팅(Image Inpainting)을 이용하여 객체 이미지가 추출된 객체 이미지 영역(320') 주변의 이미지 픽셀 정보에 기초한 최적의 색상을 추출한다.
또한, 상기 배경/객체 이미지 데이터 생성부(100)는 추출된 색상 정보에 기초하여 도7(d)와 같이, 빈 픽셀 영역을 채워 보정된 배경 이미지(300a)를 생성할 수 있다.
또한, 상기 배경/객체 이미지 데이터 생성부(100)는 도8(a), 도8(b)와 같이 복수의 보정된 배경 이미지(300b, 300c)들을 기반으로 배경 이미지의 데이터 셋을 생성하여 저장할 수 있다.
상기 배경/객체 이미지 데이터 생성부(100)는 도9(a), 도9(b)와 같이 복수의 추출된 객체 이미지(320b, 320c)들을 기반으로 객체 이미지의 데이터 셋을 생성하여 저장할 수 있다.
계속해서, 합성 이미지 데이터 증강부(200)는 상기 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 대상 배경 이미지, 객체 이미지, 합성 특징 정보를 추출하고, 상기 합성 대상 배경 이미지에서 추정된 조명(Illumination) 정보와, 상기 합성 대상 객체 이미지에 적용될 조명 정보를 기반으로 상기 합성 대상 객체 이미지를 랜더링하여 합성 이미지를 생성(S500)할 수 있다.
상기 S500 단계에서, 합성 이미지 데이터 증강부(200)는 상기 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하고, 검색 결과를 기반으로 합성 대상 배경 이미지 및 객체 이미지와, 사용자로부터 입력되는 합성 특징 정보를 추출(S510)한다.
상기 합성 특징 정보는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기 등을 하나 이상 포함할 수 있다.
계속해서, 상기 합성 이미지 데이터 증강부(200)는 검색된 합성 대상 배경 이미지에서 광원의 위치 및 세기를 추출하여 객체 이미지에 적용할 조명(Illumination) 정보를 추정(S520)한다.
또한, 상기 합성 이미지 데이터 증강부(200)는 검색된 합성 대상 객체 이미지에 광원의 위치 및 그에 따른 그림자와 빛의 밝기 정도와, 그에 따른 객체의 부자연스러움이 개선될 수 있도록 상기 S520 단계에서 추정된 조명 정보를 반영(S530)한다.
또한, 상기 S530 단계는 S510 단계에서 추출된 합성 특징 정보와, 객체 이미지의 이동, 확대, 축소, 반전 및 회전 등에 기반한 전처리 정보를 합성 대상 객체 이미지에 반영할 수 있다.
상기 합성 이미지 데이터 증강부(200)는 S530 단계에서 반영된 조명 정보와 전처리 정보를 기반으로 합성 대상 객체 이미지를 랜더링(S540)한다.
상기 S540 단계의 랜더링이 완료되면, 합성 이미지 데이터 증강부(200)는 배경 이미지와 랜더링된 객체 이미지를 합성하여 증강된 이미지를 생성(S550)한다.
즉, 합성 특징 정보에 기초하여 도10과 같은 배경 이미지(410)에 복수의 객체 이미지(420, 420')를 합성하여 증강된 이미지(400)를 생성하거나, 도11과 같이 객체의 의미적 합성을 통해 배경 이미지(410a)에 객체 이미지(420a)를 합성하여 증강된 이미지(400a)를 생성할 수도 있다.
또한, 도12와 같이 새로운 배경 이미지(410b)를 객체 이미지(420b)와 합성하여 증강된 이미지(400b)를 생성할 수도 있고, 도13과 같이 배경 이미지(410c)에 새로운 이종의 객체 이미지(420c)를 합성하여 증강된 이미지(400c)를 생성할 수도 있다.
따라서, 이미지의 단순한 위치 이동이나 회전 등을 통한 데이터 증강이 아니라 이미지 내의 객체를 인지하여 추출하고, 추출된 객체를 변환하여 다양한 이미지 데이터를 생성함으로써, 대규모 이미지 데이터 셋의 구축이 가능하다.
또한, 다양한 증강된 이미지를 생성 및 제공함으로써, 데이터의 편향 문제를 해소하고, 희소 데이터를 증강할 수 있다.
또한, 이미지 내의 객체를 인지하여 추출하고, 추출된 객체를 변환함으로써, 데이터 품질의 개선과, 불필요한 객체를 제거할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 배경/객체 이미지 데이터 생성부
110 : 이미지 데이터 입력부 120 : 의미적 분할부
130 : 배경 이미지 처리부 140 : 데이터 생성부
141 : 객체 이미지부 142 : 배경 이미지부
200 : 합성 이미지 데이터 증강부 210 : 노벨티 체크부
220 : 배경 조명 추출부 230 : 배경 조명 관리부
240 : 랜더링부 250 : 합성 이미지 출력부
300 : 입력 이미지
300a, 300b, 300c : 보정된 배경 이미지
310 : 배경 이미지 310a : 분할된 배경 이미지
320 : 객체 이미지 320' : 객체 이미지 영역
320a, 320b, 320c : 추출된 객체 이미지
400, 400a, 400b, 400c : 증강된 이미지
410, 410a, 410b, 410c : 배경 이미지
420, 420', 420a, 420b, 420c : 객체 이미지

Claims (9)

  1. 입력 이미지에서 하나 이상의 객체를 의미적 분할(Semantic Segmentation)을 통해 추출하여 객체 이미지와 배경 이미지로 분할하고, 객체가 추출된 배경 이미지의 데이터 셋(Set)과 상기 추출된 객체 이미지의 데이터 셋을 생성하되, 상기 객체 이미지가 추출된 배경 이미지의 데이터 셋은 객체 이미지가 추출된 배경 이미지의 빈 픽셀 영역에 대해, 이미지 인페인팅을 통한 주변 이미지 픽셀 정보를 기반으로 추출되는 색상 정보에 기초하여 빈 픽셀 영역을 채워 보정된 배경 이미지를 생성하고, 상기 보정된 배경 이미지를 기반으로 배경 이미지의 데이터 셋을 생성하며, 생성된 객체 이미지의 데이터 셋과, 배경 이미지의 데이터 셋은 인공지능 학습의 성능 향상을 위해 편향 없이 고르게 분포한 데이터 셋으로 제공될 수 있고, 상기 객체 이미지 및 배경 이미지에 대한 m×n 크기, 개별 클래스, 이미지를 구성하고 있는 픽셀 값과, 각 픽셀에 대한 손실 값, 조명(Illumination) 정보의 포맷에 맞춘 데이터 셋으로 저장되도록 하는 배경/객체 이미지 데이터 생성부(100); 및
    데이터 증강(Augmentation)을 위해 상기 배경/객체 이미지 데이터 생성부(100)에서 생성된 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 이미지를 생성하되,
    검색된 합성 대상 배경 이미지 및 합성 대상 객체 이미지와 사용자로부터 입력되는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기를 포함하는 합성 특징 정보를 추출하고, 검색된 합성 대상 배경 이미지 내에서 광원의 위치와 그에 따른 그림자의 방향, 배경 이미지 내의 영역별 밝기 정보를 포함한 조명 정보(Illumination)를 추출하여 합성 대상 객체 이미지에 반영하며, 상기 합성 특징 정보와 합성 대상 객체 이미지의 확대, 축소, 이동, 반전 및 회전을 반영한 합성 대상 객체 이미지의 랜더링을 수행하고, 상기 합성 대상 배경 이미지와 랜더링된 합성 대상 객체 이미지를 합성한 합성 이미지를 출력하는 합성 이미지 데이터 증강부(200);를 포함하는 객체 분할과 배경 합성을 이용한 데이터 증강 장치.
  2. 제 1 항에 있어서,
    상기 배경/객체 이미지 데이터 생성부(100)는 하나 이상의 객체를 포함한 이미지를 수신하는 이미지 데이터 입력부(110);
    상기 입력 이미지에서 의미적 분할(Semantic segmentation)을 통해 객체를 추출하여 추출된 객체 이미지와 배경 이미지로 분할하는 의미적 분할부(120);
    상기 객체 이미지가 추출된 배경 이미지는 객체 이미지가 추출된 배경 이미지의 빈 픽셀 영역에 대해, 이미지 인페인팅을 통한 주변 이미지 픽셀 정보를 기반으로 추출되는 색상 정보에 기초하여 빈 픽셀 영역을 채워 보정된 배경 이미지를 생성하는 배경 이미지 처리부(130); 및
    상기 보정된 배경 이미지를 기반으로 배경 이미지의 데이터 셋과, 상기 추출된 객체 이미지를 기반으로 객체 이미지의 데이터 셋을 생성하고, 생성된 객체 이미지의 데이터 셋과, 배경 이미지의 데이터 셋은 인공지능 학습의 성능 향상을 위해 편향 없이 고르게 분포한 데이터 셋으로 제공될 수 있고, 상기 객체 이미지 및 배경 이미지에 대한 m×n 크기, 개별 클래스, 이미지를 구성하고 있는 픽셀 값과, 각 픽셀에 대한 손실 값, 조명(Illumination) 정보의 포맷에 맞춘 데이터 셋으로 저장되도록 하는 데이터 생성부(140);를 포함하는 것을 특징으로 하는 객체 분할과 배경 합성을 이용한 데이터 증강 장치.
  3. 제 2 항에 있어서,
    상기 배경 이미지 처리부(130)는 상기 객체가 추출된 배경 이미지의 빈 픽셀 영역을 인공지능 기반의 보정 모델을 이용하여 주변 이미지의 픽셀 정보에 기반한 최적의 색상으로 채워 보정된 배경 이미지를 생성하는 것을 특징으로 하는 객체 분할과 배경 합성을 이용한 데이터 증강 장치.
  4. 제 1 항에 있어서,
    상기 합성 이미지 데이터 증강부(200)는 데이터 증강(Augmentation)을 위해 상기 배경/객체 이미지 데이터 생성부(100)에서 생성된 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하되, 상기 검색된 합성 대상 배경 이미지 및 합성 대상 객체 이미지와 사용자로부터 입력되는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기를 포함하는 합성 특징 정보를 추출하는 노벨티 체크부(210);
    상기 검색된 합성 대상 배경 이미지 내에서 광원의 위치와 그에 따른 그림자의 방향, 배경 이미지 내의 영역별 밝기 정보를 포함한 조명 정보(Illumination)를 추출하는 배경 조명 추출부(220);
    상기 합성 대상 객체 이미지에 추출된 조명 정보를 반영하고, 상기 합성 특징 정보와 합성 대성 대상 객체 이미지의 객체에 대한 확대, 축소, 이동, 반전 및 회전을 포함한 전처리 정보를 반영하는 배경 조명 관리부(230);
    상기 추출된 조명 정보와 전처리 정보를 반영하여 합성 대상 객체 이미지의 랜더링을 수행하는 랜더링부(240); 및
    상기 합성 대상 배경 이미지와 랜더링된 합성 대상 객체 이미지를 합성하여 증강된 합성 이미지를 생성하는 합성 이미지 출력부(250);를 포함하는 것을 특징으로 하는 객체 분할과 배경 합성을 이용한 데이터 증강 장치.
  5. 삭제
  6. 삭제
  7. a) 배경/객체 이미지 데이터 생성부(100)가 임의의 이미지를 입력 받으면, 상기 입력 이미지에서 하나 이상의 객체를 의미적 분할(Semantic Segmentation)을 통해 추출하여 객체 이미지와 배경 이미지로 분할하는 단계;
    b) 상기 배경/객체 이미지 데이터 생성부(100)가 객체를 추출한 배경 이미지의 데이터 셋(Set)과, 상기 추출된 객체 이미지의 데이터 셋을 생성하되, 상기 객체 이미지가 추출된 배경 이미지의 데이터 셋은 객체 이미지가 추출된 배경 이미지의 빈 픽셀 영역에 대해, 이미지 인페인팅을 통한 주변 이미지 픽셀 정보를 기반으로 추출되는 색상 정보에 기초하여 빈 픽셀 영역을 채워 보정된 배경 이미지를 생성하고, 상기 보정된 배경 이미지를 기반으로 배경 이미지의 데이터 셋을 생성하되, 생성된 객체 이미지의 데이터 셋과, 배경 이미지의 데이터 셋은 인공지능 학습의 성능 향상을 위해 편향 없이 고르게 분포한 데이터 셋으로 제공될 수 있고, 상기 객체 이미지 및 배경 이미지에 대한 m×n 크기, 개별 클래스, 이미지를 구성하고 있는 픽셀 값과, 각 픽셀에 대한 손실 값, 조명(Illumination) 정보의 포맷에 맞춘 데이터 셋으로 저장하는 단계; 및
    c) 합성 이미지 데이터 증강부(200)가 데이터 증강(Augmentation)을 위해 상기 배경/객체 이미지 데이터 생성부(100)에서 생성된 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하여 합성 이미지를 생성하되, 검색된 합성 대상 배경 이미지 및 합성 대상 객체 이미지와 사용자로부터 입력되는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기를 포함하는 합성 특징 정보를 추출하고, 검색된 합성 대상 배경 이미지 내에서 광원의 위치와 그에 따른 그림자의 방향, 배경 이미지 내의 영역별 밝기 정보를 포함한 조명 정보(Illumination)를 추출하여 합성 대상 객체 이미지에 반영하며, 상기 합성 특징 정보와 합성 대상 객체 이미지의 확대, 축소, 이동, 반전 및 회전을 반영한 합성 대상 객체 이미지의 랜더링을 수행하고, 상기 합성 대상 배경 이미지와 랜더링된 합성 대상 객체 이미지를 합성한 합성 이미지를 생성하는 단계;를 포함하는 객체 분할과 배경 합성을 이용한 데이터 증강 방법.
  8. 제 7 항에 있어서,
    상기 b) 단계는 배경/객체 이미지 데이터 생성부(100)가 상기 객체가 추출된 배경 이미지의 빈 픽셀 영역을 인공지능 기반의 보정 모델을 이용하여 주변 이미지의 픽셀 정보에 기반한 최적의 색상으로 채워 보정된 배경 이미지를 생성하는 것을 특징으로 하는 객체 분할과 배경 합성을 이용한 데이터 증강 방법.
  9. 제 7 항에 있어서,
    상기 c) 단계는 c-1) 합성 이미지 데이터 증강부(200)가 데이터 증강(Augmentation)을 위해 상기 배경/객체 이미지 데이터 생성부(100)에서 생성된 배경 이미지의 데이터 셋과 객체 이미지의 데이터 셋 정보를 검색하되, 상기 검색된 합성 대상 배경 이미지 및 합성 대상 객체 이미지와 사용자로부터 입력되는 이미지 내에서 객체의 각도, 이미지 내에서 객체의 위치, 이미지 내에서 객체의 갯수, 배경과 객체의 조합 여부, 조합하여 생성할 수량, 조합 분포, 조합된 데이터의 편향, 이미지 내에서 객체의 크기를 포함하는 합성 특징 정보를 추출하는 단계;
    c-2) 상기 합성 이미지 데이터 증강부(200)가 검색된 합성 대상 배경 이미지 내에서 광원의 위치와 그에 따른 그림자의 방향, 배경 이미지 내의 영역별 밝기 정보를 포함한 조명 정보(Illumination)를 추출하는 단계;
    c-3) 상기 합성 이미지 데이터 증강부(200)가 상기 합성 대상 객체 이미지에 추출된 조명 정보를 반영하고, 상기 합성 특징 정보와 합성 대성 대상 객체 이미지의 객체에 대한 확대, 축소, 이동, 반전 및 회전을 포함한 전처리 정보를 반영하는 단계; 및
    c-4) 상기 합성 이미지 데이터 증강부(200)가 추출된 조명 정보와 전처리 정보를 반영하여 합성 대상 객체 이미지의 랜더링을 수행하고, 상기 합성 대상 배경 이미지와 랜더링된 합성 대상 객체 이미지를 합성하여 증강된 합성 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 객체 분할과 배경 합성을 이용한 데이터 증강 방법.
KR1020210135023A 2021-10-12 2021-10-12 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법 KR102482262B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210135023A KR102482262B1 (ko) 2021-10-12 2021-10-12 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210135023A KR102482262B1 (ko) 2021-10-12 2021-10-12 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102482262B1 true KR102482262B1 (ko) 2022-12-28

Family

ID=84538221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210135023A KR102482262B1 (ko) 2021-10-12 2021-10-12 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102482262B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102610133B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
KR102624083B1 (ko) * 2023-08-31 2024-01-11 주식회사 젠젠에이아이 콘텐츠 정보를 이용한 이미지 생성 모델 학습 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206685A (ja) * 2009-03-05 2010-09-16 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2015158862A (ja) * 2014-02-25 2015-09-03 株式会社ソニー・コンピュータエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体
KR101744141B1 (ko) * 2016-01-25 2017-06-07 조선대학교산학협력단 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치
KR20200071021A (ko) * 2018-12-07 2020-06-18 (주)제이엘케이 영상 분석 장치, 영상 분석 방법 및 기록 매체
KR102167808B1 (ko) 2020-03-31 2020-10-20 한밭대학교 산학협력단 Ar에 적용 가능한 의미적인 분할 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206685A (ja) * 2009-03-05 2010-09-16 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2015158862A (ja) * 2014-02-25 2015-09-03 株式会社ソニー・コンピュータエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体
KR101744141B1 (ko) * 2016-01-25 2017-06-07 조선대학교산학협력단 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치
KR20200071021A (ko) * 2018-12-07 2020-06-18 (주)제이엘케이 영상 분석 장치, 영상 분석 방법 및 기록 매체
KR102167808B1 (ko) 2020-03-31 2020-10-20 한밭대학교 산학협력단 Ar에 적용 가능한 의미적인 분할 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102610133B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
KR102610134B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
KR102610135B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
KR102624083B1 (ko) * 2023-08-31 2024-01-11 주식회사 젠젠에이아이 콘텐츠 정보를 이용한 이미지 생성 모델 학습 방법 및 시스템
KR102667003B1 (ko) * 2023-08-31 2024-05-20 주식회사 젠젠에이아이 콘텐츠 정보를 이용한 이미지 생성 모델 학습 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11551405B2 (en) Computing images of dynamic scenes
US11024060B1 (en) Generating neutral-pose transformations of self-portrait images
US11995775B2 (en) Delivering virtualized content
GB2583676A (en) Augmenting detected regions in image or video data
KR102482262B1 (ko) 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법
CN113287118A (zh) 用于面部再现的系统和方法
JP7461504B2 (ja) モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体
WO2022148248A1 (zh) 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品
KR20100091864A (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
KR20220102905A (ko) 얼굴 영상을 생성하는 장치, 방법 및 컴퓨터 프로그램
CN117336526A (zh) 视频生成方法、装置、存储介质及电子设备
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
US11734860B2 (en) Method and system for generating an augmented reality image
CA3103562C (en) Method and system for generating an augmented reality image
KR20190029842A (ko) 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
CN113762059A (zh) 图像处理方法、装置、电子设备及可读存储介质
JP6226050B2 (ja) 画像合成方法及び装置
CN109800652A (zh) 文字翻译方法及装置
KR102627659B1 (ko) 후면 영상정보 생성 장치 및 방법
EP4020401A1 (en) Method and system for generating an augmented reality image
CN113902786B (zh) 一种深度图像的预处理方法、系统及相关装置
Naderi et al. Aesthetic-aware image retargeting based on foreground–background separation and PSO optimization

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant