KR102486300B1 - 영상 인페인팅 장치 및 방법 - Google Patents

영상 인페인팅 장치 및 방법 Download PDF

Info

Publication number
KR102486300B1
KR102486300B1 KR1020220118521A KR20220118521A KR102486300B1 KR 102486300 B1 KR102486300 B1 KR 102486300B1 KR 1020220118521 A KR1020220118521 A KR 1020220118521A KR 20220118521 A KR20220118521 A KR 20220118521A KR 102486300 B1 KR102486300 B1 KR 102486300B1
Authority
KR
South Korea
Prior art keywords
image
inpainting
background
target region
unit
Prior art date
Application number
KR1020220118521A
Other languages
English (en)
Inventor
신사임
김보은
박한무
김충일
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220118521A priority Critical patent/KR102486300B1/ko
Priority to PCT/KR2022/017211 priority patent/WO2024063197A1/ko
Application granted granted Critical
Publication of KR102486300B1 publication Critical patent/KR102486300B1/ko

Links

Images

Classifications

    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 인페인팅 장치 및 방법에 관한 것으로, 인페인팅 대상 영역이 설정된 입력 영상에 대해 배경 인페인팅을 수행하여 배경 인페인팅 영상을 생성하는 배경 인페인팅부와, 객체 인페인팅을 수행하여 객체 영상을 생성하는 객체 인페인팅부와, 생성된 배경 인페인팅 영상과 객체 영상을 융합하여 출력 영상을 생성하는 영상 융합부를 포함한다.

Description

영상 인페인팅 장치 및 방법{Image inpainting apparatus and method for thereof}
본 발명은 영상 인페인팅 장치 및 방법에 관한 것으로서, 보다 상세하게는, 배경과 객체의 인페인팅을 각각 수행한 후 융합하여 인페인팅된 영상을 생성할 수 있는 영상 인페인팅 장치 및 방법에 관한 것이다.
영상의 일부분을 제거하고 인페인팅할 때, 기존 기술은 영상 중 제거된 부분의 객체가 사라지고 배경으로 채우는 방식을 사용하는 것이 일반적이나, 영상의 원래 컨텍스트를 복원하거나 새로운 컨텍스트를 가지는 영상을 생성하기 위해서는 가려진 부분에 원하는 객체를 생성하여 넣는 기술이 필요하다.
도 1은 기존의 객체를 제거하는 인페인팅 기술을 보여주는 예시도이다.
도 1을 참조하면, 기존에는 객체가 속하는 카테고리가 선택되면, 선택된 카테고리에 해당하는 객체 이미지를 생성하나, 배경을 포함하는 사각형의 이미지(11)를 생성한다. 따라서, 생성된 사각형의 이미지(11)를 전체 영상(12)에 그대로 사용하게 되면 사각형의 이미지(11)의 주변 영역과 매치되지 않는 문제가 발생한다. 즉, 도 1에 도시된 것처럼 복원된 영역(11)과 복원된 영역(11)의 나머지 주변 영역이 매치되지 않아 이질감이 발생한다.
국내 등록특허 제10- 2389284호
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 영상 인페인팅 시 배경과 객체를 각각 생성한 후 결합하여 배경이 복잡한 경우에도 인페인팅에 의해 생성된 배경과 주변 배경의 연결성을 보장하여 이질감을 최소화할 수 있는 영상 인페인팅 장치 및 방법을 제시하는 데 있다.
또한, 본 발명이 이루고자 하는 기술적 과제는 인페인팅할 객체의 종류와 특성을 입력받아 전체 영상 중 가려진 부분에 적합한 객체를 생성할 수 있는 영상 인페인팅 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따른 영상 인페인팅 장치는, 인페인팅 대상 영역이 설정된 입력 영상에 대해 배경 인페인팅을 수행하여 배경 인페인팅 영상을 생성하는 배경 인페인팅부; 객체 인페인팅을 수행하여 객체 영상을 생성하는 객체 인페인팅부; 및 상기 생성된 배경 인페인팅 영상과 객체 영상을 융합하여 출력 영상을 생성하는 영상 융합부;를 포함한다.
상기 입력 영상을 상기 인페인팅 대상 영역과 인페인팅 미대상 영역으로 구분하여 이진 영상을 생성하는 이진 영상 생성부;를 더 포함하고, 상기 배경 인페인팅부는, 상기 인페인팅 대상 영역이 설정된 입력 영상과 이진 영상을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행한다.
상기 객체 인페인팅부는, 상기 인페인팅 대상 영역에 추가할 객체의 종류와 속성을 포함하는 컨텍스트(context)를 객체 인공지능 모델에 입력 및 객체 인페인팅을 수행하여 객체 영상을 생성한다.
상기 객체 인페인팅부는, 상기 입력되는 컨텍스트를 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성한다.
상기 영상 융합부는, 상기 배경 인페인팅 영상 중 인페인팅 대상 영역에 상기 객체 영상이 위치하도록 상기 배경 인페인팅 영상과 객체 영상을 융합하고, 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 배경 인페인팅 영상의 픽셀값으로 대체하여 상기 출력 영상을 생성한다.
상기 객체 인페인팅부는, 상기 컨텍스트를 객체 인공지능 모델에 입력하여 배경과 객체를 유색 처리한 객체 영상을 생성하는 객체 생성부; 및 상기 생성된 객체 영상 중 배경 영역은 검은 색으로 처리하고 객체 영역은 그레이 레벨로 마스킹한 영상(이하, '객체 마스크 영상'이라 한다)을 생성하는 마스킹부;를 포함한다.
상기 영상 융합부는, 상기 배경 인페인팅 영상 중 인페인팅 대상 영역에 상기 객체 영상과 객체 마스크 영상이 위치하도록 상기 배경 인페인팅 영상과 상기 마스크 영상을 융합하는 융합부; 상기 객체 생성부에서 생성된 객체 영상 중 객체의 픽셀값과, 상기 마스킹부에서 생성된 객체 마스크 영상의 픽셀값과, 상기 인페인팅 대상 영역의 픽셀값을 이용하여 상기 객체 마스크 영상의 RGB 픽셀값을 산출하는 픽셀값 산출부; 및 상기 객체 마스크 영상의 픽셀값을 상기 RGB 픽셀값으로 대체하여 상기 출력 영상을 생성하는 출력 영상 생성부;를 포함한다.
상기 객체 인페인팅부는, 상기 인페인팅 대상 영역에 추가할 객체의 이미지 파일이 입력되면, 상기 입력되는 객체의 이미지 파일을 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성한다.
상기 영상 융합부는, 상기 배경 인페인팅 영상 중 인페인팅 대상 영역의 위치에 상기 객체 영상을 오버랩한 후 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 인페인팅 대상 영역의 픽셀값으로 대체하여 상기 출력 영상을 생성한다.
한편, 본 발명의 다른 실시 예에 따른 영상 인페인팅 방법은, (A) 전자장치가, 인페인팅 대상 영역이 설정된 입력 영상에 대해 배경 인페인팅을 수행하여 배경 인페인팅 영상을 생성하는 단계; (B) 상기 전자장치가, 객체 인페인팅을 수행하여 객체 영상을 생성하는 단계; 및 (C) 상기 전자장치가, 상기 (A) 단계에서 생성된 배경 인페인팅 영상과 (B) 단계에서 객체 영상을 융합하여 출력 영상을 생성하는 단계;를 포함한다.
상기 (A) 단계 이전에, (D) 상기 전자장치가, 상기 입력 영상을 상기 인페인팅 대상 영역과 인페인팅 미대상 영역으로 구분하여 이진 영상을 생성하는 단계;를 더 포함하고, 상기 (A) 단계는, 상기 인페인팅 대상 영역이 설정된 입력 영상과 이진 영상을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행한다.
상기 (B) 단계는, 상기 인페인팅 대상 영역에 추가할 객체의 종류와 속성을 포함하는 컨텍스트(context)를 객체 인공지능 모델에 입력 및 객체 인페인팅을 수행하여 객체 영상을 생성한다.
상기 (B) 단계는, 상기 입력되는 컨텍스트를 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성한다.
상기 (C) 단계는, (C1) 상기 배경 인페인팅 영상 중 인페인팅 대상 영역의 위치에 상기 객체 영상이 위치하도록 상기 배경 인페인팅 영상과 객체 영상을 융합하는 단계; 및 (C2) 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 배경 인페인팅 영상의 픽셀값으로 대체하여 상기 출력 영상을 생성하는 단계;를 포함한다.
상기 (B) 단계는, 상기 컨텍스트를 객체 인공지능 모델에 입력하여 배경과 객체를 유색 처리한 객체 영상을 생성하는 단계; 및 상기 생성된 객체 영상 중 배경 영역은 검은 색으로 처리하고 객체 영역은 그레이 레벨로 마스킹한 객체 마스크 영상을 생성하는 단계;를 포함한다.
상기 (C) 단계는, (C1) 상기 배경 인페인팅 영상 중 인페인팅 대상 영역에 상기 객체 영상과 객체 마스크 영상이 위치하도록 상기 배경 인페인팅 영상과 상기 객체 마스크 영상을 융합하는 단계; (C2) 상기 객체 생성부에서 생성된 객체 영상 중 객체의 픽셀값과, 상기 마스킹부에서 생성된 객체 마스크 영상의 픽셀값과, 상기 인페인팅 대상 영역의 픽셀값을 이용하여 상기 객체 마스크 영상의 RGB 픽셀값을 산출하는 단계; 및 (C3) 상기 객체 마스크 영상의 픽셀값을 상기 RGB 픽셀값으로 대체하여 상기 출력 영상을 생성하는 단계;를 포함한다.
상기 (B) 단계는, 상기 인페인팅 대상 영역에 추가할 객체의 이미지 파일이 입력되면, 상기 입력되는 객체의 이미지 파일을 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성한다.
상기 (C) 단계는, 상기 배경 인페인팅 영상 중 인페인팅 대상 영역의 위치에 상기 객체 영상을 오버랩한 후 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 인페인팅 대상 영역의 픽셀값으로 대체하여 상기 출력 영상을 생성한다.
본 발명에 따르면, 영상 인페인팅 시 배경과 객체를 각각 생성하여 결합하여 배경이 복잡한 경우에도 인페인팅에 의해 생성된 배경과 주변 배경의 연결성을 보장함으로써 이질감이 최소화된 영상을 제공할 수 있다.
또한, 본 발명에 따르면 인페인팅할 객체의 종류와 특성을 입력받아 전체 영상 중 가려진 부분에 적합한 객체를 생성하고, 배경과 융합하여 인페인팅된 영상을 제공할 수 있다.
또한, 본 발명에 따르면 전체 영상에서 객체를 지우는 것뿐 아니라 원하는 객체를 생성하여 다시 채울 수 있으며, 이로써 다양한 컨텍스트에 해당하는 객체를 포함하는 전체 영상을 생성할 수 있다.
또한, 본 발명에 따르면 원하는 형태로 사진을 편집하는 기술이 필요한 다양한 어플리케이션, 예를 들어, 스마트폰의 카메라와 연동하는 어플리케이션, 영상 편집 툴 또는 CCTV내 영상의 가려진 부분을 복원하는 어플리케이션 등에 활용할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 기존의 객체를 제거하는 인페인팅 기술을 보여주는 예시도,
도 2는 본 발명의 제1실시 예에 따른 제1영상 인페인팅 장치(100)를 도시한 블록도,
도 3은 영상 인페인팅 과정을 보여주는 예시도,
도 4는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 제1이진 영상 생성부(110)에서 생성되는 이진 영상(I0,1)의 예시도,
도 5는 세그먼테이션을 설명하기 위한 예시도,
도 6은 본 발명의 제2실시 예에 따른 제2영상 인페인팅 장치(200)를 도시한 블록도,
도 7은 제2객체 인페인팅부(230)와 제2영상 융합부(240)를 자세히 도시한 블록도,
도 8은 제2객체 인페인팅부(230)의 동작을 설명하기 위한 예시도,
도 9는 본 발명의 제3실시 예에 따른 제3영상 인페인팅 장치(300)를 도시한 블록도,
도 10은 본 발명의 제4실시 예에 따른 제4영상 인페인팅 장치(400)를 도시한 블록도,
도 11은 본 발명의 제1실시 예에 따른 전자장치의 제1영상 인페인팅 방법을 도시한 흐름도,
도 12는 본 발명의 제2실시 예에 따른 전자장치의 제2영상 인페인팅 방법을 도시한 흐름도,
도 13은 본 발명의 제3실시 예에 따른 전자장치의 제3영상 인페인팅 방법을 도시한 흐름도,
도 14는 본 발명의 제4실시 예에 따른 전자장치의 제4영상 인페인팅 방법을 도시한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다.
또한, 어떤 구성요소가 구현됨에 있어서 특별한 언급이 없다면, 그 구성요소는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에서 '부', '장치' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 상기 용어들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 2는 본 발명의 제1실시 예에 따른 제1영상 인페인팅 장치(100)를 도시한 블록도이다.
도 2를 참조하면, 본 발명의 제1실시 예에 따른 제1영상 인페인팅 장치(100)는 제1이진 영상 생성부(110), 제1배경 인페인팅부(120), 제1객체 인페인팅부(130), 제1영상 융합부(140) 및 제1영상 정제부(150)를 포함할 수 있다.
제1이진 영상 생성부(110)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)을 인페인팅 대상 영역과 인페인팅 미대상 영역으로 구분하여 이진 영상(I0,1)을 생성할 수 있다.
도 3은 영상 인페인팅 과정을 보여주는 예시도이고, 도 4는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 제1이진 영상 생성부(110)에서 생성되는 이진 영상(I0,1)의 예시도이다.
도 3 및 도 4를 참조하면, 입력 영상(IIN)은 일부(IT)가 제거된 또는 가려진 영상으로서, 제거되거나 가려진 일부(IT)가 인페인팅 대상 영역이 된다. 제1이진 영상 생성부(110)는 입력 영상(IIN) 중 인페인팅 대상 영역(IT)은 검은색을 나타내는 0으로 마스킹하고, 인페인팅 대상 영역(IT)을 제외한 주변 영역(IIN- IT)은 흰색을 나타내는 1로 마스킹하여 이진 영상(I0,1)을 생성할 수 있다.
제1배경 인페인팅부(120)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)에 대해 배경 인페인팅을 수행하여 배경 인페인팅 영상(IINP)을 생성할 수 있다.
자세히 설명하면, 제1배경 인페인팅부(120)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하고, 수행 결과로 배경 인페인팅 영상(IINP)을 생성할 수 있다.
배경 인공지능 모델은 예를 들어, 딥러닝 기반의 AI 모델로서, 입력되는 이미지에서 인페인팅 대상 영역을 무작위로 바꿔가면서 일부가 지워진 이미지를 만들고, 일부가 지워진 이미지를 인공지능 네트워크에 입력하여 지워진 부분이 복원되도록 컴퓨팅 장치에서 학습된 모델일 수 있다.
제1배경 인페인팅부(120)는 배경이 복잡한 이미지에 대해 강건하게 동작하기 위하여 엣지 정보나 이미지의 구조 정보를 이용하는 방식을 추가로 사용할 수도 있다. 인페인팅을 수행하게 되면 이미지 내 물체의 형태가 뭉개져서 생성되는 경우가 있다. 엣지 정보나 구조 정보를 이용하는 방식은 이러한 현상을 완화하기 위해서 객체의 엣지(가장자리 선)나 구조(형태) 정보를 먼저 생성하고, 생성된 정보를 활용해서 인페인팅을 할 수 있다.
예를 들어, 엣지 정보를 이용하는 방식은 'Generation Image inpainting with external-internal learning and monochromic bottleneck'의 방식을 이용하고, 구조 정보를 이용하는 방식은 'Image Inpainting via Conditional Texture and Structure Dual Generation'의 방식을 이용할 수도 있다.
다시 도 2를 참조하면, 제1객체 인페인팅부(130)는 객체 인페인팅을 수행하여 인페인팅 대상 영역(IT)에 추가할 객체를 포함하는 영상(IOBJ)을 생성할 수 있다.
자세히 설명하면, 제1객체 인페인팅부(130)는 인페인팅 대상 영역(IT)에 추가할 객체의 종류와 속성을 포함하는 컨텍스트(context)를 제1객체 인공지능 모델에 입력하여 컨텍스트에 부합하는 객체 인페인팅을 수행함으로써 객체 영상(IOBJ)을 생성할 수 있다.
객체의 종류와 속성은 사용자가 사용자 인터페이싱 장치(예를 들어, 모니터와 키보드)를 통해 카테고리에서 선택하거나 사용자가 직접 텍스트 형태로 입력할 수 있다. 객체의 종류는 집, 자동차, 배, 비행기, 조형물, 꽃, 참새, 사람 등 이미지로 표현 가능한 모든 대상이 될 수 있다. 객체의 속성은 객체를 표현할 재질, 자세, 색 등 직관적인 속성과, 기쁜, 무거운, 휘날리는 등의 추상적인 속성을 포함할 수 있다.
컨텍스트는 사용자가 영상 인페인팅 프로그램이 제공하는 GUI(Graphic User Interface) 화면을 통해 객체의 종류와 객체의 속성을 입력하거나 선택하면, 입력하거나 선택된 객체의 종류와 속성을 취합하여 제1객체 인페인팅부(130)에서 생성될 수 있다. 예를 들어, 사용자가 객체의 종류로서 '사람'이라는 텍스트를 입력하거나 '사람'이라는 카테고리를 메뉴에서 선택하고, 객체의 속성정보로서 '노란색 옷을 입고 바닥에 누워있다'라는 텍스트를 입력하면, 제1객체 인페인팅부(130)는 '노란색 옷을 입고 바닥에 누워있는 사람'이라는 컨텍스트를 생성할 수 있다.
제1객체 인공지능 모델은 입력되는 컨텍스트에 부합하는 객체를 생성하도록 객체 인페인팅을 수행하며, 객체 생성 시 세그먼테이션(segmentation)을 수행하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상(IOBJ)을 도 3에 도시된 것처럼 생성할 수 있다.
제1객체 인공지능 모델을 학습하여 생성하는 동작에 대해 설명하면, 제1객체 인공지능 모델은 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성하도록 학습될 수 있다. 이는 배경과 객체를 융합하는 동작에서 유색 부분만을 객체로 간주하고 사용하기 위해서이다.
이러한 영상을 생성하는 제1객체 인공지능 모델을 학습하기 위해서, 먼저 학습데이터를 전처리한다. 전처리는 학습데이터에서 세그먼테이션을 진행하여, 객체 부분만 남기고 배경은 검은 색으로 처리한다. 이렇게 전처리된 학습데이터로 인공지능 모델(예를 들어, 딥러닝 모델)을 학습시키게 되면, 추론시에도 배경은 검은 색이고, 객체는 유색인 이미지가 생성된다.
도 5는 세그먼테이션을 설명하기 위한 예시도이다.
세그먼테이션은 이미지에서 특정 객체에 해당하는 부분의 픽셀을 찾아내는 작업으로서, 도 5를 참조하면, 원 영상(51)에서 배경을 없애고 싶으면 먼저 segmentation 알고리즘을 수행하여 사람과 자전거에 해당하는 픽셀들을 찾아내어 단색(도 5의 경우, 분홍색과 초록색)(52)으로 처리하고, 원 영상(51)에서 나머지 픽셀들을 검은 색으로 변환(53)하여 전처리된 학습데이터(54)를 출력한다.
이후 인공지능 모델은 전처리된 학습데이터(54)를 입력받아 사람과 자전거에 해당하는 픽셀들을 원 영상(51)을 참조하여 다시 원래 픽셀값으로, 즉, 유색으로 변환(미도시)한다.
다시 도 2 및 도 3을 참조하면, 제1영상 융합부(140)는 배경 인페인팅 영상(IINP) 중 인페인팅 대상 영역(IT)에 객체 영상(IOBJ)에 포함된 객체가 위치하도록 배경 인페인팅 영상(IINP)과 객체 영상(IOBJ)을 융합하여 출력 영상(IOUT)을 생성할 수 있다.
제1영상 융합부(140)는 객체 영상(IOBJ)의 크기를 배경 인페인팅 영상(IINP)의 크기로 조정(resizing)하거나 또는 객체 영상(IOBJ) 내 객체를 포함하는 관심영역(ROI, Region Of Interest)을 설정하고 설정된 관심영역의 크기를 인페인팅 대상 영역(IT)의 크기로 조정할 수 있다. 이를 위하여 제1영상 융합부(140)로 배경 인페인팅 영상(IINP) 또는 인페인팅 대상 영역(IT)의 크기, 해상도 정보 등이 입력될 수 있다.
그리고, 제1영상 융합부(140)는 배경 인페인팅 영상(IINP)과 객체 영상(IOBJ)을 오버랩한 후 객체 영상(IOBJ)의 배경에 해당하는 검은 색 픽셀값을 배경 인페인팅 영상(IINP) 중 같은 위치(오버랩된 위치)에 해당하는 픽셀값으로 변경하여 출력 영상(IOUT)을 생성할 수 있다.
제1영상 정제부(150)는 생성된 출력 영상(IOUT)을 딥러닝 레이어에 통과시켜 자연스러운 이미지가 되도록 정제(refinement)하며 이로써 보정된 출력 영상(IOUT_REF)을 도 3과 같이 생성할 수 있다.
도 6은 본 발명의 제2실시 예에 따른 제2영상 인페인팅 장치(200)를 도시한 블록도이다.
도 6을 참조하면, 본 발명의 제2실시 예에 따른 제2영상 인페인팅 장치(200)는 제2이진 영상 생성부(210), 제2배경 인페인팅부(220), 제2객체 인페인팅부(230), 제2영상 융합부(240) 및 제2영상 정제부(250)를 포함할 수 있다.
도 6에 도시된 제2이진 영상 생성부(210), 제2배경 인페인팅부(220), 제2객체 인페인팅부(230), 제2영상 융합부(240) 및 제2영상 정제부(250)의 동작은 도 2 내지 도 5를 참조하여 설명한 제1이진 영상 생성부(110), 제1배경 인페인팅부(120), 제1객체 인페인팅부(130), 제1영상 융합부(140) 및 제1영상 정제부(150)와 유사하거나 동일할 수 있다. 따라서, 설명의 편의를 위하여 중복되는 부분은 설명이 생략될 수 있다.
제2이진 영상 생성부(210)는 도 4를 참조하여 설명한 것처럼, 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)을 인페인팅 대상 영역(IT)과 인페인팅 미대상 영역(IIN- IT)으로 구분하여 이진 영상(I0,1)을 생성할 수 있다.
제2배경 인페인팅부(220)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행함으로써 배경 인페인팅 영상(IINP)을 생성할 수 있다.
제2객체 인페인팅부(230)는 객체 인페인팅을 수행하여 인페인팅 대상 영역(IT)에 추가할 객체 영상(IOBJ_C)을 생성할 수 있다.
도 7은 제2객체 인페인팅부(230)와 제2영상 융합부(240)를 자세히 도시한 블록도이고, 도 8은 제2객체 인페인팅부(230)의 동작을 설명하기 위한 예시도이다.
도 7 및 도 8을 참조하면, 제2객체 인페인팅부(230)는 객체 생성부(232) 및 마스킹부(234)를 포함한다.
객체 생성부(232)는 인페인팅 대상 영역(IT)에 추가할 객체의 종류와 속성이 입력되면 객체의 종류와 속성에 부합하는 컨텍스트를 생성하여 제2객체 인공지능 모델에 입력하며, 제2객체 인공지능 모델은 컨텍스트에 부합하는 객체 인페인팅을 수행함으로써 객체 영상(IOBJ_C)을 도 8과 같이 생성할 수 있다. 이 때 객체 생성부(232)는 또는 제2객체 인공지능 모델은 배경과 객체 모두를 유색 처리한 객체 영상(IOBJ_C)을 생성할 수 있다.
마스킹부(234)는 객체 생성부(232)에서 생성된 객체 영상(IOBJ_C) 중 배경 영역은 검은 색으로 처리하고 객체 영역은 그레이 레벨로 처리한 영상(이하, '객체 마스크 영상'이라 한다)(IMASK)을 도 8과 같이 생성할 수 있다.
따라서, 객체 마스크 영상(IMASK) 중 배경에 해당하는 픽셀은 검은색을 나타내는 0의 값을 갖고, 객체에 해당하는 픽셀은 0(검은색)부터 1(흰색)사이의 값, 즉, 검은색, 흰색, 회색을 나타내는 값을 갖게 된다.
다시 도 6을 참조하면, 제2영상 융합부(240)는 배경 인페인팅 영상(IINP)과 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)을 융합한 후 픽셀값을 부여하여 출력 영상(IOUT)을 생성할 수 있다.
이를 위하여, 제2영상 융합부(240)는 마스크 융합부(242), 픽셀값 산출부(244) 및 출력 영상 생성부(246)를 포함할 수 있다.
마스크 융합부(242)는 배경 인페인팅 영상(IINP) 중 인페인팅 대상 영역(IT)에 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)이 위치하도록 배경 인페인팅 영상(IINP)과 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)을 융합할 수 있다.
자세히 설명하면, 마스크 융합부(242)는 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)의 크기를 인페인팅 대상 영역(IT)의 크기로 조정하여 인페인팅 대상 영역(IT)의 크기와 일치시키고, 인페인팅 대상 영역(IT)에 크기가 조정된 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)를 오버랩한다. 크기가 원래보다 확대되거나 축소되면 마스크 융합부(242)는 보간을 수행하여 영상 품질을 개선할 수 있다.
픽셀값 산출부(244)는 객체 생성부(232)에서 생성된 객체 영상(IOBJ_C) 중 객체의 픽셀값과, 마스킹부(234)에서 생성된 객체 마스크 영상(IMASK)의 픽셀값과, 인페인팅 대상 영역(IT)의 픽셀값을 이용하여 객체 마스크 영상(IMASK)의 RGB 픽셀값을 산출할 수 있다.
[수학식 1]은 객체 마스크 영상(IMASK)에 위치하는 픽셀들 중 (x, y)에 위치하는 픽셀의 RGB 픽셀값을 산출하는 식이다.
Figure 112022098712588-pat00001
[수학식 1]에서 P(x,y)는 (x,y) 위치의 RGB 픽셀값, 객체 픽셀값(x,y)는 도 8에 도시된 객체 영상 중(IOBJ_C) 중 (x,y) 위치의 RGB 픽셀값, 마스크 픽셀값(x,y)는 도 8에 도시된 객체 마스크 영상(IMASK) 중 (x,y) 위치의 그레이 레벨이다.
객체 마스크 영상(IMASK)의 (0,0)~(x,y)에 위치하는 픽셀들의 픽셀값이 모두 산출되면, 출력 영상 생성부(246)는 객체 마스크 영상(IMASK)의 픽셀값을 [수학식 1]에 의해 산출된 각 픽셀의 RGB 픽셀값으로 대체하여 출력 영상(IOUT)을 생성할 수 있다.
제2영상 정제부(250)는 출력 영상 생성부(246)에서 생성된 출력 영상(IOUT)을 정제하여 보정된 출력 영상(IOUT_REF)을 생성할 수 있다.
도 9는 본 발명의 제3실시 예에 따른 제3영상 인페인팅 장치(300)를 도시한 블록도이다.
도 9를 참조하면, 본 발명의 제3실시 예에 따른 제3영상 인페인팅 장치(300)는 제3이진 영상 생성부(310), 제3배경 인페인팅부(320), 제3영상 융합부(330) 및 제3영상 정제부(340)를 포함할 수 있다.
도 9에 도시된 제3이진 영상 생성부(310), 제3배경 인페인팅부(320), 제3영상 융합부(330) 및 제3영상 정제부(340)의 동작은 도 2 내지 도 5를 참조하여 설명한 제1이진 영상 생성부(110), 제1배경 인페인팅부(120), 제1영상 융합부(140) 및 제1영상 정제부(150)와 유사하거나 동일할 수 있다. 따라서, 설명의 편의를 위하여 중복되는 부분은 설명이 생략될 수 있다.
제3이진 영상 생성부(310)는 도 4를 참조하여 설명한 것처럼, 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)을 인페인팅 대상 영역(IT)과 인페인팅 미대상 영역(IIN- IT)으로 구분하여 이진 영상(I0,1)을 생성할 수 있다.
제3배경 인페인팅부(320)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행함으로써 배경 인페인팅 영상(IINP)을 생성할 수 있다.
제3영상 융합부(330)는 제3배경 인페인팅부(320)로부터 배경 인페인팅 영상(IINP)을 입력받고, 인페인팅 대상 영역(IT)에 추가할 객체의 이미지 파일을 입력받을 수 있다. 객체의 이미지 파일은 사용자가 사용자 인터페이싱 장치를 조작하여 선택할 수 있으며, 도 3에 도시된 객체 영상(IOBJ)처럼 배경이 검은색으로 처리되어 있을 수 있다.
제3영상 융합부(330)는 객체 이미지 파일의 영상 크기를 배경 인페인팅 영상(IINP)의 크기 또는 인페인팅 대상 영역(IT)의 크기로 조정한 후, 크기가 조정된 객체 이미지 파일의 영상과 배경 인페인팅 영상(IINP)을 융합하여 출력 영상(IOUT)을 생성할 수 있다.
제3영상 정제부(340)는 제3영상 융합부(330)에서 생성된 출력 영상(IOUT)을 정제하여 보정된 출력 영상(IOUT_REF)을 생성할 수 있다.
도 10은 본 발명의 제4실시 예에 따른 제4영상 인페인팅 장치(400)를 도시한 블록도이다.
도 10을 참조하면, 본 발명의 제4실시 예에 따른 제4영상 인페인팅 장치(400)는 제4이진 영상 생성부(410), 제4배경 인페인팅부(420), 제4객체 인페인팅부(430), 제4영상 융합부(440) 및 제4영상 정제부(450)를 포함할 수 있다.
도 10에 도시된 제4이진 영상 생성부(410), 제4배경 인페인팅부(420), 제4객체 인페인팅부(430), 제4영상 융합부(440) 및 제4영상 정제부(450)의 동작은 도 2 내지 도 5를 참조하여 설명한 제1이진 영상 생성부(110), 제1배경 인페인팅부(120), 제1객체 인페인팅부(130), 제1영상 융합부(140) 및 제1영상 정제부(150)와 유사하거나 동일할 수 있다. 따라서, 설명의 편의를 위하여 중복되는 부분은 설명이 생략될 수 있다.
제4이진 영상 생성부(410)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)으로부터 이진 영상(I0,1)을 생성할 수 있다.
제4배경 인페인팅부(420)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하고, 수행 결과로 배경 인페인팅 영상(IINP)을 생성할 수 있다.
제4객체 인페인팅부(430)는 객체의 이미지 파일이 입력되면 파일에 해당하는 객체의 이미지를 제4객체 인공지능 모델에 입력하여 객체 인페인팅을 수행함으로써 객체 영상(IOBJ)을 생성할 수 있다.
제4객체 인공지능 모델은 입력되는 객체의 이미지에 대해 세그먼테이션을 수행하여 객체의 이미지 중 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상(IOBJ)을 도 3에 도시된 것처럼 생성할 수 있다.
제4영상 융합부(440)는 객체 영상(IOBJ)의 크기를 배경 인페인팅 영상(IINP)의 크기로 조정하거나 또는 객체 영상(IOBJ) 내 객체를 포함하는 관심영역(ROI, Region Of Interest)을 설정하고 설정된 관심영역의 크기를 인페인팅 대상 영역(IT)의 크기로 조정할 수 있다.
그리고, 제4영상 융합부(440)는 배경 인페인팅 영상(IINP)과 크기가 조정된 객체 영상(IOBJ)을 오버랩한 후 객체 영상(IOBJ)의 배경에 해당하는 검은 색 픽셀값을 배경 인페인팅 영상(IINP) 중 같은 위치에 해당하는 픽셀값으로 변경하여 출력 영상(IOUT)을 생성할 수 있다. 제4영상 융합부(400)는 배경 인페인팅 영상(IINP) 중 인페인팅 대상 영역(IT)에 객체 영상(IOBJ)의 객체가 위치하도록 크기를 조정하여 오버랩할 수 있다.
제4영상 정제부(450)는 생성된 출력 영상(IOUT)을 딥러닝 레이어에 통과시켜 정제하며 이로써 보정된 출력 영상(IOUT_REF)을 도 3과 같이 생성할 수 있다.
상술한 본 발명의 다양한 실시 예들에 따르면, 본 발명은 컨텍스트에 기반하여 객체 인페인팅을 수행하거나 객체의 이미지 파일에 기반하여 객체 인페인팅을 수행하거나 또는 객체의 이미지 파일의 배경과 객체 구분이 명확한 경우 객체 인페인팅을 생략할 수 있다. 또한, 배경 인페인팅과 객체 인페인팅을 독립적으로 수행한 후 다시 융합함으로써 인페인팅된 배경과 주변 배경 사이의 이질감을 해결할 수 있다.
도 11은 본 발명의 제1실시 예에 따른 전자장치의 제1영상 인페인팅 방법을 도시한 흐름도이다.
도 11에 도시된 영상 인페인팅 방법을 수행하는 전자장치는 도 2 내지 도 5를 참조하여 설명한 제1영상 인페인팅 장치(100)일 수 있다.
도 11을 참조하면, 제1영상 인페인팅 장치(100)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)을 인페인팅 대상 영역과 인페인팅 미대상 영역으로 구분하여 이진 영상(I0,1)을 생성할 수 있다(S1110).
제1영상 인페인팅 장치(100)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하고, 배경 인페인팅 영상(IINP)을 생성할 수 있다(S1120).
제1영상 인페인팅 장치(100)는 인페인팅 대상 영역(IT)에 추가할 객체의 종류와 속성을 포함하는 컨텍스트를 제1객체 인공지능 모델에 입력하여 컨텍스트에 부합하는 객체 인페인팅을 수행함으로써 객체 영상(IOBJ)을 생성할 수 있다(S1130). S1130단계는 입력되는 컨텍스트에 부합하는 객체를 생성하기 위하여, 객체 생성 시 세그먼테이션을 수행하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상(IOBJ)을 도 3과 같이 생성할 수 있다.
제1영상 인페인팅 장치(100)는 배경 인페인팅 영상(IINP) 중 인페인팅 대상 영역(IT)에 객체 영상(IOBJ)이 위치하도록 배경 인페인팅 영상(IINP)과 객체 영상(IOBJ)을 오버랩(즉, 융합)할 수 있다(S1140).
제1영상 인페인팅 장치(100)는 오버랩된 객체 영상(IOBJ)의 배경에 해당하는 검은 색 픽셀값을 배경 인페인팅 영상(IINP) 중 같은 위치(대응하는 위치)에 해당하는 픽셀값으로 변경하여 출력 영상(IOUT)을 생성할 수 있다(S1150).
제1영상 인페인팅 장치(100)는 생성된 출력 영상(IOUT)을 정제(refinement)하여 보정된 출력 영상(IOUT_REF)을 생성할 수 있다(S1160).
도 12는 본 발명의 제2실시 예에 따른 전자장치의 제2영상 인페인팅 방법을 도시한 흐름도이다.
도 12에 도시된 영상 인페인팅 방법을 수행하는 전자장치는 도 6 내지 도 8을 참조하여 설명한 제3영상 인페인팅 장치(300)일 수 있다.
도 12를 참조하면, 제3영상 인페인팅 장치(300)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)으로부터 이진 영상(I0,1)을 생성할 수 있다(S1210).
제2영상 인페인팅 장치(200)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하고, 배경 인페인팅 영상(IINP)을 생성할 수 있다(S1220).
제2영상 인페인팅 장치(200)는 인페인팅 대상 영역(IT)에 추가할 객체의 컨텍스트를 제2객체 인공지능 모델에 입력하여 객체 인페인팅을 수행하고, 그 결과 배경과 객체 모두를 유색 처리한 객체 영상(IOBJ_C)을 도 8과 같이 생성할 수 있다(S1230).
제2영상 인페인팅 장치(200)는 S1230단계에서 생성된 객체 영상(IOBJ_C) 중 배경 영역은 검은 색으로 처리하고 객체 영역은 그레이 레벨로 처리한 객체 마스크 영상(IMASK)을 도 8과 같이 생성할 수 있다(S1240).
제2영상 인페인팅 장치(200)는 배경 인페인팅 영상(IINP) 중 인페인팅 대상 영역(IT)에 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)이 위치하도록 배경 인페인팅 영상(IINP)과 객체 영상(IOBJ_C)과 객체 마스크 영상(IMASK)을 융합할 수 있다(S1250).
제2영상 인페인팅 장치(200)는 객체 영상(IOBJ_C) 중 객체의 픽셀값과, 마스킹부(234)에서 생성된 객체 마스크 영상(IMASK)의 픽셀값과, 인페인팅 대상 영역(IT)의 픽셀값을 이용하여 객체 마스크 영상(IMASK)의 RGB 픽셀값을 [수학식 1]에 적용하여 산출할 수 있다(S1260). S1260단계는 객체 마스크 영상(IMASK)에 위치하는 (0,0)~(x,y)까지의 모든 픽셀들의 픽셀값을 산출한다.
제2영상 인페인팅 장치(200)는 S1260단계에서 산출된 객체 마스크 영상(IMASK)에 위치하는 (0,0)~(x,y)까지 픽셀값을 객체 마스크 영상(IMASK)의 각 매칭되는 픽셀에 대입하여 출력 영상(IOUT)을 생성할 수 있다(S1270).
제2영상 인페인팅 장치(200)는 S1270단계에서 생성된 출력 영상(IOUT)을 정제하여 보정된 출력 영상(IOUT_REF)을 생성할 수 있다(S1280).
도 13은 본 발명의 제3실시 예에 따른 전자장치의 제3영상 인페인팅 방법을 도시한 흐름도이다.
도 13에 도시된 영상 인페인팅 방법을 수행하는 전자장치는 도 9를 참조하여 설명한 제3영상 인페인팅 장치(300)일 수 있다.
도 13을 참조하면, 제3영상 인페인팅 장치(300)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)으로부터 이진 영상(I0,1)을 생성할 수 있다(S1310).
제3영상 인페인팅 장치(300)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하고, 배경 인페인팅 영상(IINP)을 생성할 수 있다(S1320).
제3영상 인페인팅 장치(300)는 인페인팅 대상 영역(IT)에 추가할 객체의 이미지 파일이 입력되면(S1330), 객체 이미지 파일의 영상과 S1320단계에서 생성된 배경 인페인팅 영상(IINP)을 융합하여 출력 영상(IOUT)을 생성할 수 있다(S1340, S1350). S1330단계에서 입력되는 객체의 이미지 파일은 배경이 검은색으로 처리된 영상일 수 있다.
제3영상 인페인팅 장치(300)는 S1350단계에서 생성된 출력 영상(IOUT)을 정제하여 보정된 출력 영상(IOUT_REF)을 생성할 수 있다(S1360).
도 14는 본 발명의 제4실시 예에 따른 전자장치의 제4영상 인페인팅 방법을 도시한 흐름도이다.
도 14에 도시된 영상 인페인팅 방법을 수행하는 전자장치는 도 10을 참조하여 설명한 제4영상 인페인팅 장치(400)일 수 있다.
도 14를 참조하면, 제4영상 인페인팅 장치(400)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)으로부터 이진 영상(I0,1)을 생성할 수 있다(S1410).
제4영상 인페인팅 장치(400)는 인페인팅 대상 영역(IT)이 설정된 입력 영상(IIN)과 이진 영상(I0,1)을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하고, 배경 인페인팅 영상(IINP)을 생성할 수 있다(S1420).
제4영상 인페인팅 장치(400)는 인페인팅 대상 영역(IT)에 추가할 객체의 이미지 파일이 입력되면(S1430), 파일에 해당하는 객체의 이미지를 제4객체 인공지능 모델에 입력하여 객체 인페인팅을 수행함으로써 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상(IOBJ)을 생성할 수 있다(S1440). S1440단계에서 제4객체 인공지능 모델은 객체의 이미지를 세그먼테이션한 후 유색처리할 수 있다.
제4영상 인페인팅 장치(400)는 S1420단계에서 생성된 배경 인페인팅 영상(IINP)과 S1440단계에서 생성된 객체 영상(IOBJ)을 융합할 수 있다(S1450).
제4영상 인페인팅 장치(400)는 S1450단계에서 융합된 객체 영상(IOBJ)의 배경에 해당하는 검은 색 픽셀값을 배경 인페인팅 영상(IINP) 중 같은 위치에 해당하는 픽셀값으로 변경하여 출력 영상(IOUT)을 생성할 수 있다(S1460).
제4영상 인페인팅 장치(400)는 S1460단계에서 생성된 출력 영상(IOUT)을 정제한다(S1470).
상술한 본 발명의 다양한 실시 예들에 따르면, 본 발명은 컨텍스트에 기반하여 객체 인페인팅을 수행하거나 실제 객체의 이미지 파일에 기반하여 객체 인페인팅을 수행하거나 또는 실제 객체의 이미지 파일의 배경과 객체 구분이 명확한 경우 객체 인페인팅을 생략할 수 있다. 또한, 배경 인페인팅과 객체 인페인팅을 독립적으로 수행한 후 다시 융합함으로써 배경과 객체 사이의 이질감을 해결할 수 있다.
또한, 본 발명의 제1 내지 제4영상 인페인팅 방법을 수행하는 제1 내지 제4영상 인페인팅 장치들(100~400)은 하나 이상의 프로세서, ROM(Read Only Memory), RAM(Random Access Memory), 모니터, 키보드, 마우스, 스토리지, 및 네트워크 인터페이스를 포함하는 컴퓨팅 장치일 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 제1영상 인페인팅 장치
110: 제1이진 영상 생성부
120: 제1배경 인페인팅부
130: 제1객체 인페인팅부
140: 제1영상 융합부
150: 제1영상 정제부

Claims (18)

  1. 인페인팅 대상 영역이 설정된 입력 영상에 대해 배경 인페인팅을 수행하여 배경 인페인팅 영상을 생성하는 배경 인페인팅부;
    객체 인페인팅을 수행하여 객체 영상을 생성하는 객체 인페인팅부; 및
    상기 생성된 배경 인페인팅 영상과 객체 영상을 융합하여 출력 영상을 생성하는 영상 융합부;를 포함하고,
    상기 객체 인페인팅부는,
    상기 인페인팅 대상 영역에 추가할 객체의 종류와 속성을 포함하는 컨텍스트(context)를 객체 인공지능 모델에 입력 및 객체 인페인팅을 수행하여 객체 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 장치.
  2. 제1항에 있어서,
    상기 입력 영상을 상기 인페인팅 대상 영역과 인페인팅 미대상 영역으로 구분하여 이진 영상을 생성하는 이진 영상 생성부;
    를 더 포함하고,
    상기 배경 인페인팅부는,
    상기 인페인팅 대상 영역이 설정된 입력 영상과 이진 영상을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하는 것을 특징으로 하는 영상 인페인팅 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 객체 인페인팅부는,
    상기 입력되는 컨텍스트를 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 장치.
  5. 제4항에 있어서,
    상기 영상 융합부는,
    상기 배경 인페인팅 영상 중 인페인팅 대상 영역에 상기 객체 영상의 객체가 위치하도록 상기 배경 인페인팅 영상과 객체 영상을 융합하고, 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 배경 인페인팅 영상의 픽셀값으로 대체하여 상기 출력 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 장치.
  6. 제1항에 있어서,
    상기 객체 인페인팅부는,
    상기 컨텍스트를 객체 인공지능 모델에 입력하여 배경과 객체를 유색 처리한 객체 영상을 생성하는 객체 생성부; 및
    상기 생성된 객체 영상 중 배경 영역은 검은 색으로 처리하고 객체 영역은 그레이 레벨로 마스킹한 영상(이하, '객체 마스크 영상'이라 한다)을 생성하는 마스킹부;
    를 포함하는 것을 특징으로 하는 영상 인페인팅 장치.
  7. 제6항에 있어서,
    상기 영상 융합부는,
    상기 배경 인페인팅 영상 중 인페인팅 대상 영역에 상기 객체 영상과 객체 마스크 영상이 위치하도록 상기 배경 인페인팅 영상과 상기 마스크 영상을 융합하는 융합부;
    상기 객체 생성부에서 생성된 객체 영상 중 객체의 픽셀값과, 상기 마스킹부에서 생성된 객체 마스크 영상의 픽셀값과, 상기 인페인팅 대상 영역의 픽셀값을 이용하여 상기 객체 마스크 영상의 RGB 픽셀값을 산출하는 픽셀값 산출부; 및
    상기 객체 마스크 영상의 픽셀값을 상기 RGB 픽셀값으로 대체하여 상기 출력 영상을 생성하는 출력 영상 생성부;
    를 포함하는 것을 특징으로 하는 영상 인페인팅 장치.
  8. 제1항에 있어서,
    상기 객체 인페인팅부는,
    상기 인페인팅 대상 영역에 추가할 객체의 이미지 파일이 입력되면, 상기 입력되는 객체의 이미지 파일을 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성하고,
    상기 영상 융합부는,
    상기 배경 인페인팅 영상 중 인페인팅 대상 영역의 위치에 상기 객체 영상의 객체가 위치하도록 오버랩한 후 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 인페인팅 대상 영역의 픽셀값으로 대체하여 상기 출력 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 장치.
  9. 삭제
  10. (A) 전자장치가, 인페인팅 대상 영역이 설정된 입력 영상에 대해 배경 인페인팅을 수행하여 배경 인페인팅 영상을 생성하는 단계;
    (B) 상기 전자장치가, 객체 인페인팅을 수행하여 객체 영상을 생성하는 단계; 및
    (C) 상기 전자장치가, 상기 (A) 단계에서 생성된 배경 인페인팅 영상과 (B) 단계에서 객체 영상을 융합하여 출력 영상을 생성하는 단계;를 포함하고,
    상기 (B) 단계는,
    상기 인페인팅 대상 영역에 추가할 객체의 종류와 속성을 포함하는 컨텍스트(context)를 객체 인공지능 모델에 입력 및 객체 인페인팅을 수행하여 객체 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 방법.
  11. 제10항에 있어서,
    상기 (A) 단계 이전에,
    (D) 상기 전자장치가, 상기 입력 영상을 상기 인페인팅 대상 영역과 인페인팅 미대상 영역으로 구분하여 이진 영상을 생성하는 단계;
    를 더 포함하고,
    상기 (A) 단계는,
    상기 인페인팅 대상 영역이 설정된 입력 영상과 이진 영상을 배경 인공지능 모델에 입력하여 배경 인페인팅을 수행하는 것을 특징으로 하는 영상 인페인팅 방법.
  12. 삭제
  13. 제10항에 있어서,
    상기 (B) 단계는,
    상기 입력되는 컨텍스트를 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 방법.
  14. 제13항에 있어서,
    상기 (C) 단계는,
    (C1) 상기 배경 인페인팅 영상 중 인페인팅 대상 영역의 위치에 상기 객체 영상의 객체가 위치하도록 상기 배경 인페인팅 영상과 객체 영상을 융합하는 단계; 및
    (C2) 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 배경 인페인팅 영상의 픽셀값으로 대체하여 상기 출력 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 인페인팅 방법.
  15. 제10항에 있어서,
    상기 (B) 단계는,
    상기 컨텍스트를 객체 인공지능 모델에 입력하여 배경과 객체를 유색 처리한 객체 영상을 생성하는 단계; 및
    상기 생성된 객체 영상 중 배경 영역은 검은 색으로 처리하고 객체 영역은 그레이 레벨로 마스킹한 객체 마스크 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 인페인팅 방법.
  16. 제15항에 있어서,
    상기 (C) 단계는,
    (C1) 상기 배경 인페인팅 영상 중 인페인팅 대상 영역에 상기 객체 영상과 객체 마스크 영상이 위치하도록 상기 배경 인페인팅 영상과 상기 객체 마스크 영상을 융합하는 단계;
    (C2) 객체 생성부에서 생성된 객체 영상 중 객체의 픽셀값과, 마스킹부에서 생성된 객체 마스크 영상의 픽셀값과, 상기 인페인팅 대상 영역의 픽셀값을 이용하여 상기 객체 마스크 영상의 RGB 픽셀값을 산출하는 단계; 및
    (C3) 상기 객체 마스크 영상의 픽셀값을 상기 RGB 픽셀값으로 대체하여 상기 출력 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 인페인팅 방법.
  17. 제10항에 있어서,
    상기 (B) 단계는,
    상기 인페인팅 대상 영역에 추가할 객체의 이미지 파일이 입력되면, 상기 입력되는 객체의 이미지 파일을 객체 인공지능 모델에 입력하여 배경 영역은 검은 색으로 처리하고, 객체 영역은 유색으로 처리한 객체 영상을 생성하고,
    상기 (C) 단계는,
    상기 배경 인페인팅 영상 중 인페인팅 대상 영역의 위치에 상기 객체 영상의 객체가 위치하도록 오버랩한 후 상기 객체 영상 중 배경 영역의 검은 색 픽셀값을 상기 인페인팅 대상 영역의 픽셀값으로 대체하여 상기 출력 영상을 생성하는 것을 특징으로 하는 영상 인페인팅 방법.
  18. 삭제
KR1020220118521A 2022-09-20 2022-09-20 영상 인페인팅 장치 및 방법 KR102486300B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220118521A KR102486300B1 (ko) 2022-09-20 2022-09-20 영상 인페인팅 장치 및 방법
PCT/KR2022/017211 WO2024063197A1 (ko) 2022-09-20 2022-11-04 영상 인페인팅 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220118521A KR102486300B1 (ko) 2022-09-20 2022-09-20 영상 인페인팅 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102486300B1 true KR102486300B1 (ko) 2023-01-10

Family

ID=84893442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220118521A KR102486300B1 (ko) 2022-09-20 2022-09-20 영상 인페인팅 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102486300B1 (ko)
WO (1) WO2024063197A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655359B1 (ko) 2023-12-29 2024-04-05 주식회사 더매트릭스 생성형 ai 모델을 이용해 인페인팅 서비스 제공 서버, 시스템, 방법 및 프로그램
KR102657627B1 (ko) 2024-01-19 2024-04-17 주식회사 더매트릭스 생성형 ai 모델을 이용한 색채 추천 및 이미지 생성 서비스를 제공하는 서버, 시스템, 방법 및 프로그램
KR102661488B1 (ko) 2024-01-19 2024-04-26 주식회사 더매트릭스 생성형 ai 모델을 이용한 특수효과 합성 및 3d 모델 생성 서비스 제공 서버, 시스템, 방법 및 프로그램
KR102662411B1 (ko) 2024-01-19 2024-04-30 주식회사 더매트릭스 생성형 ai 모델을 이용한 동적 객체 추적, 인페인팅 및 아웃페인팅 서비스 제공 서버, 시스템, 방법 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093295A (ko) * 2014-02-06 2015-08-18 에스케이플래닛 주식회사 가상간접 광고 서비스 방법 및 이를 위한 장치
KR20210056944A (ko) * 2019-11-11 2021-05-20 주식회사 날비컴퍼니 이미지 변형 방법
KR102389284B1 (ko) 2020-10-16 2022-04-21 주식회사 씨앤에이아이 인공지능 기반 이미지 인페인팅 방법 및 디바이스

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102006064B1 (ko) * 2017-06-09 2019-07-31 숭실대학교산학협력단 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
KR20210062388A (ko) * 2019-11-21 2021-05-31 주식회사 케이티 영상의 객체 분할을 수행하는 영상 처리 장치 및 방법
KR102349289B1 (ko) * 2019-12-26 2022-01-11 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093295A (ko) * 2014-02-06 2015-08-18 에스케이플래닛 주식회사 가상간접 광고 서비스 방법 및 이를 위한 장치
KR20210056944A (ko) * 2019-11-11 2021-05-20 주식회사 날비컴퍼니 이미지 변형 방법
KR102389284B1 (ko) 2020-10-16 2022-04-21 주식회사 씨앤에이아이 인공지능 기반 이미지 인페인팅 방법 및 디바이스

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655359B1 (ko) 2023-12-29 2024-04-05 주식회사 더매트릭스 생성형 ai 모델을 이용해 인페인팅 서비스 제공 서버, 시스템, 방법 및 프로그램
KR102660062B1 (ko) 2023-12-29 2024-04-23 주식회사 더매트릭스 프레임에 최적화된 네거티브 프롬프트를 활용한 인페인팅 서비스를 제공하는 서버, 시스템, 방법 및 프로그램
KR102657627B1 (ko) 2024-01-19 2024-04-17 주식회사 더매트릭스 생성형 ai 모델을 이용한 색채 추천 및 이미지 생성 서비스를 제공하는 서버, 시스템, 방법 및 프로그램
KR102661488B1 (ko) 2024-01-19 2024-04-26 주식회사 더매트릭스 생성형 ai 모델을 이용한 특수효과 합성 및 3d 모델 생성 서비스 제공 서버, 시스템, 방법 및 프로그램
KR102662411B1 (ko) 2024-01-19 2024-04-30 주식회사 더매트릭스 생성형 ai 모델을 이용한 동적 객체 추적, 인페인팅 및 아웃페인팅 서비스 제공 서버, 시스템, 방법 및 프로그램

Also Published As

Publication number Publication date
WO2024063197A1 (ko) 2024-03-28

Similar Documents

Publication Publication Date Title
KR102486300B1 (ko) 영상 인페인팅 장치 및 방법
CN111709873B (zh) 图像转换模型生成器的训练方法和装置
KR20200052438A (ko) 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션
JP2003298837A (ja) 電子画像を作成し操作するための図形入力及び表示システム、表示装置に入力されたソース電子画像を意味のある画像オブジェクトに編成するための方法、及びコンピュータ読取り可能プログラムコードが組み込まれたコンピュータ使用可能媒体を含む製品
US11836958B2 (en) Automatically detecting and isolating objects in images
CA2667538A1 (en) System and method for recovering three-dimensional particle systems from two-dimensional images
Liu et al. Image inpainting based on generative adversarial networks
US11379992B2 (en) Patch expansion for segmentation network training
JP5636807B2 (ja) 画像処理装置及びプログラム
US11914951B2 (en) Semantically-guided template generation from image content
CN115291864A (zh) 一种基于图神经网络的零碎图层检测方法及装置
Syahputra et al. Finger recognition as interaction media in Augmented Reality for historical buildings in Matsum and Kesawan regions of Medan City
Aizawa et al. Do you like sclera? Sclera-region detection and colorization for anime character line drawings
KR102507460B1 (ko) 카툰 배경 자동 생성 방법 및 그 장치
KR20230168523A (ko) 이미지의 전경 및 배경을 분리하는 방법 및 장치
US20230131366A1 (en) Computer-implemented method for completing an image
JP5824309B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20230177752A1 (en) Information processing apparatus and non-transitory computer readable medium
Liu et al. Flexible portrait image editing with fine-grained control
Mir et al. Invisibility Cloak using Color Extraction and Image Segmentation with OpenCV
US20240312085A1 (en) Reference based digital content stylization
WO2024029191A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
US20230045077A1 (en) Theme Icon Generation Method and Apparatus, and Computer Device
Hoshen MakeupBag: Disentangling Makeup Extraction and Application
CN117893419A (zh) 视频生成方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant