KR102389284B1 - 인공지능 기반 이미지 인페인팅 방법 및 디바이스 - Google Patents

Abstract

이미지 인페인팅을 위한 동작 방법은, 제1 이미지의 픽셀들 각각의 정보를 기초로 상기 제1 이미지에 포함된 객체들을 구분하는 단계, 상기 객체들 중 보정 대상 객체인 제1 객체를 결정하는 단계; 상기 제1 이미지에서 제거된 상기 제1 객체에 상응하는 영역에서의 제2 객체와 제3 객체 간의 경계를 설정하는 단계 및 상기 경계를 기준으로, 상기 제1 객체에 상응하는 영역을 상기 제2 객체 및 상기 제3 객체의 픽셀 정보에 기초하여 복원하는 단계를 포함할 수 있다. 본 발명에 의하면, 인공지능을 기반으로 이미지를 분석하여, 이미지를 객체별로 구분하고, 구분된 객체들 중 적어도 하나 이상의 객체를 제거한 후, 이미지를 복원함으로써, 사용자에게 보다 용이한 이미지 인페인팅 서비스를 제공할 수 있는 이점이 있다.

Description

인공지능 기반 이미지 인페인팅 방법 및 디바이스{METHOD AND DEVICE FOR IMAGE INPAINTING BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 이미지 인페인팅 방법에 관한 것으로서, 보다 구체적으로, 인공지능을 기반으로 이미지의 픽셀들을 분석함으로써 이미지 및 동영상에서의 특정 개체를 제거하고, 제거된 부분을 복원하는 이미지 인페인팅 방법에 관한 것이다.

이미지 인페인팅(image inpainting) 기술은 손상된 예술 작품 등의 복원으로부터 시작된 기술로, 현재 이미지 인페인팅 기술은 그림, 사진, 동영상 등의 이미지에서 손상된 부분을 복원하거나 이미지 중에서 일부분을 제거하는 것과 같은 다양한 용도로 사용된다.

이미지 중에서 복원할 영역이 존재하는 경우에 이미지 인페인팅 기술은 이미지의 복원할 영역의 경계 부분에 인접한 배경 이미지 영역의 픽셀들을 보정하고, 보정된 픽셀들로 복원할 영역을 채우는 기술이다. 여기서 배경 이미지 영역은 원본 이미지에서 복원할 영역을 제외한 나머지 영역을 의미할 수 있다.

다만, 이미지 인페인팅 기술은 전문적인 이미지 편집자에 의해 수행되는 경우가 대부분이며, 전문적인 이미지 편집자에게도 이미지 인페인팅을 위한 편집 동작은 고도의 집중도를 요구하는 작업일 수 있다. 따라서, 생활 속에서 촬영한 이미지의 이미지 인페인팅이 필요한 일반인들은 이미지 인페인팅 기술을 이용하기 어려운 문제점이 있다.

이렇듯, 이미지 인페인팅 기술에 대한 접근성을 높이고, 이미지 인페인팅의 정확도를 높이기 위해서, 인공지능 기반 이미지 인페인팅 방법과 이미지 인페인팅 방법을 수행하는 디바이스 및 어플리케이션 등을 제공하는 것이 필요하게 되었다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인공지능을 기반으로 이미지를 분석하여, 이미지를 객체별로 구분하고, 구분된 객체들 중 적어도 하나 이상의 객체를 제거한 후, 이미지를 복원하는 인공지능 기반 이미지 인페인팅 방법을 제공하는 데 있다. 상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 인공지능을 기반으로 이미지 인페인팅을 수행하는 디바이스의 인공 신경망 및 가중치 벡터를 업데이트함으로써, 이미지 인페인팅을 위한 인공 신경망의 학습 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지 인페인팅을 위한 동작 방법은, 제1 이미지의 픽셀들 각각의 정보를 기초로 상기 제1 이미지에 포함된 객체들을 구분하는 단계; 상기 객체들 중에서 보정 대상 객체인 제1 객체를 결정하는 단계, 상기 제1 이미지에서 제거된 상기 제1 객체에 상응하는 제1 영역에서의 제2 객체와 제3 객체 간의 경계를 설정하는 단계 및 상기 경계를 기준으로, 상기 제1 영역을 상기 제2 객체 및 상기 제3 객체의 픽셀 정보에 기초하여 복원하는 단계를 포함할 수 있다.

여기서, 상기 제1 영역에서의 제2 객체와 제3 객체 간의 경계를 설정하는 단계에서는, 상기 제2 객체 및 상기 제3 객체 각각의 픽셀 정보 및 상기 제2 객체 및 상기 제3 객체 각각의 속성 정보 중 적어도 하나의 정보를 기초로 설정할 수 있다.

여기서, 상기 제1 영역을 복원하는 단계 이후에, 상기 제2 객체의 적어도 일부의 영역의 픽셀 정보를 기초로 상기 제2 객체의 패턴 정보를 분석하는 단계 및 상기 경계에 의해 구분되는 상기 제1 영역 중 적어도 일부의 영역에 상기 제2 객체의 패턴을 오버랩하는 단계를 포함할 수 있다.

여기서, 상기 제1 영역을 복원하는 단계 이후에, 상기 제1 이미지를 포함하는 동영상에서, 별도의 제2 이미지를 획득하는 단계; 상기 제2 이미지에서, 상기 제1 영역에 대응되는 픽셀들의 집합인 제1 픽셀 그룹의 정보를 획득하는 단계 및 상기 제1 이미지의 상기 제1 영역에 상기 제1 픽셀 그룹을 오버랩하는 단계를 포함할 수 있다.

여기서, 상기 제1 픽셀 그룹을 보정하는 단계를 포함하고, 상기 제1 픽셀 그룹을 오버랩하는 단계에서는, 상기 보정된 픽셀들을 상기 제1 영역에 오버랩 할 수 있다.

여기서, 상기 제2 이미지에서, 제2 영역에 위치하는 상기 제1 객체를 트래킹하는 단계; 상기 제1 이미지에서, 상기 제2 영역에 대응되는 픽셀들의 집합인 제2 픽셀 그룹의 정보를 획득하는 단계 및 상기 제2 이미지의 상기 제2 영역에 상기 제2 픽셀 그룹을 오버랩하는 단계를 포함할 수 있다.

여기서, 상기 제1 이미지에 포함된 객체들을 구분하는 단계는, 인공 신경망을 이용하여 수행되고, 상기 인공 신경망의 가중치 벡터는, 상기 제1 이미지의 미리 설정된 객체들의 정보 및 상기 제1 이미지의 픽셀들 각각의 정보를 기초로 구분된 객체들 간의 차이값을 기초로 업데이트되는 가중치 벡터를 포함할 수 있다.

여기서, 상기 제1 객체에 상응하는 영역을 복원하는 단계는, 인공 신경망을 이용하여 수행되고, 상기 인공 신경망의 가중치 벡터는, 상기 제1 이미지의 미리 설정된 상기 제1 객체에 상응하는 영역에서의 픽셀들의 정보 및 복원된 상기 제1 객체에 상응하는 영역에서의 픽셀들의 정보 간의 차이값을 기초로 업데이트되는 가중치 벡터를 포함할 수 있다.

본 발명에 의하면, 인공지능을 기반으로 이미지를 분석하여, 이미지를 객체별로 구분하고, 구분된 객체들 중 적어도 하나 이상의 객체를 제거한 후, 이미지를 복원함으로써, 사용자에게 보다 용이한 이미지 인페인팅 서비스를 제공할 수 있는 이점이 있다.

본 발명에 의하면, 인공지능을 기반으로 이미지 인페인팅을 수행하는 디바이스는 인공 신경망 및 가중치 벡터를 지속적으로 업데이트하는 학습 동작을 수행함으로써, 사용자에게 보다 정확한 이미지 인페인팅 서비스를 제공할 수 있는 이점이 있다.

도 1은 단말의 구조의 제1 실시예를 도시한 블록도이다.
도 2는 이미지 인페인팅을 위한 디바이스의 동작의 일 실시예를 도시한 흐름도이다.
도3은 이미지 인페인팅을 위한 동작들 중 이미지의 복원을 위한 프로세서의 동작의 제1 실시예를 도시한 흐름도이다.
도4는 이미지 인페인팅을 위한 동작들 중 이미지의 복원을 위한 프로세서의 동작의 제2 실시예를 도시한 흐름도이다.
도 5는 이미지 인페인팅을 위한 동작 과정 각각에 따른 이미지의 보정 과정의 일 실시예를 도시한 개념도이다.
도 6은 동영상의 이미지 인페인팅을 위한 디바이스의 동작의 일 실시예를 도시한 흐름도이다.
도 7은 동영상의 이미지 인페인팅을 위한 동작 과정 각각에 따른 이미지의 보정 과정의 일 실시예를 도시한 개념도이다.
도 8은 이미지 인페인팅을 위한 디바이스의 인공 신경망 학습 동작의 일 실시예를 도시한 흐름도이다.
도 9는 이미지 인페인팅을 위한 디바이스의 인공 신경망 학습 동작 수행 과정의 일 실시예를 도시한 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 단말의 구조의 제1 실시예를 도시한 블록도이다.

도 1을 참고하면, 단말은 카메라(110), 프로세서(120), 디스플레이(130) 및 메모리(140)를 포함할 수 있다. 카메라(110)는 이미지 센서(111), 버퍼(112), 전처리 모듈(113), 리사이저(114) 및 제어기(115)를 포함할 수 있다. 카메라(110)는 외부 영역의 이미지를 획득할 수 있다. 카메라(110)는 이미지 센서(111)에 의해 생성된 로우 데이터를 카메라의 버퍼(112)에 저장할 수 있다. 로우 데이터는 카메라(110) 내의 제어기(115) 또는 프로세서(120)에 의해 처리될 수 있다. 처리된 데이터는 디스플레이(140) 또는 인코더(123)로 전달될 수도 있다. 또는, 로우 데이터는 처리된 후 버퍼(112)에 저장될 수 있고, 버퍼(112)로부터 디스플레이(140) 또는 인코더(174)로 전달될 수 있다. 카메라(110)에 의해 획득된 이미지는 장방형(ERP: equirectangular) 이미지, 파노라마 이미지, 원형 어안 이미지, 구형(spherical) 이미지 또는 3차원 이미지의 일부일 수 있다.

이미지 센서(111)는 외부로부터 입사된 광을 감지함으로써 로우 데이터를 수집할 수 있다. 이미지 센서(111)는, 예를 들어, CCD(charge coupled device), CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 IR(infrared) 광센서(150) 중 적어도 하나의 센서를 포함할 수 있다. 이미지 센서(111)는 제어기(115)에 의해 제어될 수 있다.

전처리 모듈(113)은 이미지 센서(111)에 의해 획득된 로우 데이터를 컬러 스페이스(color space) 형태로 변환할 수 있다. 컬러 스페이스는 YUV 컬러 스페이스, RGB(red green blue) 컬러 스페이스 및 RGBA(red green blue alpha) 컬러 스페이스 중 하나일 수 있다. 전처리 모듈(113)은 컬러 스페이스 형태로 변환된 데이터를 버퍼(112) 또는 프로세서(120)로 전달할 수 있다.

전처리 모듈(113)은 수신한 로우 데이터에 포함된 이미지의 에러 또는 왜곡을 보정할 수 있다. 그리고 전처리 모듈(113)은 로우 데이터에 포함된 이미지의 색상 또는 크기 등을 조절할 수 있다. 전처리 모듈(113)은, 예를 들어, BPC(bad pixel correction), LS(lens shading), 디모자이킹(demosaicing), WB(white balance), 감마 보정(gamma correction), CSC(color space conversion), HSC(hue, saturation, contrast) 개선, 크기 변환, 필터링 및 이미지 분석 중 적어도 하나의 동작을 수행할 수 있다.

단말의 프로세서(120)는 관리 모듈(121), 이미지 처리 모듈(122), 및 인코더(123)를 포함할 수 있다. 관리 모듈(121), 이미지 처리 모듈(122), 및 인코더(123)는 프로세서(120) 내에 포함된 하드웨어 모듈일 수도 있고, 프로세서(290)에 의해 실행될 수 있는 소프트웨어 모듈일 수도 있다. 도 1을 참조하면, 관리 모듈(121), 이미지 처리 모듈(122), 및 인코더(123)는 프로세서(120) 내에 포함된 것으로 도시되었으나, 이에 제한되지 않을 수 있다. 관리 모듈(121), 이미지 처리 모듈(122), 및 인코더(123) 중 일부는 프로세서(120)와 별도의 모듈로 구현될 수도 있다.

일 실시 예에 따르면, 관리 모듈(121)은 단말에 포함된 카메라(110)를 제어할 수 있다. 관리 모듈(121)은 카메라(110)의 초기화, 카메라(110)의 전원 입력 모드 및 카메라(110)의 동작을 제어할 수 있다. 그리고 관리 모듈(121)은 카메라(110)에 포함된 버퍼(112)의 이미지 처리 동작, 캡쳐된 이미지 프로세싱(captured image processing), 이미지의 크기 등을 제어할 수 있다.

관리 모듈(121)은 제1 전자 장치(100)가 자동 초점, 자동 노출, 해상도, 비트 레이트, 프레임 레이트, 카메라 파워 모드, VBI, 줌, 감마 또는 화이트 밸런스 등을 조절하도록 제1 전자 장치(100)를 제어할 수 있다. 관리 모듈(121)은 획득한 이미지를 이미지 처리 모듈(122)에 전달하고, 처리를 수행하도록 이미지 처리 모듈(122)을 제어할 수 있다.

관리 모듈(121)은 획득한 이미지를 인코더(123)로 전달할 수 있다. 그리고 관리 모듈(121)은 인코더(123)를 제어하여 획득한 이미지를 인코딩하도록 할 수 있다.

이미지 처리 모듈(122)은 관리 모듈(121)로부터 이미지를 획득할 수 있다. 이미지 처리 모듈(122)은 획득한 이미지의 처리 동작을 수행할 수 있다. 구체적으로, 이미지 처리 모듈(122)은 획득한 이미지의 노이즈 제거(noise reduction), 필터링, 이미지 합성(image synthesize), 색상 보정(color correction), 색 변환(color conversion), 이미지 변환(transformation), 3D 모델링, 이미지 드로잉, AR(augmented reality)/VR(virtual reality) 처리, 동적 범위 조절(dynamic range adjusting), 원근감(perspective) 조절, 시어링(shearing), 리사이징, 에지 추출, ROI(region of interest) 판단, 이미지 정합(matching) 및/또는 이미지 분할(segmentation) 등을 수행할 수 있다. 이미지 처리 모듈(122)은 복수의 이미지의 합성, 스테레오스코픽 이미지 생성 또는 깊이 기반 파노라마 이미지 생성 등과 같은 처리를 수행할 수도 있다.

도 2는 이미지 인페인팅을 위한 디바이스의 동작의 일 실시예를 도시한 흐름도이다.

도 2를 참조하면, 디바이스의 프로세서는 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 인공 신경망 네트워크(artificial neural network, ANN)를 포함할 수 있으며, 인공 신경망을 이용하여 인공지능 기반의 이미지 인페인팅을 위한 동작들을 수행할 수 있다.

S210단계에서, 프로세서는 제1 이미지에 포함된 객체들을 구분할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제1 이미지에 포함된 객체들을 구분할 수 있다. 예를 들어, 프로세서는 제1 이미지에 포함된 픽셀들의 정보를 기초로 제1 이미지에 포함된 복수개의 개체들을 구분할 수 있다. 프로세서는 제1 이미지에 포함된 객체들을 구분함에 있어, 픽셀들의 색상 정보 등을 반영할 수 있다. 인접한 서로 다른 픽셀들의 색상 정보 값의 차이가 미리 설정된 값 이하인 경우, 프로세서는 제1 이미지에 포함된 객체들을 구분함에 있어, 인접한 서로 다른 픽셀들을 동일 및/또는 유사한 객체의 이미지로부터 획득한 픽셀임을 판단할 수 있다.

S220단계에서, 프로세서는 제1 이미지의 객체들 중에서 보정 대상 객체인 제1 객체를 결정할 수 있다. 또는 프로세서는 제1 이미지에 포함된 객체들의 색상 정보(ex 객체들 각각에 포함된 rgb등의 색상값 정보), 형상 정보 등을 기초로 객체들 각각을 분석할 수 있으며, 객체들 각각의 분석 결과를 기초로 보정 대상 객체인 제1 객체를 결정할 수 있다. 즉, 객체들 각각의 색상 정보 또는 형상 정보 등을 기초로 객체들 중에서 보정 대상 객체인 제1 객체를 결정할 수 있다. 또한, 프로세서는 사용자로부터의 입력 정보(ex 복수의 객체 중에서 사용자의 선택)를 기초로 제1 이미지의 객체들 중에서 보정 대상 객체인 제1 객체를 결정할 수 있다. 즉, 프로세서는 사용자로부터의 입력을 감지하여 선택된 객체를 제1 객체로 결정할 수 있는 것이다. 다음으로, 프로세서는 제1 이미지에서 보정 대상 객체로 결정된 제1 객체를 제거할 수 있다.

S230단계에서, 프로세서는 제1 이미지에서 제거된 제1 객체에 상응하는 영역에서의 제2 객체와 제3 객체 간의 경계를 설정할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제1 이미지에서 제거된 제1 객체에 상응하는 영역에서의 제2 객체와 제3 객체 간의 경계를 설정할 수 있다. 구체적으로, 프로세서는 제2 객체 및 제3 객체 각각의 픽셀 정보를 기초로 제1 객체에 상응하는 영역에서의 제2 객체와 제3 객체 간의 경계를 설정할 수 있다. 프로세서는 제2 객체 및 제3 객체 각각의 속성 정보 중 적어도 하나의 정보를 기초로 제1 객체에 상응하는 영역에서의 제2 객체와 제3 객체 간의 경계를 설정할 수 있다. 즉, 프로세서는 제1 이미지의 제1 객체에 상응하는 영역을 제2 객체와 연관되는 (a) 영역과 제3 객체에 연관되는 (b) 영역으로 구분할 수 있으며, (a) 영역과 (b) 영역 간의 경계를 설정할 수 있다.

S240단계에서, 프로세서는 경계를 기준으로, 제1 객체에 상응하는 영역을 제2 객체 및 제3 객체의 픽셀 정보를 기초로 복원할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제1 객체에 상응하는 영역을 제2 객체 및 제3 객체의 픽셀 정보를 기초로 복원할 수 있다. 즉, 프로세서는 제2 객체의 픽셀 정보를 기초로 제1 이미지의 (a) 영역을 복원할 수 있으며, 제3 객체의 픽셀 정보를 기초로 제1 이미지의 (b) 영역을 복원할 수 있다. 따라서, 프로세서에 의한 이미지 인페인팅 결과, 프로세서는 복원된 제1 이미지를 획득할 수 있다.

도3은 이미지 인페인팅을 위한 동작들 중 이미지의 복원을 위한 프로세서의 동작의 제1 실시예를 도시한 흐름도이다.

도 3을 참조하면, 디바이스의 프로세서는 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 인공 신경망 네트워크를 포함할 수 있으며, 인공 신경망을 이용하여 인공지능 기반의 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 도 2의 S210 단계 내지 S240 단계의 동작을 수행한 상태일 수 있다.

S310단계에서, 프로세서는 제2 객체의 패턴 정보를 분석할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 객체의 패턴 정보를 분석할 수 있다. 프로세서는 제2 객체에 포함된 픽셀들의 색상 정보, 및 제2 객체의 형상 정보 등을 기초로 제2 객체를 분석할 수 있으며, 분석 결과를 기초로 제2 객체 내부에 추가 경계선을 설정할 수 있다. 프로세서는 설정된 제2 객체 내부에 추가 경계선에 관한 정보를 기초로 제2 객체 내부의 패턴 정보를 획득할 수 있다.

S320단계에서, 프로세서는 제2 객체의 속성 정보를 분석할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 객체의 속성 정보를 분석할 수 있다. 프로세서는 제2 객체의 색상 정보, 형상 정보 등을 기초로 제2 객체를 분석할 수 있으며, 분석 결과를 기초로 제2 객체의 속성 정보를 결정할 수 있다. 프로세서는 제2 객체에 속성 정보를 라벨링할 수 있다. 제2 객체 내부에 패턴 정보를 획득한 경우, 프로세서는 제2 객체의 세부 영역들에 추가적으로 속성 정보를 라벨링할 수 있다.

S330단계에서, 프로세서는 제1 이미지의 제1 객체에 상응하는 영역에 제2 객체의 패턴을 오버랩 할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제1 객체에 상응하는 영역에 제2 객체의 패턴을 오버랩 할 수 있다. 따라서, 프로세서에 의한 이미지 인페인팅 결과, 복원된 제1 이미지를 획득할 수 있다.

도4는 이미지 인페인팅을 위한 동작들 중 이미지의 복원을 위한 프로세서의 동작의 제2 실시예를 도시한 흐름도이다.

도 4를 참조하면, 디바이스의 프로세서는 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 인공 신경망 네트워크를 포함할 수 있으며, 인공 신경망을 이용하여 인공지능 기반의 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 도 2의 S210 단계 내지 S240 단계의 동작을 수행한 상태일 수 있다.

S410단계에서, 프로세서는 제2 이미지를 획득할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 이미지 인페인팅 대상인 제1 이미지와 유사한 제2 이미지를 획득할 수 있다. 프로세서는 제1 이미지의 픽셀들의 정보를 기초로 별도의 이미지들을 분석하여, 별도의 이미지들 중 미리 설정된 값 이상의 유사도를 갖는 제2 이미지를 획득할 수 있다. 프로세서는 디바이스의 메모리에 저장된 별도의 이미지들 중에서 제1 이미지와 유사한 제2 이미지를 획득할 수 있다. 또는 프로세서는 외부의 데이터베이스에 저장된 별도의 이미지들 중에서 제1 이미지와 유사한 제2 이미지를 획득할 수 있다.

S420단계에서, 프로세서는 제2 이미지에서 제1 객체에 상응하는 영역에 대응되는 제1 픽셀 그룹을 획득할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 이미지에서 제1 이미지의 제1 객체에 상응하는 영역에 대응되는 제1 픽셀 그룹을 획득할 수 있다.

일 실시예에 따르면, 프로세서는 제1 이미지에서의 제1 객체에 상응하는 영역의 위치 정보를 산출할 수 있으며, 산출한 위치 정보를 제2 이미지에 적용하여, 제2 이미지로부터 제1 픽셀 그룹을 획득할 수 있다.

다른 실시예에 따르면, 프로세서는 제1 이미지에서의 제1 객체에 상응하는 영역에 인접한 픽셀들의 정보를 산출할 수 있으며, 산출한 픽셀들의 정보를 기초로 제2 이미지로부터 제1 픽셀 그룹을 획득할 수 있다.

S430단계에서, 프로세서는 제1 픽셀 그룹의 픽셀들을 보정할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제1 픽셀 그룹의 픽셀들을 보정함으로써, 제1 픽셀 그룹의 픽셀들을 제1 이미지에 최적화시킬 수 있다.

일 실시예에 따르면, 프로세서는 제1 그룹의 픽셀들의 색상 정보와 제1 이미지의 제1 객체에 인접한 픽셀들의 색상 정보를 비교할 수 있다. 제1 그룹의 픽셀들의 색상 정보 값과 제1 이미지의 제1객체에 인접한 픽셀들의 색상 정보 값의 차이가 미리 설정된 값을 초과하는 경우, 프로세서는 제1 이미지의 제1 객체에 인접한 픽셀들의 색상 정보를 기준으로 제1 그룹의 픽셀들의 색상을 보정할 수 있다.

다른 실시예에 따르면, 프로세서는 제1 그룹의 형상 정보와 제1 이미지의 제1 객체의 형상 정보를 비교할 수 있다. 제1 그룹의 형상 정보와 제1 이미지의 제1 객체의 형상이 일치하지 않는 경우, 프로세서는 제1 이미지의 제1 객체의 형상을 기준으로, 제1 그룹의 형상을 보정할 수 있다.

S440단계에서, 프로세서는 제1 픽셀 그룹의 픽셀들을 제1 객체에 상응하는 영역에 오버랩 할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 이미지로부터 획득하고, 복원된 제1 픽셀 그룹의 픽셀들을 제1 이미지에 오버랩하여, 제1 이미지를 보정할 수 있다. 따라서, 프로세서에 의한 이미지 인페인팅 결과, 복원된 제1 이미지를 획득할 수 있다.

도 5는 이미지 인페인팅을 위한 동작 과정 각각에 따른 이미지의 보정 과정의 일 실시예를 도시한 개념도이다.

도5를 참조하면, 디바이스의 프로세서는 이미지 인페인팅을 위한 동작들을 수행할 수 있다.프로세서는 도 5(a)의 제1 이미지에 이미지 인페인팅 기법을 적용하여, 도 5(c)에 도시된 복원된 제1 이미지를 획득할 수 있다. 프로세서가 이미지 인페인팅 기법을 적용하여 복원된 이미지를 획득하는 구체적인 동작들은 아래와 같을 수 있다.

도 5(a)를 참조하면, 프로세서는 제1 이미지에 포함된 객체들(510, 520, 530)을 구분할 수 있다. 프로세서는 제1 이미지에 포함된 객체들(510, 520, 530)을 구분함에 있어, 픽셀들의 색상 정보 등을 반영할 수 있다.

프로세서는 제1 이미지의 객체들 중에서 보정 대상 객체인 제1 객체(510)를 결정할 수 있다. 프로세서는 제1 이미지에서 보정 대상 객체로 결정된 제1 객체(510)를 제거할 수 있다. 제1 이미지에서 제1 객체가 제거된 이미지는 도 5(b)에 도시된 바와 같을 수 있다.

도 5(b)를 참조하면, 프로세서는 제1 이미지에서 제거된 제1 객체에 상응하는 영역에서의 제2 객체와 제3 객체 간의 경계를 설정할 수 있다. 따라서, 제거된 제1 객체에 상응하는 영역은 객체에 상응하도록 경계에 의해 구분될 수 있다. 구체적으로, 프로세서는 제2 객체 및 제3 객체 각각의 픽셀 정보를 기초로 제1 객체에 상응하는 영역에서의 제2 객체(520)와 제3 객체(530) 간의 경계를 설정할 수 있다.

프로세서는 경계를 기준으로, 제1 객체(510)에 상응하는 영역을 제2 객체 및 제3 객체의 픽셀 정보를 기초로 복원할 수 있다. 프로세서는 제2 객체의 픽셀 정보를 기초로 제1 객체(510)에 상응하는 영역 중에서 일부 영역(512)을 복원할 수 있으며, 제3 객체의 픽셀 정보를 기초로 제1 객체(510)에 상응하는 영역 중에서 나머지 영역(513) 영역을 복원할 수 있다. 프로세서가 제1 이미지와 별도의 이미지인 제2 이미지로부터 일부 영역에 관한 제1 픽셀 그룹을 획득한 경우, 프로세서는 제1 픽셀 그룹의 픽셀들을 제1 객체에 상응하는 영역 중에서 일부 영역(512)에 오버랩 할 수 있다. 또는 프로세서가 제3 객체의 패턴 정보를 획득한 경우, 프로세서는 제1 객체에 상응하는 영역 중에서 일부 영역(513)에 제3 객체의 패턴을 오버랩 할 수 있다. 복원된 제1 이미지는 도 5(c)에 도시된 바와 같을 수 있다.

도 6은 동영상의 이미지 인페인팅을 위한 디바이스의 동작의 일 실시예를 도시한 흐름도이다.

도 6을 참조하면, 디바이스의 프로세서는 제1 이미지 및 제2 이미지를 포함하는 동영상의 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 인공 신경망 네트워크를 포함할 수 있으며, 인공 신경망을 이용하여 인공지능 기반의 동영상의 이미지 인페인팅을 위한 동작들을 수행할 수 있다. 프로세서는 도 2의 S210 단계 내지 S240 단계의 동작을 수행한 상태일 수 있다.

S610단계에서, 프로세서는 제2 이미지에서의 제1 객체를 트래킹할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 이미지에서의 제1 객체를 트랙킹할 수 있다. 프로세서는 제2 이미지의 객체들 중, 제1 이미지에서의 제1 객체와의 유사도가 미리 설정된 값 이상인 객체를 제1 객체로 판단할 수 있다. 즉, 프로세서는 제1 객채의 색채, 형상 정보 등을 이용하여, 제2 이미지에서 유사한 색채 및 형상을 갖는 객체를 트랙킹할 수 있다.

S620단계에서, 프로세서는 제1 이미지에서, 제2 이미지에 포함된 제1 객체에 상응하는 영역에 대응되는 제2 픽셀 그룹을 획득할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 이미지에 포함된 제1 객체에 상응하는 영역에 대응되는 제2 픽셀 그룹을 획득할 수 있다.

일 실시예에 따르면, 프로세서는 제2 이미지에서의 제1 객체에 상응하는 영역의 위치 정보를 산출할 수 있으며, 산출한 위치 정보를 제2 이미지에 적용하여, 제2 이미지로부터 제1 픽셀 그룹을 획득할 수 있다.

다른 실시예에 따르면, 프로세서는 제2 이미지에서의 제1 객체에 상응하는 영역에 인접한 픽셀들의 정보를 산출할 수 있으며, 산출한 픽셀들의 정보를 기초로 제1 이미지로부터 제2 픽셀 그룹을 획득할 수 있다.

S630단계에서, 프로세서는 제2 픽셀 그룹의 픽셀들을 보정할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제2 픽셀 그룹의 픽셀들을 보정함으로써, 제2 픽셀 그룹의 픽셀들을 제2 이미지에 최적화시킬 수 있다.

일 실시예에 따르면, 프로세서는 제2 그룹의 픽셀들의 색상 정보와 제2 이미지의 제1 객체에 인접한 픽셀들의 색상 정보를 비교할 수 있다. 제2 그룹의 픽셀들의 색상 정보 값과 제2 이미지의 제1객체에 인접한 픽셀들의 색상 정보 값의 차이가 미리 설정된 값을 초과하는 경우, 프로세서는 제2 이미지의 제 객체에 인접한 픽셀들의 색상 정보를 기준으로 제2 그룹의 픽셀들의 색상을 보정할 수 있다.

다른 실시예에 따르면, 프로세서는 제2 그룹의 형상 정보와 제2 이미지의 제1 객체의 형상 정보를 비교할 수 있다. 제2 그룹의 형상 정보와 제2 이미지의 제1 객체의 형상이 일치하지 않는 경우, 프로세서는 제2 이미지의 제1 객체의 형상을 기준으로, 제2 그룹의 형상을 보정할 수 있다.

S640단계에서, 프로세서는 제2 픽셀 그룹의 픽셀들을 제1 객체에 상응하는 영역에 오버랩 할 수 있다. 프로세서는 인공 신경망 네트워크를 이용하여, 제1 이미지로부터 획득하고, 복원된 제2 픽셀 그룹의 픽셀들을 제2 이미지에 오버랩하여, 제2 이미지를 보정할 수 있다. 따라서, 프로세서에 의한 이미지 인페인팅 결과, 복원된 제1 이미지와 복원된 제2 이미지를 포함하는 동영상을 획득할 수 있다.

도 7은 동영상의 이미지 인페인팅을 위한 동작 과정 각각에 따른 이미지의 보정 과정의 일 실시예를 도시한 개념도이다.

디바이스의 프로세서는 제1 이미지(710) 및 제2 이미지(720)를 포함하는 동영상에 이미지 인페인팅 기법을 적용하여, 복원된 제1 이미지(730) 및 복원된 제2 이미지(740)를 포함하는 동영상을 생성하기 위한 동작들을 수행할 수 있다. 복원된 이미지들을 포함하는 동영상을 생성하기 위한 동작은 아래와 같을 수 있다.

프로세서는 제1 이미지(710)에 포함된 객체들을 구분할 수 있다. 그리고, 프로세서는 제1 이미지(710)의 객체들 중에서 보정 대상 객체인 제1 객체(711)를 결정할 수 있다.

프로세서는 제2 이미지(720)에서의 제1 객체(721)를 트래킹할 수 있다. 구체적으로, 프로세서는 제2 이미지(720)의 객체들 중, 제1 이미지(710)에서의 제1 객체(711)와의 유사도가 미리 설정된 값 이상인 객체를 제1 객체(721)로 판단할 수 있다. 프로세서는 제2 이미지(720)에서의 제1 객체(721)를 트래킹하는 동시에 제2 이미지(720)에 포함된 객체들을 구분할 수 있다.

프로세서는 제2 이미지(720)에서, 제1 이미지(710)에 포함된 제1 객체(711)에 상응하는 영역에 대응되는 제1 픽셀 그룹(722)을 획득할 수 있다. 그리고 프로세서는 제1 이미지(710)에서, 제2 이미지(720)에 포함된 제1 객체(721)에 상응하는 영역에 대응되는 제2 픽셀 그룹(712)을 획득할 수 있다. 프로세서는 제1 픽셀 그룹과 제2 픽셀 그룹의 픽셀들을 추가로 보정할 수 있다. 예를 들어, 프로세서는 제1 이미지(710)과 제2 이미지의(720) 비교 결과를 기초로, 제1 이미지(710)과 제2 이미지의(720)의 객체들 각각의 변화 정도를 기초로 제1 픽셀 그룹과 제2 픽셀 그룹의 픽셀들을 추가로 보정할 수 있다.

프로세서는 제1 픽셀 그룹(722)의 픽셀들을 제1 이미지(710)에서 제1 객체(711)에 상응하는 영역에 오버랩 할 수 있다. 그리고, 프로세서는 제1 픽셀 그룹(722)의 픽셀들을 제1 이미지(710)에서 제1 객체(711)에 상응하는 영역에 오버랩 할 수 있다. 따라서, 프로세서는 복원된 제1 이미지(730) 및 복원된 제2 이미지(740)를 포함하는 동영상을 생성할 수 있다. 여기서, 제1 픽셀 그룹(722)의 픽셀들을 제1 이미지(710)에서 제1 객체(711)에 상응하는 영역에 오버랩하는 동작과, 제1 픽셀 그룹(722)의 픽셀들을 제1 이미지(710)에서 제1 객체(711)에 상응하는 영역에 오버랩하는 동작은 쌍방향으로 이루어질 수 있다.

도 8은 이미지 인페인팅을 위한 디바이스의 인공 신경망 학습 동작의 일 실시예를 도시한 흐름도이다.

도 8을 참조하면, 동영상의 이미지 인페인팅을 위한 동작들을 수행하는 프로세서는 인공 신경망 네트워크를 포함할 수 있으며, 인공 신경망의 학습을 위한 동작들을 수행할 수 있다. 프로세서는 도 2의 S210 단계 내지 S240 단계의 동작을 수행한 상태일 수 있다. 프로세서는 인공 신경망의 학습을 위한 동작들을 수행하기 위해, 기존의 제1 이미지에 제1 객체를 삽입하고, 제1 객체가 삽입된 제1 이미지를 복원하는 동작을 적어도 1회 이상 수행할 수 있다. 프로세서는 기존의 제1 이미지와 복원 동작 결과 획득한 복원된 제1 이미지의 비교 결과를 기초로 인공 신경망의 학습을 위한 동작을 수행할 수 있으며, 구체적인 동작들은 아래와 같을 수 있다.

S810단계에서, 프로세서는 제1 이미지와 이미지 인페인팅 결과 복원된 제1 이미지를 비교할 수 있다. 프로세서는 제1 이미지에 포함된 객체들의 정보와 복원된 제1 이미지에 포함된 객체들의 정보를 비교할 수 있다. 그리고 프로세서는 제1 이미지의 픽셀들 각각의 정보와 복원된 제1 이미지의 픽셀들 각각의 정보를 비교할 수 있다. 프로세서에 의해 비교되는 픽셀들의 정보는 픽셀의 색상 정보 등을 포함할 수 있다.

S820단계에서, 프로세서는 제1 이미지와 복원된 제1 이미지에 포함된 객체 구분 결과의 차이값을 산출할 수 있다. 프로세서는 제1 이미지에 포함된 객체들과 복원된 제1 이미지에 포함된 객체들 간의 차이값을 산출할 수 있으며, 산출된 차이값은 객체들 각각의 범위의 차이 등의 값일 수 있다.

S830단계에서, 프로세서는 제1 이미지와 복원된 제1 이미지의 제1 영역 복원 결과의 차이값을 산출할 수 있다. 프로세서는 제1 객체에 상응하는 영역의 복원 결과와 제1 이미지 간의 차이값을 산출할 수 있다. 산출된 차이값은 제1 객체에 상응하는 영역에 포함된 픽셀들의 정보 및 제1 객체에 상응하는 영역 내의 다른 객체들을 구분하기 위한 경계선의 정보의 차이값일 수 있다.

S840단계에서, 프로세서는 제1 이미지와 복원된 제1 이미지 간의 차이값을 기초로 인공 신경망의 가중치 벡터를 업데이트할 수 있다. 프로세서는 역전파 방식을 적용하여 인공 신경망의 가중치 벡터를 업데이트할 수 있다. 구체적으로, 프로세서는 제1 이미지에 포함된 객체들과 복원된 제1 이미지에 포함된 객체들 간의 차이값을 인공 신경망에 역전파하여, 객체 구분을 위한 인공 신경망의 가중치 벡터를 업데이트할 수 있다. 그리고 프로세서는 제1 이미지와 복원된 제1 이미지의 제1 영역 복원 결과의 차이값을 인공 신경망에 역전파하여, 이미지 복원을 위한 인공 신경망의 가중치 벡터를 업데이트할 수 있다.

도 9는 이미지 인페인팅을 위한 디바이스의 인공 신경망 학습 동작 수행 과정의 일 실시예를 도시한 개념도이다.

도 9를 참조하면, 이미지 인페인팅을 위한 동작들을 수행하는 프로세서는 인공 신경망 네트워크를 포함할 수 있으며, 인공 신경망의 학습을 위한 동작들을 수행할 수 있다. 프로세서는 인공 신경망의 학습을 위한 동작들을 수행하기 위해, 기존의 제1 이미지(910)에 제1 객체(921)를 삽입하고, 제1 객체(910)가 삽입된 제1 이미지(920)에 이미지 인페인팅 기법을 적용하는 동작을 적어도 1회 이상 수행할 수 있다. 프로세서는 기존의 제1 이미지(910)와 복원 동작 결과 획득한 복원된 제1 이미지(930)의 비교 결과를 기초로 인공 신경망의 학습을 위한 동작을 수행할 수 있다. 여기서, 제1 이미지는 데이터베이스 또는 메모리에 미리 저장된 이미지일 수 있다.

프로세서는 제1 이미지(910)와 복원된 제1 이미지(930)를 비교할 수 있다. 프로세서는 제1 이미지(910)에 포함된 객체들의 정보와 복원된 제1 이미지(930)에 포함된 객체들의 정보를 비교할 수 있다. 그리고 프로세서는 제1 이미지(910)의 픽셀들 각각의 정보와 복원된 제1 이미지(930)의 픽셀들 각각의 정보를 비교할 수 있다.

프로세서는 제1 이미지(910)와 복원된 제1 이미지(930)에 포함된 객체들 간의 구분 결과의 차이값을 산출할 수 있다. 프로세서는 제1 이미지(910)와 복원된 제1 이미지(930)의 제1 영역 복원 결과의 차이값을 산출할 수 있다.

프로세서는 제1 이미지(910)와 복원된 제1 이미지(930) 간의 차이값을 기초로 인공 신경망의 가중치 벡터를 업데이트할 수 있다. 프로세서는 제1 이미지(910)에 포함된 객체들과 복원된 제1 이미지(930)에 포함된 객체들 간의 차이값을 인공 신경망에 역전파하여, 객체 구분을 위한 인공 신경망의 가중치 벡터를 업데이트할 수 있다. 그리고 프로세서는 제1 이미지(910)와 복원된 제1 이미지(930)의 제1 영역(921) 복원 결과의 차이값을 인공 신경망에 역전파하여, 이미지 복원을 위한 인공 신경망의 가중치 벡터를 업데이트할 수 있다.

한편, 다른 실시예에서는 경우에 따라서 상기 제1 영역을 복원하기 위해 이용되는 제2 객체 및 제3 객체의 경계를 제2 객체와 제3 객체가 전체 이미지에서 차지하는 면적에 따라 구분될 수도 있다. 이는 단순 편의성을 위한 것으로 일정 크기 보다 작은 크기의 영역을 복원하는 경우에 이용될 수 있다.

구체적으로, 전체 이미지가 존재한다고 할 때, 제2 객체가 제3 객체보다 전체 이미지에서의 차지하는 면적이 크다고 가정할 수 있다. 이와 같은 경우 복원된 제1 영역에서의 제2 객체에 상응하는 이미지 면적이 제3 객체에 상응하는 이미지 면적보다 클 수 있다.

또한, 경우에 따라서는 전체 이미지에서의 제2 객체가 차지하는 면적 대 제3 객체가 차지하는 면적 비율과 복원된 제1 영역에서의 제2 객체에 상응하는 이미지 면적 대 제3 객체에 상응하는 이미지 면적 비율이 동일할 수도 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

1. 이미지 인페인팅을 위한 동작 방법에 있어,
   제1 이미지의 픽셀들 각각의 정보를 기초로 상기 제1 이미지에 포함된 객체들을 구분하는 단계;
   상기 객체들 각각의 색상 정보 또는 형상 정보를 기초로 상기 객체들 중에서 보정 대상 객체인 제1 객체를 결정하는 단계;
   상기 제1 이미지에서 제거된 상기 제1 객체에 상응하는 제1 영역에서의 제2 객체와 제3 객체 간의 경계를 설정하는 단계; 및
   상기 경계를 기준으로, 상기 제1 영역을 상기 제2 객체 및 상기 제3 객체의 픽셀 정보에 기초하여 복원하는 단계를 포함하고,
   상기 제1 영역을 복원하는 단계 이후,
   상기 제1 이미지를 포함하는 동영상에서, 별도의 제2 이미지를 획득하는 단계;
   상기 제2 이미지에서, 상기 제1 영역에 대응되는 픽셀들의 집합인 제1 픽셀 그룹의 정보를 획득하는 단계; 및
   상기 제1 이미지의 상기 제1 영역에 상기 제1 픽셀 그룹을 오버랩하는 단계를 포함하며,
   상기 제2 이미지에서, 제2 영역에 위치하는 상기 제1 객체를 트래킹하는 단계;
   상기 제1 이미지에서, 상기 제2 영역에 대응되는 픽셀들의 집합인 제2 픽셀 그룹의 정보를 획득하는 단계; 및
   상기 제2 이미지의 상기 제2 영역에 상기 제2 픽셀 그룹을 오버랩하는 단계를 포함하며,
   복원된 제1 이미지 및 복원된 제2 이미지를 포함하는 동영상을 생성하는, 이미지 인페인팅을 위한 동작 방법.
2. 청구항 1에 있어,
   상기 제1 영역에서의 제2 객체와 제3 객체 간의 경계를 설정하는 단계는,
   상기 제2 객체 및 상기 제3 객체 각각의 픽셀 정보 및 상기 제2 객체 및 상기 제3 객체 각각의 속성 정보 중 적어도 하나의 정보를 기초로 설정하는, 이미지 인페인팅을 위한 동작 방법.
3. 청구항 1에 있어,
   상기 제1 영역을 복원하는 단계 이후,
   상기 제2 객체의 적어도 일부의 영역의 픽셀 정보를 기초로 상기 제2 객체의 패턴 정보를 분석하는 단계; 및
   상기 경계에 의해 구분되는 상기 제1 영역 중 적어도 일부의 영역에 상기 제2 객체의 패턴을 오버랩하는 단계를 포함하는, 이미지 인페인팅을 위한 동작 방법.
4. 삭제
5. 청구항 1에 있어,
   상기 제1 픽셀 그룹을 보정하는 단계를 포함하고,
   상기 픽셀들을 오버랩하는 단계는,
   상기 보정된 픽셀들을 상기 제1 영역에 오버랩하는, 이미지 인페인팅을 위한 동작 방법.
6. 삭제
7. 청구항 1에 있어,
   상기 제1 이미지에 포함된 객체들을 구분하는 단계는,
   인공 신경망을 이용하여 수행되고,
   상기 인공 신경망의 가중치 벡터는,
   상기 제1 이미지의 미리 설정된 객체들의 정보 및 상기 제1 이미지의 픽셀들 각각의 정보를 기초로 구분된 객체들 간의 차이값을 기초로 업데이트되는 가중치 벡터를 포함하는, 이미지 인페인팅을 위한 동작 방법.
8. 청구항 1에 있어,
   상기 제1 객체에 상응하는 영역을 복원하는 단계는,
   인공 신경망을 이용하여 수행되고,
   상기 인공 신경망의 가중치 벡터는,
   상기 제1 이미지의 미리 설정된 상기 제1 객체에 상응하는 영역에서의 픽셀들의 정보 및 복원된 상기 제1 객체에 상응하는 영역에서의 픽셀들의 정보 간의 차이값을 기초로 업데이트되는 가중치 벡터를 포함하는, 이미지 인페인팅을 위한 동작 방법.

Images