KR20200080190A

KR20200080190A - 영상에서의 객체 제거 방법 및 그 장치

Info

Publication number: KR20200080190A
Application number: KR1020190175123A
Authority: KR
Inventors: 이승규; 아쉬라프 시디퀘; 유승화
Original assignee: 경희대학교 산학협력단
Priority date: 2018-12-26
Filing date: 2019-12-26
Publication date: 2020-07-06
Also published as: KR102248352B1

Abstract

본 발명은 영상에서의 객체 제거 방법에 관한 것으로, 기준 프레임과 연속하는 다른 프레임을 이용하여 제거 대상 객체가 포함된 프레임에서 제거 대상 객체의 배경 영역을 추론하여 영상을 복원하는 것을 일 목적으로 한다. 이러한 목적을 달성하기 위한 본 발명은 상기 영상에서 상기 제거 대상 객체가 포함된 제1 프레임 및 상기 제1 프레임과 연속하는 적어도 하나의 제2 프레임을 추출하는 a 단계, 상기 제1 프레임에서 상기 제거 대상 객체가 포함된 제1 객체 영역을, 상기 제2 프레임에서 상기 제1 객체 영역에 대응하는 제2 객체 영역을 식별하는 b 단계, 상기 제1 객체 영역에서 제1 깊이 값을 갖는 제1 위치를 가정하여, 상기 제1 위치와 상기 제2 객체 영역과의 제2 깊이 값을 이용하여 상기 제1 위치를 검증하는 c 단계, 및 상기 검증이 완료되면, 상기 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 상기 제1 객체 영역에 추가하는 d 단계를 포함하는 것을 일 특징으로 한다.

Description

영상에서의 객체 제거 방법 및 그 장치{METHOD AND DEVICE FOR REMOVING OBJECTS IN VIDEO}

본 발명은 영상에서의 객체 제거 방법 및 그 장치에 관한 것으로, 보다 자세하게는 영상에서 제거 대상 객체를 제거하고, 제거된 영역을 보정하는 객체 제거 방법 및 그 장치에 관한 것이다.

근래에 인스타그램이나 페이스북, 트위터 같은 SNS가 대중의 생활 속에 밀접하게 들어오고, 트위치 TV, 아프리카 TV, 유튜브와 같은 개인 방송 시장이 커짐에 따라 전문가 뿐 아니라 일반인 역시 영상 편집 기술에 대한 요구가 증가하고 있는 상황이다.

특히 영상 편집 기술의 기본 기술인 자르기와 붙이기 같은 단순 작업이 아니라 영상 내에 포함된 객체를 제거하는 기술은 전문가의 영역으로, 전문적인 기술을 요구한다.

기존의 객체 제거 기술은 객체가 포함된 이미지 1과 객체의 배경이 촬영된 이미지 2에서 나타나는 키 포인트를 계산하여 사영 변환 매트릭스(Projective Transformation Matrix)를 생성하고, 이미지 2에서 객체의 배경을 사영 변환하여 이미지 1에 붙여 객체를 제거한다. 이러한 방법은 사영 변환을 수행할 때 객체의 배경이 평면이 아닌 경우 정확도가 하락하며, 두 이미지의 시점에 차이가 심하면 사영 변환의 결과 값의 신뢰도가 하락하여 이미지를 보간하는 과정에서 선명도가 하락하는 문제점이 존재한다.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 본 발명은 기준 프레임과 연속하는 다른 프레임을 이용하여 제거 대상 객체가 포함된 프레임에서 제거 대상 객체의 배경 영역을 추론하는 것을 일 목적으로 한다.

또한 본 발명은 다른 프레임과 기준 프레임에서 배경 영역에 포함된 픽셀 값에 대한 깊이 값을 인식하고, 이를 기반으로 배경 영역에 픽셀 값을 더하여 배경 영역을 보정하는 것을 일 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 상기 영상에서 상기 제거 대상 객체가 포함된 제1 프레임 및 상기 제1 프레임과 연속하는 적어도 하나의 제2 프레임을 추출하는 a 단계, 상기 제1 프레임에서 상기 제거 대상 객체가 포함된 제1 객체 영역을, 상기 제2 프레임에서 상기 제1 객체 영역에 대응하는 제2 객체 영역을 식별하는 b 단계, 상기 제1 객체 영역에서 제1 깊이 값을 갖는 제1 위치를 가정하고, 상기 제1 위치와 상기 제2 객체 영역과의 제2 깊이 값을 이용하여 상기 제1 위치를 검증하는 c 단계, 및 상기 검증이 완료되면, 상기 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 상기 제1 객체 영역에 추가하는 d 단계를 포함하는 것을 일 특징으로 한다.

또한 본 발명은 상기 제거 대상 객체를 포함하는 제1 영상 및 상기 제거 대상 객체를 정의하는 제2 영상을 수신하는 단계를 더 포함하는 것을 일 특징으로 한다.

나아가 상기 c 단계는, 상기 제1 위치와 상기 제2 프레임의 시점 사이의 거리를 연산하는 단계, 상기 제2 객체 영역의 제2 깊이 값을 연산하는 단계, 상기 거리 및 제2 깊이 값의 차이를 연산하는 단계 및 상기 차이가 기 설정된 임계 값 이하이면 상기 제1 깊이 값이 유효하다고 판단하는 단계를 더 포함하는 것을 일 특징으로 한다.

또한 상기 제2 객체 영역에서 상기 제2 깊이 값을 연산하는 단계는 SfM 알고리즘을 사용하는 것을 일 특징으로 한다.

나아가 상기 d 단계는, 상기 배경 픽셀 값이 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 갖도록 설정하는 단계, 상기 제1 객체 영역에 상기 배경 픽셀 값을 추가하는 단계를 포함하는 것을 일 특징으로 한다.

또한 본 발명은 영상에서 제거 대상 객체를 제거하는 장치에 있어서, 상기 제거 대상 객체를 포함하는 제1 영상 및 상기 제거 대상 객체를 정의하는 제2 영상을 수신하는 영상 수신부, 상기 영상에서 상기 제거 대상 객체가 포함된 제1 프레임 및 상기 제1 프레임과 연속하는 적어도 하나의 제2 프레임을 추출하고, 상기 제1 프레임에서 상기 제거 대상 객체가 포함된 제1 객체 영역을, 상기 제2 프레임에서 상기 제1 객체 영역에 대응하는 제2 객체 영역을 식별하는 객체 식별부, 상기 제1 객체 영역에서 제1 깊이 값을 갖는 제1 위치를 가정하고, 상기 제1 위치와 상기 제2 객체 영역과의 제2 깊이 값을 이용하여 상기 제1 위치를 검증하는 픽셀 추정부 및 상기 검증이 완료되면, 상기 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 상기 제1 객체 영역에 추가하는 영상 복원부를 포함하는 것을 일 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 본 발명은 기준 프레임과 연속하는 다른 프레임을 이용하여 제거 대상 객체가 포함된 프레임에서 제거 대상 객체의 배경 영역을 추론할 수 있다.

또한 본 발명은 다른 프레임과 기준 프레임에서 배경 영역에 포함된 픽셀 값에 대한 깊이 값을 인식하고, 이를 기반으로 배경 영역에 픽셀 값을 더하여 배경 영역을 보정할 수 있다.

도 1은 본 발명의 일 실시 예에 의한 객체 제거 장치의 구성을 도시한 도면,
도 2 및 3은 본 발명의 일 실시 예에 의한 배경 영역의 깊이 값을 추론하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 의한 객체 제거 방법을 설명하기 위한 순서도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 의한 영상에서의 객체 제거 장치의 구성을 설명하기 위한 도면이고, 도 2는 본 발명의 일 실시 예에 의한 영상에서의 객체 제거 장치의 동작을 설명하기 위한 도면이다. 도 1 및 도 2를 참조하면 객체 제거 장치는 영상 수신부(110), 객체 식별부(120), 광선 생성부(130), 객체 제거부(140), 픽셀 추정부(150), 그리고 영상 복원부(160)를 포함할 수 있다.

영상 수신부(110)는 사용자 단말로부터 복수 개의 영상을 수신할 수 있다. 영상 수신부(110)는 사용자 단말로부터 객체를 제거할 대상 영상인 제1 영상과 제거할 객체가 정의된 제2 영상을 수신할 수 있다. 제2 영상은 비디오의 형태일 수도 있고 이미지의 형태일 수도 있다.

객체 식별부(120)는 영상 수신부(110)에서 수신한 제1 영상에 제2 영상의 제거 대상 객체(3)가 존재하는 지 확인할 수 있다. 객체 추출부(120)는 제1 영상에 포함된 적어도 하나의 프레임에 제거 대상 객체(3)가 존재하는 지 판단할 수 있다. 객체 추출부(120)는 제거 대상 객체(3)가 존재한다고 판단되는 적어도 하나의 제1 프레임(1)을 추출할 것이다.

객체 식별부(120)는 제1 프레임(1)과 연속하는 적어도 하나의 제2 프레임(2)을 식별할 수 있다. 이 때, 제2 프레임(2)은 제1 프레임(1)과 연속하는 이전 프레임일 수도, 이후 프레임일 수도 있다. 또한 제2 프레임(2)의 수는 사용자의 설정에 따른다. 도 2에 도시된 제2 프레임(2)은 제1 프레임(1)의 이전 프레임 2개와 이후 프레임 1개, 총 3개로 구성되어 있는 것을 확인할 수 있다.

객체 식별부(120)는 제1 프레임(1)에 포함된 제거 대상 객체(3)가 존재하는 제1 객체 영역(11)을 추출하고, 제2 프레임(2)에서 제1 객체 영역(11)에 대응하는 제2 객체 영역(21)을 추출할 수 있다. 객체 식별부(120)는 제2 프레임(2)에서 제1 프레임(1)의 제1 객체 영역(11)과 동일한 위치의 정보를 포함하는 제2 객체 영역(21)을 추출할 것이다. 따라서 제2 객체 영역(21)은 제1 객체 영역(11)에 속하는 제거 대상 객체(3)에 가려진 픽셀 값을 포함할 것이다.

광선 생성부(130)는 제1 프레임(1)의 제1 객체 영역(11)에서 배경 픽셀 값이 포함될 가능성이 있는 영역에 광선(4)을 생성할 수 있다. 광선 생성부(130)는 제1 객체 영역(11)에서 제거 대상 객체(3)와 겹치지 않도록 하는, 제거 대상 객체(3)보다 큰 깊이 값을 갖도록, 광선(4)의 영역을 설정할 수 있다.

객체 제거부(140)는 제1 프레임(1)의 제1 객체 영역(11)의 픽셀 값을 제거하여, 제1 프레임(1)에서 제거 대상 객체를 제거할 수 있다. 객체 제거부(130)는 제1 프레임(1)에서 제1 객체 영역(11)의 픽셀 값을 별도로 제거하지 않고 이하의 과정에 따라 배경 객체 값으로 변환할 수 있다.

이하에서는, 제1 프레임(1)의 제1 객체 영역(11)에서 제거된 제거 대상 객체의 배경 영역의 복원을 위해 배경 픽셀 값을 추론할 것이다.

픽셀 추정부(150)는 제1 프레임(1)의 제1 객체 영역(11)에 위치할 배경 픽셀 값을 추정할 수 있다.

도 3을 참조하면, 픽셀 추정부(150)는 배경 픽셀 값을 추정하기 위하여, 제2 프레임(2)의 제2 객체 영역(21)의 제2 깊이 값(22)을 추출할 수 있다. 이 때, 픽셀 추정부(150)는 픽셀의 제2 깊이 값(22) 뿐 아니라 제1 프레임(1)과 제2 프레임(2) 사이의 거리와 각도를 추출할 수도 있다. 픽셀 추정부(150)는 제2 깊이 값(22), 제1 프레임(1)과 제2 프레임(2) 사이의 거리와 각도를 추출하기 위해 종래의 방법을 사용할 수 있다. 예를 들어, 픽셀 추정부(150)는 SfM(Structure from Motion) 알고리즘을 이용할 수 있다.

픽셀 추정부(150)는 제1 프레임(1)의 제1 객체 영역(11)에 생성된 광선(4)의 제1 깊이 값을 갖는 제1 위치(15)에 배경 픽셀 값이 존재할 것이라고 가정할 수 있다. 제1 위치(15)에 배경 픽셀 값이 존재한다고 가정하는 경우, 픽셀 추정부(150)는 제2 프레임(2)의 제2 객체 영역(21)과 제1 위치(15) 사이의 유클리드 거리(23)를 연산하고, 연산된 유클리드 거리(23)와 제2 객체 영역의 깊이 값(22)을 비교할 수 있다.

픽셀 추정부(150)는 유클리드 거리(23)와 제2 객체 영역의 제2 깊이 값(22)의 차이가 기 설정된 임계 값 이하인 지 판단할 수 있다. 픽셀 추정부(150)는 유클리드 거리(23)와 제2 깊이 값(22)의 차이가 기 설정된 임계 값 이하이면, 제1 프레임(1)의 제1 객체 영역(11)의 배경 픽셀 값이 제1 위치(15)에 존재할 것이라고 판단할 것이고, 그렇지 않으면 제1 위치(15)를 변경하고 위 연산을 반복하여 제1 객체 영역(11)의 배경 픽셀 값이 존재하는 제1 위치(15)를 찾을 것이다.

픽셀 추정부(150)는 제1 객체 영역(11)의 배경 픽셀 값이 제1 위치(15)에 존재한다고 판단하면, 배경 픽셀 값의 깊이 값을 제1 위치(15)의 제1 깊이 값으로 설정할 수 있다.

영상 복원부(160)는 연산부(140)에서 설정된 제1 깊이 값에 따라 제2 프레임의 제2 객체 영역의 픽셀 값을 제1 프레임의 제1 객체 영역에 추가할 수 있다. 이와 같이 깊이 값을 설정하고 픽셀 값를 추가함으로써, 배경 영역의 정확성을 향상시킬 수 있다. 제2 프레임이 복수 개이면, 영상 복원부(160)는 복수 개의 제2 객체 영역의 픽셀 값의 평균 값을 연산하여 제1 프레임의 제1 객체 영역에 추가할 수 있다.

도 4는 본 발명의 일 실시 예에 의한 영상에서 객체를 제거하는 방법을 설명하기 위한 순서도이다. 도 4에 대한 설명에 있어서, 전술한 영상에서의 객체 제거 장치와 중복되는 세부 실시 예는 생략될 수 있다. 또한 본 발명의 일 실시 예에 의한 영상에서의 객체 제거 장치는 서버로 구현될 수 있는 바, 이하에서는 서버로 명명한다.

도 4를 참조하면, 서버는 사용자 단말로부터 적어도 하나의 영상을 수신할 수 있다(S100). 서버는 사용자 단말로부터 객체를 제거할 대상 영상인 제1 영상과 제거할 객체가 정의된 제2 영상을 수신할 수 있다. 이 때, 제1 영상에서 복수 개의 객체를 제거할 경우 제2 영상이 객체의 수만큼 수신될 것이다.

단계 200에서, 서버는 제1 영상에 제2 영상의 제거 대상 객체가 존재하는 지 확인하고, 제1 영상에서 제거 대상 객체가 존재한다고 판단되는 적어도 하나의 제1 프레임을 추출할 수 있다.

단계 300에서, 서버는 제1 프레임과 연속하는 적어도 하나의 제2 프레임을 식별할 수 있다. 제2 프레임은 제1 프레임과 연속하는 이전 프레임일 수도 있고 이후 프레임일 수도 있다.

단계 400에서, 서버는 제1 프레임에서 제거 대상 객체가 포함된 제1 객체 영역을 추출하고, 제2 프레임에서 제1 객체 영역에 대응하는 제2 객체 영역을 추출할 수 있다. 제2 객체 영역은 제1 객체 영역에 속하는 제거 대상 객체에 가려진 픽셀 값을 포함할 것이다.

단계 500에서, 서버는 제1 프레임의 제1 객체 영역에서 배경 픽셀 값이 포함될 가능성이 있는 영역에 광선을 생성할 수 있다. 생성되는 광선은 제1 객체 영역에서 깊이 값을 달리하는 수직 영역을 의미할 수 있다. 이 때 서버는 광선의 생성에 있어서 광선이 제거 대상 객체와 겹치지 않도록 제거 대상 객체보다 큰 깊이 값을 갖도록 광선의 영역을 설정할 수 있다.

단계 600에서, 서버는 제1 프레임에서 제1 객체 영역 즉, 제거 대상 객체를 제거할 것이다. 이 때 서버는 제1 객체 영역을 제거하지 않고 이하에서 추론되는 배경 객체 값으로 변환할 수도 있다.

단계 700에서, 서버는 제1 깊이 값을 갖는 광선의 제1 위치에 배경 픽셀 값이 존재할 것으로 가정하고, 제1 위치가 적절한 지 연산할 것이다. 보다 구체적으로 서버는 제1 위치에 배경 픽셀 값이 존재한다고 가정하면, 제2 프레임의 제2 객체 영역을 기준으로 제1 위치 사이의 유클리드 거리를 연산하고, 이와 제2 객체 영역의 제2 깊이 값을 비교할 수 있다. 유클리드 거리와 제2 깊이 값의 차이가 기 설정된 임계 값 이하이면, 서버는 제1 프레임의 제1 객체 영역에 대한 배경 픽셀 값이 제1 위치에 존재할 것이라고 판단할 수 있다.

단계 800에서, 서버는 배경 픽셀 값의 깊이 값을 제1 위치의 제1 깊이 값으로 설정하고, 제2 프레임의 제2 객체 영역의 픽셀 값을 배경 픽셀 값으로 설정하여 제1 객체 영역의 픽셀 값을 채울 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims

서버가 영상에서 제거 대상 객체를 제거하는 방법에 있어서,
상기 영상에서 상기 제거 대상 객체가 포함된 제1 프레임 및 상기 제1 프레임과 연속하는 적어도 하나의 제2 프레임을 추출하는 a 단계;
상기 제1 프레임에서 상기 제거 대상 객체가 포함된 제1 객체 영역을, 상기 제2 프레임에서 상기 제1 객체 영역에 대응하는 제2 객체 영역을 식별하는 b 단계;
상기 제1 객체 영역에서 제1 깊이 값을 갖는 제1 위치를 임의의 값으로 설정하고, 상기 제1 위치와 상기 제2 객체 영역과의 제2 깊이 값을 이용하여 상기 제1 위치를 검증하는 c 단계;
상기 검증이 완료되면, 상기 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 상기 제1 객체 영역에 추가하는 d 단계를 포함하는 객체 제거 방법.
제1항에 있어서,
상기 제거 대상 객체를 포함하는 제1 영상 및 상기 제거 대상 객체를 정의하는 제2 영상을 수신하는 단계를 더 포함하는 객체 제거 방법.
제1항에 있어서,
상기 c 단계는,
상기 제1 위치와 상기 제2 프레임의 시점 사이의 거리를 연산하는 단계;
상기 제2 객체 영역의 제2 깊이 값을 연산하는 단계;
상기 거리 및 제2 깊이 값의 차이를 연산하는 단계; 및
상기 차이가 기 설정된 임계 값 이하이면 상기 제1 깊이 값이 유효하다고 판단하는 단계를 더 포함하는 객체 제거 방법.
제3항에 있어서,
상기 제2 객체 영역에서 상기 제2 깊이 값을 연산하는 단계는 SfM 알고리즘을 사용하는 것을 특징으로 하는 객체 제거 방법.
제1항에 있어서,
상기 d 단계는,
상기 배경 픽셀 값이 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 갖도록 설정하는 단계;
상기 제1 객체 영역에 상기 배경 픽셀 값을 추가하는 단계를 포함하는 객체 제거 방법.
영상에서 제거 대상 객체를 제거하는 장치에 있어서,
상기 제거 대상 객체를 포함하는 제1 영상 및 상기 제거 대상 객체를 정의하는 제2 영상을 수신하는 영상 수신부;
상기 영상에서 상기 제거 대상 객체가 포함된 제1 프레임 및 상기 제1 프레임과 연속하는 적어도 하나의 제2 프레임을 추출하고, 상기 제1 프레임에서 상기 제거 대상 객체가 포함된 제1 객체 영역을, 상기 제2 프레임에서 상기 제1 객체 영역에 대응하는 제2 객체 영역을 식별하는 객체 식별부;
상기 제1 객체 영역에서 제1 깊이 값을 갖는 제1 위치를 가정하고, 상기 제1 위치와 상기 제2 객체 영역과의 제2 깊이 값을 이용하여 상기 제1 위치를 검증하는 픽셀 추정부; 및
상기 검증이 완료되면, 상기 제1 깊이 값 및 상기 제2 객체 영역의 픽셀 값을 상기 제1 객체 영역에 추가하는 영상 복원부를 포함하는 객체 제거 방법.