KR20130001869A

KR20130001869A - 영상처리장치 및 영상처리방법

Info

Publication number: KR20130001869A
Application number: KR1020110062771A
Authority: KR
Inventors: 최재혁; 안원석
Original assignee: 삼성전자주식회사
Priority date: 2011-06-28
Filing date: 2011-06-28
Publication date: 2013-01-07
Also published as: EP2541495A1; US20130002818A1

Abstract

본 발명은 영상처리장치 및 영상처리방법에 관한 것이다. 본 발명에 따른 2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리장치는 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 영상수신부와; 상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 상기 배경 및 오브젝트의 레이어 정보에 기초하여 상기 홀 영역을 인페인팅(inpainting)하는 영상처리부를 포함한다. 이에 의해 자연스럽고 쉽게 홀 영역을 인페인팅하는 영상처리장치 및 영상처리방법이 제공된다.

Description

영상처리장치 및 영상처리방법{IMAGE PROCEESING APPARATUS AND IMAGE PROCESSING METHOD THEREOF}

본 발명은 영상처리장치 및 영상처리방법 관한 것으로서, 보다 상세하게는2차원 영상신호를 3차원 영상신호로 변경하는 영상처리장치 및 영상처리방법에 관한 것이다.

영상신호를 처리하는 과정에서 영상이 파손되거나 퇴색 또는 소거된 부분을 복원하는 것을 인페인팅(inpainting)이라고 한다. 인페인팅은 영화 또는 애니케이션 제작 과정에서 사용되는 특수효과 영역에서 광범위하게 사용되고 있으면, 최근 3차원 영상 컨텐츠가 증가함에 따라 3차원 영상을 생성하는 과정에서 널리 이용되고 있다.

특히, 2차원 영상 소스에 기초하여 3차원 영상을 생성할 때 오브젝트의 시프트에 따른 홀 영역이 드러나게 되고, 홀 영역을 인페인팅 할 때 사용될 영상 데이터 선별 과정은 3차원 영상신호를 생성하는 데 중요한 관건이 된다.

본 발명의 일 실시예는 자연스럽고 쉽게 홀 영역을 인페인팅하는 영상처리장치 및 영상처리방법을 제공한다.

본 발명의 일 실시예는 렌더링 시 객체의 손실 및 확장을 보정하는 영상처리장치 및 영상처리방법을 제공한다.

본 발명의 일 실시예에 따른 2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리장치는 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 영상수신부와; 상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 상기 배경 및 오브젝트의 레이어 정보에 기초하여 상기 홀 영역을 인페인팅(inpainting)하는 영상처리부를 포함한다.

상기 레이어 정보는 각 픽셀에 대응하는, 겹쳐 있는 상기 배경 및 상기 적어도 하나의 오브젝트에 대한 레이어 순서에 대한 정보를 포함하고, 상기 영상처리부는 상기 홀 영역에 존재했던 오브젝트의 레이어 바로 아래에 존재하는 레이어에 해당하는 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅 할 수 있다.

상기 영상처리부는 상기 홀 영역의 경계와 수평 방향으로 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅 할 수도 있다.

상기 영상처리부는 상기 2차원 영상신호 및 상기 깊이 정보를 배경 및 적어도 하나의 오브젝트로 분리하고, 상기 배경 및 적어도 하나의 오브젝트의 분리로 인하여 상기 2차원 영상신호 및 상기 깊이 정보에 발생한 홀 영역을 상기 레이어 정보에 기초하여 인페인팅하고, 상기 배경 및 적어도 하나의 오브젝트에 대응하는 상기 깊이 정보에 기초하여 상기 배경과 오브젝트를 개별적으로 렌더링하여 3차원 영상신호를 생성할 수 있다.

자연스러운 경계를 위하여 상기 영상처리부는 개별적으로 렌더링된 배경 및 오브젝트의 경계 부분을 필터링 하는 것이 바람직하다.

본 발명의 다른 실시예에 따른 2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리장치는 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 영상수신부와; 상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 상기 홀 영역의 경계와 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅하는 영상처리부를 포함할 수도 있다.

또한, 본 발명의 다른 실시예에 따른 2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리방법은 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 단계와; 상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하는 단계와; 상기 배경 및 오브젝트의 레이어 정보에 기초하여 상기 홀 영역을 인페인팅(inpainting)하는 단계를 포함할 수 있다.

이상 설명한 바와 같이, 본 발명의 일 실시예에 따르면, 자연스럽고 쉽게 홀 영역을 인페인팅하는 영상처리장치 및 영상처리방법이 제공된다.

본 발명의 다른 실시예는 렌더링 시 객체의 손실 및 확장을 보정하는 영상처리장치 및 영상처리방법이 제공된다.

도 1은 본 발명의 일 실시예에 따른 영상처리장치의 제어블럭도이고,
도 2는 본 발명의 일 실시예에 영상처리장치에서 오브젝트의 시프트에 의해 드러나는 홀 영역을 설명하기 위한 도면이고,
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 영상처리장치의 레이어 정보 및 레이어 정보를 이용하여 홀 영역을 인페인팅하는 발명의 설명하기 위한 도면이고,
도 4는 도 3a 내지 도 3d의 영상처리방법을 설명하기 위한 제어흐름도이고,
도 5는 본 발명의 다른 실시예에 따른 홀 영역을 인페인팅하는 발명의 설명하기 위한 도면이고,
도6은 도 5의 영상처리방법을 설명하기 위한 제어흐름도이고,
도 7은 본 발명의 일 실시예에 따른 영상처리장치의 렌더링 과정에서 홀 영역을 인페인팅하는 방법을 설명하기 위한 도면이고,
도 8은 도 7의 영상처리장치의 렌더링 및 필터링을 설명하기 위한 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.

도 1은 본 발명의 일 실시예에 따른 영상처리장치의 제어블럭도이다.

도시된 바와 같이, 본 발명에 따른 영상처리장치(1)는 영상수신부(10)와 영상처리부(20)를 포함한다. 영상처리장치(1)는 2차원 영상신호에 대응하는 3차원 영상신호를 생성할 수 있는 장치로 구현될 수 있으며, 하기에서 설명되는 영상처리방법을 수행하는 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체로 구현될 수도 있다. 이러한 영상처리장치(1)는 2차원 영상신호를 수신하여 3차원 영상신호로 변환하고, 변환된 3차원 영상신호를 사용자에게 제공하는 서비스 업체가 보유하고 있는 장치로 구현될 수도 있고, 해당 서비스를 구현하기 위한 전체 장치의 일부로 구현될 수도 있다.

영상수신부(10)는 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신한다. 영상수신부(10)는 유선 및 무선으로 영상신호를 수신할 수 있는 각종 접속부 및 인터페이스를 포함할 수 있으며, 구체적으로 방송신호 및 위성 신호와 같은 공중파를 수신할 수 있는 방송수신부로 구현될 수도 있고, 인터넷과 같은 웹에 기초하여 영상신호를 수신하는 인터페이스로 구현될 수 있다.

영상신호는 방송신호, 영화와 같은 2차원 동영상, 애니메이션, 광고 영상 등을 포함할 수 있으며, 영상신호를 구성하는 프레임 영상은 배경 및 적어도 하나의 오브젝트를 포함한다. 프레임 영상은 배경만으로 이루어 질 수도 있고, 하나 또는 그 이상의 오브젝트를 포함할 수도 있다.

영상처리부(20)는 오브젝트에 대한 깊이 정보에 기초하여 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 배경 및 오브젝트의 레이어 정보에 기초하여 홀 영역을 인페인팅(inpainting)한다. 본 실시예에 따른 영상처리부(20)는 2차원 영상신호와 깊이 정보, 즉 오브젝트의 깊이를 나타내는 뎁스 맵(depth map)을 이용하여 3차원 영상신호를 형성한다. 깊이 정보는 픽셀 단위로 오브젝트의 튀어나온 정도를 맵핑 시킨 2차원 영상을 의미한다. 이러한 깊이 정보는 2차원 영상신호에 3차원 영상신호를 생성할 때, 오브젝트의 패럴랙스 디스페러티(parallax disparity)를 산출하는 정보가 되고, 3차원 영상을 생성하기 위한 핵심적인 정보에 해당한다. 이러한 깊이 정보는 외부로부터 수신될 수도 있고, 2차원 영상신호와 함께 영상수신부(10)를 통하여 수신될 수도 있다.

도 2는 본 실시예에 영상처리장치에서 오브젝트의 시프트에 의한 홀 영역을 설명하기 위한 도면이다. 도 2와 같이 2차원 영상신호는 배경(background; B) 상에 두 개의 오브젝트(O1, O2)를 포함하고 있다. 2차원 영상신호를 깊이 정보에 기초하여 3차원 영상신호로 렌더링 하는 과정은 오브젝트 및 배경을 패럴랙스 디스페러티 만큼 시프트 시키는 과정을 포함한다. 영상처리부(20)는 깊이 정보를 이용하여 오브젝트를 패럴랙스 시프트 시킨다. 이러한 시프트 과정에서 오브젝트의 시프트에 의하여 홀 영역(H)이 드러나게 된다 홀 영역(H)은 수신된 2차원 영상신호에는 존재하지 않았던 정보이기 때문에 이러한 홀 영역(H)은 알고 있는 기존의 2차원 영상신호에 기초하여 인페이팅(inpainting)되어야 한다. 본 실시예에서는 설명의 편의를 위하여 제2오브젝트(O2)에 의한 홀 영역(H)만이 발생한 것으로 간주한다.

도 3a 내지 도 3d는 본 실시예에 따른 영상처리장치의 레이어 정보 및 레이어 정보를 이용하여 홀 영역을 인페인팅하는 발명의 설명하기 위한 도면이다. 도 1에 도시되어 있는 바와 같이, 영상처리부(20)로는 깊이 정보와 2차원 영상의 레이어 정보가 수신된다. 레이어 정보 역시 2차원 영상신호와 같이 영상수신부(10)로 수신될 수도 있고, 외부에서 입력될 수도 있다. 또는 영상처리부(20)가 레이어 정보를 생성할 수도 있다. 2차원 영상신호로부터 레이어 정보를 생성하는 방법은 공지되 다양한 알고리즘이 존재하며 영상처리부(20)가 이러한 다양한 알고리즘을 실행할 수도 있다.

도 3a는 본 실시예에 따른 레이어 정보를 도시한 것이다. 레이어 정보는 각 픽셀에 대응하는, 겹쳐 있는 상기 배경 및 상기 적어도 하나의 오브젝트에 대한 레이어 순서에 대한 정보를 의미하며, 도 3a및 도 3b는 도 2의 2차원 영상에 대한 레이어 정보를 나타낸 것이다. 도 3a는 도 2의 2차원 영상에서 제1오브젝트(O1)와 제2오브젝트(O2)를 포함하는 제1단면(A- A)에 대한 레이어 정보를 도시한 것이다. 제1오브젝트(O1)는 배경(B)의 위에 존재하고, 제2오브젝트(O2)는 제1오브젝트(O1)의 일부와 겹치면서 제1오브젝트(O1)의 상부에 존재한다. 제1영역(Ⅰ) 및 제5영역(Ⅴ)에는 오브젝트가 존재하지 않기 때문에 제1영역(Ⅰ) 및 제5영역(Ⅴ)에 대응하는 픽셀에 대한 레이어 정보는 제1레이어(layer 1)로 배경(B)만을 포함한다. 제2영역(Ⅱ)는 제1오브젝트(O1)가 배경(B)의 상부에 위치하므로, 제2영역(Ⅱ)에 대응하는 픽셀에 대한 레이어 정보는 제1레이어(layer1)에 해당하는 배경(B)과 제1레이어(layer1)의 상부에 존재하는 제1오브젝트(O1)에 대한 제2레이어(layer2) 이다. 제3영역(Ⅲ)은 제1레이어(layer1)로는 배경이, 제2레이어(layer2)로는 제1오브젝트(O1)가, 가장 상위의 제3레이어(layer3)로는 제2오브젝트(O2)로 구성된다. 제4영역(Ⅳ)은 제2레이어(layer2)로 제2오브젝트(O2)를 포함한다. 영상처리부(20)는 레이어 정보를 통하여 각 픽셀에 대하여 현재의 레이어에 해당하는 영상신호가 어떤 오브젝트인지 알 수 있고, 그 오프젝트의 아래로 어떠한 레이어가 존재하는지, 어떠한 오브젝트 또는 배경 순으로 레이어드 되어 있는지 알 수 있다.

도 3c는 오브젝트가 시프트 되어 홀 영역이 드러났을 때의 레이어 정보를 도시한 것으로, 도 2의 제2단면(A’- A’)에 대한 레이어 정보를 나타낸다. 도시된 바와 같이, 제2오브젝트(O2)가 시브트 되면, 제3영역(Ⅲ)과 제4영역(Ⅳ)의 일부에는 홀 영역(H)이 발생한다. 영상처리부(20)는 홀 영역(H)에 존재했던 오브젝트의 바로 아래에 존재하는 배경 또는 오브젝트의 픽셀 데이터를 이용하여 홀 영역(H)을 인페인팅 한다. 즉, 도 3d와 같이 홀 영역(H) 중 제1홀 영역(H1)은 제1오브젝트(O1)에 의하여 인페인팅되고, 나머지 부분인 제2 홀 영역(H2)은 배경(B)에 의하여 인페인팅 된다. 제2영역(Ⅱ)에서 발생한 제1홀 영역(H1)의 경우, 제1홀 영역(H1)에 존재했던 오브젝트는 제2오브젝트(O2) 였고, 제2오브젝트(O2)의 바로 아래 레이어인 제2레이어(layer2)는 제1오브젝트(O1)이다. 영상처리부(20)는 이러한 제2오브젝트(O2)의 바로 아래에 존재하는 제1오브젝트(O1)의 픽셀 데이터를 이용하여 제1홀 영역(H1)을 인페인팅 한다. 제2홀 영역H2)의 경우, 제2 오브젝트(O2)의 바로 아래 존재하는 레이어는 배경(B)이므로, 영상처리부(20)는 배경(B)에 대응하는 픽셀 데이터를 이용하여 제2홀 영역(H2)을 인페인팅 한다.

레이어가 단순하기 않고 복잡한 경우, 홀 영역을 인페인팅 할 때, 어느 영역의 영상 데이터를 이용해야 하는지에 대한 기준이 없으면 인페인팅이 부자연스러워 진다. 예를 들어, 제1홀 영역(H1)을 인페인팅 할 때, 제2오브젝트(O2)와 같이 홀 영역을 발생시킨 오브젝트를 이용하거나 또는 상위 레이어의 오브젝트를 이용하는 경우 영상의 연속성이 깨지기 때문에 3차원 영상에 오류가 발생하거나 자연스럽지 못하게 된다. 따라서, 본 실시예에 따른 영상처리부(20)는 홀 영역에 존재했던, 즉, 홀 영역을 발생시킨 오브젝트의 바로 아래에 존재하는 레이어에 해당하는 배경 또는 오브젝트를 이용하여 홀 영역을 인페인팅 한다.

도 4는 본 실시예에 따른 영상처리방법을 설명하기 위한 제어흐름도이다. 도 4를 참조하여 영상처리부(20)의 도 3a 내지 도 3d에 따른 인페인팅 방법을 정리하면 다음과 같다.

우선, 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호 수신한다(S10).

영상처리부(20)는 오브젝트에 대한 깊이 정보에 기초하여 오브젝트의 시프트에 의해 드러나는 홀 영역 파악한다(S20). 깊이 정보는 2차원 영상신호에 대응하는 각 픽셀에 대한 뎁스 값을 도시한 뎁스 맵을 의미한다. 깊이 정보는 오브젝트의 시프트 정도인 디스페러티를 연산하는 기준이 되며, 이를 통하여 홀 영역을 파악할 수 있다.

그런 후, 영상처리부(20)는 배경 및 오브젝트의 레이어 정보에 기초하여 홀 영역을 인페인팅(inpainting)하는 단계를 포함하며, 이 단계는 홀 영역에 존재했던 오브젝트의 레이어 바로 아래에 존재하는 레이어에 해당하는 배경 또는 오브젝트의 픽셀 데이터를 이용하여 홀 영역 인페인팅 하는 것(S30)으로 구체화 된다. 레이어 정보는 2차원 영상신호를 구성하는 각 픽셀에 대응하는, 겹쳐 있는 상기 배경 및 상기 적어도 하나의 오브젝트에 대한 레이어 순서에 대한 정보를 의미하며, 영상처리부(20)가 직접 생성할 수도 있고, 외부에서 영상처리부(20)로 입력될 수도 있다.

도 5는 본 발명의 다른 실시예에 따른 홀 영역을 인페인팅 하는 발명의 설명하기 위한 도면이다. 본 실시예에 따른 영상처리부(20)는 오브젝트에 대한 깊이 정보에 기초하여 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 홀 영역의 경계와 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 홀 영역을 인페인팅 한다.

만약, 영상처리부(20)가 레이어 정보를 수신하지 못하거나, 레이어 정보를 생성하지 못하는 경우, 영상처리부(20)는 홀 영역의 경계와 인접한 영역, 특히 수평 방향으로 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용한다. 2차원 영상에서 3차원 영상신호를 생성하는 경우 통상적으로 오브젝트는 좌우, 즉 수평 방향으로 시프트 되기 때문에 수평 방향으로 인접한 영역의 픽셀 데이터를 이용하여 인페인팅 하는 것이 바람직하다.

도 5와 같이 홀 영역 중 제1오브젝트(O1)와 인접한 제3홀 영역은 제1오브젝트(O1)의 픽셀 데이터를 이용하여 인페인팅 되고, 수평 방향으로 배경(B)과 인접한 제4홀 영역(H4)은 배경(B)을 구성하는 픽셀 데이터를 이용하여 인페이팅 된다. 제3홀 영역(H3)과 제4 홀 영역(H4)의 경계는 인페인팅 과정에서 자연스럽게 설정되는 것이 바람직하며, 홀 영역을 인페인팅 하는 데 사용되는 오브젝트의 경계가 참조될 수도 있다. 본 실시예에 따른 영상처리부(20)는 레이어 정보가 없어 도 3과 같이 정확한 오브젝트를 이용하여 인페인팅 할 수 없는 경우, 수평 방향으로 오브젝트가 시프트 되는 것을 이용하여 홀 영역과 수평 방향으로 인접한 픽셀 데이터를 이용하여 홀 영역을 인페인팅 한다.

도6은 도 5의 영상처리방법을 설명하기 위한 제어흐름도이다. 도 6을 참조하여 영상처리부(20)의 인페인팅 방법을 정리하면 다음과 같다. 도시된 바와 같이 배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호 수신하는 단계(S10)와 오브젝트에 대한 깊이 정보에 기초하여 오브젝트의 시프트에 의해 드러나는 홀 영역 파악하는 단계(S20)는 도 4와 유사한다.

본 실시예에 따른 영상처리부(20)는 홀 영역을 파악한 뒤, 홀 영역의 경계와 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 홀 영역 인페인팅 한다(S40).

도 7은 본 발명의 일 실시예에 따른 영상처리장치의 렌더링 과정에서 홀 영역을 인페인팅하는 방법을 설명하기 위한 도면이고, 도 8은 도 7의 영상처리장치의 렌더링 및 필터링을 설명하기 위한 도면이다.

영상처리부(20)는 홀 영역을 파악하고, 홀 영역을 인페인팅 후, 깊이 정보에 따라 2차원 영상신호를 좌안 영상 및 우안 영상으로 생성하는 렌더링 과정을 수행한다. 본 실시예에 따른 영상처리부(20)는 렌더링 과정에서 배경과 오브젝트를 개별적으로 분리하여 렌더링하고, 분리 렌더링된 배경과 오브젝트를 결합하여 좌안 영상 및 우안 영상을 생성한다.

도 7의 깊이 정보에 해당하는 뎁스 맵(100)과, 배경(B)과 하나의 오브젝트(O)를 포함하는 2차원 영상신호의 픽셀 데이터(200)를 도시한 것이다. 의 2차원 영상신호(200)는 댑스 맵(100)에 따라 렌더링 되어 각각 우안 영상 및 좌안 영상으로 생성된다. 본 실시예에서는 설명의 편의상 오브젝트가 왼쪽으로 시프트된 우안 영상에 대하여 설명한다.

우선, 영상처리부(20)는 뎁스 맵(100)과 2차원 영상신호(200)를 배경 및 오브젝트로 분리한다. 뎁스 맵(100)은 도시된 바와 같이 오브젝트에 대응하는 뎁스 값(110)과 배경에 대응하는 뎁스 값(120)으로 분리되고, 2차원 영상신호(200) 역시 오브젝트 픽셀 값(210)과 배경 픽셀 값(220)으로 분리된다.

영상처리부(20)는 오브젝트가 렌더링 되었을 때, 손실되거나 확장되지 않고 자연스러운 경계를 가질 수 있도록 오브젝트의 주변에 대응하는 배경 영역의 뎁스 값을 오브젝트의 뎁스 값으로 변경한다. 조절된 오브젝트에 대응하는 뎁스 값(111)은 분리된 오브젝트 픽셀 값(210)의 렌더링에 사용된다.

영상처리부(20)는 배경에 대응하는 뎁스 값(120)과 배경 픽셀 값(220)의 존재하지 않는 영역을 상기 실시예에 따른 인페인팅 방법을 사용하여 인페인팅 한다(121, 221). 즉, 영상처리부(20)는 2차원 영상신호의 레이어 정보를 이용하여 배경의 홀 영역을 인페인팅 하거나 홀 영역과 수평 방향으로 인접한 값을 이용하여 배경에 대응하는 뎁스 값과 픽셀 데이터를 보정한다.

영상처리부(20)는 조절된 오브젝트에 대응하는 뎁스 값(111)과 오브젝트 픽셀 값(210)을 렌더링하여 오브젝트에 대응하는 렌더링 영상(300)을 생성하고, 인페인팅 된 배경 뎁스 값(121)과 인페인팅된 배경 픽셀 값(221)을 렌더링하여 배경에 대응하는 렌더링 영상(400)을 생성한다.

그런 후, 영상처리부(20)는 개별적으로 렌더링 된 렌더링 영상(300, 400)을 합성한다. 합성 영상(500)에서 오브젝트와 배경 부분이 접하는 오브젝트의 경계 부분(510)은 배경에 대한 인페인팅이 수행되기 전의 오브젝트를 렌더링한 것이고, 배경 중 오브젝트와 인접한 근접 배경(520)은 오브젝트의 시프트에 의해 드러나는 홀 영역을 인페인팅 한 영역에 해당한다. 오브젝트의 경계 부분은 오브젝트와 배경의 픽셀값이 적절히 혼합되는 것이 자연스러운데, 본 실시예에 따른 합성 영상(500)의 경우, 오브젝트의 경계 부분(510)에는 인페인팅된 홀 영역, 즉 인페인팅된 배경의 픽셀 데이터가 혼합되지 않아 부자연스러울 수 있다. 이러한 점을 개선하기 위하여, 영상처리부(20)는 오브젝트의 경계 부분(510)을 필터링 한다. 필터링은 오브젝트의 경계 부분(510)에 대하여, 오브젝트에 대한 배경의 픽셀 데이터를 점차적으로 증가시키는 것으로 수행된다. 오브젝트에 대한 배경이 비율을 나타내는 그래프(600)를 이용하여 오브젝트의 경계 부분(510)의 픽셀 데이터가 보정되면 최종적인 렌더링 영상(700)이 생성된다. 정리하자면, 본 실시예에 따른 영상처리부(20)는 2차원 영상신호(100) 및 깊이 정보인 뎁스 맵(200)를 배경 및 오브젝트로 분리(110, 120, 210, 220)하고, 분리로 인하여 발생한 홀 영역을 레이어 정보 또는 수평 방향의 데이터를 이용하여 인페인팅 한다. 그런 후 배경과 오브젝트를 개별적으로 렌더링 하여 3차원 영상을 구성하는 좌안 및 우안 영상신호를 생성한다. 개별적으로 렌더링된 영상(300, 400)은 합성되고, 합성 영상(500)에서 오브젝트의 경계 부분(510)은 오브젝트에 대한 배경이 비율을 나타내는 그래프(600)에 따라 필터링 된다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

1 : 영상처리장치 10 : 영상수신부
20 : 영상처리부

Claims

2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리장치에 있어서,
배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 영상수신부와;
상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 상기 배경 및 오브젝트의 레이어 정보에 기초하여 상기 홀 영역을 인페인팅(inpainting)하는 영상처리부를 포함하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 레이어 정보는 각 픽셀에 대응하는, 겹쳐 있는 상기 배경 및 상기 적어도 하나의 오브젝트에 대한 레이어 순서에 대한 정보를 포함하고,
상기 영상처리부는 상기 홀 영역에 존재했던 오브젝트의 레이어 바로 아래에 존재하는 레이어에 해당하는 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅 하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 영상처리부는 상기 홀 영역의 경계와 수평 방향으로 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅 하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 영상처리부는 상기 2차원 영상신호 및 상기 깊이 정보를 배경 및 적어도 하나의 오브젝트로 분리하고, 상기 배경 및 적어도 하나의 오브젝트의 분리로 인하여 상기 2차원 영상신호 및 상기 깊이 정보에 발생한 홀 영역을 상기 레이어 정보에 기초하여 인페인팅하고, 상기 배경 및 적어도 하나의 오브젝트에 대응하는 상기 깊이 정보에 기초하여 상기 배경과 오브젝트를 개별적으로 렌더링하여 3차원 영상신호를 생성하는 것을 특징으로 하는 영상처리장치.
제4항에 있어서,
상기 영상처리부는 개별적으로 렌더링된 배경 및 오브젝트의 경계 부분을 필터링 하는 것을 특징으로 하는 영상처리장치.
2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리장치에 있어서,
배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 영상수신부와;
상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하고, 상기 홀 영역의 경계와 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅하는 영상처리부를 포함하는 것을 특징으로 하는 영상처리장치.
2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리방법에 있어서,
배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 단계와;
상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하는 단계와;
상기 배경 및 오브젝트의 레이어 정보에 기초하여 상기 홀 영역을 인페인팅(inpainting)하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제7항에 있어서,
상기 레이어 정보는 겹쳐 있는 상기 배경 및 상기 적어도 하나의 오브젝트에 대한 레이어 순서에 대한 정보를 포함하고,
상기 홀 영역을 인페인팅 하는 단계는 홀 영역에 존재했던 오브젝트의 레이어 바로 아래에 존재하는 레이어에 해당하는 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅 하는 것을 특징으로 하는 영상처리방법.
제7항에 있어서,
상기 홀 영역을 파악하는 단계 전에, 상기 2차원 영상신호 및 상기 깊이 정보를 배경 및 적어도 하나의 오브젝트로 분리하는 단계와,
상기 홀 영역을 인페인팅하는 단계 후에, 상기 배경 및 적어도 하나의 오브젝트에 대응하는 상기 깊이 정보에 기초하여 상기 배경과 오브젝트를 개별적으로 렌더링하여 3차원 영상신호를 생성하는 단계를 더 포함하고,
상기 홀 영역을 인페인팅하는 단계는 상기 배경 및 적어도 하나의 오브젝트의 분리로 인하여 상기 2차원 영상신호 및 상기 깊이 정보에 발생한 홀 영역을 상기 레이어 정보에 기초하여 인페인팅 하는 것을 특징으로 하는 영상처리방법.
제9항에 있어서,
상기 렌더링 하는 단계는 개별적으로 렌더링된 배경 및 오브젝트의 경계 부분을 필터링 하는 것을 특징으로 하는 영상처리방법.
2차원 영상신호에 대응하는 3차원 영상신호를 생성하는 영상처리방법에 있어서,
배경 및 적어도 하나의 오브젝트를 포함하는 2차원 영상신호를 수신하는 단계와;
상기 오브젝트에 대한 깊이 정보에 기초하여 상기 오브젝트의 시프트에 의해 드러나는 홀 영역을 파악하는 단계와;
상기 홀 영역의 경계와 인접한 배경 또는 오브젝트의 픽셀 데이터를 이용하여 상기 홀 영역을 인페인팅 하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제7항 내지 제11항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.