KR20210001254A

KR20210001254A - 가상 시점 영상 생성 방법 및 장치

Info

Publication number: KR20210001254A
Application number: KR1020190077089A
Authority: KR
Inventors: 신홍창; 이광순; 정준영
Original assignee: 한국전자통신연구원
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2021-01-06
Also published as: US11037362B2; US20200410746A1; KR102454167B1

Abstract

3차원 가상 시점 영상을 생성하는 방법으로서, 사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 상기 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계, 그리고 상기 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 상기 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계를 포함하는, 가상 시점 영상 생성 방법이 제공된다.

Description

가상 시점 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING VIRTUAL VIEW POINT IMAGE}

본 기재는 3차원 가상 시점 영상을 생성하는 방법 장치에 관한 것이다.

3차원 영상은 가상 시점 위치에서 생성된 영상으로서, 동일한 장면에 대해 다른 시점에서 획득한 단일 또는 복수 개의 영상을 이용하여 양안 시차와 운동 시차가 제공되는 영상이다. 가상 위치에서 시점 영상을 생성하기 위해 3차원 거리 정보인 깊이 정보(depth information)가 사용된다.

참조 시점과 가상 시점 간의 3차원 기하관계에 대한 정보와 참조 시점 영상에 대응되는 깊이 정보의 정확도는 가상 위치에서 생성되는 가상 시점 영상의 품질에 영향을 미친다. 정확한 깊이 정보를 추정하는 것은 기술적으로 어려운 문제점이 있다.

참조 시점 영상이 둘 이상인 경우 각 깊이 영상 간에 일관성이 일치되어야 하므로, 장면의 모든 화소에 대한 깊이 정보를 이용하는 3차원 시점 영상을 생성하는 것은 복잡도가 매우 높은 문제점이 있다.

한 실시예는 3차원 가상 시점 영상을 생성하는 방법을 제공한다.

한 실시예는 3차원 가상 시점 영상을 생성하는 장치를 제공한다.

한 실시예에 따르면, 3차원 가상 시점 영상을 생성하는 방법이 제공된다. 상기 가상 시점 영상 생성 방법은, 사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계, 그리고 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계를 포함한다.

상기 가상 시점 영상 생성 방법은 복원하는 단계 이후, 복수의 영상을 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 단계를 더 포함할 수 있다.

상기 가상 시점 영상 생성 방법에서 제2 영상에 시차를 부여하는 단계는, 제2 영상에서 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하는 단계, 그리고 제3 영상에 대해 영상 워핑(image warping)을 수행하는 단계를 포함할 수 있다.

상기 가상 시점 영상 생성 방법에서 영상 워핑을 수행하는 단계는, 제3 영상에서 배경 영역과 전경 영역을 분리하고, 배경 영역과 전경 영역에 대해 영상 워핑을 수행할 수 있다.

상기 가상 시점 영상 생성 방법에서 영상 워핑을 수행하는 단계는, 전경 영역 중 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행할 수 있다.

다른 실시예에 따르면, 3차원 가상 시점 영상을 생성하는 장치가 제공된다. 상기 가상 시점 영상 생성 장치는, 사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 영상 정보 생성부, 그리고 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 영상 생성부를 포함한다.

상기 가상 시점 영상 생성 장치는, 복수의 영상을 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 시차 생성부를 더 포함할 수 있다.

상기 가상 시점 영상 생성 장치에서 시차 생성부는, 제2 영상에서 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하고, 제3 영상에 대해 영상 워핑(image warping)을 수행할 수 있다.

상기 가상 시점 영상 생성 장치에서 시차 생성부는, 제3 영상에서 배경 영역과 전경 영역을 분리하고, 배경 영역과 전경 영역에 대해 영상 워핑을 수행할 수 있다.

상기 가상 시점 영상 생성 장치에서 시차 생성부는, 전경 영역 중 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행할 수 있다.

또 다른 실시예에 따르면, 3차원 가상 시점 영상을 생성하는 장치가 제공된다. 상기 가상 시점 영상 생성 장치는, 프로세서 및 메모리를 포함하고, 프로세서는 메모리에 저장된 프로그램을 실행하여, 사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계, 그리고 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계를 수행할 수 있다.

상기 가상 시점 영상 생성 장치에서 프로세서는, 복원하는 단계 이후, 복수의 영상을 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 단계를 더 수행할 수 있다.

상기 가상 시점 영상 생성 장치에서 프로세서는, 제2 영상에 시차를 부여하는 단계에서, 제2 영상에서 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하는 단계, 그리고 제3 영상에 대해 영상 워핑(image warping)을 수행하는 단계를 수행할 수 있다.

상기 가상 시점 영상 생성 장치에서 프로세서는, 영상 워핑을 수행하는 단계에서, 제3 영상에서 배경 영역과 전경 영역을 분리하고, 배경 영역과 전경 영역에 대해 영상 워핑을 수행할 수 있다.

상기 가상 시점 영상 생성 장치에서 프로세서는, 영상 워핑을 수행하는 단계에서, 전경 영역 중 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행할 수 있다.

각 계층 영상을 미리 생성해둘 수 있기 때문에 사용자가 시청하는 단말에서의 구현 복잡도를 낮출 수 있다.

또한, HMD(Head Mounted Display)와 같은 몰입형 디스플레이에서 사용자가 주시하는 영역을 중심으로 전경과 배경을 분할하여 관심 객체의 입체감을 증대시킬 수 있다.

도 1은 한 실시예에 따른 가상 시점 영상 생성 장치의 블록도이다.
도 2는 한 실시예에 따른 사용자의 움직임 정보를 설명하기 위한 도면이다.
도 3은 한 실시예에 따른 영상 분할을 설명하기 위한 도면이다.
도 4는 한 실시예에 따른 사용자의 중심축 이동에 따른 장면 변화를 나타내는 도면이다.
도 5는 한 실시예에 따른 장면에 대한 카메라 시점이 3개일 때 영상 생성 과정을 나타내는 도면이다.
도 6은 한 실시예에 따른 영상 생성 결과를 나타내는 도면이다.
도 7a 및 도 7b는 한 실시예에 따른 깊이 계층별 영상 생성 및 완성 과정을 나타내는 도면이다.
도 8은 한 실시예에 따른 시차 생성 과정을 설명하기 위한 도면이다.
도 9 및 도 10은 한 실시예에 따른 가상 시점 영상 생성 방법의 흐름도이다.
도 11은 한 실시예에 따른 가상 시점 영상 생성 장치를 나타내는 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 기재가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 한 실시예에 따른 가상 시점 영상 생성 장치의 블록도이다. 도 2는 한 실시예에 따른 사용자의 움직임 정보를 설명하기 위한 도면이다. 도 3은 한 실시예에 따른 영상 분할을 설명하기 위한 도면이다. 도 4는 한 실시예에 따른 사용자의 중심축 이동에 따른 장면 변화를 나타내는 도면이다. 도 5는 한 실시예에 따른 장면에 대한 카메라 시점이 3개일 때 영상 생성 과정을 나타내는 도면이다. 도 6은 한 실시예에 따른 영상 생성 결과를 나타내는 도면이다. 도 7a 및 도 7b는 한 실시예에 따른 깊이 계층별 영상 생성 및 완성 과정을 나타내는 도면이다. 도 8은 한 실시예에 따른 시차 생성 과정을 설명하기 위한 도면이다.

도 1을 참조하면, 한 실시예에 따른 가상 시점 영상 생성 장치(100)는, 입력부(110), 영상정보 생성부(120), 영상 생성부(140), 영상 완성부(150), 시차 생성부(160)를 포함한다.

입력부(110)는 목표 장면이 서로 다른 위치에서 촬영된 카메라 영상을 수신한다. 입력부(110)는 한 실시예로서 센서를 통해 목표 장면을 바라보는 사용자의 움직임 정보를 수신한다. 사용자 움직임 정보는 도 2와 같은 움직임 자유도 정보를 포함할 수 있다. 움직임 자유도 정보는 사용자 중심을 기준으로 3방향 회전 이동 정보(상하회전, 좌우회전, 전후회전), 사용자 중심을 기준으로 중심축이 이동하는 정보(상하이동, 좌우이동, 전후이동)일 수 있다. 사용자의 움직임 정보는 사용자가 바라보는 시선의 위치도 포함할 수 있다. 입력부(110)는 다중 참조 시점 영상과 사용자 움직임 정보를 영상정보 생성부(120)에게 전달한다.

영상정보 생성부(120)는 사용자가 주시하는 시점의 영상의 깊이 정보에 기반하여 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할한다. 영상정보 생성부(120)는 한 실시예로서, 영상 분할부(121), 깊이 추정부(122)를 포함할 수 있다.

영상 분할 과정과 깊이 추정 과정은 공통적으로 필요한 정보(예를 들어, 객체의 경계 부분)를 추정하는 과정과 동시에 진행될 수 있고, 중간과정에서 상호 간에 필요한 데이터를 서로 주고 받을 수 있다.

영상 분할부(121)는 입력부(110)로부터 전달받은 다중 참조 시점 영상과 사용자의 움직임 정보에 기반하여 영상을 분할한다. 영상 분할부(121)는 영상 분할(image segmentation) 방법을 이용하여 참조 시점 영상에서 객체들을 분할한다. 영상 분할 방법은 한 실시예로서, 컴퓨터 비전 알고리즘을 이용하여 분할하는 방법, 사전에 생성된 객체 분할 마스크 영상에 기반하여 분할하는 방법, 깊이를 기준으로 장면을 분할하는 방법 중 하나일 수 있다.

도 3을 참조하면, 영상(301)과 영상(302)은 사용자가 영상(300)을 바라볼 때 주시영역에 의해 지정되는 관심 객체에 대한 장면 분할을 나타낸다. 영상이 분할될 때, 전경(foreground)에 해당하는 관심 영역과 배경(background)이 분리된다.

영상 분할부(121)는 영상(303), 영상(304), 및 영상(305)과 같이 영상(300)을 사용자로부터의 거리정보인 깊이 정보를 기준으로 3개의 계층으로 분할할 수 있다. 계층의 수는 목표 장면의 구성과 깊이 정보의 분포도에 따라 다양하게 설정될 수 있다.

도 3과 같이 전경과 배경이 분리된 상태에서, 사용자가 움직이는 방향의 반대방향으로 전경이 움직이게 되면 사용자는 운동 시차(motion parallax)를 느끼게 되므로, 정면에 대한 깊이감을 감지하게 된다.

도 4을 참조하면, 사용자의 중심축 이동에 따라 전경 객체가 반대 방향으로 움직이는 것을 확인할 수 있다. 영상(410)은 영상(420)을 중심으로 사용자가 좌측으로 움직인 영상이고, 영상(430)은 사용자가 우측으로 움직인 영상이다. 객체(421)와 객체(422)는 서로 반대 방향으로 움직이게 된다. 사용자로부터 객체(421)까지의 거리는 사용자로부터 객체(422)까지의 거리보다 가깝기 때문에 움직이는 시차가 더 크다. 실제 자연환경에서는 객체(421)와 객체(422)를 제외한 나머지 배경 영역도 함께 움직이는 것처럼 보여야 하지만, 객체만 움직이는 유사(pseudo) 운동 시차 효과를 적용할 때, 사용자는 장면에 대한 깊이감을 인지하게 된다. 유사 운동 시차 효과만 주는 경우 3차원의 입체감이 없는 종이가 좌우로 움직이는 듯한 카드보드 효과(cardboard effect)가 발생하고, 분할된 전경 객체가 움직인 이후에 전경 객체에 의해 가려졌던 영역(occluded area)이 발생하는 문제가 있다. 이와 같은 문제는 깊이 추정부(122), 영상 생성부(140), 영상 완성부(150), 시차 생성부(160)에 의해 처리될 수 있다.

도 5를 참조하면, 중앙 참조 시점인 영상(521)을 기준으로 영상(511)은 좌측 참조 시점, 영상(531)은 우측 참조 시점을 나타낸다. 영상(510)은 중앙 참조 시점인 영상(521)에서 사용자가 중심축을 좌측으로 이동할 때 전경영역이 반대방향인 우측으로 움직여서 생기는 가려진 영역(occluded area)을 나타낸다. 영상(530)은 중앙 참조 시점인 영상(521)에서 사용자가 중심축을 우측으로 이동할 때 전경영역이 반대방향인 좌측으로 움직여서 생기는 가려진 영역을 나타낸다.

가려진 영역은 영상(511)과 영상(531)과 같이 다른 시점에 위치한 카메라에 의한 참조 시점 정보를 이용하여 채워질 수 있다.

깊이 추정부(122)는 참조 시점 각각에 대응되는 깊이 영상을 생성한다.

실사장면에 대한 깊이 영상은 스테레오 정합이라는 깊이(또는 변이) 추정 기법을 통해 계산될 수 있다. 두 시점 이상의 카메라를 통해 촬영된 영상 간의 모든 화소에 대한 대응점을 찾아내고, 3차원 기하관계를 통해 대응점 간의 거리인 변이(disparity)가 z축의 거리값, 깊이값(depth)으로 변환된다. 깊이 추정 기법을 통해 획득된 깊이 정보는 장면의 모든 화소에 대응하는 정보이므로, 연속적인 분포를 갖는다. 영상합성을 통해 가상 시점을 생성할 때, 연속적인 깊이 정보가 이용되기 때문에, 생성된 장면이 실제의 기하에 가깝도록 재구성될 수 있다.

영상 생성부(140)는 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원한다. 구체적으로, 영상 생성부(140)는 참조 시점인 영상(511), 영상(521), 및 영상(531)의 각각에 대응하는 깊이 영상(또는 변이 영상)인 영상(512), 영상(522), 및 영상(532)와 참조 시점 간 기하관계를 이용하는 영상 워핑(image warping) 방법을 사용하여 가려진 영역을 채울 수 있다. 영상 생성부(140)에 의한 영상 생성 과정을 거치면 도 6과 같은 영상이 생성된다. 영상(610)과 영상(630)에서 점선으로 표기된 영역은 영상 워핑을 통해 채워진 결과를 나타낸다. 모든 참조 시점에서 보이지 않아 알 수 없는 미지의 영역(unknown area)이 생기므로, 영상 생성부(140)에 의한 영상 생성 과정에도 불구하고, 다 채워지지 못한 영역이 남게 된다. 미지의 영역은 영상 완성부(150)를 통해 복원될 수 있다.

참조 시점과 가상 시점 간의 3차원 기하관계와 참조 시점 영상에 대응되는 깊이 정보가 담긴 깊이 영상이 입력되면, 3차원 기하관계를 이용하는 영상합성 기법을 통해 사실적인 3차원 영상이 생성된다. 이때, 이용되는 깊이 영상은 참조 시점 영상의 모든 화소 내지 모든 영상 영역에 대응된다. 참조 시점과 가상 시점 간의 3차원 기하관계에 대한 정보와 참조 시점 영상에 대응되는 깊이 정보의 정확도는 가상 위치에서 생성되는 가상 시점 영상의 품질에 영향을 미친다. 3차원 기하관계는 카메라 캘리브레이션 방법에 의해 획득되고, 깊이 정보는 능동형 센서를 통해 획득되거나 스테레오 정합과 같은 컴퓨터 비전 알고리즘에 의해 추정될 수 있다.

영상 완성부(150)는 한 실시예로서, 이미지 인페인팅(image inpainting) 방법, 주변의 인접한 정보를 이용하여 보간하는 방법, 같은 장면 내에서 가장 유사한 패치를 찾아 순차적으로 채워나가는 방법 중 하나의 방법을 사용하여 미지의 영역을 복원할 수 있다. 영상 완성부(150)는 한 실시예로서, 경쟁적 구도를 이용하는 학습 방식인 생성적 적대 신경망(Generative adversarial network, GAN)을 이용하여 수많은 테스트 영상으로부터 미지의 영역을 원본과 비슷하게 복원하는 이미지 인페인팅 방법을 사용하여 미지의 영역을 복원할 수 있다.

도 7a를 참조하면, 중앙 참조 시점인 영상(720)을 기준으로 영상(710)은 좌측 참조 시점, 영상(730)은 우측 참조 시점을 나타낸다. 영상(721), 영상(722), 및 영상(723)은 중앙 참조 시점인 영상(720)이 깊이 정보에 따라 3개의 계층으로 분할된 영상을 나타낸다. 도 7a와 같이, 깊이 정보를 이용하여 장면단위로 분할할 수 있고, 다른 실시예로서 객체단위로 분할할 수 있다.

영상 생성부(140)는 각 계층으로 분할된 영상 중 전경에 의해 가려진 영역이 있는 영상(721)과 영상(722)에 대해 도 5에서 설명한 각 참조 시점의 깊이 정보를 이용하여 가려진 영역을 채우는 과정을 수행한다. 영상 완성부(150)는 영상 생성 후 남겨진 미지의 영역에 대해 영상 완성 과정을 수행한다. 미지의 영역은 영상 완성 과정을 통해 영상(744) 및 영상(745)과 같이 복원된다. 이때, 영상(724)과 영상(725)의 복원대상 영역은 전경에 의해 가려진 배경 영역에 속하기 때문에, 복원에 이용되는 참조 시점 영상은 전경이 제외되고 배경이 포함된 영상이다. 영상 완성부(150)는 배경만 포함되는 영상에 특화된 학습된 네트워크를 사용하여 미지의 영역을 복원할 수 있다. 학습된 네트워크를 사용하는 것을 통해 복원의 정확도를 향상시킬 수 있다.

도 7b는 영상 생성부(140) 및 영상 완성부(150)를 통해 가려진 영역 및 미지의 영역이 복원된 복수의 영상이, 사용자의 중심 및 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치된 영상을 나타낸다. 사용자의 움직임에 따른 장면 변화는 시차 생성부(160)를 통해 처리된다.

시차 생성부(160)는 영상 생성부(140) 및 영상 완성부(150)를 통해 가려진 영역 및 미지의 영역이 복원된 복수의 영상을, 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 영상에 시차를 부여할 수 있다.

사용자의 중심축이 특정 방향으로 움직이면 각 계층별로 전경에 해당하는 영상이 사용자의 이동 방향과 반대 방향으로 움직이고, 움직이는 복수 개의 전경 영상이 사용자의 거리에 따라 이동되는 변화폭이 달라져야 사용자가 장면에 대한 운동시차를 느낄 수 있다.

도 8을 참조하면, 영상(810), 영상(820), 영상(830)은 서로 다른 시점에서 획득된 카메라 시점 영상이고, 영상(840), 영상(850), 영상(860)은 영상 완성 과정을 거친 영상에 시차를 부여한 영상이다. 영상(850)은 중앙 참조 시점 영상으로 영상(820)과 동일하고, 영상(840)은 영상(850)에서 사용자 중심축이 좌측으로 움직였을 때의 영상이다. 도 8과 같이, 객체(811)와 객체(841), 객체(831)와 객체(861)는 서로 바라보는 방향이 다르다. 실제 자연환경에서 사용자의 시점이 이동함에 따라 관심 객체의 측면 부분이 드러나기 때문에, 사용자는 객체의 입체감을 인지할 수 있다. 영상(840) 및 영상(860)과 같이 전경에 해당하는 객체(850)를 그대로 좌우로 평행이동(shift)시키고 위치만 바꾼다면, 사용자의 중심축 이동의 변화폭이 작은 경우에는 차이가 미미하지만, 사용자의 중심축 이동 변화폭이 커지는 경우에는 3차원의 입체감이 없는 종이가 좌우로 움직이는 듯한 효과(즉, 카드보드 효과)가 발생할 수 있다. 이 때문에, 사용자는 부자연스러움을 느낄 수 있다.

이와 같은 문제를 해결하기 위해, 시차 생성부(160)는 영상 생성부(140) 및 영상 완성부(150)를 통해 가려진 영역 및 미지의 영역이 복원된 복수의 영상을, 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 영상에서 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 영상을 생성하고, 생성된 영상에 대해 영상 워핑(image warping)을 수행할 수 있다.

구체적으로, 시차 생성부(160)는 전경 영역과 배경 영역을 분리한다. 배경 영역에 대해서 영상 생성부(140)와 영상 완성부(150)를 통해 가려진 영역 및 미지의 영역까지 채워졌기 때문에, 시차 생성부(160)는 깊이 추정부(122)를 통해 생성된 깊이 영상의 깊이 정보를 이용하여 영상 워핑 과정을 수행할 수 있다. 시차 생성부(160)는 배경 영역에 대한 영상 워핑 후 사용자를 기준으로 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑 과정을 수행할 수 있다. 전경 영상이 워핑될 경우 객체의 새로운 면이 나타날 수 있는데, 이는 인접한 참조 시점을 이용하여 채워질 수 있다. 이를 통해, 자연스러운 시차가 생성될 수 있다.

또 다른 실시예로서, 시차 생성부(160)는 참조 시점 영상을 가시 영역과 비가시 영역(즉, 가려진 영역)으로 분리할 수 있다. 여기서 가시 영역은 참조 시점 영상에서 사용자에게 보이는 기본 영상을 말하며, 가려진 영역은 시점 이동 시에 새롭게 나타나는 영역을 말한다. 가려진 영역은 기본 영상에서 객체들에 의해 가려져서 사용자에게 보일 수 없는 영역의 정보를 포함한다. 도 5에서 영상(510)과 영상(530)은 사용자 움직임에 따라 새롭게 나타나는, 가려진 영역을 나타낼 수 있고, 비가시 영역은 가려진 영역에 대응하는 정보를 포함할 수 있다. 시차 생성부(160)에 의해 가려진 영역이 분리될 때 가려진 영역은 어떤 정보도 포함하고 있지 않지만, 이후 영상 생성부(140)와 영상 완성부(150)에 의해 가려진 영역에 정보가 채워질 수 있다. 이후, 시차 생성부(160)는 깊이 추정부(122)에 의해 생성된 깊이 영상의 깊이 정보를 이용하여 영상 워핑 과정을 수행할 수 있다. 시차 생성부(160)는 앞서 설명한 것과 마찬가지로, 사용자를 기준으로 가장 먼 영역에 대응하는 비가시 영역부터 사용자와 가까운 영역에 대응하는 기본 영역 순으로 영상 워핑 과정을 수행할 수 있다. 이때, 영상 워핑 과정에 의해 새로운 영역이 나타날 수 있는데, 영상 워핑에 의해 나타나는 새로운 영역은 인접한 참조시점 혹은 주변 화소를 이용하여 채워질 수 있다. 위에서 설명한 대로, 참조 시점 영상이 복수의 계층으로 분리되지 않고, 가시 영역 및 비가시영역으로만 분리되면, 줄어든 계층의 개수만큼 장면을 구성하는 정보의 양도 감소하게 되어서, 신속하고 자연스럽게 운동시차가 제공될 수 있다.

영상(870), 영상(880), 및 영상(890)은 각 참조 시점에서 분할된 관심 객체의 깊이가 제외된 영상을 나타낸다.

시차 생성부(160)는 관심 객체에 대한 깊이값을 유사(pseudo) 깊이값으로 할당하여 관심 객체의 입체감을 조절할 수 있다. 예를 들어, 시차 생성부(160)는 중앙 참조 시점에서 사용자가 객체(881)를 주시하면서 사용자의 중심축을 이동시키는 경우 객체(881)의 깊이 히스토그램에 대해 히스토그램 균일화(equalization), 히스토그램 스트레칭(stretching) 등의 깊이 조절 과정을 수행할 수 있다. 이를 통해, 객체의 워핑 양상을 다르게 주면서 관심 객체에 대한 더욱 강조된 입체감을 형성할 수 있다.

위에서는 이해를 돕기 위해, 한 실시예에 따른 가상 시점 영상 생성 장치(100)의 블록도를 나타낸 도 1을 토대로 도 3 내지 도 8에서 2차원 배열인 영상을 예시로 들어 실시예를 설명하였지만, 본 기재는 3차원 공간 상의 문제로 확장될 수 있다. 3차원 공간 상의 3D 화소는 복셀(voxel)이라고 불리운다. 본 기재에서 설명되는 배경과 객체는 3차원 공간 상에 모델링 되어, 포인트 클라우드(point cloud)나 3D 메쉬(polygonal mesh)와 같은 단위로 표현될 수 있다. 3차원 영상의 경우에도 앞서 설명한 것처럼 사용자 시점의 움직임에 따라 전경에 의해 가려진 영역이 발생한다. 이를 위해 한 실시예에 따르면, 가상 시점 영상 생성 장치(100)는 3차원 공간을 깊이에 따라 또는 시점에 따라 복수의 계층으로 나누고, 각 분할된 계층에서 나타나는 새로운 영역(즉, 새롭게 나타나서 정보가 없는 3차원 공간의 복셀)을 참조 시점 영상 및 깊이 정보에 기반하여 미리 복원하여 3차원 운동 시차를 제공할 수 있다.도 9 및 도 10은 한 실시예에 따른 가상 시점 영상 생성 방법의 흐름도이다.

도 9 및 도 10을 참조하면, 한 실시예에 따른 가상 시점 영상 생성 방법은, 사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계(S100), 그리고 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계(S200)를 포함한다.

복원하는 단계(S200) 이후, 복수의 영상을 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 단계(S300)를 더 포함할 수 있다.

제2 영상에 시차를 부여하는 단계(S300)는, 제2 영상에서 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하는 단계(S310), 그리고 제3 영상에 대해 영상 워핑(image warping)을 수행하는 단계(S320)를 포함할 수 있다.

영상 워핑을 수행하는 단계(S320)는, 제3 영상에서 배경 영역과 전경 영역을 분리하고, 배경 영역과 전경 영역에 대해 영상 워핑을 수행할 수 있다.

영상 워핑을 수행하는 단계(S320)는, 전경 영역 중 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행할 수 있다.

복수의 영상으로 분할하는 단계(S100), 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계(S200), 제2 영상에 시차를 부여하는 단계(S300)는 위에서 설명한 도 1의 영상정보 생성부(120), 영상 생성부(140), 시차 생성부(160)의 동작 내용과 동일하므로, 상세한 설명은 생략한다.

도 11은 한 실시예에 따른 가상 시점 영상 생성 장치를 나타내는 블록도이다.

도 11을 참조하면, 한 실시예에 따른 가상 시점 영상 생성 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 컴퓨터 시스템(1100)은, 버스(1120)를 통해 통신하는 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1160), 사용자 인터페이스 출력 장치(1170), 및 저장 장치(1180) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(1100)은 또한 네트워크에 결합된 네트워크 인터페이스(1190)를 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(1130) 또는 저장 장치(1180)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 저장 장치(1180)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory)(1131) 및 RAM(random access memory)(1132)를 포함할 수 있다. 본 기재의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.

한 실시예에 따른 가상 시점 영상 생성 장치는 프로세서(1110) 및 메모리(1130)를 포함하고, 프로세서(1110)는 메모리(1130)에 저장된 프로그램을 실행하여, 사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계, 그리고 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계를 수행한다.

프로세서(1110)는, 복원하는 단계 이후, 복수의 영상을 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 단계를 더 수행할 수 있다.

프로세서(1110)는, 제2 영상에 시차를 부여하는 단계에서, 제2 영상에서 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하는 단계, 그리고 제3 영상에 대해 영상 워핑(image warping)을 수행하는 단계를 수행할 수 있다.

프로세서(1110)는, 영상 워핑을 수행하는 단계에서, 제3 영상에서 배경 영역과 전경 영역을 분리하고, 배경 영역과 전경 영역에 대해 영상 워핑을 수행할 수 있다.

프로세서(1110)는, 영상 워핑을 수행하는 단계에서, 전경 영역 중 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행할 수 있다.

프로세서(1110)의 동작 내용은 위에서 설명한 도 1의 영상정보 생성부(120), 영상 생성부(140), 시차 생성부(160)의 동작 내용과 동일하므로, 상세한 설명은 생략한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

3차원 가상 시점 영상을 생성하는 방법으로서,
사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 상기 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계, 그리고
상기 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 상기 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계
를 포함하는 가상 시점 영상 생성 방법.
제1항에서,
상기 복원하는 단계 이후,
상기 복수의 영상을 상기 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 단계를 더 포함하는, 가상 시점 영상 생성 방법.
제2항에서,
상기 제2 영상에 시차를 부여하는 단계는,
상기 제2 영상에서 상기 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하는 단계, 그리고
상기 제3 영상에 대해 영상 워핑(image warping)을 수행하는 단계를 포함하는, 가상 시점 영상 생성 방법.
제3항에서,
상기 영상 워핑을 수행하는 단계는,
상기 제3 영상에서 배경 영역과 전경 영역을 분리하고, 상기 배경 영역과 전경 영역에 대해 영상 워핑을 수행하는, 가상 시점 영상 생성 방법.
제4항에서,
상기 영상 워핑을 수행하는 단계는,
상기 전경 영역 중 상기 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행하는, 가상 시점 영상 생성 방법.
3차원 가상 시점 영상을 생성하는 장치로서,
사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 상기 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 영상 정보 생성부, 그리고
상기 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 상기 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 영상 생성부
를 포함하는 가상 시점 영상 생성 장치.
제6항에서,
상기 복수의 영상을 상기 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 시차 생성부를 더 포함하는, 가상 시점 영상 생성 장치.
제7항에서,
상기 시차 생성부는,
상기 제2 영상에서 상기 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하고, 상기 제3 영상에 대해 영상 워핑(image warping)을 수행하는, 가상 시점 영상 생성 장치.
제8항에서,
상기 시차 생성부는,
상기 제3 영상에서 배경 영역과 전경 영역을 분리하고, 상기 배경 영역과 전경 영역에 대해 영상 워핑을 수행하는, 가상 시점 영상 생성 장치.
제9항에서,
상기 시차 생성부는,
상기 전경 영역 중 상기 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행하는, 가상 시점 영상 생성 장치.
3차원 가상 시점 영상을 생성하는 장치로서,
프로세서 및 메모리를 포함하고,
상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여,
사용자가 주시하는 시점의 제1 영상의 깊이 정보에 기반하여 상기 제1 영상을, 서로 다른 계층을 나타내는 복수의 영상으로 분할하는 단계, 그리고
상기 복수의 영상 중 전경에 의해 가려진 영역을 갖는 영상에서, 상기 가려진 영역을 참조 시점 영상의 깊이 정보에 기반하여 복원하는 단계
를 수행하는, 가상 시점 영상 생성 장치.
제11항에서,
상기 프로세서는,
상기 복원하는 단계 이후,
상기 복수의 영상을 상기 사용자가 주시하는 방향의 깊이를 기준으로 순차 배치한 제2 영상에 시차를 부여하는 단계를 더 수행하는, 가상 시점 영상 생성 장치.
제12항에서,
상기 프로세서는,
상기 제2 영상에 시차를 부여하는 단계에서,
상기 제2 영상에서 상기 사용자의 중심축이 상하, 좌우, 및 전후 중 어느 하나의 방향으로 이동될 때 생성되는 제3 영상을 생성하는 단계, 그리고
상기 제3 영상에 대해 영상 워핑(image warping)을 수행하는 단계를 수행하는, 가상 시점 영상 생성 장치.
제13항에서,
상기 프로세서는,
상기 영상 워핑을 수행하는 단계에서,
상기 제3 영상에서 배경 영역과 전경 영역을 분리하고, 상기 배경 영역과 전경 영역에 대해 영상 워핑을 수행하는, 가상 시점 영상 생성 장치.
제14항에서,
상기 프로세서는,
상기 영상 워핑을 수행하는 단계에서,
상기 전경 영역 중 상기 사용자로부터 가장 먼 전경 영역부터 가까운 전경 영역 순으로 영상 워핑을 수행하는, 가상 시점 영상 생성 장치.