KR101574422B1 - 단일 이미지 표현을 이용한 다시점 영상의 렌더링 속도 및 편집 능률 향상을 위한 방법 - Google Patents

Abstract

본 발명은, 확장된 단일 영상 표현 모델이 공간적 평활 뿐 아니라 시간적 평활도 보장하여, 정지 영상 뿐 아니라 비디오에도 적용가능하도록 함으로써, 효율적인 입체 컨텐츠의 생성에 대해 더 정확하고 일반적인 해결책을 제공하는 것을 그 목적으로 하여, 제 1 프레임에 대하여 가시적 포인트 버퍼 (Visible Points Buffer; VPB) 를 생성하고 최적화하는 단계, 상기 제 1 프레임과 이웃하는 후속 프레임인 제 2 프레임에 대한 VPB를 생성하는 단계, 상기 제 1 프레임에 대한 VPB에서 관측되는, 상기 제 2 프레임에 대한 VPB의 포인트를, 제한된 포인트로 결정하는 단계, 상기 제한된 포인트를 그 대응 위치에 위치시키는 단계, 상기 제한된 포인트 이외의, 상기 제 2 프레임에 대한 VPB의 잔여 포인트 및 상기 제한된 포인트의 일부로 메쉬 세그먼트 (mesh segment) 를 구성하는 단계, 상기 메쉬 세그먼트를 개별적으로 파라미터화 (parameterization) 하는 단계, 상기 메쉬 세그먼트의 포인트들을 상기 대응 위치에 위치시킨 포인트와 함께 상기 제 2 프레임에 대한 VPB 상에 위치시키는 단계, 및 상기 제 2 프레임의 이미지를 렌더링 (rendering) 하는 단계를 포함하는, 동영상 비디오의 시간적 코히어런시 (Temporal Coherency) 를 위한 다시점 영상 처리 방법을 제공한다.

Description

단일 이미지 표현을 이용한 다시점 영상의 렌더링 속도 및 편집 능률 향상을 위한 방법{A METHOD FOR RENDERING SPEED AND EDITING EFFICIENCY IMPROVEMENT THROUGH SINGLE VIEW VIDEO REPRESENTATION OF MULTI-VIEW VIDEO}

본 발명은 입체 영상의 처리를 위한 컴퓨터 그래픽에 관한 발명으로서, 특히 정지 영상 뿐 아니라 비디오 어플리케이션에 적용되어 다시점 영상의 렌더링 속도 및 편집 능률을 향상시킬 수 있는 단일 이미지 표현을 이용한 영상 처리 방법에 관한 것이다.

컴퓨터 그래픽은 입체 영상을 생성하기 위한 가장 효율적인 방법이다. 그러나, 컴퓨터 그래픽을 이용한 3차원 입체 영상의 생성 프로세스는 2차원 영상에 비해 매우 비효율적이다. 양안 영상이 서로 매우 유사함에도 불구하고, 각각의 이미지는 독립적으로 생성되므로, 입체 영상의 생성 프로세스는 비효율적이 된다. 게다가, 입체 영상에는 양안 시차 (disparity) 제어가 따르는데, 이 또한 영상 처리의 효율을 감소시키고, 복수의 영상들을 처리함에 있어 동일한 작업이 반복됨으로 인하여 입체 영상의 조작에 있어 효율이 떨어지는 문제가 있다.

이에 따라, 이러한 입체 영상의 생성 및 조작을 위하여, 단일 이미지 표현을 이용하여 입체 영상을 생성하는 방법이 제안되었다. 이 방법은 입체 카메라가 생성하는 등극선 (epipolar line) 으로부터 가시적인 전체 영역의 최적화된 단일 이미지 표현을 생성하고, 이러한 단일 이미지의 시퀀스는 기존의 2차원 영상에 적용되는 기법으로 용이하게 조작될 수 있어, 효율적인 입체 영상의 생성 및 편집이 가능하다.

그러나, 이러한 방법은 여전히 한계가 존재한다.

첫째, 이 방법은 단지 한 쌍의 입체 영상을 효율적으로 생성하는 데에만 한정되어 있다. 시간적 코히어런시 (temporal coherency) 를 보장하면서 영상 시퀀스 또는 비디오로 어떻게 확장하는지 명확하지 않다. 이는 사용자가 비디오 트랙킹과 같은 기존의 비디오 편집 기술로 영상 시퀀스를 조작하는 경우 중대한 문제가 될 수 있다.

둘째, 렌더링된 단일 영상은 입체 (stereo) 카메라 쌍으로부터 가시적인 영역을 표현하지만, 이러한 입체 카메라들로부터 비가시적인 영역은 그 사이에 있는 임의의 카메라로부터 여전히 가시적일 수 있다. 이는 더 작은 디스패리티 (disparity) 설정에 의한 입체 영상 쌍에서 오클루젼 (occlusion) 을 초래한다. 게다가, 이는 단일 영상 표현에서 불연속을 초래한다. 이러한 문제는, 다-시점 (multi-view) 입체 (stereoscopic) 콘텐츠가 등극선을 따라 정밀하게 정렬된 카메라들로부터의 영상 세트를 요구하므로, 다-시점 입체 애플리케이션에서 중대한 문제가 될 수 있다.

셋째, 이 방법에서는 단지 경계 영역들을 따라 포인트들을 샘플링하고 최적화한다. 이는 최적화 단계에서 계산량이 적은 이점이 있으나, 최적화는 잔여 내부 영역에서의 평활 (smoothness) 을 보장하지 않는다. 왜곡 (distortion) 은 전체 영상 공간에 대하여 확장하지 않으므로, 비평활은 과도한 국부적 왜곡을 발생시킨다.

마지막으로, 이 최적화 방법은 희소 (sparse) 불규칙 (irregular) 메쉬 (mesh) 에 효율적이지만, 안정적이지는 않다. 이 방법에서는 먼저 포아송 방정식(Poisson's equation) Δu = f 의 해를 구한다. 이는 대규모의 삼각형들을 포함하는 희소 불규칙 메쉬에 대한 강한 형상 보존이란 장점을 갖는다. 그러나, 이러한 메쉬는 중복되는 면들을 포함한다. 이러한 문제를 해소하기 위하여, 오류 버텍스 (vertex) 를 식별하고 각 반복 (iteration) 에서 비중복 (non-overlapping) 에너지를 강화하나, 이는 상대적으로 많은 계산량을 요하고 고유해를 갖지도 않는다.

본 발명에서는, 상술한 바와 같은 종래 기술의 문제를 해결하여, 확장된 단일 영상 표현 모델이 공간적 평활 뿐 아니라 시간적 평활도 보장하여, 정지 영상 뿐 아니라 비디오에도 적용가능하도록 함으로써, 효율적인 입체 컨텐츠의 생성에 대해 더 정확하고 일반적인 해결책을 제공하는 것을 그 목적으로 한다.

전술한 목적을 달성하기 위한 본 발명에 의한 정지 영상의 공간적 평활 (spatial smoothness) 을 위한 다시점 영상 처리 방법은, 가시적 포인트 버퍼 (Visible Points Buffer; VPB) 를 생성하는 단계, 상기 가시적 포인트 버퍼로부터 메쉬 (mesh) 를 생성하는 단계, 상기 메쉬를 평활하게 (smooth) 되도록 최적화하는 단계, 및 상기 최적화된 메쉬로부터 오클루젼 (occlusion) 이 없는 이미지를 렌더링하는 단계를 포함한다.

또한, 본 발명에 의한 동영상 비디오의 시간적 코히어런시 (Temporal Coherency) 를 위한 다시점 영상 처리 방법은, 제 1 프레임에 대하여 가시적 포인트 버퍼 (Visible Points Buffer; VPB) 를 생성하고 최적화하는 단계, 상기 제 1 프레임과 이웃하는 후속 프레임인 제 2 프레임에 대한 VPB를 생성하는 단계, 상기 제 1 프레임에 대한 VPB에서 관측되는, 상기 제 2 프레임에 대한 VPB의 포인트를, 제한된 포인트로 결정하는 단계, 상기 제한된 포인트를 그 대응 위치에 위치시키는 단계, 상기 제한된 포인트 이외의, 상기 제 2 프레임에 대한 VPB의 잔여 포인트 및 상기 제한된 포인트의 일부로 메쉬 세그먼트 (mesh segment) 를 구성하는 단계, 상기 메쉬 세그먼트를 개별적으로 파라미터화 (parameterization) 하는 단계, 상기 메쉬 세그먼트의 포인트들을 상기 대응 위치에 위치시킨 포인트와 함께 상기 제 2 프레임에 대한 VPB 상에 위치시키는 단계, 및 상기 제 2 프레임의 이미지를 렌더링 (rendering) 하는 단계를 포함한다.

본 발명에서 개시된 기술은 다음과 같은 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명은, 입체 영상에서 공간적 평활 뿐만 아니라 시간적 코히어런시도 보장할 수 있어, 정지 영상 뿐만 아니라 비디오에 대하여도 단일 영상 표현 모델을 확장하여, 입체 영상의 전 영역을 최적화하는데 있어 효율적이고 안정적인 영상 처리 방법을 제공할 수 있고, 이에 따라, 효율적인 입체 컨텐츠의 생성에 대해 더 정확하고 일반적인 해결책을 제공할 수 있다.

도 1은 단일 이미지의 경우에 대한 종래 기술과 동일한 전체 프로세스이다.
도 2는 가장 먼 쪽의 입체 카메라 쌍으로부터는 비가시적이나 등극선에 있는 다른 카메라로부터는 가시적인 영역을 나타낸다.
도 3은 상이한 장면 조건들 (하단) 로부터 통상적인 경우 (a) 와 오류가 있는 경우 (b) 간의 가시적 포인트 버퍼 (Visible Points Buffer; VPB) 의 비교를 나타낸다.
도 4는 가장 좌측 및 가장 우측의 카메라로부터 비가시적인 영역을 캡처 (capture) 하는 프로세스이다.
도 5는 가장 좌측 및 가장 우측 카메라 이미지 공간에서 생성된 메쉬들을 나타낸다.
도 6은 VPB 공간에서 가장 좌측 및 가장 우측 카메라 이미지 공간에서 생성된 메쉬 (도 5 참조) 의 배치 (a) 및 조합 (b) 을 나타낸다.
도 7은 두 개의 이웃 프레임 t 및 t-1 에 걸친 시간적 코히어런시를 보장하는 전체 프로세스이다.
도 8은 샘플링 비 n 을 이용하는 균일 샘플링 버텍스들에 의해 규칙성을 유지하는 동안 메쉬의 해상도가 감소될 수 있음을 보여 준다.
도 9는 제한된 포인트의 일부가 소프트 제한된 포인트로서 파라미터화 (parameterization) 단계에 포함되는 것을 나타낸다.
도 10은 확장된 가상 경계를 형성하는 프로세스를 나타낸다.
도 11은 도 12에서 비교되는데 사용된 장면이다.
도 12는 중앙 카메라 시점, 종래 기술, 및 본 발명에 의해 캡처된 영역의 비교를 나타낸다.
도 13은 종래 기술과 본 발명으로부터 생성된 이미지들에서 비경계 영역의 평활을 비교하여 보여 준다.
도 14는 시간적 제한조건을 이용한 경우와 그렇지 않은 경우의 최적화에 의해 프레임 간의 차이 맵 (difference map) 을 나타낸다.
도 15는 시간적 제한조건의 직접 적용과 제한조건의 배제에 의한 파라미터화를 보여 준다.
도 16은 상이한 메쉬 세그먼트 폭에 따른 결과 이미지를 보여 준다.
도 17은 비디오 어플리케이션으로부터의 결과 이미지를 보여 준다.
도 18은 실제 장면으로부터의 결과 이미지를 보여 준다.
도 19는 본 발명에서 버텍스 샘플링에 의한 더 낮은 해상도의 메쉬의 사용에 대한 결과를 보여 준다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

먼저, 정지 화상의 경우에 대하여 설명한다.

도 1에 도시한 바와 같이, 본 발명에 의한 시스템은 가시적 포인트 버퍼 (Visible Points Buffer; VPB) 로부터 메쉬를 생성하고, 이 메쉬는 최적화되어 평활화된다. VPB가 모든 가시적인 포인트들을 갖고 그 포인트들의 3차원 (3D) 위치들을 저장하므로, 오클루젼이 없는 이미지가 최적화된 메쉬로부터 렌더링 (rendering) 될 수 있다.

가시적 포인트 버퍼 (Visible Points Buffer; VPB) 를 생성하는 단계에서는, 미리정의된 최대 카메라 축간 거리 (Inter-Ocular Distance; IOD) 를 갖는 입체 카메라에 의해 생성되는 등극선 상에 배치된 임의의 카메라로부터 전체 가시 영역을 표현하는 가시적 포인트 버퍼 (VPB) 를 생성한다.

VPB 가 먼저 생성되고, 한 쌍의 Z-버퍼 (Z-buffer) 를 이용하여 가장 좌측 및 가장 우측의 이미지 공간의 포인트들의 가시성을 식별하고, 그 다음 두 카메라 중 어느 하나로부터의 가시적 포인트들이 중복없이 VPB 공간에서 수집된다. 동시에, VPB 에서의 포인트들의 상대적 수평 위치들이 주의깊게 결정되어, 각 행의 포인트들이 3D 공간에서 평활하게 연결된다. 그러나, 종래 기술에서는 도 2에 도시된 바와 같이 등극선으로부터 가시적인 모든 포인트들을 캡처할 수 없다. 도 2를 참조하면, 종래 기술에서는 중앙부 후방 (배경 오브젝트의 중앙 부분의 회색 점선) 에 위치한 카메라로부터 가시적일 수 있는 영역을 누락하게 된다. 이러한 오류적인 경우는 오클루젼 면들이 카메라에 매우 근접해 있거나 또는 오클루젼 면들 사이의 간극이 지극히 좁을 때 발생할 수 있다. 이에 따라 추가적인 프로세스가 필요하다.

가장 먼 카메라들로부터 비가시적인 영역들은 행별로 초기 VPB를 검증함으로써 간단히 식별될 수 있다. 도 3은 VPB의 행에서 포인트 배열의 비교를 나타낸다. 전형적인 경우(a)에 대하여, 우측 카메라로부터만 가시적인 영역들 (청색 박스들) 은 VPB 의 행(상위 행에서 박스들의 배열)에서 다른 유형의 영역의 우측편(초록색 박스, 적색 박스)에 위치된다. VPB의 행에서 이웃하는 두 포인트들이 (b)의 상위 행에 도시된 전형적 배열을 만족하지 않을 때, 이 두 포인트들 사이에 문제가 되는 누락 포인트들이 발생하게 된다.

누락된 세그먼트(segment)를 삽입하기 전에, 각 부분의 누락 포인트들의 수는, VPB에서 공간적 코히어런시 (spatial coherency) 를 유지하기 위하여 정의되어야 한다. 이는 두 개의 주변 포인트 ((b)에서 자홍색 선들에 의해 바운드되는 박스들) 를 임의의 가장 좌측/우측 카메라의 초점 평면 ((b)에서 검은선) 에 투영함으로써 결정될 수 있다. 여기에서는 가장 좌측 카메라의 초점 평면에 두 개의 주변 포인트를 투영한다. 누락 포인트의 수는 다음 수학식 (1)로서 계산될 수 있다(이하, 도 4 참조).

(여기서, 포인트 i, j는 두 개의 문제되는 포인트 (자홍색 원) 이고, u_i(L)은 가장 좌측의 카메라에 투영되는 포인트 i의 u 위치를 나타낸다.)

한편, 두 개의 주변 포인트들의 3차원 (3D) 위치들은 3D 공간에서 가상의 초점 라인 ((c)에서 자홍색 두꺼운 선) 을 형성하고, 두 개의 입체 카메라 위치들은 등극선 ((c)에서 초록색 두꺼운 선) 을 형성한다. 슬릿 카메라의 개념을 채용하면, 카메라가 가상의 초점 선들의 대응하는 위치들에 면하는 동안 등극선을 따라 가상 카메라를 움직일 때, 누락된 영역이 가시적일 수 있다. 즉, 먼저 누락 포인트들의 수로 두 라인들을 나눈다. 다음, 각 라인 상의 나누어진 포인트들 ((c)에서 자홍색 및 초록색 원들) 은 VPB에서의 누락 포인트들 ((c)에서 회색 박스들) 에 대한 관련성 ((c)에서 흑색 점선) 을 가질 수도 있다. 각 누락 포인트는 등극선 상의 대응 포인트 ((d)에서 초록색 원) 로부터 가상의 초점 선 상의 대응 포인트 ((d)에서 자홍색 원) 로 광선을 쏘는 방법인 레이-캐스팅 방법에 의해 캡처될 수 있다.

다음, 메쉬의 생성에 대하여 설명한다.

종래 기술과는 반대로, 본 발명에서는 VPB 에서 버텍스들로서 더 많은 포인트들을 샘플링함으로써 더욱 조밀한 메쉬 M 을 최적화한다. 이는 가시성이 변하는 경계에서의 형상 뿐 아니라 비경계 영역의 형상 보존에 불가피하다. 게다가, 종래 기술에서는 수직으로 들쭉날쭉한 공간의 포인트들로부터 들로네 삼각분할 (Delaunay triangulation) 을 이용하여 메쉬를 생성하고, 그리하여 두 포인트들 간의 연결성은 VPB 공간에서 정의된다. 이는 그 발생된 공간에서 이웃하는 두 포인트들이 M에서 연결되지 않을 수 있다는 것을 의미한다. 형상 보존 에너지는 최적화 단계에서 두 포인트들을 근접하게 위치시킨다 하더라도, 중복되는 보존 에너지가 그것을 방해할 것이다.

도 5에 나타낸 바와 같이, 본 발명에서는 먼저 한 쌍의 표준 메쉬들을 좌측 및 우측 카메라 이미지 공간에 각각 생성한다. 좌측에 대하여, 픽셀들 모두는 버텍스로서 샘플링되고, 우측에 대하여는, 좌측 카메라로부터 비가시적인 픽셀들이 샘플링된다. 이는 VPB에서 관측되는 픽셀들 모두가 M의 버텍스로서 샘플링된다는 것을 의미한다. 이러한 샘플링된 버텍스들은 샘플 포인트들과 동일한 방식으로 VPB 에 위치된다. 메쉬들의 표현은 도 6의 (a)에 표현되는 바와 같이 VPB에서 중복 (overlap) 될 것이다. 다음, 두 메쉬는, 우측으로부터 에지들을 가로지르는 에지들 ((a)에서 자홍색 선)을 제거하고, 연결되지 않은 영역을 들로네 조건 (Delaunay condition) 을 충족시키면서 삼각화함으로써 ((b)에서 자홍색 선) 결합된다. 이 프로세스는 생성된 메쉬 M의 임의의 부분을 원래의 이미지 공간에서 평활하게 표현되도록 한다. 두 카메라 모두로부터 비가시적인 영역에 대한 메쉬는 임의의 카메라로부터의 이미지 공간에서 생성된다. 이 메쉬는 마지막으로 우측 이미지 공간으로부터의 메쉬와 동일한 방법에 의하여 M에 삽입될 것이다.

모든 포인트들을 버텍스로서 샘플링하면, 최적화 프로세스는 과도한 계산량을 요하게 된다. 도 8은 메쉬가 상이한 샘플링 율 (sampling ratio) 로부터 형성되는 것을 나타낸다. 발생된 공간에서 각 행에 대한 매 n 포인트에서 포인트들을 샘플링함으로써, 메쉬의 규칙성이 유지될 수 있으며, 버텍스들의 수는 빠르게 감소한다. 동시에, 오클루젼 영역 (VPB에서 적색 및 청색 영역) 의 모든 포인트들은, 그 영역들의 형상 보존이 대단히 중요하기 때문에, 또한 샘플링된다. n의 값은 품질과 계산량 간의 트레이드-오프 (trade-off) 에 따라 사용자에 의해 정의될 수 있다. 반면, n의 값은 또한 오클루젼 영역의 수평 폭의 메디안 값으로서 자동으로 정의될 수 있다. 이는 오클루젼 영역이 메쉬에서의 불규칙성을 초래하기 때문이다. 오클루젼 영역의 폭의 메디안 값을 사용하여 측정에서 메쉬의 규칙성을 유지할 수 있다. 메쉬가 비경계 영역 내부에서 샘플링되는 더 많은 버텍스들을 갖고 VPB 공간이 아닌 두 개의 오리지널 이미지 공간들로부터 생성되므로, 이러한 샘플링 방법은 이전의 방법과 전혀 다른 것이란 점을 주목해야 한다.

다음 메쉬 파라미터화 (parameterization) 단계에 대하여 설명한다.

이 단계에서는, 전술한 메쉬 생성 단계에서 생성되는 초기 메쉬 M이 다른 2D 이미지 공간에서 파라미터화된다. M의 배열은 결과 이미지가 어떻게 렌더링될지를 결정한다. 따라서, 새로운 이미지 공간에서 M의 표현은, 장면 객체의 원래의 형상이 유지되면서, 공간적 평활을 보증해야 한다.

중복 방지를 위하여 외력에 의해 포아송 방정식 (Poisson’s equation) Δu = f 의 해를 구하는 대신, 투테 모델 (Tutte’s model) 에 기초하여 간단히 라플라스 방정식 Δu=0 의 해를 구한다. 이 접근은 안정적이고 빠르며 고유해를 갖는다. 경계 버텍스들의 2D 위치들을 직사각형의 형상 u,v = 0 또는 1로서 고정한 후, 잔여 버텍스들의 위치는 다음 수학식 (2), (3) 의 선형 시스템에서 구해질 수 있다.

(여기서, u 는 잔여 버텍스들의 u 위치의 벡터를 나타낸다.)

(w_ij 는 두 버텍스들 i, j를 연결하는 에지 (edge) 의 가중치이고, 여기서는 각도 보존 가중치 (angle preserving weight), 평균값 가중치 (Mean-value weight) 를 사용한다.)

투테 (Tutte) 와 플로우터 (Floater) 는, 고정된 경계 버텍스들이 볼록 다각형을 형성하면, 가중치 w_ij 모두 양이고, 행렬은 대칭, 즉, w_ij = w_ji 이며, 그에 따른 파라미터화는 일대일 맵핑 (mapping) 이 되어야 한다는 것을 입증했다.

수직 위치 v 는 모든 이미지 공간에서 동일하고, 시스템은 수평 위치 u 만을 구한다는 점이 주목되어야 한다.

M에서의 버텍스들은 그 발생된 공간에서 평활하게 연결되어 있기 때문에, 이러한 간단한 파라미터화가 적용될 수 있다. 즉, 버텍스들의 주변 형상은 VPB에서는 평활하지 않으나 그 발생된 공간에서는 평활하다. 단지 VPB에서 메쉬를 평활화하면, 장면의 객체들의 원래의 형상들은 중첩되지 않고 VPB에서 유지된다.

다음, 비디오의 경우에 대하여 설명한다.

도 7은 이웃한 두 프레임 t와 (t-1)에서 시간적으로 평활한 이미지들을 생성하는 프로세스의 개관을 나타낸다. 먼저, 이전 프레임으로부터의 형상 변화를 최소화한다. 이전 프레임은 미리 계산되어야 하고, 첫번째 프레임은 전술한 정지 화상의 경우에 대한 방법으로 계산된다. 다음 프레임들에 대하여, 먼저 정지 화상의 경우와 동일한 방식으로 VPB_t 를 생성한다. VPB_t (a) 에서의 포인트가 VPB_t-1 (b) 에서 관측될 때, 그 포인트 (제한된 포인트라고 한다) 는 그 대응 위치 ((c)에서 어두운 점) 에 위치된다. 효율적인 파라미터화를 위하여, 시스템은 잔여 포인트들 및 제한된 포인트들의 일부로 구성된 메쉬 세그먼트 (mesh segment) 세트를 파라미터화한다(d). 그러한 메쉬 세그먼트를 개별적으로 파라미터화한 후 (e), 메쉬 세그먼트에서의 포인트들은 미리 위치된 포인트와 함께 VPB_t 상에 위치된다(f). 마지막으로 프레임 t 에서의 이미지가 렌더링된다(g).

다음, 시간적 제한에 대하여 설명한다.

두 이웃하는 프레임들 간의 시간적 코히어런시는 메쉬 파라미터화 단계에서 버텍스들의 수평 위치들을 다음 수학식 (4) 로 제한함으로써 유지될 수 있다.

(여기서,

는 제한된 목표 위치를 나타내고, 이전의 프레임에서 대응하는 포인트의 위치로부터 계산될 수 있다. 두 이웃하는 프레임 간 장면 조건의 차이가 매우 작으므로, 대부분의 버텍스들은 시간적으로 제한된 위치들

를 갖는다. 그러한 버텍스들은 최적화 프로세스로부터 배제될 수 있다.

두 중앙 카메라 이미지 공간들 사이의 광류 (optical flow) 는 장면 변화에 따른 영상 조감도에서의 자연적 변화를 묘사하므로, 제한된 위치들

를 계산하기 위하여, 본 발명에서는, 두 VPB 공간들 VPB_t 와 VPB_t-1 사이의 포인트들 i의 광류 o_i 를, 두 중앙 카메라 이미지 공간들 C_t 와 C_t-1 사이의 포인트들의 광류에 다음 식(5)로서 매칭한다.

바꾸어, 식(5)는 또한 식(6)으로도 쓸 수 있다.

(여기서, i'은 프레임 t-1에서 i의 대응 포인트이고, u_i(C_t)는 프레임 t에서 센터 카메라 이미지 공간에서의 포인트 i의 u 위치를 나타내며, u_i(VPB_t)는 프레임 t에서 VPB에서의 포인트 i의 u 위치이다.)

중앙 이미지 공간과 VPB에서의 위치들 간 차이를 다음 식(7)과 같이 변위 값 d_i(t) 로 놓으면, 제한된 목표 위치

는 식 (6)으로부터 다음 식 (8)과 같이 계산될 수 있다.

제한된 위치

를 얻기 위하여, 상이한 프레임 i 와 i' 에서의 포인트들의 유사성이 계산되어야 한다. 포인트 i의 광류는 포인트 i'의 다른 목표 이미지 공간에서의 대응 위치를 나타낸다. 그러나, VPB_t 와 VPB_t-1 간의 광류를 계산하는 것은, VPB에서의 포인트들이 각 프레임마다 불규칙하게 배열되어 있기 때문에, 간단하지 않다. VPB_t 와 VPB_t-1 간의 광류의 직접적인 계산 대신, 먼저 그에 앞서 VPB_t-1에서의 변위 맵과 좌측 및 우측 카메라 이미지 공간에 대한 한 쌍의 광류들, L_t→L_t-1과 R_t→R_t-1을 계산한다. VPB에서의 포인트들과 카메라 공간들 L 및 R에서의 포인트들 간의 유사성은 이미 알려져 있다는 점이 주목되어야 한다. 각 포인트 i에 대하여, 한 쌍의 광류들을 이동하는 대응 포인트들 i'을 알아낸다. i'을 알게 되면, 변위 값 d_i'(t-1)이 양선형 (Bi-linear) 샘플링을 이용하여 얻어진다. 대응 포인트 i'이 이미지 공간들 모두로부터 관측되지 않는 경우, 포인트는 비제한된 포인트로서 남게 된다. 마지막으로, VPBt에서의 대부분의 포인트들은 도 9의 (a) (어두운 포인트들) 에 도시된 바와 같이 제한된다. 황색 포인트들은 잔여 비제한된 포인트들을 나타내고, 그러한 포인트들의 위치들은 이후에 메쉬 파라미터화에 의하여 최적화된다.

다음 소프트 제한조건에 대하여 설명한다.

제한된 위치들을 갖는 모든 포인트들은 파라미터화로부터 직접적으로 배제될 수 없다. 변위 값은 공간적으로 변동된다. 이는 모든 포인트들을 그들의 제한된 위치들로 하드 제한 (hardly constraining) 하는 것은 결과 이미지 내 포인트들의 공간적 평활도를 저해하는 것을 의미한다. 포인트 i를 둘러싼 로컬 영역에서의 제한된 위치들

이 평활하게 변동하지 않을 때, 그러한 제한된 위치들로부터의 결과는 또한 공간적으로 평활하지 않을 것이다. 더구나, 포인트들의 일부 제한된 위치들은 VPB에서 그 자신들에 의하여 중복된다.

이러한 문제를 개선하기 위하여, 시스템은 잘못된 제한조건들을 식별하여 소프트 제한조건들로 변경하고 메쉬 파라미터화에 포함시킨다. 잘못된 제한조건들은 각 제한조건의 신뢰도를 측정함으로써 식별될 수 있다. 각 포인트의 제한조건의 신뢰도 σ_i 는 변위 d_i 의 표준편차의 역으로서 측정될 수 있다. 이는 크기가 n_i 인 로컬 수평 검색 영역 N_i 에서 계산될 수 있다. 즉, 식 (9) 에 나타낸 바와 같다.

(여기서,

는

에 대한 d_j의 평균이다.)

만일 i의 제한조건의 신뢰도 σ_i 가 임계치보다 작으면, 제한된 포인트 i는 파라미터화에서 최적화된다. 이하에서는 예시적으로 임계치로서 200을 사용한다. 도 9는 이 프로세스의 결과를 나타낸다.

다음 메쉬 파라미터화에 대하여 설명한다.

단일 이미지의 경우와 같은 전체 메쉬에 대한 파라미터화를 하는 대신, 비제한되고 소프트 제한된 포인트들 (도 9의 (b) 에서 황색 및 자홍색 포인트들) 로 구성된 초기 메쉬 M 으로부터 메쉬 세그먼트의 세트를 생성한다. 이는 영역의 대부분이 이웃하는 두 프레임에 걸쳐 거의 동일하기 때문에 합리적이다. 이 경우, 전체 영역에 대해 푸는 것이 불필요하다는 것은 부정할 수 없다. 다음, 이러한 메쉬 세그먼트들은 투테의 메쉬 파라미터화에 의해 개별적으로 풀려 VPB_t 에 평활하게 위치된다.

도 9의 (b) 에 나타낸 바와 같이, 각 메쉬의 경계는 볼록 형상으로서 보장될 수 없고, 이는 파라미터화 결과에서 면 중복 (face overlapping) 을 초래한다. 동시에, 각 메쉬 세그먼트에 대한 파라미터화를 한다. 파라미터화가 메쉬에서 버텍스들에 대한 공간적 평활을 보장한다 하더라도, 이는 연결되는 메쉬의 외부와의 평활을 고려하지 않는다. 도 16의 가장 좌측의 열은 오류의 경우를 나타낸다. 이런 경우, 백그라운드의 포인트는 현재 및 이전 프레임으로부터 반대 방향으로 강화되나 시간적으로 제한된 포인트들 (하측 이미지에서 청색 선 아래의 포인트들) 은 현재의 프레임에서 고정된다. 이는 에지 세그먼트 경계 근처에서 급격한 로컬 첨예 (local sharpness) 를 야기한다.

오목이고 심리스(seamless)인 경계 메쉬 파라미터화를 위해, 본 발명에서는 확장된 가상 경계 기법을 이용한다. 가상 경계 기법을 이용하는 파라미터화 방법은, 원래의 경계를 따라 가상 경계를 추가하고, 그것들을 임의의 볼록 형상 또는 볼록 껍질 (convex hull) 로 수정하고, 형상-보존 가중치 (shape-preservation weight) 로 푸는 것에 의해, 오목 경계를 갖는 선형 파라미터화를 할 수 있다. 이러한 경우, 가상 경계는 볼록 형상 및 형상-보존 가중치를 형성하고 원래의 경계의 형상을 유지하므로, 중복은 방지될 수 있다. 통상적인 방법에 부가하여, 본 발명에서는 볼록 껍질을 확장하고 파라미터화에서는 확장된 영역의 버텍스들을 포함한다. 추가로 포함된 버텍스들의 위치를 소프트 제한하면, 메쉬 세그먼트의 파라미터화 결과는 외부에 심리스로 연결될 것이다.

도 10은 본 발명에 의한 확장된 가상 경계 기법의 프로세스를 도시한다. 먼저, M에서 메쉬 세그먼트를 Ω라고 하고, Ω⊂M이고, 세그먼트의 외부 영역을 Ψ=(M-Ω)라고 한다. Ω 에서 일부 버텍스들 ((a)에서 자홍색) 은 소프트 제한된 위치를 가질 것이고, Ψ 에서 버텍스들은 하드 제한된다. 여기서, 먼저 초기 메쉬 세그먼트 Ω (a) 로부터 확장된 볼록 껍질 Ω' (b) 를 생성한다. 그러면, Ω', ∂Ω'의 경계 및 오목 영역은 Ψ ((b)에서 청색 영역) 와 중복될 것이다. 마지막으로, ∂Ω'에서 제한된 버텍스들은 메쉬 파라미터화에 포함되고 섹션 3.2(c)에서 배제된 버텍스들과 동일하게 소프트 제한된 버텍스들로 변경된다. ∂Ω'의 폭은 사용자에 의해 정의되고, 이는 시간적 코히어런시와 공간적 평활 간의 일종의 트레이드-오프이며, 비교는 후술하는 실시예와 관련하여 기술될 것이다.

수식(4)로부터의 소프트 제한조건으로 수식(3)을 풀어서 확장된 메쉬 세그먼트를 파라미터화한다. 각 메쉬 세그먼트 Ω’은 제한된 버텍스들 i (

) 및 소프트 제한된 버텍스들 j (

)로 구성된다. 이는 일부 버텍스들의 위치들이 수식(9)에 의한 신뢰도 값에 의존하여 시간적으로 제한된 위치들

을 따라야 한다는 것을 의미한다. 그러나, 경계 내부의 버텍스들의 위치들을 제한하는 것은 면 중복을 초래하고 강도를 조절하는 것은 불가능하다.

파라미터화에서 버텍스들의 위치를

으로 제한하는 대신, 본 발명에서는 먼저 버텍스들의 위치들을 제한하는 에지 가중치를 계산하고 이로써 수식(3)을 푼다. 수식(3)으로부터, 버텍스 i의 결과 위치는 인접한 버텍스들 j (j∈N_i)의 위치들의 가중치합에 의해 다음 수식(10)으로 결정된다.

(여기서, w_i는 버텍스 i에 연결된 에지 가중치의 합이다.)

이는 이웃하는 버텍스들에 대한 i의 상대적 위치가 에지 가중치 w_ij 에 의해 정의됨을 의미한다. 수식(10)은 또한 다음의 수식(11)로도 기재할 수 있다.

마지막으로, 수식(3)에서 i에 연결된 에지의 가중치가 다음 수식(12)를 만족할 때, 파라미터화된 결과에서 u의 상대 위치들은 제한된 위치들

의 상대 위치들로부터 유지될 것이다.

N을 에지의 수, m을 버텍스들의 수, w를 크기 n의 에지 가중치 벡터라 하면,

으로부터 u로 상대 위치들을 유지하는 w는 다음 수식(13)의 E_t(w)를 최소화한다.

여기서, m × n 행렬 A는 다음 수식(14)와 같다.

(여기서, σ_i는 수식(9)에서 제한조건의 신뢰도 값이며, 제한된 버텍스들에 의해 둘러싸이지 않은 버텍스들에 대해 σ = 0 로 한다.)

Aw의 각 행은 버텍스 당 에지 가중치로부터의 시간적 오차를 나타낸다는 점이 주목되어야 한다.

한편, 연결된 에지의 가중치들이 다음 수식(15)를 만족하면서 평활하게 변화하면, 파라미터화된 결과에서 로컬 형상들은 평활하게 될 것이다.

즉, 공간적 비평활을 나타내는 오차는 다음 수식(16)으로 나타낼 수 있다.

여기서, B는 n × n 라플라스 행렬로서, 다음 수식(17)과 같다.

에지 가중치들 모두가 동일할 때, 파라미터화된 결과는 시간적 제한조건에 관계없이 공간적으로 평활하다(E_s = 0). Bw의 각 행은 에지마다 정의된다는 점을 주목해야 한다.

최적화된 에지 가중치는 수식(13)과 수식(16)으로부터 두 종류의 오차들을 최소화하는 최소-자승법에 의해 계산될 수 있다. 비제한된 버텍스들 또는 경계 버텍스들에에 연결된 에지 가중치를 경계값 조건으로서 1로 고정한 후, 다음 수식(18)의 값을 구한다.

여기서, λ는 전역의 공간 평활도를 정의하는 스케일 인자이다. 본 발명에서는 에지 가중치가 중복을 방지하기 위해 양의 값이어야 하기 때문에 비음수 최소자승법 (NonNegative Least-Squares; NNLS) 을 사용하였다.

<실시예>

본 발명에 따른 방법을 C++를 이용하여 구현하였다. 모든 실험은 Intel i7-3770 @ 3.40GHz processor with an 8GB RAM에서 수행되었다. OpenCV 2.0을 사용하여 결과들을 시각화하고 Intel Math Kernel Library (MKL) 를 이용하여 파라미터화를 수행하였다.

실시예로서 정지 영상의 경우에 대하여 이하 설명한다.

도 12는 중앙 카메라 시점 (a) 및 종래 기술 (b) 에 대해 본 발명 (c) 로부터 얼마나 많은 영역이 캡처되는지를 비교한 것이다. 첫 행은 두 방법에 대한 초기의 최적화된 VPB 를 나타내고, 다음 행은 렌더링된 이미지이다. 세번째 행에서는 다른 퍼스펙티브 (perspective) 카메라 시각으로부터 관측된 3 개의 오클루젼되는 캐릭터들에 대해서만 VPB 에서의 포인트들을 보여주고, 캡처된 샘플 포인트들의 수가 기재되어 있다. 종래 기술 (b) 가 중앙 카메라 시점 (a) 보다 더 많은 샘플 포인트를 캡처하나, 중앙 카메라로부터 가시적인 영역을 캡처하지 못한다(가운데 캐릭터의 코 부분 참조). 그러나, 본 발명 (c) 는 중앙으로부터 가시적인 포인트들을 포함하여 더 많은 샘플 포인트 (VPB에서 황색 영역에 있는 포인트들) 를 얻게 된다. 마지막 행에서 보인 바와 같이, 종래 기술 (b) 은, 입체 카메라가 미리 정의된 최대 IOD보다 더 작은 IOD 로 설정될 경우, 적절한 입체 이미지 쌍을 생성할 수 없다. 두 렌더링된 이미지 ((b)와 (c)의 둘째 행) 모두 도 11에 보인 바와 동일한 조건 하에서 본 발명에 관한 방법과 동일한 방법에 의하여 최적화된다.

도 13은 본 발명에서 사용된 규칙적이고 밀집한 메쉬가 최적화 단계에서 전체 영역에 대한 평활을 보장하는 것을 나타낸다. 각 행에서, 상측의 이미지는 렌더링된 이미지 (a), (d) 이고, 오류 영역의 일부분을 청색 박스에 나타내었다. 하측에 있는 이미지들은 최적화된 VPB (b), (e) 및 변위 맵 (c), (f) 이다. 변위 맵들은 도 7(b)에 있는 것과 동일하게 표현된다. 좀더 양호한 표현을 위하여, 변위 맵들의 색상은 동일한 감마 값으로 조정된다. (c)에 나타낸 바와 같이, 이전 방법은 어느 정도 공간적으로 평활한 이미지를 생성한다. 결과는 VPB 표현 (b) 에서 적당해 보이나, 렌더링된 이미지 (a) 의 비경계 영역은 꼭 평활하지는 않다(청색 박스 참조). 이는 또한 이전 방법과 본 발명에 의한 방법으로부터의 변위 맵들 (c), (f) 모두에서의 대응하는 흑색 점선 표시된 원에서 이해될 수 있다. 그러나, 본 발명에 의한 방법은 VPB (e) 에서 경계 영역 뿐 아니라 비경계 영역 (d) 에 대해 평활을 보장한다.

본 발명에 의한 방법은 종래 기술에 비해 앞서 입증한 바와 같이 더 고품질의 결과를 가지며, 그 솔루션 (solution) 은 더 간단하고 더 강건 (robust) 하다. 종래 기술에 의한 결과는 사용자에 의해 설정되는 임계치를 사용하는 정지 기준에 의존한다는 점을 주목해야 한다. 이러한 장점에도 불구하고, 본 발명에 의한 방법은 종래 기술보다 더 많은 버텍스들을 샘플링한다. 다음의 표 1은 도 1의 (c)에 도시한 장면에 대한 양 방법으로부터의 최적화 단계에서 요구되는 버텍스 수 및 시간의 비교 데이터를 보여 준다.

해상도		160 × 90	320 × 180	640 × 360
종래 기술	계산 시간 버텍스 수	0.165 초 1,047	0.354 초 2,297	0.770 초 4,893
본 발명	계산 시간 버텍스 수	0.179 초 16,691	0.440 초 66,792	1.431 초 237,201

여기서, 본 발명에 대해 n = 1의 모든 포인트들을 샘플링하고, 종래 기술에 대하여 시뮬레이션 정지 조건을 Δ=0.001로서 사용하였다. 표 1에 나타낸 바와 같이, 본 발명에 의한 방법은 종래 기술에 비해 동일한 해상도의 이미지에 대해 더 많은 계산량을 요한다. 그러나, 버텍스 수와 관련하여, 본 발명에 의한 최적화 프로세스에서는 합리적인 계산 시간을 요한다. 도 19는 본 발명에서 버텍스 샘플링에 의한 더 낮은 해상도의 메쉬의 사용에 대한 결과를 보여 준다. 도 19에서 보는 바와 같이, 샘플링 레이트 (1/n) 가 높을수록 더욱 고품질이 된다. 경험적으로 합리적인 결정을 하면 n = 8로 정할 수 있고, 이 경우 계산량은 n = 1인 경우의 1/4보다도 작아 충분히 합리적이다.

다음, 비디오의 경우에 대한 실시예에 대하여 기술한다.

도 14는 본 발명에 의한 방법이 프레임들에 대한 시간적 코히어런시를 보장한다는 점을 보여 준다. 시간적 제한을 갖는 경우 (b) 및 시간적 제한을 갖지 않는 경우 (d) 에 대한 최적화된 프레임2의 한 쌍의 이미지들을 생성하였다. 첫번째 프레임 이미지 (a) 로부터의 차이 맵들 (difference maps) (c), (e) 은 각 채널에 대해 두 이미지를 감산함으로써 계산된다. 시간적으로 최적화된 결과 (c) 와는 대조적으로, 정적인 배경 (체크 평면) 에 대한 (e) 에서는 거대한 수직의 상이한 영역 (수직 선들) 이 존재한다. 이는 포인트들의 변위들이 오클루젼 영역들의 위치들에 따라 공간적으로 변경되기 때문이다. 박스들의 좌측의 상이한 영역은 그림자에 기인한다는 점을 주목해야 한다. 동시에, (e)에 보인 바와 같이, 상이한 영역들은 경계 영역뿐만 아니라 전체 공간에 걸쳐 분산된다. 이는 본 발명에서 상대적으로 밀집한 메쉬를 이용하는 것이 시간적 평활을 유지하는 이점을 도출한다는 것을 의미한다.

도 15는 소프트 제한조건 사용의 중요성을 나타낸다. (a) 에서, 배경 (빙벽)및 전경 (손) 포인트들은 강한 시간적 제한조건들을 갖고 그 방향은 이전 프레임에서 반대이기 때문에, 캐릭터의 새끼손가락은 이상한 형상으로 렌더링된다. 이는 그 영역의 포인트에서 광류의 큰 변화가 있다는 것을 의미한다. 우리의 제한조건 개선 프로세스는 수식(9)로부터 σ_i를 평가함으로써 오류 포인트를 효과적으로 식별한다. (b)에 나타낸 바와 같이, 이러한 영역은 본 발명에 의한 확장된 가상 경계 기법에 의해 적절히 식별되고 원활히 해결된다.

도 16에서는 확장된 가상 경계 기법에서 상이한 폭의 ∂Ω’으로부터의 결과들 간의 차이를 나타낸다. 전체 이미지는 720 × 360 의 해상도 하에 렌더링된다. 가장 좌측의 열은 심리스 조건을 고려하지 않고 파라미터화 결과를 나타낸다. 하측의 이미지에서 보는 바와 같이, 개별적인 파라미터화는 세그먼트 경계(청색선)에서 로컬 첨예를 야기한다. ∂Ω’의 폭이 클수록 전체 영역에서 더 평활한 한편, 다른 열들은 본 발명이 공간적 평활을 보장할 수 있는 점을 보여 준다. 이는 사용자에 의해 제어가능한 시간적 및 공간적 평활 사이의 일종의 트레이드-오프이다.

표 2는 본 발명에 의한 방법이 스테레오 비디오 애플리케이션에 적당하다는 것을 보여 준다. n = 1로 버텍스들을 샘플링하고, 이미지의 해상도는 720 × 390이다. 시스템이 두 번 (가중치 최적화, 파라미터화) 최적화를 한다 하더라도, 단지 전체 메쉬가 아니라 메쉬 세그먼트에 대해 풀기 때문에 최적화 프로세스는 매우 빠르다. 전술한 정지 영상의 경우에 대하여 계산 시간을 가속화하는 샘플링 방법이 적용될 수 있다. 표 2는 n = 1의 사용이 비디오의 경우에도 충분히 계산량이 적다는 점을 보여 준다.

프레임	1	2	3	4	5
버텍스 수 세그먼트 수	289,493 1	16,976 39	15,945 49	13,815 43	15,245 46
전체 계산 시간 (초)	1.841	0.727	0.561	0.435	0.510
가중치 최적화(초) 파라미터화(초)	0 1.841	0.636 0.091	0.498 0.063	0.389 0.046	0.450 0.060

도 17은 z축을 따라 별들을 회전시키고 (a), x축을 따라 별을 회전시키고 (b), 청색 공을 없애면서 토끼를 옮기고 (c), 두 객체들과 함께 y축을 따라 테이블을 회전하는 (d) 등의 애니메이션과 같은 비디오 어플리케이션으로부터의 결과를 보여 준다. 좌측으로부터 우측까지, 각 열은 시간 프레임 1, 32, 64, 및 96 에서의 렌더링된 이미지를 보여 준다.

도 18은 실제 장면으로부터의 결과를 예시한다. 본 발명에 의한 방법은 카메라 이미지 공간으로부터 샘플링된 포인트들을 처리하므로, 그 결과가 장면의 복잡도에의해 영향받지 않는다. 보충된 비디오는 결과들을 검증한다.

이상에서 기술한 바와 같은 본 발명은 공간적 평활 뿐만 아니라 시간적 코히어런시도 보장할 수 있는 향상된 방법이다. 본 발명에 의한 방법은, 먼저 이전 프레임에서 결과를 참조하는 시간적 제한조건들을 구성하고, 그 다음, 장면 조건들에 따라 공간적 및 시간적 평활을 자동으로 밸런싱(balancing)하면서 가시적 포인트들의 위치들을 최적화한다. 본 발명에서는 또한, 보다 양호한 품질의 결과 이미지를 위하여, 가장 좌측 및 가장 우측의 카메라들의 쌍으로부터 비가시적인 영역을 식별하고 캡처하는 부가적인 프로세스와 이미지 영역 전체를 최적화하는 효율적이고 안정적인 방법을 제공한다. 그것들은 비디오 애플리케이션에 대한 방법으로 확장하는데 있어 매우 중요하다. 결과적으로, 본 발명에 의한 방법은, 효율적인 입체 컨텐츠 생성에 대해 더 정확하고 일반적인 해결책을 제공하면서, 기존 방법에 대해 정지 영상 뿐 아니라 입체 비디오에도 적용가능하도록 확장하였다.

상기에서는 본 발명을 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (19)

1. 정지 영상의 공간적 평활 (spatial smoothness) 을 위한 다시점 영상 처리 방법으로서,
   가시적 포인트 버퍼 (Visible Points Buffer; VPB) 를 생성하는 단계;
   상기 가시적 포인트 버퍼로부터 메쉬 (mesh) 를 생성하는 단계;
   상기 메쉬를 평활하게 (smooth) 되도록 최적화하는 단계; 및
   상기 최적화된 메쉬로부터 오클루젼 (occlusion) 이 없는 이미지를 렌더링하는 단계를 포함하고,
   상기 메쉬를 최적화하는 단계는, 메쉬를 파라미터화 (parameterization) 하는 단계를 포함하는, 다시점 영상 처리 방법.
2. 제 1 항에 있어서,
   상기 가시적 포인트 버퍼를 생성하는 단계는, 미리정의된 최대 축간 거리 (Inter-Ocular Distance; IOD) 를 갖는 입체 카메라에 의해 생성되는 등극선 상에 배치된 임의의 카메라로부터 전체 가시 영역을 표현하는 가시적 포인트 버퍼를 생성하는 단계를 포함하는, 다시점 영상 처리 방법.
3. 제 1 항에 있어서,
   상기 메쉬를 생성하는 단계는,
   한 쌍의 표준 메쉬를 좌측 및 우측 카메라 이미지 공간에 각각 생성하는 단계;
   상기 한 쌍의 표준 메쉬를 결합하는 단계;
   상기 좌측 및 우측 카메라로부터 비가시적인 영역에 대한 메쉬를 상기 좌측 및 우측 카메라 이외의 카메라 이미지 공간에 생성하는 단계; 및
   상기 결합된 메쉬에 상기 좌측 및 우측 카메라로부터 비가시적인 영역에 대한 메쉬를 삽입하는 단계를 포함하는, 다시점 영상 처리 방법.
4. 제 3 항에 있어서,
   상기 좌측 카메라에 대하여는 픽셀 (pixel) 전부가 버텍스 (vertex) 로서 샘플링되고, 상기 우측 카메라에 대하여는 좌측 카메라로부터 비가시적인 픽셀이 샘플링되는, 다시점 영상 처리 방법.
5. 제 3 항에 있어서,
   상기 메쉬를 결합하는 단계 및 상기 메쉬를 삽입하는 단계는 들로네 삼각 분할 (Delaunay Triangulation) 을 이용하는, 다시점 영상 처리 방법.
6. 삭제
7. 제 1 항에 있어서,
   상기 메쉬를 파라미터화하는 단계는, 상기 생성된 메쉬를 다른 2차원 (2D) 이미지 공간에서 파라미터화하는, 다시점 영상 처리 방법.
8. 제 1 항에 있어서,
   상기 메쉬의 버텍스 (vertex) 들은 상기 버텍스들이 생성된 공간에서 평활하게 연결되는, 다시점 영상 처리 방법.
9. 제 1 항 내지 제 5 항, 및 제 7 항 내지 제 8 항 중 어느 한 항에 의한 다시점 영상 처리 방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터 판독가능 기록매체.
10. 동영상 비디오의 시간적 코히어런시 (Temporal Coherency) 를 위한 다시점 영상 처리 방법으로서,
    제 1 프레임에 대하여 가시적 포인트 버퍼 (Visible Points Buffer; VPB) 를 생성하는 단계;
    상기 제 1 프레임과 이웃하는 후속 프레임인 제 2 프레임에 대한 VPB를 생성하는 단계;
    상기 제 1 프레임에 대한 VPB에서 관측되는, 상기 제 2 프레임에 대한 VPB의 포인트를, 제한된 포인트로 결정하는 단계;
    상기 제한된 포인트를 그 대응 위치에 위치시키는 단계;
    상기 제한된 포인트 이외의, 상기 제 2 프레임에 대한 VPB의 잔여 포인트 및 상기 제한된 포인트의 일부로 메쉬 세그먼트 (mesh segment) 를 구성하는 단계;
    상기 메쉬 세그먼트를 개별적으로 파라미터화 (parameterization) 하는 단계;
    상기 메쉬 세그먼트의 포인트들을 상기 대응 위치에 위치시킨 포인트와 함께 상기 제 2 프레임에 대한 VPB 상에 위치시키는 단계; 및
    상기 제 2 프레임의 이미지를 렌더링 (rendering) 하는 단계를 포함하는, 다시점 영상 처리 방법.
11. 제 10 항에 있어서,
    상기 제한된 포인트로 결정하는 단계는, 상기 제 1 프레임과 상기 제 2 프레임에서의 포인트들의 유사성을 계산하는 단계를 포함하는, 다시점 영상 처리 방법.
12. 제 11 항에 있어서,
    상기 유사성을 계산하는 단계는, 상기 제 1 프레임에 대한 VPB 에서의 변위 맵 (displacement map) 과 좌측 및 우측 카메라 이미지 공간에 대한 한 쌍의 광류 (optical flow) 를 계산하는 단계를 포함하는, 다시점 영상 처리 방법.
13. 제 10 항에 있어서,
    상기 제한된 포인트로 결정하는 단계는, 소프트 제한조건 (soft constraints) 을 이용하여 결정되는, 다시점 영상 처리 방법.
14. 제 13 항에 있어서,
    상기 소프트 제한조건은, 제한조건의 신뢰도를 측정함으로써 오류가 있는 제한조건이 배제되는, 다시점 영상 처리 방법.
15. 제 14 항에 있어서,
    상기 제한조건의 신뢰도는, 공간적으로 변동되는 변위를 이용하여 결정되는, 다시점 영상 처리 방법.
16. 제 10 항에 있어서,
    상기 메쉬 세그먼트를 파라미터화하는 단계는,
    상기 메쉬 세그먼트의 경계를 따라 확장된 가상 경계를 추가하는 단계;
    상기 가상 경계를 임의의 볼록 형상 또는 볼록 껍질 (convex hull) 로 수정하는 단계; 및
    형상-보존 가중치 (shape-preservation weight) 를 이용하여 해를 구하는 단계를 포함하는, 다시점 영상 처리 방법.
17. 제 16 항에 있어서,
    상기 형상-보존 가중치를 이용하여 해를 구하는 단계는, 버텍스들의 위치들을 제한하는 에지 가중치를 최적화하는 단계를 포함하는, 다시점 영상 처리 방법.
18. 제 17 항에 있어서,
    상기 에지 가중치를 최적화하는 단계는, 최소-자승법 (least-square method) 을 이용하는, 다시점 영상 처리 방법.
19. 제 10 항 내지 제 18 항 중 어느 한 항에 의한 다시점 영상 처리 방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터 판독가능 기록매체.
    

Images