KR20030077985A - 3ｄ 장면 모델링 방법 - Google Patents

Abstract

본 방법은, 모델을 타당성 검사(validating)하기 위해,

- 모델(2)에 고유한 근사(approximation)에 의해 생성된, 2D 합성된 이미지(4) 상에서 최대로 허용된 왜곡(5)의 사전 결정 단계와;

- 기준 이미지(7)의 지점(I)에 대해, 이러한 지점(I)에 대응하는 장면의 3D 지점을 나타내는 합성 이미지(4) 세트에 기초하여, 이러한 최대 왜곡에 대응하는 이 지점(I)의 깊이(z_i)의 최소 깊이 값및 최대 깊이 값의 계산 단계와;

- 상기 합성 이미지 세트에 대해 계산된 값 중에서 에러의 최소값() 및 에러의 최대값()에 따라, 이 지점(I)의 깊이(z_i) 주변의 스팬(span)의 계산 단계를 포함하는 것을 특징으로 한다.

응용은 이미지의 합성 또는 데이터 압축을 위한 모델 구성에 관한 것이다.

Description

3Ｄ 장면 모델링 방법{PROCESS FOR MODELLING A 3Ｄ SCENE}

본 발명은 3D 장면(scene) 모델링 방법에 관한 것으로, 더 구체적으로 합성 이미지의 왜곡 제어가 가능하도록, 평면의 각면화된(plane faceted) 3D 모델에 의해 3D 대상을 모델링하거나 근사(approximating)시키는 방법에 관한 것이다.

본 발명은 깊이 맵(depth map)을 소유하는 기준 이미지에 기초하여 장면의 3D 모델 구성을 수반한다.

도 1은 3D 공간에서의 참조 번호가 1인 대상의 표면을 나타낸다. 각면화 또는 삼각 분할법(triangulation)에 의한 이러한 대상의 근사는 참조 번호가 2인 표면을 갖는 모델을 초래한다. 합성 이미지는 모델을 관찰하는 지점(6)으로부터 평면(4)으로 투사함으로써 얻어진다. 대상의 표면을 모델의 표면으로 근사함으로 인한 에러(3)는 참조 번호가 5인 2D 왜곡에 의한 이미지로 전달된다. 도면은, 평면에 의해 3D 대상의 표면을 근사함으로 인한 에러가 이미지의 윤곽(silhouette)의 위치에서의 에러에 의해, 더 구체적으로 대상의 형태 및 이미지에서의 구조(texture)의 왜곡에 의해 전달될 수 있음을 도시한다.

종래 유형의 3D 모델은 3D 각면에 의한 표현이다. 깊이 맵의 각면화에 대해 알려진 방법이 있다. 하나의 구성은 깊이 맵의 초기 삼각 분할법에 기초한 반복 방법을 수반한다. 이 방법은, 예를 들어 신 첸(Xin CHEN) 및 프란시스 슈미트(Francis SCHMITT)의, "부자연스러운 표면 삼각 분할법에 의한 적응형 내부 데이터 근사법(Adaptive interval data approximation by constrained surfacetriangulation)", {93년 7월, 이탈리아, 제노바, "컴퓨터 그래픽에서의 모델링(Modelling in Computer Graphics)"에 대한 IFIP 연구 회의, 페이지 95 내지 113}의 논문에 언급되어 있다.

도 2는 이러한 종류의 "개략-미세(coarse to fine)" 유형의 증분 각면화를 도시한다. 더 엄밀하게, 도 2a 내지 2d는 연속적인 반복에 해당하는데, 제 1 반복, 즉 도 2a는 직사각형 이미지로부터 2개의 삼각형을 생성하는 것이다. 각면화가 초기 모델을 구성하기 위해 이전의 다각형화(polygonized) 및 삼각 분할된 이미지 영역에 한정될 수 있음을 주의해야 한다.

각 반복마다, 근사 에러 맵이 계산되는데: 이미지의 모든 지점에서 계산된 이러한 에러는 픽셀의 깊이 값과 각면화를 통한 근사값 사이의 차이에 해당한다. 이러한 에러 맵에 기초하여, 가장 불량하게 근사된 지점이 검출되는데: 이 지점은, 절대값에 관련하여 가장 큰 에러를 갖는 지점이다. 이 에러는 임계치와 비교되는데: 에러가 임계치보다 적으면, 각면화 구성은 종료되고; 임계치보다 크면, 대응하는 지점은 각면의 새로운 정점(vertex)으로 도입되고, 정점이 속해있는 각면은, 도 2b에 표시된 바와 같이 3개의 새로운 각면으로 구성되거나, 그 다음 반복 동안 도 2c에 표시된 바와 같이, 정점이 에지상에 위치해 있는 경우 4개의 새로운 각면으로 구성된다.

가장 불량하게 근사된 지점을 통한 알려진 각면화 방법에서, 하나의 임계치는 이미지의 모든 지점에 사용된다. 그 결과, 얻어진 품질은 균일하지 않다. 더욱이, 최소로 필요한 품질을 위한 모델링 비용, 모델을 한정하는데 필요한 정보 또는표현 비용은 상당히 커질 수 있다.

본 발명의 목적은 전술한 결점을 해결하는 것이다. 그 주제는, 모델을 묘사하는 근사 깊이 맵을 계산함으로써, 관찰하는 지점 및 본래 깊이 맵과 연관된 기준 이미지에 기초하여 한정된 3D 장면을 모델링하는 방법으로서,

- 모델에서의 고유 근사에 의해 생성된 2D 합성 이미지 상의 최대로 허용된 왜곡의 사전 결정 단계와,

- 지점(I)에 대응하는 장면의 3D 지점을 나타내는 합성 이미지 세트에 기초하여 기준 이미지의 지점(I)에 대해, 이러한 최대 왜곡에 대응하는 이러한 지점(I)의 깊이(z_i)의 최소 깊이 값{및 최대 깊이 값{}의 계산 단계와,

- 합성 이미지 세트에 대해 계산된 값 중에 에러의 최대값() 및 에러의 최소값()에 따라, 이 지점(I)의 깊이(z_i) 주위의 스팬(span)의 계산 단계를 포함하며,

이러한 지점(I)에 대해 계산된 스팬에 속하거나 속하지 않는 지의 여부에 따라, 기준 이미지의 지점(I)에 관련된 대응하는 모델의 3D 지점의 깊이의 함수로서, 반복하여 계산된 근사 깊이 맵을 타당성 검사(validating)하는 단계를 또한 포함하는 것을 특징으로 한다.

특정 구현에 따라, 상기 방법은, 합성 이미지에 대해 지점(I)의 깊이의 최소값 및 최대값의 계산이, 이러한 합성 이미지에서의 지점(I)에 대응하는 에피폴라선(epipolar line)을 이용함으로써 수행되는 것을 특징으로 하는데, 상기 에피폴라 선은 최대로 허용된 왜곡에 대응하는 거리로 언급된다.

특정 구현에 따라, 모델이 기본 영역 세트에 의해 한정되면, 상기 타당성 검사 단계 동안 이용되는 깊이를 갖는 3D 지점은 모델의 기본 영역의 지점이다.

특정 구현에 따라, 기본 영역은 각면이고, 반복에 의한 계산은 깊이 맵의 각면화이며, 상기 반복은, 그 방법이 "개략-미세" 또는 "미세-개략" 유형인지의 여부에 따라 모델의 새로운 3D 각면 정점의 생성, 또는 모델의 3D 각면 정점의 삭제를 포함한다.

특정한 특성에 따라, "개략-미세" 유형의 방법은, 상기 반복이, 각면과 관련 있고 스팬 외부에 있는 근사값 중에서 가장 불량한 근사값의 계산을 포함하며, 새로운 정점은 이 값에 대응하는 지점에 관련되는 것을 특징으로 한다.

특정한 특성에 따라, 에러 계산이 수행되는 합성 이미지 세트는 기준 이미지를 사용하여 관찰하는 지점의 세트를 나타내는 샘플에 대응한다. 또 다른 특정한 특성은, 에러 계산이 수행되는 합성 이미지 세트가 기준 이미지에 공통인 3D 지점의 임계치보다 더 큰 수를 갖는 이미지로 구성되는 것에 있다.

특정 구현에 따라, 최대로 허용된 왜곡은 이미지 특성, 예를 들어 휘도 경사도(luminance gradient)의 함수로서 미리 결정된다.

본 발명은 또한 이미지 생성 방법에 관한 것인데, 상기 이미지가 전술한 방법에 따라 장면의 모델링에 기초하여 생성되는 것을 특징으로 한다.

본 발명은, 또한 3D 장면을 한정하고, 렌디션(rendition)에 관한 기준 이미지, 및 이와 연관된 깊이 맵에 관련되는 데이터를 압축하는 방법에 관한 것인데, 상기 깊이 맵은 청구항 4의 방법에 따른 각면화에 의해 모델링되고, 기준 이미지 및 깊이 맵에 관련된 데이터는 각면을 한정하는 데이터로 대체되는 것을 특징으로 한다.

본 발명은, 또한 3D 장면을 한정하고, 렌디션에 관한 기준 이미지, 및 이와 연관된 깊이 맵에 관련되는 데이터를 압축하는 방법에 관한 것인데, 상기 방법은 청구항 3의 모델링 방법에 따른 모델링 단계를 포함하고, 모델의 기본 영역은 깊이 맵을 이미지 블록으로 분할함으로써 한정되고, 근사 깊이 맵에 대한 계산은, 블록의 불량한 근사 지점이 결정되는 근사 깊이인 양자화 깊이를 제공하기 위해 이들 블록에 대한 양자화 단계크기(quantization stepsize)의 변형을 구성하는 것을 특징으로 한다.

이러한 방법의 특정한 구현에 따라, 양자화 단계크기의 변형은 블록에 대해 동일한 양자화 깊이 값을 얻는 방식으로 수행된다.

각 픽셀에 적응되고 보조 절차에 의해 계산된 가변 임계치의 사용으로, 얻어진 합성 이미지의 품질을 제어하는 것이 가능하다.

그 원리는, 모델로부터 합성될 관찰하는 지점을 나타내는 샘플을 사용하는 것과, 샘플의 다양한 관찰하는 지점에 발생되는 왜곡을 제어하는 한편, 모델 구성을 수행하는 것에 있다. 더 구체적으로, 이미지에서의 왜곡의 최대 고정값은 모델에 의해 3D 대상을 근사하는 에러에 대한 상한계를 모든 지점에서 차례로 고정할 수 있게 한다. 따라서, 이 방법은 렌디션 동안에 발생되는 왜곡 에러를 제어할 수있게 한다.

본 발명은, 특히 각면화로부터 야기되는 3D 모델의 사용 공간이 알려져 있을 때, 즉 모델로부터 생성될 수 있는 관찰하는 지점의 세트가 알려져 있거나, 그렇지 않으면 이들 관찰하는 지점을 나타내는 샘플이 알려져 있을 때, 가변 임계치의 정밀한 한정을 제안한다. 관찰하는 지점에 대한 각면화 절차에 의해 생성된 깊이 맵의 근사 에러는 3D 모델로 운반되고, 일반적으로 모델로부터 합성된, 다른 관찰하는 지점에 대한 이미지에서의 2D 기하학적 왜곡에 의해 전달될 것이다.

본 발명은, 비용이 적게 드는 표현을 얻는 한편, 재구성된 이미지의 품질의 손실, 여기서는 2D 기하학적 왜곡을 제어하는 방식으로 깊이 맵의 단순화를 허용한다. 모델 비용은 감소한다.

본 발명의 다른 특징 및 장점은, 한정되지 않은 예로서 제공되고 첨부 도면을 참조하여 제공된 다음 설명에서 명백하게 될 것이다.

도 1은 3D 공간의 장면 및 3D 공간 장면의 모델링을 도시한 도면.

도 2는 "개략-미세(coarse to fine)" 유형의 각면화(facetization)를 도시한 도면.

도 3은 대상의 모델링으로 인한 합성 이미지에서의 에러를 도시한 도면.

도 4는 합성 이미지에서 기준 이미지의 지점의 각 투사를 도시한 도면.

도 5는 실제 장면으로부터 합성 이미지상으로 투사된 지점, 및 그 모델로부터 투사된 지점을 도시한 도면.

도 6은 투사된 지점에 관련된 에피폴라 라인을 도시한 도면.

도 7a 및 7b는 각각 고정 임계치 및 가변 임계치에 기초하여 세그먼트에 의한 곡선의 근사를 도시한 도면.

도 8은 장면의 모델링으로 인한 에러를 도시한 도면.

<도면 주요 부분에 대한 부호의 설명>

2: 모델 3: 깊이 근사 에러

4: 합성 이미지 5: 2D 왜곡 에러

7: 기준 이미지

도 3은 3D 대상의 표면의 근사 에러로부터 야기되는 합성 이미지에서의 에러를 도시하는데, 이러한 근사는 참조 번호가 7인 기준 이미지의 깊이 맵의 각면화에 대응한다. 참조 번호가 3인 깊이 근사 에러는 관찰하는 지점(J)으로부터의 측면도에 대해 참조 번호가 5인 2D 왜곡 에러에 의해 전달된다.

아이디어는, 알려진 관찰하는 지점(J) 또는 임의로 한정된 관찰하는 지점에 대해 2D 이미지에서의 이러한 왜곡을 고려하는 것이다. 이들 관찰하는 지점의 품질은 각 샘플에 대응할 정도로 충분해야 한다. 최대 에러는 이미지 왜곡의 최대 허용오차에 대응하는 2D 이미지의 레벨에 한정된다.

본 목적은, 기준 이미지(7)의 깊이 맵을 모델링하는 한편, 이러한 모델링이 관찰하는 지점(J)에 대해 이미지에서 발생하게 될 왜곡을 제한시키는 것이다. 이 때문에, 기준 이미지(7)의 모든 지점에서, 근사 에러의 경계를 정하는 최소값 및 최대값을 계산하여, 이에 따라 이미지(J)의 필요한 품질을 보장할 수 있다. 기준 이미지(7)의 각 지점에서, 이 지점을 보는 N개의 이미지(J)에 대응하는, 값의 N개의 쌍이 계산된다. 그 다음으로, 그 지점의 최종 값의 쌍은 N개의 이미지(J)에 걸친 렌디션의 품질을 보장하는 방식으로 계산된다.

기준 이미지(7)에 대해, 이미지의 각 픽셀에 대해 최소 깊이 및 최대 깊이에 대응하는 최소값의 맵 및 최대값의 맵을 이에 따라 생성하는데, 상기 최소 깊이 및 최대 깊이를 넘어가면, 허용된 값보다 큰 2D 왜곡이 관찰하는 지점(J)의 세트 중에 적어도 하나의 이미지 상에서 발생한다. 이들 임계치는, 실제 3D 깊이와 이들 최소값 및 최대값 사이의 편차인데, 이것은 새로운 각면의 생성으로 정하는데 이용된다.

기준 이미지(7)는 대상을 특징화할 수 있을 정도로 충분히 많아야 하는데, 예를 들어 상기 기준 이미지(7)는 다양한 특성, 또는 더 일반적으로는 일어날 수 있는 모든 장면을 한정하기 위해 대상 주위에 분배되어야 한다. 대상 또는 장면은 실제로 이들 기준 관찰하는 지점에 의해서만 알게된다.

도 4는, 대상(1)의 지점(O)으로부터, 관찰하는 지점(J)에 관련된 선택된 이미지(4), 및 관찰하는 지점(I)에 관련된 기준 이미지(7)상으로의 각각의 투사(P_J및 P_i)를 도시한다. 도 4는 기준 이미지(7) 즉 표현 이미지의 지점의 선택된 이미지 즉 렌더링된 이미지(4)상으로 원근 투사(8)를 도시한다. 이것은, 표현에서의 지점(P_i)의 깊이에서의 에러와 지점(P_J)의 2D 위치에서의 에러를 연결시키는 관련성을 계산하는 단계를 수반하는데, 이것은 재구성될 이미지상으로의 P_i의 투사로부터 야기된다.

(u,v)는 이미지에서의 지점의 좌표이고, z는 이 지점에 대한 깊이 값, 이에 따라 광 중심(I 또는 J)으로부터 대상(O)까지의 거리이고, 인덱스(index)는 관찰하는 지점(I 또는 J)으로 간주된 이미지에 해당하는데, 상기 이미지는 이후에 이미지(I) 또는 이미지(J)로서 언급될 것이다.

지점의 좌표{P_J,(u_j, v_j, z_j)}는 이미지(J)상으로의 픽셀{P_I(u_i, v_i, z_i)}의 원근 투사에 의해 얻어진다.

그 수학식은 다음 형태로 기술될 수 있다:

계수(a 및 t)는 2개의 관찰하는 지점에 대한 기준 프레임의 변화, 회전, 이동(translations), 및 고유 카메라 파라미터에 관한 수학 연산자에 해당한다.

도 5는 이미지(I)의 지점(P_i)의 투사로부터 발생하는 이미지(J)의 지점(P_J)을도시한다. 이러한 지점은 일반적으로 목표 이미지(J)의 픽셀에 대응하지 않는다.

모델에 대한 실제 대상의 근사로 인해, 즉 기준 이미지에서 깊이(z_i)를 ()만큼 근사함으로 인해, 에러는 투사된 지점의 위치에서 나타난다. 좌표(u_j, v_j)를 갖는 P_J는 실제 대상에 기초한 원근 투사이고, 좌표(u_j+ε_u, v_j+ε_v)를 갖는 P'_J는 모델에 기초한 원근 투사이다. z_j는 지점(P_J)의 깊이에 해당하고, z_j+ε_z는 지점(P'_J)의 깊이에 해당한다.

렌더링된 이미지에서의 표면의 왜곡에 해당하는 투사된 지점(u_j+ε_u, v_j+ε_v)의 위치에서의 에러와 ()만큼의 z_i의 근사 사이에 존재하는 관련성은 다음 수학식에 의해 주어진다:

왜곡이 관찰자에게 장애가 되지 않는 경우 용인될 수 있다고 간주하면, 왜곡이 용인될 수 있는 값(ε_u및 ε_v)에서의 간격을 한정할 수 있다. 회전시, 이들 간격은 z_i:및에서의 용인가능한 하한계 및 상한계를 발견할 수 있게 한다. 이들 값은 상기 수학식으로부터 쉽게 도출된다.

제 2 이미지 상의 동일한 투사 지점을 갖는, 공간에서의 지점의 제 1 이미지 상으로의 3D 투사가 에피폴라 라인이라 불리는 이러한 제 1 이미지의 직선 상에 놓여있음을 알게 된다. 이러한 라인 상의 투사 지점의 위치는 관찰하는 지점으로부터 제 2 이미지까지의 거리, 즉 값(z_i)에 달려있다. 이 라인은 도 6에 점선으로 도시되어 있다.

투사된 지점에 대한 허용된 위치 에러는, 예를 들어 이 도면에서 부호([])로 기호화될 수 있는데, 여기서 투사된 지점에 대한 최대 거리가 한정된다. 예를 들어, 픽셀의 절반보다 적은 왜곡이 가해지면, 이들 위치는, 내부 픽셀(interpixel) 거리의 절반과 같은 ε_u및 ε_v의 값 중 가장 큰 값 뿐 아니라, 대응하는 음의 값에 대응한다. 이들 2개의 한계값은 에피폴라 라인 상의 2개의 지점을 한정하는데, 이로부터 값{및}이 계산될 수 있다.

따라서, 표현의 각 지점(P_i)은, 관여하는 재구성을 갖는 이미지(J) 상으로 투사된다. 기준 이미지의 지점(P_i)에 대해, 한쌍{}과 연관된 지점(P_J)은 각 이미지(J)에 대응한다. 값{}은 이들 각 이미지(J)에 대해 계산된다.

이들 값 중에서, 최대값{z_M(i)}은 값{z_min(i,j)} 중에서 선택되고, 최소값{z_m(i)}은 값{z_max(i,j)} 중에서 선택된다. 지점(P_i)에 대한의 값이 어떠한 이미지(J)에서도 이러한 스팬[z_m(i), z_M(i)]에 있다면, 이미지(J) 세트에 걸쳐 지점(I)을 나타내는 픽셀에 관련된 왜곡이 미리 한정된 한계보다 적어서, 모든재구성된 이미지의 품질의 제어를 보장할 수 있음을 그로부터 도출할 수 있다.

각면화 절차에서, 적응성 임계치가 이에 따라 사용되는데: 각 픽셀의 근사 깊이 값{z_app(i)}은 간격[z_m(i), z_M(i)]의 멤버쉽(membership)에 관해 시험된다. 모든 픽셀이 z_app(i)이 이러한 간격에 속하도록 이루어지면, 깊이 맵은 "양호한 근사"로서 간주되고, 각면화 구성은 중단된다. 다른 한편으로, 이러한 간격 외부에 있는 값{z_app(i)}을 갖는 픽셀이 존재하면, 가장 불량하게 근사된 지점(P_i)은 각면 정점으로서 선택되고 유도되고, 반복 구성이 계속된다.

도 7a 및 7b는, 제 1 경우에 고정 임계치, 및 제 2 경우에 적응성 임계치를 통해 직선 세그먼트에 의한 곡선을 근사하는 원리를 도시한다. 근사될 곡선은 참조 번호가 9이고, 간격 또는 임계치는 참조 번호가 10이고, 근사에 의해 얻어진 곡선은 참조 번호가 11이다.

각면에 의해 표면을 근사한 경우는 이 도면에서 쉽게 추정될 수 있다. 장면에 대응하는 본래 깊이 맵, 및 모델에 대응하는 근사 깊이 맵은 근사될 곡선(9) 및 직선 세그먼트(11)와 각각 비교될 것이다. 깊이 맵의 픽셀에 할당된 스팬은 가변 임계치(10)에 대응한다.

장면을 한정하는 3D 모델은 예를 들어 각면인 기본 영역에 기초하여 묘사된다. 초기 깊이 맵은 근사 깊이 맵 또는 합성 깊이 맵을 산출하기 위해 도 2에 기재된 바와 같이 반복에 의해 각면화된다.

예를 들어 반복은 다음 방식으로 수행된다:

근사 깊이 맵에 기초하여, 기본 영역 또는 3D 장면의 각면에 관련된 이 맵의 각 영역에 대해, 각 픽셀의 근사값은 픽셀에 할당된 스팬과 비교된다. 예를 들어 각면의 정점의 깊이로부터의 보간에 의한 알려진 방식으로 계산된 근사 깊이 맵의 픽셀에 할당된 깊이는, 이에 따라 그 장면을 한정하는 본래 깊이 맵의 대응하는 픽셀의 깊이와 비교된다. 픽셀의 근사값이 스팬 외부에 있다면, 대응하는 근사 에러가 계산된다. 다음으로, 이들 픽셀 중에서, 에러가 가장 큰 픽셀이 선택된다. 그 다음에, 이러한 기본 영역에 대한 새로운 각면화가 결정된다. 그 방법은 이에 따라 깊이 맵의 영역 세트에 대해 계속된다. 깊이 맵에 대한 반복은, 근사 깊이 맵에 대해, 모든 지점이 이들 지점에 할당된 스팬 내부에 있는 근사 깊이를 가질 때 중단된다.

적응성 임계치의 이익은 특히 특정 카메라 모션 구성에 나타나는데: 예를 들어, 카메라 모션이 정면형(frontal type)일 때, 카메라가 향하는 지역의 두드러짐(relief)은 개략 방식으로 근사될 수 있다. 이와 유사하게, 모션이 회전에 대응하면, 깊이 정보는 더 이상 유용하지 않으므로, 그 간격은 무한하고, 각면에 의한 표현은 최소가 될 수 있다.

적응성 임계치는 모든 투사된 지점 상에서 고정되고 허용된 최대 왜곡 에러에 기초하여 각 지점에 한정된다. 이러한 왜곡 자체는 다음에 따라 약간 허용될 수 있다:

- 렌더링된 이미지에 투사된 지점이 2D 대상의 윤곽 또는 내부에 있는 지의 여부에 따라. 내부 왜곡이 예를 들어 볼 수 없을지라도, 정밀한 윤곽을 계속 유지하는 것이 실제로 중요할 수 있다.

- 표현의 이미지 상의 지점이, 유지하는 것이 바람직한 정밀도를 갖는 기하학적 유형의 대상의 특징적인 지형, 예를 들어 직선의 돌출 에지, 또는 구조화 에지(texturizing edge) 상에 위치하거나, 이와 반대로 결점을 거의 볼 수 없는 균일한 구조 지역에 위치해 있는지의 여부에 따라.

그러므로, 허용된 왜곡 자체는 그러한 인자의 함수로서 변경할 수 있다. 그 다음에, 각면화 임계치는 예를 들어 대응하는 투사된 지점에 가장 가까운 픽셀에 할당된 최대 왜곡 값을 각 지점에 대해 고려함으로써 계산될 것이다.

이러한 최대 왜곡 값은 이미지를 한정하는 파라미터, 예를 들어 휘도 경사도의 함수로서 자동으로 계산될 수 있다.

임계치를 계산하는 전술한 방법은 하나 이상의 깊이 맵의 모델링에 대한 배경 내에서 이루어지는데, 결과로서 생기는 모델은, 한 편으로 정보를 압축하고, 다른 한편으로 관찰하는 지점을 합성하는데 도움을 주기 위해 필요하고, 그 렌디션의 품질을 제어하는 것이 바람직하다. 이 배경 내에서, 깊이 값의 근사를 수반하는 임의의 다른 모델링 방식은 렌디션 품질을 제어하기 위해 적응성 임계치에 또한 기초할 수 있다. 각면화는 깊이 맵에 관련된 데이터를 압축하는 수단이다. 실제로, 그 때, 3D 장면은 각 픽셀에 할당된 깊이 값에 기초하여 더 이상 한정되지 않고, 각면을 한정하는 데이터에 기초하여 한정된다. 공간 상관을 이용하는 다른 수단은, 이미지를 이미지 블록으로 분할하는 것과, 이미지 블록의 양자화가 후속하는 이산 코사인 변환에 의한 종래의 방식으로 수행한다. 예를 들어, 이러한 근사가 계산된 최소 경계 및 최대 경계를 갖는 블록의 모든 지점에 따르는 경우, 예를 들어 블록의 모든 지점을 동일한 깊이 값으로 설정함으로써, 변환 이전에 블록의 내용물을 단순화시키는 것이 가능하다.

본래 깊이 맵은 이미지 블록으로 분할된다. 대상에 투사된 각 블록은 기본 영역을 나타낸다. 모델을 한정하기 위한 깊이 맵의 근사는 이미지 블록을 보충(making up)하는 깊이 값을 양자화함으로써 여기서 수행된다. 양자화 단계크기는 예를 들어 반복 동안 증가되도록 선택되며, 양자화된 이미지 블록과 본래 이미지 블록 사이의 에러는 모델에 대한 근사를 나타낸다. 그 깊이가 블록에서의 최대 에러에 대응하는 픽셀에 관련된 스팬은 그 다음 반복에 결정하기 위해 근사 에러와 비교된다.

도 3을 참조하면, 도 8은 장면 및 이와 연관된 모델의 일반화를 구성하는데, 이것은 단일 대상 및 각면화된 모델에 각각 한정될 필요가 없다.

소유자가 본 출원인인, "이미지 시퀀스 분석에 의한 3D 장면 모델을 구성하는 방법(Process for constructing a 3D scene model by analysis of image sequences)"이라는 제목의 프랑스 특허 공보 번호(제 2798761호)는, 모델의 구성을 위해 선택된 픽셀이고 깊이 맵으로 된, 이미지의 시퀀스의 이미지 마스크에 기초한 3D 장면의 한정을 기재한다. 전술한 각면화는 모델의 구성에 적용될 수 있다. 그 때, 이미지의 시퀀스에 기초하여 구성되고 2D 영역, 깊이 맵 및 관찰하는 지점의 위치를 묘사하는 2진 마스크인 3D 표현은 기준 이미지에 대응한다. 렌디션에서의 동일한 영역을 요청(call upon)하는, 즉 동일한 3D 지점과 공통인 픽셀을 갖는 이미지에 대응하는 관찰하는 지점의 목록, 또는 이것이 큰 경우 이 목록의 관련 서브셋은 적응성 임계치의 계산을 위해 이용된다.

본 발명은 동일하게 "개략-미세" 또는 "미세-개략" 유형의 모델 구성에 관한 것이다.

"개략-미세" 유형의 모델의 증분적 구성은, 개략 초기 모델에 기초하여, 각 반복에 모델링될 대상의 새로운 3D 지점을 유도함으로써 개선시키는 것에 있다. 이러한 절차 동안, 이미지에서의 최대 왜곡을 계산함으로써 기준 세트의 각 관찰하는 지점에 대한 모델의 타당성을 시험하고, 임계치보다 큰 경우 새로운 3D 지점을 유도하는 것이 각 반복에 가능해진다. 따라서, 모든 기준 관찰하는 지점이 고정된 임계치보다 적은 모든 지점에서 왜곡을 가질 때, 상기 절차는 중단된다. 이미지에서의 왜곡이 모든 지점에서의 임계치보다 적을 때마다, 더 이상 관찰하는 지점이 고려될 수 없다.

"미세-개략" 유형의 모델의 증분적 구성은, 최대 분해능을 갖는 모델에 기초하여, 모델의 품질이 용인가능하는 한 지점을 제거하는 것에 있다. 이러한 배경 내에서, 각 일정한 관찰하는 지점에 대한 모델의 타당성을 시험하고, 각 이미지에서 그로부터 야기된 왜곡이 임계치보다 적은 경우 지점을 삭제하는 것이 각 반복에 또한 가능하다. 따라서, 지점의 삭제가 적어도 N개의 관찰하는 지점상에서의 고정된 임계치보다 큰 왜곡을 야기할 때, 상기 절차는 중단된다.

상술한 바와 같이, 본 발명의 응용은 특히 이미지 합성 또는 데이터 압축을위한 모델의 구성에 관한 것이다.

본 발명은 3D 장면 모델링 방법에 관한 것으로, 더 구체적으로 합성 이미지의 왜곡 제어를 가능하도록, 평면의 각면화된 3D 모델에 의해 3D 대상을 모델링하거나 근사하게 하는 방법 등에 효과적이다.

Claims (13)

1. 모델을 묘사하는 근사 깊이 맵(depth map)을 계산함으로써, 관찰하는 지점(viewpoint)(1) 및 본래 깊이 맵과 연관된 기준 이미지(7)에 기초하여 한정된 3D 장면(scene)(1)을 모델링하는 방법으로서,

   - 모델(2)에서 고유한 근사(approximation)에 의해 생성된, 2D 합성 이미지(4) 상에서 최대로 허용된 왜곡(5)의 사전 결정 단계와;

   - 기준 이미지(7)의 지점(I)에 대해, 이러한 지점(I)에 대응하는 장면의 3D 지점을 나타내는 합성 이미지(4) 세트에 기초하여, 이러한 최대 왜곡에 대응하는 상기 지점(I)의 깊이(z_i)의 최소 깊이 값및 최대 깊이 값의 계산 단계와;

   - 상기 합성 이미지 세트에 대해 계산된 값 중에서 에러의 최소값() 및 에러의 최대값()에 따라, 상기 지점(I)의 깊이(z_i) 주변의 스팬(span)의 계산 단계를 포함하며,

   이들 지점(I)에 대해 계산된 스팬에 따르는 지의 여부에 따라, 상기 기준 이미지의 지점(I)에 관련되는 대응하는 모델의 3D 지점의 근사 깊이(Z_app)의 함수로서, 반복에 의해 계산된 근사 깊이 맵을 타당성 검사하는(validating) 단계를 또한 포함하는 것을 특징으로 하는, 3D 장면 모델링 방법.
2. 제 1항에 있어서, 합성 이미지(4)에 대해, 지점(I)의 깊이의 최소값 및 최대값의 계산은 이러한 합성 이미지에서 상기 지점(I)에 대응하는 에피폴라 라인(epipolar line)을 이용함으로써 수행되는데, 상기 에피폴라 라인은 최대로 허용된 왜곡에 대응하는 거리를 나타내는 것을 특징으로 하는, 3D 장면 모델링 방법.
3. 제 1항에 있어서, 상기 모델이 기본 영역 세트에 의해 한정되면, 상기 타당성 검사 단계에 이용된 깊이를 갖는 상기 3D 지점은 상기 모델의 기본 영역의 지점인 것을 특징으로 하는, 3D 장면 모델링 방법.
4. 제 3항에 있어서, 기본 영역은 각면(facet)이고,

   반복에 의한 계산은 상기 깊이 맵의 각면화이고, 상기 반복은, 상기 방법이 "개략-미세(coarse to fine)" 또는 "미세-개략(fine to coarse)" 유형인 지의 여부에 따라 상기 모델의 새로운 3D 각면 정점(vertex)의 생성, 또는 상기 모델의 3D 각면 정점의 삭제를 포함하는 것을 특징으로 하는, 3D 장면 모델링 방법.
5. 제 4항에 있어서, "개략-미세" 유형이며, 상기 반복은, 각면에 관련되고 상기 스팬 외부에 있는 상기 근사값 중에서 가장 불량한 근사값의 계산을 포함하고,

   상기 새로운 정점은 이 값에 대응하는 상기 지점에 관련되는 것을 특징으로 하는, 3D 장면 모델링 방법.
6. 제 1항에 있어서, 에러 계산이 수행되는 합성 이미지(4) 세트는 상기 기준 이미지(7)를 사용하여 관찰하는 지점의 세트를 나타내는 샘플에 대응하는 것을 특징으로 하는, 3D 장면 모델링 방법.
7. 제 6항에 있어서, 상기 에러 계산이 수행되는 합성 이미지 세트는 상기 기준 이미지와 공통인 3D 지점의 임계치보다 큰 수를 갖는 이미지로 구성되는 것을 특징으로 하는, 3D 장면 모델링 방법.
8. 제 1항에 있어서, 상기 최대로 허용된 왜곡은 이미지의 특성의 함수로서 미리 결정되는 것을 특징으로 하는, 3D 장면 모델링 방법.
9. 제 8항에 있어서, 이미지의 특성은 휘도 경사도(luminance gradient)인 것을 특징으로 하는, 3D 장면 모델링 방법.
10. 이미지 생성 방법으로서,

    상기 이미지는 제 1항의 방법에 따른 장면의 모델링에 기초하여 생성되는 것을 특징으로 하는, 이미지 생성 방법.
11. 3D 장면을 한정하고, 렌디션(rendition)에 관한 기준 이미지, 및 연관된 깊이 맵에 관련되는, 데이터의 압축 방법으로서,

    상기 깊이 맵은 제 4항의 방법에 따른 각면화에 의해 모델링되고,

    상기 기준 이미지 및 상기 깊이 맵과 관련된 데이터는 상기 각면을 한정하는 데이터로 대체되는 것을 특징으로 하는, 데이터 압축 방법.
12. 3D 장면을 한정하고, 렌디션에 관한 기준 이미지, 및 연관된 깊이 맵에 관련되는 데이터의 압축 방법으로서,

    제 3항의 모델링 방법에 따른 모델링 단계를 포함하는데, 상기 모델의 기본 영역은 상기 깊이 맵을 이미지 블록으로 분할함으로써 한정되고, 근사 깊이 맵상의 반복에 의한 계산은, 상기 근사 깊이인 양자화 깊이를 제공하기 위해 이들 블록에 대한 양자화 단계크기(stepsize)의 변형으로 이루어지는 것을 특징으로 하는, 데이터 압축 방법.
13. 제 12항에 있어서, 상기 양자화 단계크기의 변형은, 블록에 대한 동일한 양자화 깊이 값, 또는 가장 넓은 양자화 단계크기를 얻기 위해 상기 양자화 단계크기에서 증가하는 것인 것을 특징으로 하는, 데이터 압축 방법.