KR20150117662A - 깊이 맵의 컨텐츠를 강화하기 위한 방법 및 디바이스 - Google Patents

Abstract

시점에 따라 장면(1)과 연관되는 깊이 맵(10)의 제1 요소(21)와 연관된 컨텐츠를 강화하기 위한 방법이 개시된다. 그 후에, 깊이 맵의 공간 내의 제1 요소(21)에서의 깊이의 변화를 나타내는 적어도 하나의 제1 정보가 확립된다.

Description

깊이 맵의 컨텐츠를 강화하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR ENRICHING THE CONTENT OF A DEPTH MAP}

본 발명은 깊이 맵의 영역에 관한 것이며, 보다 구체적으로 깊이 맵(들)의 컨텐츠의 강화(enriching)에 관한 것이다. 본 발명은 또한 컴퓨터 생성 이미지(CGI 또는 3D CGI)의 문맥에서 이해된다.

종래 기술에 따르면, 깊이 맵을, 장면을 나타내는 이미지와 연관시키는 것이 알려져 있는데, 이미지는 가상 장면을 나타내는 합성 이미지이거나, 또는 카메라에 의한 실제 장면 샷(real scene shot)의 이미지이다. 또한 가시성 시험을 수행하기 위해, 즉 장면의 어떤 단편이 카메라 시야(camera field of view)에 따라 장면의 또 다른 단편에 의해 숨겨지는지를 결정하기 위해, 깊이 맵에 포함된 깊이 정보를 사용하는 것이 알려져 있다. 깊이 맵은 전형적으로 픽셀들(pixels) 또는 텍셀들(texels)이라고도 부르는 요소들의 N개의 선들(lines) 및 M개의 열들의 배열에 대응하며, 단일 깊이 정보는 깊이 맵의 각각의 요소와 연관된다. 깊이 맵의 한정된 해상도는, 카메라 시야에 대하여 깊이가 깊이 맵의 (픽셀 또는 텍셀이라고도 부르는) 요소에 저장되는 장면의 제2 단편에 의해 (또는 제2 단편의 음영 내에) 장면의 제1 단편이 숨겨지는지를 결정할 때 일부 근사치들을 야기한다. 결과적인 에일리어싱(aliasing)은 바이어스 에일리어싱(bias aliasing)으로서 알려져 있다. 이 에일리어싱은 특히 제1 및 제2 단편들이, 깊이 맵과 연관된 카메라 시야로부터 시청되는 바와 같이 장면의 물체의 동일한 표면에 속할 때 발생할 수 있다.

이러한 바이어스 에일리어싱 아티팩트를 적어도 부분적으로 극복하기 위해, 깊이 맵과 연관된 카메라 시야까지의 거리가 단편과 연관된 깊이 맵의 요소에 저장된 깊이에 바이어스를 더한 것보다 클 때, 폐색된 것으로 고려되거나, 음영 내에 있는 것으로 고려된다. 하지만, 바이어스 값의 도입은 피터-팬닝 아티팩트(peter-panning artifact)로서 알려진 또 다른 에일리어싱을 야기할 수 있다.

본 발명의 목적은 종래 기술의 이러한 단점들 중 적어도 하나를 극복하기 위한 것이다.

보다 구체적으로, 본 발명의 목적은 종래 기술에 비해 더 양호한 정확성으로 깊이 맵의 하나 이상의 요소들과 연관된 깊이 정보를 확립하기 위한 것이다.

본 발명은 깊이 맵의 제1 요소와 연관된 컨텐츠를 강화하기 위한 방법에 관한 것이며, 깊이 맵은 시점에 따라 장면과 연관된다. 그 이후, 본 방법은 깊이 맵의 공간 내의 상기 제1 요소에서의 깊이의 변화를 나타내는 적어도 하나의 제1 정보를 확립하는 단계를 포함한다.

한 특정 특징에 따르면, 적어도 하나의 제1 정보는 제1 요소와 연관된 깊이 정보로부터, 그리고 적어도 하나의 제2 요소와 연관된 깊이 정보로부터 확립되며, 제1 요소 및 적어도 하나의 제2 요소는 깊이 맵으로 투영된 장면의 동일한 표면 요소에 속한다.

유리하게도, 제1 요소 및 적어도 하나의 제2 요소는 인접하다.

한 구체적인 특징에 따르면, 적어도 하나의 제1 정보는 제1 요소와 적어도 하나의 제2 요소 사이의 거리에 대한 제1 요소와 적어도 하나의 제2 요소 사이의 깊이의 차이의 비를 계산함으로써 확립된다.

유리하게도, 적어도 하나의 제1 정보는 깊이 맵과 연관된 카메라 시야의 공간으로 투영된 장면의 표면 요소의 방정식으로부터 확립되며, 투영된 표면 요소는 제1 요소를 포함한다.

또 다른 특징에 따르면, 적어도 하나의 제1 정보는 제1 요소에서의 깊이의 변화를 나타내는 경사각의 형태로 표현된다.

유리하게도, 경사각의 형태로 표현된 적어도 하나의 제1 정보는 기수 멱함수(odd power function)로 인코딩된다.

한 특정 특징에 따르면, 하나의 제1 정보는 깊이 맵의 공간의 각각의 차원에 대해 확립된다.

또 다른 특징에 따르면, 본 방법은 깊이 맵에서의 제1 요소와 연관된 적어도 하나의 제1 정보를 저장하는 단계를 더 포함한다.

유리하게도, 제1 요소와 연관된 컨텐츠는 시점과 장면의 단편 사이의 깊이를 나타내는 제2 정보를 포함하고, 단편은 제1 요소를 통과하는 시청 방향을 따르는 시점으로부터 가시적인 가장 가까운 단편에 대응한다.

본 발명은 또한 깊이 맵의 제1 요소와 연관된 컨텐츠를 강화하도록 구성된 디바이스에 관한 것이며, 깊이 맵은 시점에 따라 장면과 연관되고, 디바이스는 깊이 맵의 공간 내의 제1 요소에서의 깊이의 변화를 나타내는 적어도 하나의 제1 정보를 확립하도록 구성된 적어도 하나의 프로세서를 포함한다.

유리하게도, 적어도 하나의 프로세서는 그래픽 프로세서 유닛(GPU)이다.

한 구체적인 특징에 따르면, 적어도 하나의 제1 정보는 제1 요소와 연관된 깊이 정보로부터, 그리고 적어도 하나의 제2 요소와 연관된 깊이 정보로부터 확립되며, 제1 요소 및 적어도 하나의 제2 요소는 깊이 맵으로 투영된 장면의 동일한 표면 요소에 속한다.

또 다른 특징에 따르면, 적어도 하나의 프로세서는 상기 제1 요소에서의 깊이의 변화를 나타내는 경사각의 형태로 적어도 하나의 제1 정보를 표현하고, 경사각의 형태로 표현된 적어도 하나의 제1 정보를 기수 멱함수로 인코딩하도록 더 구성된다.

본 발명은 또한 컴퓨터 프로그램 제품에 관한 것이며, 컴퓨터 프로그램 제품은 프로그램이 컴퓨터 상에서 실행될 때, 깊이 맵의 제1 요소와 연관된 컨텐츠를 강화하기 위한 방법을 수행하는 적어도 하나의 프로세서에 의한 실행을 위한 프로그램 코드의 명령어들을 포함한다.

본 발명은 더 잘 이해될 것이며, 다른 구체적인 특성들 및 장점들은 첨부된 도면을 참조하는 다음의 상세한 설명을 읽을 때 드러날 것이다.

본 발명의 깊이 맵의 컨텐츠를 강화하기 위한 방법 및 디바이스를 통해, 종래 기술에서보다 더 양호한 정확성으로 깊이 맵의 하나 이상의 요소들과 연관된 깊이 정보를 확립할 수 있다.

도 1은 종래 기술에 따른, 장면과 연관된 깊이 맵 및 이미지를 도시하는 도면.
도 2는 본 발명의 특정 실시예에 따른, 도 1의 깊이 맵의 일부분을 도시하는 도면.
도 3a, 도 3b 및 도 4는 본 발명의 두 개의 특정 실시예에 따른, 도 1의 깊이 맵으로 투영된 도 1의 장면의 표면 요소의 투영을 도시하는 도면.
도 5는 본 발명의 특정 실시예에 따른, 도 1의 깊이 맵의 요소에 저장된 깊이 정보를 도시하는 도면.
도 6a 및 도 6b는 본 발명의 특정 실시예에 따른, 도 1의 깊이 맵에 포함된 깊이 정보의 인코딩을 도시하는 도면.
도 7은 본 발명의 특정 실시예에 따른, 도 1의 깊이 맵의 컨텐츠를 강화하기 위한 방법을 구현하는 디바이스를 개략적으로 도시하는 도면.
도 8은 본 발명의 특정 실시예에 따른, 도 1의 깊이 맵의 컨텐츠를 강화하기 위한 방법을 도시하는 도면.

본 발명은 깊이 맵의 제1 요소의 컨텐츠를 강화하기 위한 방법의 특정 실시예를 참조하여 기재될 것이다. 깊이 맵은 유리하게도 L 및 M이 0보다 큰 정수인 요소들의 L개의 선들 및 M개의 열들의 배열에 대응하며, 하나 이상의 이미지들에서 렌더링되는 장면과 연관된다. 깊이 맵에 포함된 요소들의 수는, 예를 들어 장면의 이미지(들)의 픽셀들의 수에 대응한다. 깊이 맵은 유리하게도 깊이 맵의 공간 내의 제1 요소에서의 깊이의 변화를 나타내는 하나 이상의 제1 정보를 통해 강화된다.

이에 따라, 추가적인 제1 정보는, 필요하다면, 제1 요소의 임의의 지점과 연관된 깊이를 검색하는 것을 가능하게 하지만, 반면에 종래 기술에 따른 깊이 맵에서, 깊이 맵의 요소의 임의의 지점과 연관된 깊이는 동일하고, 제1 요소와, 또는 그것의 중심과 연관된 장면의 가장 가까운 가시적인 단편의 깊이에 대응한다.

도 1은 특정 및 비-제한적 실시예에 따른, 연관된 깊이 맵(10)을 통해 이미지(11)에서 렌더링된 장면(1)을 도시한다. 이미지(11)는 (또한 카메라 시야라고도 부르지만, 도 1에 나타나지 않는) 소정의 시점으로부터 시청되는 장면(1)을 나타내며, 깊이 맵은 또 다른 시점(100)(즉, 또 다른 카메라 시야)에 따라 생성된다. 장면은, 예를 들어 가상 장면에 대응하며, 여러 가상 물체들, 즉 제1 물체(12) 및 제2 물체(13)를 포함한다. 물체들(12 및 13)은 당업자에게 알려진 임의의 방법에 따라, 예를 들어 폴리고널 모델링(polygonal modelling)에 의해 모델링되는데, 이 때 모델은 NURBS{비 균일 유리 기초 스플라인(Non uniform rational basic spline)} 유형의 곡선 모델링에 의해 그것을 조성하는 정점들(summits) 및 모서리들의 목록으로 각각 한정된 다각형들(메쉬 요소들)의 세트와 융합(assimilate)되는데, NURBS 유형의 곡선 모델링에서, 모델은 표면들의 세분화(subdivision)에 의한 모델링에 의해, 제어 꼭지점들(control vertices)을 통해 생성된 곡선들의 세트로 한정된다. 가상 물체에 의해, 실제 환경/실제 장면(예를 들어, 운동장, 집 또는 집 앞, 사람, 자동차, 다시 말하자면 집, 거리, 마을, 시골지역 등의 일부분과 같은 환경을 조성하는 임의의 요소) 또는 상상의 요소를 조성하는 (실제의 또는 허구의) 물체의 (모델링에 의해 획득된) 임의의 가상 표현이 이해된다. 장면(1)의 각각의 물체(12, 13)는 그것을 덮는 표면을 특징으로 하는데, 각각의 물체의 표면은 그것에 특정된 (표면에 의해 하나 이상의 방향들로 반사된 입사광의 비율에 대응하는) 반사율 특성을 갖는다.

깊이 맵(10)은 n개의 요소들(101 ... 10p' ... 10n)을 포함하며, n은 깊이 맵(10)의 해상도를 한정하는 0보다 더 큰 정수이고, 해상도는, 예를 들어 512x512 픽셀들, 1024x1024 픽셀들, 또는 4096x4096 픽셀들과 동일하다. 깊이 정보는 유리하게도 깊이 맵(10)의 각각의 요소와 연관된다. 이 깊이 정보는 깊이 맵의 요소를 통과하는 시청 방향을 따르는, 시점(100)과 장면(1)의 가장 가까운 가시적인 단편 사이의 거리에 대응하고, 이러한 깊이 맵의 요소는 장면의 가장 가까운 가시적인 단편과 연관된다. 요소(10p')를 한 예시로서 취해보면, 이 요소(10p')와 연관된 깊이 정보는, 시점(100)을 원점으로 가지며 요소(10p')를 통과하는, 유리하게는 요소(10p')의 중심을 통과하는 시청 방향(100p')을 따르는, 시점(100)과 장면(1)의 단편(P' 121) 사이의 거리에 대응한다. 단편(P' 121)은 시점(100)으로부터 시작할 때 시청 방향(100p')에 의해 교차된 장면의 제1 요소에 대응한다. 깊이 정보는 깊이 맵의 대응하는 요소의 중심과 연관된다. 깊이 맵(10)의 요소 내부의 깊이의 변화를 나타내는 제1 정보는 유리하게도 깊이 맵의 각각의 요소와 더 연관되는데, 이 제1 정보는 도 2 내지 도 4에 관하여 기재된 바와 같이 확립된다.

이미지(11)는 m개의 픽셀들(111 ... 11p ... 11m)을 포함하며, m은 이미지(11)의 해상도를 한정하는 0보다 더 큰 정수이다. 유리하게도, m은 0과는 상이한데, 예를 들어 n은 m보다 더 크거나, m은 n보다 더 크다{깊이 맵의 해상도는, 예를 들어 512x512 픽셀들, 1024x1024 픽셀들, 또는 4096x4096 픽셀들이지만, 반면에 이미지(11)에 대한 해상도는, 예를 들어 1024x768 픽셀들, 1280x720 픽셀들, 또는 1920x1200 픽셀들이다}. 한 변형에 따르면, m은 n과 동일하며, 깊이 맵(10)과 이미지(11) 모두는 동일한 해상도를 갖는다. 속성들은 유리하게도 이미지(11)의 각 픽셀과 연관되며, 속성들은, 예를 들어 컬러 정보(예를 들어, RGB 정보) 및/또는 이미지의 픽셀과 연관된 장면의 단편의 반투명 캐릭터를 포함한다. 단편은 유리하게도, 디스플레이 스크린 상에서 장면(1)을 나타내도록 디스플레이될 수 있는 이미지(11)의 픽셀의 사이즈와 동일한 사이즈를 갖는 장면(1)의 지점과 연관된 표면 요소에 대응한다. 장면(1)의 단편은, 단편이 이미지(11)와 연관된 시점으로부터 가시적인 경우, 이미지 내의 한 픽셀이 된다. 명료함을 위해, 장면(1)의 요소(예를 들어, 지점)는 3D 장면의 공간{세계 공간(world space)}에 위치 지정될 때 단편이라고 불리우게 될 것이며, 이미지(11)와 연관된 시점으로부터 가시적인 동일한 요소는 이미지(11)의 공간에 위치 지정될 때 픽셀이라고 불리우게 될 것이다. 이미지(11) 및 이미지 내의 대응하는 픽셀과 연관된 시점으로부터 가시적인 단편은 이에 따라 장면(1)의 하나의 요소(one) 및 동일한 요소를 지칭하며, 설명의 나머지에서 혼합될 수도 있다. 유리하게도, 단편은 다음의 데이터 항목들 중 하나 이상을 함께 그룹화하는 데이터의 세트로 한정된다:

- 단편의 래스터화 위치(rasterization position),

- 시점(viewpoint)에서의 단편의 깊이,

- 속성들(예를 들어, 컬러, 텍스쳐 좌표들),

- 단편의 반투명 캐릭터를 나타내는 알파 채널.

장면의 단편이 이미지(11)의 시점으로부터 가시적인지의 여부를 결정하기 위해, 잘-알려진 (또한 z-버퍼 알고리즘이라고도 알려진) z-버퍼 방법은, 동일한 시점을 이미지(11)로 가지며 깊이 맵(10)과 유사한 구조를 갖는 하나 이상의 깊이 맵들과 연관되어 사용된다. 동일한 시점을 이미지(11)로 가지며 z-버퍼 알고리즘에서 사용되는 하나 이상의 깊이 맵들은 또한 z-버퍼(들)라고도 불리운다. 이러한 방법에 따라, 그리고 이미지(11)의 픽셀(11p)을 한 예시로 취함으로써, 이미지(11)의 시점을 원점으로 가지며 픽셀(11p)의 중심을 통과하는 시청 방향(110p)을 따라 위치된 장면의 단편들의 깊이들이 비교되고, 가장 작은 깊이{즉, 시청 방향(110p)을 따르는 시점으로부터의 최단 거리}를 갖는 단편(P 131)은 속성들이 픽셀(11p)과 연관되는 것이다. 한 변형에 따르면, 잘-알려진 페인터의 알고리즘은, 장면의 어떤 단편이 이미지(11)의 시점으로부터 이미지(11)의 각 픽셀에 대해 가시적인지를 결정하기 위해 가시성 문제를 해결하도록 사용된다.

도 1의 예시에 따르면, 시점(100)은 유리하게도 장면(1)의 광원에 대응하고, 깊이 맵(10)은 장면(1)의 어떤 단편이 광원에 의해 조명되는지와, 장면의 어떤 단편이 음영 내에 있는지를 결정하도록 사용된다. 이러한 예시에 따르면, 깊이 맵(10)은 또한 음영 맵이라고도 불리울 수 있다. 그러고 나서, {이미지(11)의 픽셀(11p)에 대응하는} 단편(P 131)이 조명되는지, 또는 장면(1)의 물체의 음영 내에 있는지를 결정하기 위해, 단편(P 131)은 단편(P 131) 및 시점(100)을 연결하는 시청 방향을 따라서 깊이 맵으로 투영된다. 시점(100)과 단편(P 131) 사이의 거리 ||LP||는 깊이 맵(10)으로의 단편(P 131)의 투영에 대응하는 요소(10p')의 중심과 연관된 깊이 정보 ||LP'||와 비교된다. ||LP||가 ||LP'||보다 더 큰 경우, 단편(P 131)은 단편(P' 121)의 음영 내에 있다{즉, 단편(P 131)은 광원(L)에 의해 직접적으로 조명되지 않는다}. ||LP||가 ||LP'|| 이하인 경우, 단편(P 131)은 광원(L)에 의해 직접적으로 조명된다. 유리한 방식으로, 거리 ||LP||가 비교되는 깊이 정보는 요소(10p')의 중심과 연관된 깊이 정보로부터, 그리고 요소(10p') 내부의 깊이의 변화를 나타내는 제1 정보로부터 검색된다. 이는, 특히 깊이 맵으로의 단편(P' 131)의 투영 지점이 요소(10p')에 속하지만, 요소(10p')의 중심과 일치 하지 않을 때, 단편(P 131)이 조명되는지, 또는 장면의 또 다른 단편에 의해 조명되지 않는지의 여부를 보다 더 양호한 정확도로 결정하는 것을 가능하게 한다. 이는 깊이 맵(10)의 한정된 해상도와 관련된 일부 결점들을 수정하는 것을 가능하게 한다. 단편이 조명되는지의 여부를 결정하는 것은, 이미지(11)에서 장면을 렌더링할 때, 즉 고려된 단편과 연관된 이미지(11)의 픽셀들을 렌더링할 때, 단편의 조명된 또는 조명되지 않은 캐릭터와 조화하여 비디오 정보(예컨대, RGB 데이터)를 고려된 단편과 연관시키는 것을 가능하게 한다. 이미지의 픽셀들의 렌더링은 종래 기술의 깊이 맵들을 사용하는 렌더링 방법과 비교할 때, 보다 더 적은 아티팩트 또는 전혀 없는 아티팩트로 보다 더 정확하다.

한 변형에 따르면, 장면(1)은 이미지(11) 및 유리하게는 장면의 입체적 이미지를 생성하기 위해 상이한 시점들에 따라 하나 이상의 다른 이미지들을 생성하는 카메라 디바이스에 의한 실제 장면 샷이다. 이러한 변형에 따르면, 깊이 맵은 이미지(11)와 동일한 시점에 따라 생성되며, 깊이 맵 및 이미지(11)는 서로 연관된다. 장면의 다른 이미지들과 연관된 깊이 맵들이 또한 생성될 수 있다. 깊이 맵의 요소(들)의 중심(들)과 연관된 깊이 정보는, 예를 들어 카메라와 연관된 깊이 센서를 통해 생성된다. 또 다른 예시에 따르면, 깊이 맵은 두 개의 상이한 시점들에 따라 획득된 장면(1)의 두 개의 이미지들(예를 들어, 장면의 좌측 이미지 및 우측 이미지)을 비교함으로써 생성되고, 디스패러티 정보는 두 개의 쌍들에 의해 각 뷰의 픽셀들 사이의 매치(match)를 이루게 하기 위해 두 개의 이미지들을 픽셀 기반으로 비교함으로써 검색되고, 디스패러티 정보는 좌측 이미지 내의 픽셀의 위치와 우측 이미지 내의 대응하는 픽셀의 위치 사이의 수평 축에 따른 픽셀들의 차이에 대응한다. 이 예시에 따른 깊이 맵은 디스패러티 맵이라고 불리운다. 이미지(11)와 연관된 디스패러티 맵은 (예를 들어, 입체적 이미지의 좌측 이미지에 대응하는) 이미지(11)와, 입체적 이미지의 또 다른 이미지(예를 들어, 우측 이미지) 사이의 디스패러티를 나타내며, 또 다른 디스패러티 맵은 우측 이미지와 연관될 수 있으며, 이 또 다른 디스패러티 맵은 우측 이미지와 좌측 이미지(11) 사이의 디스패러티를 나타낸다. 각각의 디스패러티 맵은 유리하게도 우측 이미지{각각 좌측 이미지(11)}의 픽셀들과 좌측 이미지(11)(각각 우측 이미지)의 픽셀들의 페어링(pairing) 및 비교에 의해 추정된다. 좌측 이미지(11)(각각 우측 이미지)의 픽셀과 연관된 디스패러티는 유리하게는 좌측 이미지(11)(각각 우측 이미지)의 픽셀과, 우측 이미지{각각 좌측 이미지(11)}의 대응하는 (또는 페어링된) 픽셀, 다시 말하자면 좌측 이미지(11)(각각 우측 이미지)의 픽셀의 비디오 정보와 동일하거나 유사한 비디오 정보(즉, 컬러 정보)를 갖는 우측 이미지{각각 좌측 이미지(11)}의 픽셀 사이의 픽셀 거리에 대응한다. 깊이의 변화를 나타내는 제1 정보는 도 2 내지 도 4를 참조하여 보다 더 상세하게 기재되는 바와 같이 확립되고, 깊이 맵(10)(디스패러티 맵)의 요소들과 연관된다.

도 2는 특정 및 비-제한적 실시예에 따른, 도 1의 깊이 맵(10)의 일부분(20)을 도시한다. 이러한 깊이 맵의 부분은 깊이 맵(10)의 8개의 요소들에 의해 둘러싸인 제1 요소(21)에 중심을 두고 있는데, 이러한 8개의 요소들 중에서 요소들(22, 23 및 24)은 제2 요소들이라고 불리운다. (도 2에 도시되지 않은) 시점(100)과 단편(P_T 25) 사이의 거리를 나타내는 깊이 정보(P_Z,21)는 제1 요소(21)의 중심(T 211)과 연관된다. 제1 요소의 지점(T 211)은 제1 요소(21)를 통과하는 시청 방향(210)을 따르는 단편(P_T 25)의 투영 지점에 대응한다. 제1 요소(21)에 속하는 지점(T' 212)은, 깊이 맵(10)과 연관된 시점(100)을 원점으로 가지며 제1 요소(21)를 통과하는 시청 방향(220)을 따르는 단편(P_T' 26)의 투영 지점에 대응한다. 제1 단편(25) 및 제2 단편은 유리하게도 서로 가까우며(예를 들어, 인접하며), 장면의 물체의 동일한 표면, 즉 깊이 맵(10)과 연관된 시점(100)에 대응하는 (도 2에 도시되지 않은) 광원(L)에 의해 조명되는 물체(13)의 표면에 속한다. 단편(P_T' 26)이 조명되는지의 여부를 결정하기 위해, 시점(100)에 따른 단편(P_T' 26)의 깊이는 제1 요소(21)와 {또는 제1 요소(21)의 중심(T 211)과} 연관된 깊이 정보, 및 제1 요소(21)와 연관되는 제1 요소(21)에서의 깊이의 변화를 나타내는 하나 이상의 제1 정보를 사용함으로써 계산되는 지점(T' 212)과 연관된 깊이 정보와 비교된다. 종래 기술의 깊이 맵들을 이용하여, 단편(P_T' 24)의 깊이는 가시적 아티팩트들을 야기할 수 있는 제1 요소(21)의 중심(T 211)과 연관된 깊이 정보(P_Z,21)와만 비교되었을 것이다. 실제로, 두 개의 단편들(25 및 26)이 속하는 물체(13)의 표면이 제1 및 제2 단편들의 시청 방향들(210 및 220)에 거의 접한다는 것{또는 다른 말로, 물체(13)의 표면 법선(normal)에 의해 그리고 하나의 시청 방향(210 또는 220)에 의해 형성된 각도가 크다는 것, 즉 미리 결정된 임계 각도보다 더 크다는 것, 예를 들어 45°보다 더 크다는 것}을 고려함으로써, 거리 ||LP_T'||를 제1 요소(21)의 중심(T 211)과 연관된 깊이{그리고 이는 실제로 거리 p_z,21 = ||LP_T||에 대응}와 비교하는 것은, 특히 제2 단편(P_T' 26)이 시점에 대하여 제1 단편(P_T 25) 뒤에 있을 때나, 또는 제2 단편(P_T' 26)이 시점에 대하여 제1 단편(P_T 25)으로부터 보다 더 멀리 위치되었을 때, 제2 단편(P_T' 26)이 제1 단편(P_T 25)의 음영 내에 존재하는 것을 확립할 수 있다. 이는 물론 도 3a, 도 3b, 도 4 및 도 5에 관하여 설명되는 바와 같이 확립된 제1 정보를 포함하지 않는 종래 기술의 깊이 맵에 저장된 깊이 정보의 부정확성으로 인한 잘못된 고려이다. 실제로, 단편들(P_T 25 및 P_T' 26) 모두는 광원(L)에 의해 조명되는데{또는 시점(100)으로부터 가시적인데}, 이는 이들이 물체(13)의 하나(one) 및 동일한 표면에 속하고, 깊이 맵 내에서의 이들의 투영 지점들(T 211 및 T' 212)이 동일한 제1 요소(21)에 속하기 때문이다.

도 3a 및 도 3b는 본 발명의 원리들의 특정 및 비-제한적 실시예에 따른, 제1 요소(21)에서의 깊이의 변화를 나타내는 하나 이상의 제1 정보를 확립하기 위한 제1 방법을 도시한다. 도 2 및 도 3a 및 도 3b의 공통적인 요소들은 동일한 참조 부호들을 갖는다. 도 3a는 장면(1)에 속하는 제2 표면 요소의 투영에 대응하는 제1 표면 요소(30)를 도시하는데, 제2 표면 요소는, 예를 들어 장면이 폴리고널 모델링에 의해 모델링된 경우에는 메쉬 요소(다각형, 예를 들어 삼각형)에 대응하거나, 또는 장면(1)이 표면들의 세분화에 의해 모델링된 경우에는 표면의 세분화에 대응한다. 도 3의 예시에 따르면, 제1 표면 요소는 삼각형의 형태를 취하고, 깊이 맵(10)의 공간(x, y)으로 한정된다. 제1 표면 요소(30)는 요소들의 2x2 정사각형(square)을 형성하는 적어도 4개의 요소들(21, 22, 23, 24)을 포함한다. 요소(21)는 도 2의 제1 요소(21)에 대응하고, 요소들(22, 23 및 24)은 제2 요소들이라고 불리운다. dx는 깊이 맵의 공간(x, y)에서 수평 축(x)을 따르는 제1 요소(21)의 중심과 제2 요소(220의 중심 사이의 거리를 나타낸다. dy는 깊이 맵의 공간(x, y)에서 수직 축(y)을 따르는 제1 요소(21)의 중심과 제2 요소(23)의 중심 사이의 거리를 나타낸다. 깊이 맵의 공간(x, y) 내의 제1 요소(21)에서의 깊이의 변화를 나타내는 제1 정보는 유리하게도 깊이 맵 내의 제1 표면 요소(30)의 {장면(1)의 어떤 단편들이 장면(1)의 제2 표면 요소들의 부분이고, 이에 따라 깊이 맵의 대응하는 제1 표면 요소들의 부분인지를 결정하는 것을 가능하게 하는} 래스터화 프로세스 동안 확립되며(즉, 계산 또는 생성되며), 래스터화 프로세스는 도 5에 관하여 이후에 설명되는 바와 같이 GPU(그래픽 프로세싱 유닛)와 연관된 그래픽 하드웨어 파이프라인의 기하학적 셰이더(geometry shader)에 의해 수행된다. x 축을 따르는 제1 요소에서의 깊이의 변화를 나타내는 제1 정보는, x 축을 따라 제1 요소(21)의 중심과 제2 요소(22)의 중심을 분리시키는 거리(dx)를 고려함으로써, 제1 요소(21)의 중심과 연관된 깊이 정보로부터, 그리고 유리하게는 x 축을 따라 제1 요소(21)에 인접하는 제2 요소(22)의 중심과 연관된 깊이 정보로부터 확립된다. 도 3b는 제1 요소(21) 및 제2 요소(22) 및 이들의 각각의 중심들과 연관된 깊이 정보(d1 및 d2)를 도시한다. d1 및 d2는 점선의 화살표들로 표현되고, 제1 요소(21)와 제2 요소(22) 사이의 깊이 차이는 선 세그먼트(31)로 표현되고, 제1 요소(21)와 제2 요소(22) 각각의 중심들 사이의 거리(dx 32)는 이중 화살표로 표현된다. 제1 요소(21)에서의 깊이의 변화를 나타내는 제1 정보는 직선(31)의 편미분 함수(partial derivative of the function)를 확립함으로써 획득되는 이러한 선 세그먼트(31)의 경사에 대응한다. x 축을 따르는 깊이 맵의 공간 내의 제1 요소에서의 깊이의 변화를 나타내는 제1 정보는 다음의 방정식을 통해 확립될 수 있다.

여기서,

는 제1 요소(21)와 연관된 x 축을 따르는 제1 정보에 대응하고, 또한 x 축을 따르는 깊이 편미분(partial depth derivative)에 대응하고, p(21)는 제1 요소(21)의 중심(T 211)과 연관된 깊이 정보에 대응하고, p(21 - dx) = p(22)는 제2 요소(22)의 중심과 연관된 깊이 정보에 대응한다.

동일한 방식으로, y 축을 따르는 제1 요소에서의 깊이의 변화를 나타내는 제1 정보는, y 축을 따라 제1 요소(21)의 중심(T 211)과 제2 요소(23)의 중심을 분리시키는 거리(dy)를 고려함으로써, 제1 요소(21)의 중심과 연관된 깊이 정보로부터, 그리고 유리하게는 y 축을 따라 제1 요소(21)에 인접하는 제2 요소(23)의 중심과 연관된 깊이 정보로부터 확립된다. y 축을 따르는 깊이 맵의 공간 내의 제1 요소(21)에서의 깊이의 변화를 나타내는 제1 정보는 다음의 방정식을 통해 확립될 수 있다:

여기서,

는 y 축을 따르는 제1 요소(21)와 연관된 제1 정보에 대응하고, 또한 y 축을 따르는 깊이 편미분에 대응하고, p(21)는 제1 요소(21)의 중심(T 211)과 연관된 깊이 정보에 대응하고, p(21 - dy) = p(23)는 제2 요소(23)의 중심과 연관된 깊이 정보에 대응한다.

한 변형에 따르면, (x 축을 따르는, 또는 y 축을 따르는) 두 개의 제1 정보 중 하나만이 GPU의 렌더링 파이프라인에서 수행된 계산량을 최소화하도록 확립된다.

다른 요소들(22, 23 및 24)과 연관된 제1 정보는 유리하게도 요소들(21 내지 24)의 동일한 그룹으로 확립된다. 예를 들어, x 축을 따르는 요소(22)에서의 깊이의 변화를 나타내는 제1 정보(

)는 요소(22)의 중심과 요소(21)의 중심을 분리시키는 거리(dx 32)를 고려함으로써, 요소(21)의 중심(T 211)과 연관된 깊이 정보{p(21)}로부터, 그리고 요소(22)의 중심과 연관된 깊이 정보{p(22)}로부터 확립된다. y 축을 따르는 요소(22)에서의 깊이의 변화를 나타내는 제1 정보(

)는 요소(22)의 중심과 요소(24)의 중심을 분리시키는 거리(dy)를 고려함으로써, 요소(24)의 중심과 연관된 깊이 정보{p(24)}로부터, 그리고 요소(22)의 중심과 연관된 깊이 정보{p(22)}로부터 확립된다. (각각 x 축을 따르는, 그리고 y 축을 따르는) 모든 제1 정보는 다음의 방정식들을 통해 확립될 수 있다:

도 4는 특정 및 비-제한적 실시예에 따른, 도 2의 제1 요소(21)에서의 깊이의 변화를 나타내는 하나 이상의 제1 정보를 확립하기 위한 제2 방법을 도시한다. 도 4는 장면(1)에 속하는 제2 표면 요소(42)의 투영에 대응하는 제1 표면 요소(41)를 도시하며, 제2 표면 요소는, 예를 들어 장면이 폴리고널 모델링에 의해 모델링된 경우에는 메쉬 요소(다각형, 예를 들어 삼각형)에 대응하고, 장면(1)이 표면들의 세분화에 의해 모델링된 경우에는 표면의 세분화에 대응한다. 제2 표면 요소(42)는 세계 공간, 즉 장면(1)의 공간에서 표현된다. 제1 표면 요소(41)는 깊이 맵(10)과 연관된 정사영 카메라(orthographic camera)와 연관된 3차원 공간(40)에서의 제2 표면 요소(42)의 투영에 대응한다. 정사영 카메라를 사용하는 것은 세계 공간에 속하는 제2 표면 요소를, 깊이 맵(10)과 연관된 카메라 시야의 3차원 공간(x, y, z)으로 투영하는 것을 가능하게 한다. 깊이 맵(10)의 2D-공간 내의 깊이 맵의 제1 요소에서의 깊이의 변화를 나타내는 하나 이상의 제1 정보를 확립하기 위해, 정사영 카메라(40)의 3D 공간 내의 제1 표면 요소(41)와 연관된 평면을 나타내는 함수가 결정되며, 이는 다음과 같다:

여기서, a, b, c 및 d는 평면 인자들이고, x, y 및 z는 평면의 지점들의 좌표들이며, z는 깊이에 대응한다.

이는 깊이 맵의 공간의 x 축을 따르는 제1 정보(dp_z,21/dx) 및/또는 깊이 맵의 공간의 y 축을 따르는 제1 정보(dp_z,22/dy)를 확립하는 것을 가능하게 한다:

도 5는 본 발명의 원리들의 특정 및 비-제한적 실시예에 따른, 깊이 맵(10)의 제1 요소(21)를 나타내는 메모리 요소(또는 메모리 요소들의 결합)의 구조(5)를 개략적으로 도시한다. 구조(5)는 3개의 메모리 블록들(50, 51, 52)을 포함한다. 제1 요소의 중심과 연관된 깊이 정보(p_z,21)는 제1 블록(50)에 저장되고, 깊이 맵의 공간의 x 축을 따르는 깊이의 변화를 나타내는 제1 정보(dp_z,21/dx)는 제2 블록(51)에 저장되며, 깊이 맵의 공간의 y 축을 따르는 깊이의 변화를 나타내는 제1 정보(dp_z,21/dy)는 제3 블록(52)에 저장된다. 깊이 맵의 구조는, 예를 들어 32-비트 RGBA 버퍼인데, 16 비트는 블록(50)을 위해 사용되고, 8 비트는 제2 블록(51)을 위해 사용되며, 8 비트는 제3 블록(52)을 위해 사용된다. 또 다른 예시에 따르면, 깊이 맵의 구조는 제1 블록(50)을 위한 32 비트 및 각각의 블록(51 및 52)을 위한 16 비트를 갖는 RGBA 버퍼에 저장된 64-비트 데이터 배열이다. 단 하나의 제1 정보가 {축(x) 또는 축(y)을 따라서} 확립되는 경우, 블록(51 및 52) 중 하나는 비어있으며, 자유로운 공간 메모리는 보다 큰 정확도로 단 하나의 제1 정보를 저장하도록 사용될 수 있다.

그러고 나서, 깊이 맵(10)에 저장되며 도 2의 제1 요소(21)와 연관된 제1 정보는 제1 요소(21)의 지점(T' 212)과 연관된 깊이 정보를 계산하도록 사용될 수 있다. 지점(T' 212)과 연관된 깊이 정보(p_z,T')는 다음의 방정식을 통해 계산된다:

여기서, P_T=p_z,21는 제1 요소(21)의 중심(T 211)과 연관된 깊이 정보이고,

x_T' 및 y_T'는 깊이 맵(10)의 공간(x, y)에서의 지점(T' 212)의 좌표이고,

x_T 및 y_T는 깊이 맵(10)의 공간(x, y)에서의 지점(T 212)의 좌표이고,

는 x 축을 따르는 제1 요소(21)의 깊이의 변화를 나타내는 제1 정보이고,

는 y 축을 따르는 제1 요소(21)의 깊이의 변화를 나타내는 제1 정보이다.

단편(P_T' 26)이 조명되는지 또는 단편(P_T 25)에 의해 조명으로부터 숨겨지는지의 여부를 결정하기 위해, 시점(100)과 단편(P_T' 26)사이의 거리(||LP_T'||)는 지점(T' 212)과 연관된 깊이 정보(p_z,T')와 비교되고, 수학식 9를 통해 계산된다. ||LP_T'||이 p_z,T' 이하인 경우, 단편(P_T' 26)은 (도 2에는 도시되지 않지만, 도 1에는 도시되는) 광원(L 100)에 의해 조명된다. ||LP_T'||이 p_z,T'보다 더 큰 경우, 단편(P_T' 26)은 광원(L 100)에 의해 조명되지 않는다.

도 6a 및 도 6b는 특정 및 비-제한적 실시예에 따른, 깊이 맵(10)의 제1 요소(21)에서의 깊이의 변화를 나타내는 제1 정보의 인코딩을 도시한다. 깊이 맵의 제1 요소에서의 깊이의 변화를 나타내는 제1 정보의 값들은 프론트 페이싱 표면들(front facing surfaces){즉, 깊이 맵의 제1 요소(21)의 중심을 통과하는 시청 방향과 평행하거나 거의 평행한 법선(normal)을 갖는 물체(들)의 표면들}의 존재 시에 상당히 작을 수 있으며, 정반대로 입사 여각 표면들(grazing angle surfaces){즉, 깊이 맵의 법선에 수직이거나 거의 수직인 법선을 갖는 장면의 물체(들)의 표면들}의 존재 시에 매우 클 수 있다. 이러한 진폭은 고정밀 부동 저장(high precision float storage)을 요구하고, 이는 깊이 맵 저장을 상당히 증가시킬 수 있다. 다른 한편으로는, 제1 정보가 (깊이 맵의 x 축을 따르는) x 및 (깊이 맵의 y 축을 따르는) y의 선형 함수의 경사를 나타내므로, 이는 다음과 같이 경사각으로 표현될 수 있다:

이러한 각도 함수들(angular functions)은 경계 범위 [

] 내에서 한정되고, 이는, 예를 들어

, 즉 대략적으로 0.703도(degrees)의 정확도로 부호가 없는(unsigned) 8 비트들의 정수 값들에 저장될 수 있다. 도 4a는 이러한 각도 함수(60)를 도시하는데, 범위 [

]는 [-1.0;1.0]으로 정규화된다. 도 6a에서는, 작은 각도들에 대해, 제1 정보 값들 {즉, 미분(derivative) 또는 레이트(rate)}은 천천히 변하고, 각도 정확도(angular precision)는 중요하지 않다. 정반대로, 그것은 영역 경계들(domain bounds)의 근처, 즉

의 근처에서는 중요해진다. 작은 각도 변화는 잘못된 깊이 재구성을 야기할 수 있는 높은 미분 변화(derivative variation)를 나타낸다. 보다 더 높은 정확도를 갖는 것은 예를 들어 16 또는 32 비트들의 사이즈의 증가하는 데이터 저장(data storage)을 요구할 수 있다. 본 발명의 하나의 특정 및 비-제한적 실시예에 따르면, 축(x 및 y)을 따르는 깊이 맵의 공간 내의 깊이 맵의 제1 요소에서의 깊이의 변화를 나타내는 각도 함수들, 즉 함수들{θ_x(p_z,21) 및 θ_y(p_z,21)}은, 0 주위의 각도 영역을 압축하고 영역 경계들의 근처, 즉

의 구역에 대한 보다 더 높은 정확도를 제공하기 위해 기수 멱함수(x^y)(예를 들어, x³ 또는 x⁵)로 인코딩된다. 이러한 함수(61) 및 효과적인 압축은 기수 멱함수를 이용한 도 6b{기수 멱함수(즉, 도 6b의 예시에서의 x³)를 사용한 정규화된 각도 영역 압축을 도시하는 도 6b}에 도시된다. 이러한 실시예는 각각의 제1 정보 값에 대해 오직 8 비트의 데이터 저장과 함께 양호한 정확도로 제1 정보(즉, 미분들)를 기록하는 것을 허용한다. 부호가 없는 8 비트 정수의 (각각 x 축 및 y 축을 따르는) 최종의 인코딩된 제1 정보 값들{E_dx(p_z,21) 및 E_dy(p_z,21)}은 다음과 같이 획득된다:

여기서, n은 양의 홀수(odd integer)이다.

제1 정보 값들을 획득하기 위한 디코딩은 유리하게도, 단편이 조명되는지의 여부(또는 단편이 가시적인지의 여부)를 결정하기 위한 깊이 비교가 발생하는 패스(pass)를 렌더링하는 장면에서 수행된다. 디코딩된 제1 정보 값들(

및

)은 다음과 같이 획득된다:

도 7은 깊이 맵의 제1 요소와 연관된 컨텐츠를 강화하도록 구성된 디바이스(7)의 하드웨어 실시예를 개략적으로 도시한다. 디바이스(7)는 또한 장면(1)을 나타내는 하나 이상의 합성 이미지들의 디스플레이 신호들의 생성을 위해 구성된다. 디바이스(7)는, 예를 들어 개인 컴퓨터(PC), 랩톱, 태블릿, 스마트폰 또는 게임 콘솔에 대응한다.

디바이스(7)는, 클록 신호를 또한 전달하는 데이터 및 어드레스들의 버스(75)에 의해 서로 연결된 다음의 요소들:

- 마이크로프로세서(71)(또는 CPU),

- 그래픽 카드(72)로서:

● 여러 그래픽 프로세서 유닛들(또는 GPU들)(720),

● 그래픽 랜덤 액세스 메모리(GRAM)(721)를

포함하는, 그래픽 카드(72),

- ROM(판독 전용 메모리) 유형의 비-휘발성 메모리(76),

- 랜덤 액세스 메모리 또는 RAM(77),

- 예를 들어, 키보드, 마우스, 웹캠과 같은 하나 이상의 I/O (입력/출력) 디바이스들(74), 및

- 전원(78)을

포함한다.

디바이스(7)는 또한 그래픽 카드에서 계산 및 조성된 합성된 이미지들을, 예를 들어 라이브로 디스플레이하기 위해 그래픽 카드(72)에 직접적으로 연결된 디스플레이 스크린 유형의 디스플레이 디바이스(73)를 포함한다. 디스플레이 디바이스(73)를 그래픽 카드(72)에 연결시키기 위한 전용 버스의 사용은, 훨씬 더 큰 데이터 송신 비트레이트를 가져, 이에 따라 그래픽 카드에 의해 조성된 이미지들의 디스플레이를 위한 지연 시간을 감소시키는 장점을 제공한다. 한 변형에 따르면, 디스플레이 디바이스는 디바이스(7)에 외부에 있으며, 디스플레이 신호를 송신하기 위해 유선으로 또는 무선으로 디바이스(7)에 연결된다. 디바이스(7), 예를 들어 그래픽 카드(72)는, 예를 들어 LCD 또는 플라즈마 스크린 또는 비디오-프로젝터와 같은 외부 디스플레이 수단에 디스플레이 신호를 송신하도록 적응된 (도 7에는 도시되지 않는) 연결 또는 송신을 위한 인터페이스를 포함한다. 메모리들(721, 76 및 77)의 설명에서 사용된 용어 "레지스터"는 언급된 메모리들 각각에 있어서 소용량(일부 이진 데이터)의 메모리 구역, 및 (전체 프로그램이 저장되는 것을 가능하게 하거나, 또는 계산된 데이터를 나타내는 데이터의 모두 또는 부분이 디스플레이되는 것을 가능하게 하는) 대용량의 메모리 구역을 지칭한다는 것이 주목된다.

스위칭-온될 때, 마이크로프로세서(71)는 RAM(77)에 포함된 프로그램의 명령어들을 로딩 및 실행한다.

랜덤 액세스 메모리(77)는 특히:

- 레지스터(770) 내의, 디바이스(7)를 스위칭 온하는 것을 담당하는 마이크로프로세서(71)의 운영 프로그램과,

- 장면을 나타내는 파라미터들(771){예를 들어, 장면의 물체(들)의 모델링 파라미터들, 장면의 조명 파라미터들}을

포함한다.

이후에 기재되며 본 발명에 특정된 방법의 단계들을 구현하는 알고리즘들은 이들 단계들을 구현하는 디바이스(7)와 연관된 그래픽 카드(72)의 메모리 GRAM(721) 내에 저장된다. 스위칭 온되고, 환경을 나타내는 파라미터들(771)이 RAM(77)으로 로딩되면, 그래픽 카드(72)의 그래픽 프로세서들(720)은 이들 파라미터들을 GRAM(721)으로 로딩하고, HLSL{하이 레벨 셰이더 랭귀지(High Level shader Language)} 또는 GLSL{오픈지엘 셰이딩 랭귀지(OpenGL Shading Language)}를 이용하는 "셰이더(shader)" 유형의 마이크로프로그램들의 형태로 이들 알고리즘들의 명령어들을 실행한다.

랜덤 액세스 메모리 GRAM(421)은 특히:

- 레지스터(7211) 내의, 장면을 나타내는 파라미터들과,

- 레지스터(7212) 내의, 깊이 맵의 요소들의 중심들과 연관된 깊이 정보와,

- 레지스터(7213) 내의, 깊이 맵의 공간 내의 깊이 맵의 요소에서의 깊이의 변화를 나타내는 하나 또는 두 개의 제1 정보를

포함한다.

한 변형에 따르면, 제1 및 제2 식별자들 및 거리들은 RAM(77)에 저장되고, 마이크로프로세서(71)에 의해 프로세싱된다.

다른 변형에 따르면, GRAM(721) 내에서 이용 가능한 메모리 저장 공간이 충분하지 않은 경우, RAM(77)의 일부분은 식별자들 및 거리들의 저장을 위해 CPU(71)에 의해 할당된다. 하지만, 이러한 변형은, 송신 용량(transmission capacities)이 GPU로부터 GRAM으로의, 그리고 GRAM으로부터 GPU로의 데이터 송신을 위해 그래픽 카드에서 이용 가능한 송신 용량보다 일반적으로 더 낮은 버스(75)에 의해 데이터가 통과되어 그래픽 카드로부터 랜덤 액세스 메모리(77)로 송신되어야 하기 때문에, GPU들에 포함된 마이크로프로그램들로부터 조성된 환경의 표현을 포함하는 이미지의 조성에 있어서 보다 더 큰 지연 시간을 초래한다.

다른 변형에 따르면, 전력 공급 장치(78)는 디바이스(7)의 외부에 있다.

도 8은 본 발명의 제1의 비-제한적이며 특히 유리한 실시예에 따른, 예를 들어 디바이스(7) 내에서 구현된 깊이 맵의 제1 요소와 연관된 컨텐츠를 강화하기 위한 방법을 도시한다.

초기화 단계(80) 동안, 디바이스(7)의 상이한 파라미터들이 갱신된다. 특히, 이미지(11) 내에 표현된 장면(1)을 나타내는 파라미터들, 및 깊이 맵(10) 내에 포함된 깊이 정보는 어떤 식으로든 초기화된다.

그러고 나서, 단계(81) 동안, 깊이 맵의 제1 요소(예를 들어, 텍셀 또는 픽셀)에서의 깊이의 변화를 나타내는 적어도 하나의 제1 정보는 깊이 맵의 공간 내에서 확립된다. 제1 정보는, 깊이 맵의 시점을 원점으로 가지며 제1 요소를 통과하는 시청 방향을 따르는 깊이 맵과 연관된 시점으로부터 가시적인 장면의 단편의 깊이에 대응하는 제1 요소의 중심과 연관된 (깊이를 나타내는 제2 정보라고 부르는) 하나의 깊이 정보를 단지 포함하는 종래 기술의 깊이 맵의 컨텐츠를 강화하기 위해 사용된다. 한 유리한 방식에서, 두 개의 제1 정보가 확립되는데, 즉 깊이 맵의 공간의 수평 축을 따르는 깊이의 변화를 나타내는 하나의 제1 정보와, 깊이 맵의 공간의 (수평 축과 수직인) 수직 축에 따르는 깊이의 변화를 나타내는 또 다른 제1 보이다. 한 변형에 따르면, 두 개의 제1 정보 중 단 하나만이 확립되는데, 이는 깊이 맵의 공간의 수평 축을 따르는 깊이의 변화를 나타내는 제1 정보나, 또는 깊이 맵의 공간의 수직 축을 따르는 깊이의 변화를 나타내는 제1 정보이다. 제1 정보는 유리하게도, 종래 기술에 따라 수행되는 바와 같이, 제1 요소의 임의의 지점과 제1 요소의 중심의 깊이 정보를 연관시키는 것을 대신하여, 깊이 맵의 공간 내에 표현된 이러한 지점의 좌표들을 사용하여, 제1 요소의 임의의 지점과 연관된 깊이 정보를 확립하기 위해 제1 요소의 중심의 중심과 연관된 깊이 정보에 추가하여 사용된다.

제1 정보는, 예를 들어 깊이 맵의 제1 요소의 중심과 연관된 깊이 정보로부터, 그리고 깊이 맵의 제2 요소의 중심과 연관된 깊이 정보로부터 확립된다. 제1 및 제2 요소들은 장면의 표면 요소에 대한 깊이 맵으로의 투영으로부터 생기는 동일한 표면 요소에 속한다. 깊이 맵의 공간의 수평 축을 따르는 깊이의 변화를 나타내는 제1 정보를 확립하도록 사용된 제1 및 제2 요소들은 유리하게도 수평 축을 따라서 인접하다. 깊이 맵의 공간의 수직 축을 따르는 깊이의 변화를 나타내는 제1 정보를 확립하도록 사용된 제1 및 제2 요소들은 유리하게도 수직 축을 따라서 인접하다. 제1 정보는 유리하게도, 제1 요소와 제2 요소 사이의 거리에 대한 (예를 들어, 제1 요소의 중심과 제2 요소의 중심 사이의 거리에 대한) 제1 요소와 제2 요소 사이의 깊이의 차이의 비(ratio)에 대응한다.

다른 예시에 따르면, 제1 정보는 제1 요소를 포함하는 표면 요소의 방정식을 사용함으로써 확립되고, 깊이 맵과 연관된 카메라 시야의 공간으로 장면의 표면 요소를 투영함으로써 획득된다. 제1 정보는 이러한 표면 요소의 경사(들)에 대응하며, 이것의 방정식은 깊이 맵의 공간의 수평 축 및/또는 수직 축에 대하여, 깊이 맵의 카메라 시야의 공간에서 표현된다.

한 변형에 따르면, 하나 또는 두 개의 제1 정보는 제1 요소에서의 깊이의 변화를 나타내는 경사각의 형태로 표현된다.

다른 변형에 따르면, 이러한(이들의) 제1 정보의 각도 표현(들)은 기수 멱함수로 인코딩된다.

추가적인 변형에 따르면, 제1 정보는 제1 요소와 연관되어, 깊이 맵과 연관된 버퍼 내에 저장된다.

다른 변형에 따르면, 장면의 이미지는 이미지와 연관된 시점(즉, 카메라 시야)으로부터 가시적인 장면의 단편들과 연관된 픽셀들을 디스플레이함으로써 렌더링된다. 이미지의 디스플레이된 픽셀들과 연관된 컬러 정보(즉, RGB 정보)는 이미지의 픽셀들과 연관된 단편들과 연관된 컬러 정보에 대응한다. 이미지의 픽셀과 연관된 단편의 깊이는 유리하게도, 깊이 맵의 시점을 원점으로 가지며 고려된 단편을 끝점(end)으로 갖는 시청 방향을 따르는 장면과 연관된 깊이 맵으로의 단편의 투영의 지점과 연관된 깊이와 비교되는데, 투영의 지점과 연관된 깊이는 투영의 지점을 포함하는 깊이 맵의 요소와 연관된 제1 정보 및 제2 정보로부터 검색된다. 이러한 비교는, 고려된 단편이 (장면의 광원이 깊이 맵의 시점에 대응할 때) 조명되는지의 여부를 결정하는 것을 가능하게 하는데, 이는 단편과 연관된 컬러 정보에 영향을 줄 수 있어, 이로써 렌더링될 이미지의 픽셀과 연관된 컬러 정보에 영향을 줄 수 있다.

단계(81)는 유리하게도 깊이 맵의 각각의 요소에 대하여, 그리고 장면의 임의의 이미지와 연관된 각각의 깊이 맵에 대하여 반복된다.

당연하게도, 본 발명은 이전에 기재된 실시예들로 제한되지는 않는다.

특히, 본 발명은 깊이 맵의 컨텐츠를 강화하기 위한 방법으로 제한되지 않을 뿐더러, 이러한 방법을 구현하는 임의의 디바이스, 및 특히 적어도 하나의 GPU를 포함하는 임의의 디바이스들로 확장된다. 기본적인 기하학적 구조들(elementary geometries)의 생성, 및 기본적인 기하학적 구조들에 할당될 색인 값들(index values)의 결정에 있어 필수적인 계산들의 구현은 셰이더 유형의 마이크로프로그램들의 구현으로 제한되지 않을 뿐더러, 임의의 프로그램 유형, 예를 들어 CPU 유형의 마이크로프로세서에 의해 실행될 수 있는 프로그램들로 확장된다.

본 발명의 이용은 라이브 활용(live utilisation)으로 제한되지 않을 뿐더러, 예를 들어 합성 이미지들의 디스플레이를 위한 레코딩 스튜디오에서의 후반 제작 프로세싱(postproduction processing)으로 알려진 프로세싱을 위한 임의의 다른 활용으로 확장된다.

본 발명은 또한 깊이 맵의 공간 내의 깊이 맵의 요소에서의 깊이의 변화를 나타내는 깊이 정보를 인코딩하기 위한 방법(및 깊이 정보를 인코딩하도록 구성된 디바이스)에 관한 것이다. 본 발명은 추가적으로, 제1 요소의 중심과 연관된 깊이 정보에 기초하여, 그리고 깊이 맵의 수평 및/또는 수직 축을 따르는 깊이의 변화를 나타내는 추가적인 깊이 정보에 기초하여 깊이 맵의 제1 요소의 지점과 연관된 깊이 정보를 결정하기 위한 방법 및 디바이스에 관한 것이다. 제1 패스(음영 맵 렌더링)에서 {미분들(derivatives)이라고도 부르는} 제1 정보를 인코딩하고, 제2 패스(장면 렌더링)에서 이들을 디코딩하고, 깊이 비교를 수행하기 위해 이들을 사용하기 위해 GPU(그래픽 프로세서 유닛)에 존재하는 프로그래밍 가능한 렌더링 파이프라인의 장점이 얻어진다. 본 발명의 여러 실시예들을 결합하는 전체 프로세스에 대한 GPU 구현은 다음과 같이 작용한다:

1. 제1 패스는, 예를 들어 깊이/음영 맵을 나타내는 하나의 32 비트 렌더 타깃(render target)(1 또는 2의 구성요소들)에서의 밝은 뷰(light view)로부터의 장면을 렌더링한다.

2. 꼭지점 프로세싱 스테이지에서, 꼭지점 셰이더는 메쉬 요소(예컨대, 삼각형) 꼭지점을 물체 공간으로부터 밝은 클립 공간(light clip space)으로 변환하도록 셋업된다.

3. 단편 프로세싱 스테이지에서, 단편 셰이더가 셋업된다. 단편들의 깊이(p _z )는 래스터화되는 텍셀에 대하여 밝은 클립 공간(즉, 깊이/음영 맵의 공간)에서 획득된다. p _z 는 32 비트의 최종 값의 상위(higher) 16 비트들로 기입된다.

4. 제1 정보{깊이 미분들(

)}가 계산된다. 깊이 미분들은 표면 (예를 들어, 삼각형) 평면 방정식으로부터 계산되거나, 대부분의 GPU들{dFdx(OpenGL) 또는 ddx(DirectX)}에서 이용 가능한 미분 함수로부터 직접적으로 획득된다. 그러고 나서, 이들은 깊이 버퍼의 2개의 하위(lower) 8 비트들의 최종 값으로 인코딩된다. 최종 값은 깊이/음영 맵에 기입된다.

5. 제2 패스는 카메라 뷰로부터의 장면을 렌더링한다. 깊이/음영 맵은 GPU 텍스쳐 유닛에 결속된다(bind).

6. 단편 프로세싱 스테이지에서, 단편 셰이더는 셋업된다. 뷰 샘플(P)은 밝은 공간(깊이/음영 맵의 공간) 내에 투영되는데, 이는 클립 공간 내에 깊이(p _z )를 제공하며, 음영 맵 공간(p _x , p _y ) 및 그것이 속하는 텍셀(i, j) 내에 투영 위치를 제공한다.

7. 텍스쳐 룩업은 저장된 값을 검색하도록 음영 맵에서 수행된다. 상위 16 비트들은 2개의 하위 8 비트 값으로부터 p _z 및 dp _z /dx 및 dp _z /dy를 검색하도록 판독된다.

8. 그러고 나서, P 투영과 일치하는 폐색기(occluder)의 깊이(dp _z )가 검색된다.

9. dz ＜ pz인 경우, P는 음영화된다. 그렇지 않으면, 이는 음영화되지 않는다. 시험 결과는 추후 사용{연기(deffered)}을 위한 음영 버퍼 내에 기입되거나, 또는 동일한 단편 셰이더의 표면 조명과 결합된다.

본 명세서에서 기재된 구현들은, 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 비록 단일 형태의 구현의 문맥에서 단지 논의되었을지라도(예를 들어, 방법 또는 디바이스로서만 논의되었을지라도), 논의된 특징들의 구현은 또한 다른 형태(예를 들어, 프로그램)로 구현될 수도 있다. 장치는, 예를 들어 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍 가능한 로직 디바이스를 포함하는 일반적인 프로세싱 디바이스들을 지칭하는 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어 스마트폰들, 태블릿들, 컴퓨터들, 모바일 폰들, 휴대용/퍼스널 디지털 어시스턴트들("PDA들"), 및 최종-사용자들 간에 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 명세서에 기재된 다양한 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들, 특히, 예를 들어 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스쳐 프로세싱, 및 이미지들 및 관련된 텍스쳐 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 애플리케이션들로 구체화될 수 있다. 이러한 장비의 예시들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-톱 박스, 랩톱, 퍼스널 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 분명하게도, 장비는 모바일일 수 있으며, 심지어 모바일 디바이스에 설치될 수 있다.

추가적으로, 본 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있으며, 이러한 명령어들(및/또는 구현으로 산출된 데이터 값들)은, 예를 들어 집적회로, 소프트웨어 캐리어 또는, 예를 들어 하드 디스크, 콤팩트 디스켓("CD"), (예를 들어, 종종 디지털 다용도 디스크 또는 디지털 비디오 디스크라고도 지칭되는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독-전용 메모리("ROM")와 같은 다른 저장 디바이스처럼 프로세서 판독 가능한 매체에 저장될 수도 있다. 명령어들은 프로세서 판독 가능한 매체 상에서 실질적으로 구체화된 애플리케이션 프로그램을 형성할 수 있다. 예를 들어, 명령어들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 결합일 수 있다. 명령어들은, 예를 들어 운영 체제, 분리된 애플리케이션, 또는 두 가지의 결합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령어들을 갖는 (저장 디바이스와 같은) 프로세서 판독 가능한 매체를 포함하는 디바이스 모두를 특징으로 할 수 있다. 게다가, 프로세서 판독 가능한 매체는, 명령어들에 더하여 또는 명령어들을 대신하여, 구현으로 산출된 데이터 값들을 저장할 수 있다.

당업자에게는 명백하게도, 구현들은, 예를 들어 저장 또는 송신될 수 있는 정보를 운반하도록 포맷된 다양한 신호들을 산출할 수 있다. 정보는, 예를 들어 기재된 구현들 중 하나에 의해 산출된 방법 또는 데이터를 수행하기 위한 명령어들을 포함할 수 있다. 예를 들어, 신호는 기재된 실시예의 구문(syntax)을 기입 또는 판독하기 위한 규칙들을 데이터로서 운반하거나, 또는 기재된 실시예에 의해 기입된 실제적인 구문-값들을 데이터로서 운반하도록 포맷될 수 있다. 이러한 신호는, 예를 들어 (예를 들어 스펙트럼의 무선 주파수 부분을 사용하는) 전자기파로서, 또는 기저대역 신호로서 포맷될 수 있다. 포맷화는, 예를 들어 데이터 스트림을 인코딩하는 것과, 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 링크를 통해 송신될 수 있다. 신호는 프로세서-판독 가능한 매체 상에 저장될 수 있다.

많은 구현들이 기재되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 요소들은 다른 구현들을 산출하도록, 결합되거나, 보충되거나, 수정되거나, 또는 제거될 수 있다. 추가적으로, 당업자는 다른 구조들 및 프로세스들이 개시된 것들을 위해 대체될 수 있으며, 개시된 구현들과 동일한 결과(들)를 적어도 실질적으로 달성하기 위해 결과적인 구현들이 적어도 실질적으로 동일한 방법(들)으로 동일한 기능(들)을 적어도 실질적으로 수행할 것이라는 것을 이해할 것이다. 따라서, 이러한 및 다른 구현들은 이러한 애플리케이션에 의해 심사숙고된다.

본 발명은, 예를 들어 PC 또는 휴대형 컴퓨터에서나, 또는 이미지들을 라이브로 산출 및 디스플레이하는 특수화된 게임 콘솔들에서 실행될 수 있는 프로그램들을 통해, 비디오 게임 애플리케이션들에서 사용될 수 있다. 도 7에 관하여 기재된 디바이스(7)에는 유리하게도, 예를 들어 키보드, 마우스, 조이스틱, 또는 또한 가능한 보컬 인식과 같은 명령들의 도입을 위한 임의의 다른 모드들과 같은 상호 작용 수단이 장착된다.

10: 깊이 맵 100: 시점
21: 제1 요소 22, 23: 제2 요소
40: 카메라 시야 51, 52: 제1 정보

Claims (15)

1. 깊이 맵(10)의 제1 요소(21)와 연관된 컨텐츠를 강화(enriching)하기 위한 방법으로서,
   깊이 맵(10)은 시점(point of view)(100)에 따라 장면(1)과 연관되는, 컨텐츠를 강화하기 위한 방법에 있어서,
   깊이 맵의 공간 내의 상기 제1 요소(21)에서의 깊이의 변화를 나타내는 적어도 하나의 제1 정보(51, 52)를 확립하는 단계(81)를
   포함하는 것을 특징으로 하는, 컨텐츠를 강화하기 위한 방법.
2. 제1항에 있어서, 적어도 하나의 제1 정보(51, 52)는 제1 요소(21)와 연관된 깊이 정보(50)로부터, 그리고 적어도 하나의 제2 요소(22, 23)와 연관된 깊이 정보로부터 확립되며, 제1 요소 및 적어도 하나의 제2 요소는 깊이 맵으로 투영된 장면의 동일한 표면 요소에 속하는, 컨텐츠를 강화하기 위한 방법.
3. 제2항에 있어서, 제1 요소(21) 및 적어도 하나의 제2 요소(22, 23)는 인접한, 컨텐츠를 강화하기 위한 방법.
4. 제2항 또는 제3항에 있어서, 적어도 하나의 제1 정보(51, 52)는 제1 요소(21)와 적어도 하나의 제2 요소(22) 사이의 거리(32)에 대한 제1 요소(21)와 적어도 하나의 제2 요소(22) 사이의 깊이의 차이의 비를 계산함으로써 확립되는, 컨텐츠를 강화하기 위한 방법.
5. 제1항에 있어서, 적어도 하나의 제1 정보는 깊이 맵(10)과 연관된 카메라 시야(camera field of view)(40)의 공간으로 투영된 장면의 표면 요소(41)의 방정식으로부터 확립되며, 상기 투영된 표면 요소(41)는 제1 요소를 포함하는, 컨텐츠를 강화하기 위한 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 적어도 하나의 제1 정보는 상기 제1 요소에서의 깊이의 변화를 나타내는 경사각(60)의 형태로 표현되는, 컨텐츠를 강화하기 위한 방법.
7. 제6항에 있어서, 경사각의 형태로 표현된 적어도 하나의 제1 정보는 기수 멱함수(odd power function)(61)로 인코딩되는, 컨텐츠를 강화하기 위한 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 하나의 제1 정보는 깊이 맵의 공간의 각각의 차원에 대해 확립되는, 컨텐츠를 강화하기 위한 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 방법은 상기 깊이 맵에서의 제1 요소와 연관된 적어도 하나의 제1 정보를 저장하는 단계를 더 포함하는, 컨텐츠를 강화하기 위한 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 요소와 연관된 컨텐츠는 시점(100)과 장면(25)의 단편 사이의 깊이를 나타내는 제2 정보(50)를 포함하고, 상기 단편은 제1 요소(21)를 통과하는 시청 방향(210)을 따르는 시점(100)으로부터 가시적인 가장 가까운 단편에 대응하는, 컨텐츠를 강화하기 위한 방법.
11. 깊이 맵의 제1 요소와 연관된 컨텐츠를 강화하도록 구성된 디바이스(7)로서,
    깊이 맵은 시점에 따라 장면과 연관되는, 디바이스(7)에 있어서,
    깊이 맵의 공간 내의 상기 제1 요소에서의 깊이의 변화를 나타내는 적어도 하나의 제1 정보를 확립하도록 구성된 적어도 하나의 프로세서(720)를 포함하는, 디바이스.
12. 제10항에 있어서,
    적어도 하나의 프로세서(720)는 그래픽 프로세서 유닛(GPU)인, 디바이스.
13. 제11항 또는 제12항에 있어서,
    적어도 하나의 제1 정보는 제1 요소와 연관된 깊이 정보로부터, 그리고 적어도 하나의 제2 요소와 연관된 깊이 정보로부터 확립되며, 제1 요소 및 적어도 하나의 제2 요소는 깊이 맵으로 투영된 장면의 동일한 표면 요소에 속하는, 디바이스.
14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    적어도 하나의 프로세서는 상기 제1 요소에서의 깊이의 변화를 나타내는 경사각의 형태로 적어도 하나의 제1 정보를 표현하고, 경사각의 형태로 표현된 적어도 하나의 제1 정보를 기수 멱함수로 인코딩하도록 더 구성되는, 디바이스.
15. 컴퓨터 프로그램 제품으로서,
    프로그램이 컴퓨터 상에서 실행될 때, 제1항 내지 제10항 중 어느 한 항에 따른 방법의 단계들을 수행하기 위한 프로그램 코드의 명령어들을 포함하는 것을 특징으로 하는, 컴퓨터 프로그램 제품.

Images