KR101482578B1 - 에지 검출 및 셰이더 재사용을 이용한 멀티­뷰 광선 추적 - Google Patents

Abstract

멀티-뷰 이미지는 멀티-뷰 실루엣 에지들을 이용하여 복사 휘도 함수 내의 불연속들을 검출함으로써 생성될 수 있다. 멀티-뷰 실루엣 에지는 역추적 평면과 교차하는 삼각형의 에지이며, 추가로, 그 삼각형은 교점으로부터 볼 때 역방향을 향하며, 에지는 더 이상 어떠한 역방향 삼각형에도 연결되지 않는다. 셰이딩 포인트들과 카메라 라인 간에서 분석 가시성이 계산될 수 있고, 공유된 셰이딩 계산이 재사용될 수 있다.

Description

에지 검출 및 셰이더 재사용을 이용한 멀티­뷰 광선 추적{MULTI-VIEW RAY TRACING USING EDGE DETECTION AND SHADER REUSE}

본 발명은 멀티-뷰 디스플레이, 및 멀티-뷰 디스플레이를 위한 이미지를 생성하는 그래픽 프로세싱에 관한 것이다.

스테레오스코픽 렌더링 및 3D 스테레오 디스플레이는 급속하게 주류가 되어 가고 있다. 당연한 연장은 능동 또는 수동 안경을 필요로 하지 않고서 다수의 동시 시청자를 수용하기 위해 시차 장벽(parallax barriers) 또는 렌티큘러 렌즈(lenticular lenses)를 이용하는 오토스테레오스코픽 멀티-뷰 디스플레이이다. 이러한 디스플레이는 가까운 장래에는 다소 제한된 수의 뷰만을 지원할 것이므로, 고품질의 시점 간 안티에일리어싱(interperspective antialiasing)이 크게 필요하다.

도 1은 카메라 라인, 순방향 광선, 역추적 삼각형 및 이미지 평면의 개념을 간단한 예로 보여주기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따라 분석 가시성이 어떻게 계산되는지를 도시한 것이다.
도 3은 일 실시예에 따른 멀티-뷰 실루엣 에지 생성의 개략도이다.
도 4는 v-차원에서 클립핑된 멀티-뷰 실루엣의 도면이다.
도 5는 일 실시예에 따른 공유되는 보간 셰이딩의 도면이다.
도 6은 일 실시예에서 재구성 필터를 이용하여 재구성이 어떻게 행해질 수 있는지를 도시한다.
도 7은 역추적으로 인한 불균일한 샘플 밀도의 도면이다.
도 8은 일 실시예에 따른 안티에일리어싱을 위한 멀티-뷰 실루엣 에지의 교점의 도면이다.
도 9는 일 실시예에 대한 흐름도이다.
도 10은 일 실시예에 대한 하드웨어 도면이다.

광선 추적을 이용한 효율적인 멀티-뷰 이미지 생성을 위한 특수화된 알고리즘이 제공된다. 장면 내의 기하학적 에지들에 의해 생성된 복사 휘도 함수(radiance function) 내에서의 급격한 불연속들(sharp discontinuities)을 검출하기 위해 멀티-뷰 실루엣 에지가 도입된다. 추가로, 셰이딩 포인트들과 카메라 라인 간의 분석 가시성(analytical visibility)을 계산하고 셰이딩 계산들을 공유함으로써 셰이더 일관성(shader coherence)이 활용된다.

여기에서 샘플링하고자 하는 공간은 (x, y, v)로 표기되는 3개의 차원을 갖는데, v는 카메라 라인을 따른 뷰 파라미터이고, (x, y)는 이미지 평면 파라미터이다. 이것은 도 1에 도시되어 있다.

여기에서의 목표는 명 시야(light field) L(x, y, v)를 오토멀티스코픽 디스플레이(automultiscopic display) 상에서 고품질로 디스플레이하기 위해 그것을 샘플링하고 재구성하는 것이다. 이러한 디스플레이는 개념적으로 픽셀들의 그리드를 가지며, 각각의 픽셀은 카메라 라인을 따르는 상이한 위치들 v_i를 향해 투영되는 n개의 구별되는 복사 휘도 값(radiance values)을 동시에 디스플레이할 수 있다. 각각의 그러한 뷰는 작은 범위 내에서 가시적(visible)이고, 통상적으로는 디스플레이의 광학적 속성에 기초하여 뷰들 간에 약간의 중첩이 존재한다. 뷰의 개수는 적은 수(예를 들어, 8 내지 64)로 제한되므로, 디스플레이는 v를 따라 심하게 대역폭 제한된다.

시점 간 에일리어싱을 피하기 위해, L은 n개의 구별되는 이미지 L_i를 계산하기 위해 재구성 단계에서 뷰-의존 필터에 대해 적분된다:

여기에서 g_i는 뷰 i에 대한 필터 커널이다. 이것은 인간 뷰어가 움직일 때 초점 평면의 앞과 뒤의 개체들이 흐려지면서 보여지는 스트로빙 효과를 효과적으로 대체한다. L_i는 또한 최종 픽셀 값들을 결정할 때, 종래와 같이 공간 안티-에일리어싱 필터에 대해 적분된다는 점에 주목해야 한다.

L의 무작위 샘플링은 고비용이다. 각각의 샘플에 대해, 평가되는 셰이딩 및 장면과의 교차를 찾기 위해, "순방향 광선(forward ray)"이 v로부터 (x, y)를 통해 보내진다.

L에서의 불연속은 셰이딩에서의 급격한 변화와 장면 내에서의 기하학적 에지라는 2가지 주된 원인을 갖는다. 여기에서는 멀티-뷰 광선 추적을 위한 특수화된 알고리즘이 제안되며, 이것은 멀티-뷰 세팅에 내재하는 셰이딩 일관성을 활용함으로써 저비용 샘플들을 생성한다. 순방향 광선들을 이용한 기하학적 실루엣 에지들의 무작위 샘플링을 대신하여, "역추적(back tracing)"에 의해 교점으로부터 카메라 라인을 향해 역방향으로 삼각형을 추적함으로써 그러한 에지들을 분석적으로 검출한다. 도 9의 블록(102)을 참조하기 바란다. 이러한 데이터를 인코딩하기 위해 멀티-뷰 실루엣 에지라고 하는 개념이 도입된다. 셰이더는 어떠한 추가의 정보도 알려져 있지 않은 블랙 박스이므로, 셰이딩 불연속에 대해서는 적응적 샘플링에 계속 의존한다.

기하학적 에지들의 분석적 검출로 인해, 부수적 효과로서, 셰이딩 포인트와 카메라 라인 간의 가시성의 정확한 범위도 알려진다. 그러므로, 추가의 광선 추적에 대한 어떠한 필요성도 없이, 가시적인 것으로 알려진 세그먼트들을 따라 임의의 개수의 추가 샘플을 삽입할 수 있다. 예를 들어, 입사 복사 휘도(incident radiance)의 샘플링과 같이, 모든 뷰-독립적인 계산은 재사용될 수 있으므로, 이러한 여분의 "역추적 샘플들"의 셰이딩은 비교적 낮은 비용을 갖는다.

재구성 단계에서, 저장된 샘플들 및 에지 정보에 기초하여 연속 함수가 생성된다. 이전의 방법들은 샘플마다의 기울기(per-sample gradients)를 계산함으로써 에지들을 검출하기 위해 큰 수고를 들여야 하는 반면에, 여기에서는 기하학적 실루엣 에지들의 정확한 위치를 알고 있다. 이것은 재구성의 품질을 현저하게 개선시키고, 따라서 일부 실시예들에서는 최종 적분 결과의 품질을 현저하게 개선시킨다.

여기에서는 샘플들이 어떻게 생성되는지, 멀티-뷰 실루엣이 어떻게 계산되는지, 및 셰이딩 계산이 어떻게 재사용될 수 있는지를 기술한다. 도 1에 도시된 것과 같은 순방향 광선이 표면에 부딪힐 때, 셰이딩은 통상적으로 (x, y, v) 집합 내의 샘플로서 계산되고 저장된다. 카메라 라인의 부분들에 있어서(즉, 이 교점을 "볼" 수 있는 v의 값들에 대하여), 셰이딩의 모든 뷰-독립적인 부분들이 모든 그러한 v에 대하여 재사용될 수 있음에 주목해야 한다. 이러한 일관성을 활용하기 위한 간단한 접근법은 순방향 광선의 교점으로부터 카메라 라인까지 역으로 광선들의 집합을 추적하는 것이다. 그러나, 이것은 상이한 영역들에서의 샘플 밀도에 변동을 유발할 수 있고, 재구성 동안 주의를 기울이지 않는다면, 이것은 기하학적 에지들이 약간 옮겨지게 할 수 있다. 도 7을 참조하기 바란다.

본 발명의 알고리즘의 역추적 부분은 순방향 광선이 교점에서 개체에 부딪힌 후에 시작된다. 도 1에 도시된 바와 같이, 그 교점 및 카메라 라인으로부터 역추적 삼각형(back tracing triangle)이 생성된다. 그러면, 교점으로부터 카메라 라인의 어느 부분이 가시적인지를 계산하는 것이 목표이다. 이것은 최종 부분이 평면 내의 셰도우 볼륨 렌더링을 닮게 되는 접근법을 이용하여 분석적으로 행해진다. 여기에서의 장면 내의 모든 삼각 기하학은 AABB(axis-aligned bounding box)를 이용하여 BVH(bounding volume hierarchy) 내에 저장된다. 처음에, BVH가 트래버스되고, 역추적 삼각형에 대한 중첩에 관하여 AABB가 검사된다. 이것은 최적화된 삼각형/AABB 중첩 테스트를 이용하여 행해진다. 개념적으로, 삼각형 에지가 역추적 삼각형과 교차하는 경우, 역추적 평면과 교차하는 그 삼각형의 모든 에지는 에지의 2개의 정점의 인덱스들로부터 생성된 해시 키를 갖는 해시 테이블에 삽입된다.

실루엣 에지에 대한 본 발명의 정의는 역추적 평면과 교차하는 삼각형 에지이고, 추가로, 삼각형은 교점에서 볼 때 역방향(back facing)이며, 에지는 어떠한 역방향 삼각형에도 더 연결되지 않는다. 이것은 개방형 및 폐쇄형의 2차원 다양체(2-manifold) 표면 둘 다를 다룰 수 있음을 의미한다. 가시성을 정의하는 것은 교점에서 보여지는 실루엣 에지들뿐이므로, 이러한 실루엣 에지들을 신속하게 검출하기를 원한다.

여기에서는 소정의 최적화를 이용하여 실루엣 에지들을 찾는다. 도 9의 블록(104)을 참조하기 바란다. 첫번째로, 교점에서 볼 때 역방향 삼각형들만을 프로세싱한다. 두번째로, 테스트되는 삼각형은 역추적 삼각형의 평면과 반드시 교차해야 하고, 그 역도 성립해야 한다. 세번째로, 해시에서 충돌이 발생한다면, 이것은 에지를 공유하는 2개의 역방향 삼각형들이 모두 공유 에지를 삽입했음을 의미한다. 삼각형 둘 다가 역방향이므로, 공유된 에지는 실루엣 에지일 수 없으며, 따라서 두 개의 엔트리 모두 해시 테이블로부터 삭제된다. 추가로, 삼각형이 교점 뒤에 놓여지는 정점과 앞에 놓여지는 적어도 하나의 정점을 가질 때가 검출된다. 상당히 드물게 발생하는 그러한 경우들에서, 삼각형은 역추적 삼각형에 대해 클립핑되고, 그 후에 에지들이 삽입된다. 모든 프로세싱이 완료된 후, 모든 잠재적인 실루엣 에지들이 해시 테이블 내에 있을 것이다.

도 2는 교점(IP)으로부터 카메라 라인까지 역으로 분석 가시성이 어떻게 계산되는지를 예시하는 도면이다. 도시를 간단히 하기 위해, 오클루더(occluder)는 2차원으로만 도시되어 있다. 그러므로, 3차원에서의 삼각형은 2차원에서 라인이 되고, 실루엣 에지는 "실루엣 포인트"(검정색 점)가 된다. 교점에서 본 순방향 라인(front facing line)은 점선으로 되어 있다. 도 2의 왼쪽에서, 역추적 삼각형에 대하여 조기에 도태(cull)될 수 없는 개체들의 삼각형이 프로세싱된다. 나머지 라인들 상에서 실루엣 포인트들을 신속하게 찾기 위해 해시 테이블이 이용된다. 도 2의 중간에서, 실루엣 포인트들에게 가중치 +1 또는 -1을 제공하기 위해 실루엣 포인트들의 와인딩(winding)이 이용된다. 도 2의 오른쪽에서, 왼쪽으로부터 오른쪽까지 가중치들이 합산될 때, 폐색되는(occluded) 부분들은 합산된 가중치가 제로보다 큰 세그먼트들이다. 카메라 라인 상의 검정 세그먼트 S가 폐색된다.

모든 실루엣 에지를 찾고 나면, 실루엣 에지들과 역추적 삼각형의 평면 간의 교점들이 카메라 라인을 따라 왼쪽으로부터 오른쪽으로 프로세싱된다. 도 9의 블록(106)을 참조하기 바란다. 카운터는 역추적 삼각형의 외부 및 왼쪽으로 생겨나는 삼각형들을 갖는 실루엣 에지의 개수로 초기화된다. 각각의 포인트는 그것의 와인딩 순서(winding order)(도 2에서 작은 화살표로 표시되어 있음)에 따라 가중치 +1 또는 -1을 갖는다. 카메라 라인을 따라 가중치들의 합산을 계산하고, 합산이 제로보다 클 때, 그 카메라 라인은 폐색된다. 그렇지 않다면, 그것은 교점으로부터 가시적인 것이다. 마지막으로, 외측 실루엣 포인트들, 즉 도 2의 검정 세그먼트 S의 엔드 포인트들만을 유지한다. 교점은 카메라 라인의 적어도 하나의 포인트로부터 가시적이므로, 전체 카메라 라인이 폐색되는 상황은 발생할 수 없다는 점에 주목해야 한다.

멀티-뷰 실루엣은 장면 내의 기하학적 에지들의 대표적인 부분집합을 인코딩한다. 위에서 설명된 역추적 단계에서는, 다수의 외측 실루엣 포인트를 식별하였다. 각각의 그러한 포인트는 카메라 라인 상의 적어도 일부의 v 및 이미지 평면 내의 y에 대한 실루엣인 삼각형 에지로부터 생성된다. 이미지 평면으로 투영되면, 각각의 삼각형 에지는 특정 v에 대한 라인이다. 3차원 (x, y, v) 공간에서 볼 때, 이 라인들은 이중선형 패치(bilinear patch)의 표면의 윤곽을 그릴 것이다. 이러한 패치들을 멀티-뷰 실루엣 에지라고 지칭하지만, 패치라는 용어도 상호교환가능하게 사용할 것이다. 기하학적 상황이 도 3에 도시되어 있는데, 여기에서 멀티-뷰 실루엣 에지는 4개의 포인트 p_i, i ∈ {0, 1, 2, 3}에 의해 정의된다. 4개의 포인트는 삼각형 에지 엔드 포인트들을 카메라 라인의 엔드 포인트들을 향해 이미지 평면 상에 투영함으로써 구해진다. 실루엣 에지의 엔드 포인트들이 카메라 라인의 엔드 포인트들을 향해 투영되면, 4개의 포인트 p₀, p₁, p₂, p₃가 구해진다. 이들은 이중선형 패치인 멀티-뷰 실루엣 에지를 정의한다. 멀티-뷰 실루엣 에지는 기하학적 에지들을 더 잘 보존하기 위해 본 발명의 재구성 알고리즘에서 이용된다. 초점 평면은 도 3의 이미지 평면과 동일하다는 점에 주목해야 한다.

각각의 멀티-뷰 실루엣 에지는 샘플링 도메인을 장면 내의 기하학적 불연속을 나타내는 분리 영역들(disjoint regions)로 국부적으로 구획화한다. 재구성 단계에서, 본질적으로 에지-인식 재구성 필터(edge-aware reconstruction filter)를 이용함으로써 품질을 실질적으로 개선하기 위해 이 정보가 이용될 것이다. 이하에서는, 적당한 성능을 갖는 근사적인 에지 표현을 구성하기 위해 멀티-뷰 실루엣이 어떻게 프로세싱되는지가 설명될 것이다. 도 9의 블록(108)을 참조하기 바란다.

첫번째로, 관심있는 카메라 라인으로부터 가시적인 것은 실루엣들뿐임을 주목한다. 각각의 패치 상의 적어도 하나의 포인트가 가시적이지만(역추적 단계에서 발견된 외측 실루엣 포인트), 다른 부분들은 다른 패치들에 의해 매우 잘 폐색될 수 있음을 알고 있다. 일반적으로, 각 패치의 제한적인 영역만이 카메라 라인으로부터 가시적일 것이다.

최초의 최적화로서, 가능하다면, v-차원에서의 멀티-뷰 실루엣 에지의 범위가 감소된다. 카메라 라인으로부터 볼 때 에지가 단순한 내부 에지가 아니라 진정한 실루엣이 되는 v에서의 범위를 결정하기 위해, 실루엣 에지를 공유하는 삼각형들의 2개의 평면이 이용된다. 이 평면들은 카메라 라인에 대해 교차 테스트되고(intersection tested), 카메라 라인이 그에 따라 클립핑된다.

공통적인 사례와 2가지의 특수한 사례가 도 4에 도시되어 있다. 멀티-뷰 실루엣은 v 차원에서 클립핑된다. v 축을 따른 멀티-뷰 실루엣 에지의 범위를 제한하기 위해, 실루엣 에지에 입사하는 평면들이 이용된다. 멀티-뷰 실루엣 에지들은 도 4의 v축 상의 간격 I에 대해 클립핑된다. 세 가지 모든 경우에서, 카메라 라인 중에서, 에지가 실제로 실루엣이고 (적어도 한 포인트로부터) 교점이 가시적인 부분만이 유지될 수 있다. 카메라 라인으로부터 가시적인 것으로 알려져 있는 포인트가 있는 멀티-뷰 실루엣의 부분(즉, 순방향 광선의 기원이 되는 부분)만이 유지된다.

두번째로, y 차원을 소위 y 버킷들(y-buckets)로 불연속화(discretizing)함으로써 문제의 차원수(dimensionality)를 감소시킨다. 각각의 버킷은 좌표 y_i에 중심을 둔다. 통상적으로는 스캔라인 당 하나 또는 몇 개의 버킷이면 충분하지만, 복잡한 기하학적 형상을 갖는 장면들에서는 더 많이 이용될 수 있다. 멀티-뷰 실루엣을 이중선형 패치로 취급하는 대신에 그것을 y 버킷들의 (x, v) 평면 내의 라인 세그먼트로서 저장한다. 이것은 알고리즘을 상당히 단순하게 하는데, 왜냐하면 모든 클립핑 및 프로세싱이 2D로 수행되기 때문이다.

각각의 버킷에 대하여, 라인 세그먼트들을 보유하기 위해 2차원 kD 트리가 이용된다. 새로운 실루엣이 삽입될 때마다, 그것은 해당 버킷 내의 기존 에지들에 대하여 클립핑된다. 이러한 목적을 위해, 에지들의 깊이 값 및 와인딩, 즉 그것이 좌향 실루엣인지 또는 우향 실루엣인지를 고려하는 것이 중요하다. 새로운 에지가 kD 트리에 도입될 때, 그것은 카메라 라인에 더 가까운 에지들에 대하여 클립핑되고, 그로부터 더 먼 에지들을 클립핑한다. 최선단 에지의 와인딩은 클립핑된 에지의 어느 세그먼트를 유지할지를 결정한다.

성능 상의 이유로, 일부 실시예들에서는 패치가 중첩하는 모든 버킷보다는 현재의 y 버킷 내의 멀티-뷰 실루엣 데이터만을 삽입한다. 대신에, 반복하여 동일한 멀티-뷰 실루엣 에지를 찾고 그것을 다른 버킷들에 삽입하기 위해, 다른 교점들로부터의 역추적에 의존한다. 이것은 직관에 어긋나는 것으로 보일 수 있지만, 일부 경우에서는 필적할만한 품질로 더 나은 성능을 만들어낸다. 계산 복잡성을 줄이기 위해, 모든 패치마다의 셋업(per-patch setup)(즉, 그것의 코너 포인트 p_i, 및 다른 필요한 정보)은 한번만 계산되어, 에지를 구성하는 삼각형 id:s에 키잉된 해시 맵에 저장된다.

마지막으로, 일부 실시예들에서, 멀티-뷰 실루엣을 찾기 위해 순방향 광선을 y에 있어서 지터링되기 보다는, y-버킷의 중심을 통해 발사할 뿐이다. 이것은 y버킷의 중심으로부터가 아니라 순방향 광선의 y좌표를 따라서만 가시적인 패치들을 얻는 문제를 피할 수 있는데, 이것은 드문 경우 시각적 아티팩트를 유발할 수 있다. 본 예에서의 목표는 모든 멀티-뷰 실루엣 에지들의 포괄적인 표현을 생성하는 것이 아니라, 대신에 에러 측정 및 재구성을 돕기 위해 에지들의 대표 집합을 신속하게 구성하는 것이다. 기하학적 에지들이 상실된 도메인의 영역들에서, 알고리즘은 셰이더 불연속들을 검출하기 위해 콘트라스트 척도를 이용하는 것으로 인해 정규의 MDAS(multi-dimensional adaptive sampling)에 자동적으로 의존하게 된다. Hachisuka, T., Jarosz, W., Weistroffer, R., K. Dale, G. H. Zwicker, M., 및 Jensen, H. W. 등의 2008년의 "Multidimensional Adaptive Sampling and Reconstruction for Ray Tracing"(ACM Transactions on Graphics, 27, 3, 33.1-33.10)을 참조하기 바란다.

분석적 역추적이 카메라 라인 상의 가시적 세그먼트들의 집합을 식별하고 나면, 역추적 샘플들의 집합이 그러한 세그먼트들 내에서 생성되고, 이 샘플들은 모든 샘플들을 보유하는 3차원 kD 트리에 삽입된다. 역추적 샘플은 카메라 라인 상의 포인트 v로부터 볼 때, 순방향 광선이 부딪히는 교점으로부터 유래하는 복사 휘도(radiance)이다. 동일한 교점으로부터 발생된 역추적 샘플들에 대한 셰이딩 계산들을 재사용함으로써 셰이더 일관성을 활용한다. 도 9의 블록(110)을 참조하기 바란다.

각각의 순방향 광선은 셰이딩이 필요한 교점에 부딪힐 것이다. 가장 간단한 구현에서, 셰이더는 뷰-의존적인 부분과 뷰-독립적인 부분으로 나누어진다. 모든 역추적 샘플에 대하여, BRDF(bidirectional reflectance distribution function)의 뷰-의존적인 부분이 평가된다. 이것은 예를 들어 정반사 하이라이트(specular highlights), 반사 및 굴절을 포함한다. BRDF의 뷰-독립적인 부분은 모든 순방향 광선에 대해 한 번만 평가된다. 이것의 예는 복사 조도 수집(irradiance gathering), 가시성 계산(예를 들어, 셰도우), 및 확산 조명(diffuse lighting)이다. 이것만으로도 상당한 가속이 야기된다. 또한, 밉맵 텍스처 필터링 또는 이방성 텍스처 필터링으로부터 도출되는 컬러들이 뷰-의존적임에 주목해야 한다. 표면 상의 포인트를 향해 볼 때, 텍스처 룩업은 카메라 라인 상에서의 시점에 따라 상이한 풋프린트들을 얻을 것이다. 지금까지, 본 발명의 셰이딩 최적화는 정확한 것이었다.

근사적인 셰이더 재사용 방법은 상이한 빈도들(frequencies)에서의 셰이딩을 허용하고, 임의적인 카메라 위치들에서 셰이딩 샘플들을 얻기 위해 보간 또는 최근접 이웃 룩업들을 이용할 수 있다. 예를 들어, BRDF의 정반사 성분은 급속하게 변할 수 있고, 따라서 셰이딩 샘플들의 충실한 재구성을 위해서는 조밀하게 샘플링될 필요가 있을 수 있다. 그러나, 일부 경우들에서는, 정반사 성분을 더 낮은 빈도에서 샘플링한 다음, 그 사이의 샘플들에 대해 보간하는 것이 허용가능할 수 있다. 마찬가지로, 텍스처 룩업은 종종 훨씬 더 낮은 빈도로 달라지고, 더 성기게 샘플링될 수 있다.

셰이딩 재사용의 일 실시예가 도 5에 도시되어 있다. 도면에서 왼쪽으로 가는 순방향 광선은 교점에서 둥근 개체에 부딪힌다. 본 발명의 알고리즘에 의해 분석 가시성이 계산된다. 선명하지 않은 수직 카메라 라인의 부분들만이 교점으로부터 가시적이다. 5개의 새로운 역추적 샘플이 생성된다(오른쪽으로 가는 광선들). 6개의 광선 전부에 대해 확산 셰이딩 계산들이 한 번 행해지고(이것이 어떠한 텍스처 룩업도 수반하지 않는 경우), 다음으로 모든 광선들에 의해 재사용될 수 있다. 오른쪽의 문자들은 일 실시예에서의 정반사 셰이딩 계산의 빈도를 시각화하고자 한 것이다. s로 표시된 모든 광선들은 아무 것도 없는 상태에서 기초부터 정반사 셰이딩을 계산하는 한편, i로 표시된 것들은 그것의 이웃들로부터 보간된다. 가시성은 이전 단계로부터 분석적으로 결정되었으므로, 역추적에는 가시성 계산이 수반되지 않는다.

셰이딩 재사용의 다른 실시예에서, 셰이딩은 카메라 라인 v를 따른 무작위의 위치들에서, 역추적 샘플들보다 더 성기게 행해진다. 다음으로, 결과적인 셰이딩 값들은 역추적 샘플들에 대해 선형으로 보간된다. 역추적 샘플이 최외측 셰이딩 샘플의 카메라 라인 파라미터 v보다 위 또는 아래에 있어야 하는 경우, 그 역추적 샘플들에 할당되는 셰이딩된 컬러값은 가장 가까운 셰이딩 샘플로 클램핑된다. 마찬가지로, 텍스처 룩업은 셰이딩 샘플들보다 훨씬 더 성기게 행해질 수 있다. 텍스처 컬러 값들은 셰이딩 샘플들 및 역추적 샘플들에 관하여 기술된 보간 및 클램핑 규칙들에 따라 셰이딩 샘플들에 할당된다.

순방향 광선 당 역추적 샘플들의 개수는 가변 파라미터이며, 셰이더에 의존하여 조정될 수 있다. 그러나, 여기에서는 일반적으로, 역추적 샘플의 개수를 분석적 역추적 단계에서 발견된 카메라 라인의 가시적 세그먼트들의 길이의 합산에 비례하게 한다. 추가로, 역추적 샘플들은 카메라 라인 상에 지터링되며, 순방향 광선이 발생한 서브세그먼트에 대하여, 대응하는 역추적 샘플이 제거된다. 대신에, 순방향 광선이 거기에서 사용되는데, 왜냐하면 그것이 에러 척도가 가장 컸던 MDAS에 의해 생성되어서 중요도가 높기 때문이다. 역추적 샘플들은 일반적으로 MDAS에 의해 생성된 "완전한(full)" 샘플들보다는 낮은 중요도를 가질 것이다. 그러므로, 과도한 개수의 역추적 샘플을 넣을 필요가 없는데, 왜냐하면 이것은 kD 트리 룩업을 상당히 느리게 할 것이기 때문이다. 그러나, 고비용의 셰이더에 있어서는, 특히 뷰의 개수가 증가함에 따라, 셰이더 계산을 재사용하고 셰이더들의 부분들을 더 낮은 빈도로 평가하는 것의 이점은 여전히 높다.

다음으로는, 본 발명의 재구성 알고리즘이 설명된다. 도 9의 블록(112)을 참조하기 바란다. 모든 샘플이 3차원이라는 점, 즉 좌표 (x, y, v)를 갖는다는 점을 상기하기 바란다. 추가로, 각각의 샘플은 컬러 및 z 좌표와 같은 소정의 보조 데이터를 갖는다. 이러한 샘플 집합로부터, n개의 상이한 이미지가 재구성될 것이며, n은 목표 디스플레이에 의존한다. 예를 들어, 스테레오 디스플레이에 대해서는 n=2이다.

도 6에 도시된 바와 같이, 본 발명의 알고리즘에서의 샘플 생성 단계 후에, 샘플들의 3차원 공간 (x, y, v)을 가질 것이며, v는 뷰 차원, 즉 카메라 라인을 따른 파라미터이다. 이 샘플 집합로부터 n개의 이미지가 재구성된다. 이 경우에서는 n=9이지만, 3개만이 오른쪽에 도시되어 있다. v 축을 따른 임의적인 필터 커널 g_i가 이용될 수 있다. 도 6의 하단에 9개의 이미지 전부가 보여진다.

제1 단계는 MDAS의 재구성 알고리즘과 동일하다. 간단하게 말하면, kD 트리는 먼저 각 노드가 하나의 샘플을 보유할 때까지 세분된다. 각 샘플이 프로세싱됨에 따라, 가장 가까운 이웃들이 발견되고, 기울기들이 계산되고, 최종적으로는 샘플마다의 구조 텐서(structure tensor)가 계산된다. 이러한 사전 프로세싱 후에, 픽셀의 중간에서의 v 차원에서, 즉 고정된 (x, y) 좌표로 라인(여기에서는 v 라인이라고 지칭됨)을 따라 적분함으로써, 픽셀의 최종 컬러가 찾아진다. 멀티-뷰 세팅에서, 특정 뷰에 대하여 v의 특정 범위만이 프로세싱될 필요가 있다(도 6 참조). 다음으로, MDAS는 v 라인과 중첩하는 kD 트리 노드들을 찾고, 픽셀 컬러에 대한 각 kD 트리 노드의 기여를 누적한다. 이러한 기여는 kD 트리 노드의 중간

에 v 라인 (x, y) 상의 적분 포인트를 배치하고, 적분 포인트에 대한 이웃 샘플들의 컬러 기여를 계산함으로써 계산된다. MDAS는 근사적인 최근접 이웃들의 대강의 집합을 구하기 위해 유클리드적 의미에서 노드의 중심에 가장 가까운 s개의 샘플을 kD 트리 내에서 찾음으로써 이것을 행하고, 이러한 집합은 각 노드 내에 저장된다. 다음으로, 구조 텐서를 이용하여 이러한 샘플들까지의 마하라노비스 거리가 계산된다. 다음으로, 적분 포인트의 컬러는 가장 가까운 샘플의 컬러이다.

MDAS는 kD 트리가 그 자체에 진정한 에지의 충실한 표현을 가질 때 고품질 에지들을 재구성한다. 그러나, 대부분의 경우에서, 이러한 저비용의 역추적 샘플들이 삽입될 때에, 이것은 전혀 사실이 아니다. 이것의 예는 역추적으로 인한 불균일한 샘플 밀도를 보여주는 도 7에 도시되어 있다.

도 7의 가장 왼쪽의 도시는 2개의 수평 라인 R에 초점이 맞춰지고 수평 라인 B는 배경에 있는 장면의 xz 평면 내에서의 스캔라인을 보여준다. 각각의 순방향 광선에 대해, 교점에서, 광선들의 집합이 카메라 라인까지 역추적된다. 볼 수 있는 바와 같이, 라인 B에 부딪치는 순방향 광선에 대하여, 역방향 광선의 일부만이 카메라 라인에 도달할 것이다. 중간의 도면에서, 적당한 개수의 순방향 광선 및 대응하는 역방향 광선이 추적되고 난 후의 에피폴라 평면(epipolar plane)이 도시되어 있다. "에피폴라 평면"은 소정의 y에 대한 xv 공간이다. 라인 R로부터의 샘플들은 정사각형들 Q로 나타나 있고, 배경 B로부터의 샘플들은 검정색 점들 D로 나타나 있다. 샘플 밀도는 영역 R에서 상당히 더 낮다는 점에 주목해야 한다. 마지막으로, 오른쪽 도면에서, 에피폴라 평면으로부터의 확대된 뷰가 보여진다. 쉐이딩된 배경은 진정한 기하학적 에지의 위치를 나타내지만, 상이한 샘플링 밀도들 때문에, 재구성된 에지(수직 라인 S)는 덜 조밀하게 샘플링된 영역 M 위로 블리딩될 수 있고, 따라서 진정한 에지 T와는 다른 위치에 배치될 수 있다. 이 도면은 예시적인 예일 뿐이고, 진정한 샘플 분포가 아니라는 점에 주목해야 한다. 그러므로, 이것을 해결하기 위해 멀티-뷰 실루엣을 이용하는 재구성 기법을 개발하였고, 본 발명의 알고리즘이 생성하는 샘플 집합의 유형에 대해 재구성 품질을 개선한다.

다음으로, v 라인에 중첩하는 각각의 kD 트리 노드를 프로세싱할 때, 픽셀 영역에 대한 적분을 실질적으로 어떻게 개선하는지를 설명한다. 특정한 kD 트리 노드 및 픽셀 (x_p, y_p)에 대하여, (x_p, y_p,

)에서의 적분 포인트도 생성한다. 개념적으로는, 다음으로 본 발명의 멀티-뷰 실루엣 데이터 구조 내의 적분 포인트에 가장 가까운 2개의 에지를 x 방향에서 찾는다. 이것은 다음과 같이 행해진다. 이중선형 패치(도 3)인 멀티-뷰 실루엣 에지와 평면 y=y_p의 교차는 구성에 의해 xv 공간 내의 직선일 것이다. 다음으로, 이러한 라인 방정식은

에서 멀티-뷰 실루엣의 x 좌표를 계산하기 위해 이용된다. 이것은 가장 가까운 멀티-뷰 실루엣 전부에 대해 행해지고, x<x_p인 가장 가까운 에지와 x≥x_p인 가장 가까운 에지가 유지된다. 이 상황은 도 8의 왼쪽에 도시되어 있다.

도 8의 왼쪽에는, 에피폴라 평면 xv에서 본, 샘플들의 kD 트리로부터의 노드(박스 G)가 도시되어 있다. 십자 표시는 이 kD 트리 노드에 대해 선택된 적분 라인 상의 적분 포인트이고, 검정색 원은 샘플들이다.

에서, 본 발명의 알고리즘은 x에서 2개의 가장 가까운 멀티-뷰 실루엣(라인 E 및 F)을 탐색한다. 가장 가까운 멀티-뷰 실루엣들은 픽셀 중심의 y 값에 대해 평가된다.

가장 가까운 멀티-뷰 실루엣 에지들이 발견되고 나면,

에서 멀티-뷰 실루엣 에지들로부터 새로운 라인 방정식을 생성함으로써, 그들을 이미지 평면 (x, y)에 투영한다. 다음으로, 이 라인들은 픽셀 범위(pixel extents)에 대하여 클립핑된다. 2개의 에지를 이용하면, 이것은 도 8의 오른쪽에 도시된 것과 같은 4개의 상이한 구성을 야기할 수 있는데, 여기에서는 픽셀이 1-4개의 영역으로 분할된다. 다음으로, 각 영역 내에서 (마하라노비스 거리가) 가장 가까운 샘플들을 이용하여 각 영역의 컬러가 계산된다. 동시에, 이 픽셀 영역들의 면적 a_i, i ∈ {1, 2, 3, 4}가 계산되며, 이들 면적들의 합산은 픽셀의 면적과 동일하다. 다음으로, 유클리드적 의미에서, 노드의 중심 포인트 주위의 가장 가까운 s개의 샘플이 노드로부터 직접 페치된다. 다음으로, 가장 가까운 샘플들은 이러한 상이한 영역들로 분류되고, 픽셀에 중첩되는 각 영역의 컬러 c_i는 그 영역 내의 샘플들만을 이용하여 마하라노비스 거리에 기초하여 선택된다. kD 트리 노드의 최종 컬러 기여는

일 수 있고, a_i는 제로일 수 있다. 결과적으로, kD 트리 노드에 대해 픽셀에 중첩하는 1-2개의 에지가 존재할 때, 본 발명의 알고리즘은 이미지 내의 고품질 안티에일리어싱된 에지들을 생성한다. 에지가 픽셀을 2 조각으로 분할하는 경우(도 8의 가장 오른쪽 상단의 예), a₃=a₄=0임에 주목해야 한다. 일부 실시예들에서, 사용자는 둘보다 많은 분할 에지를 이용하기를 원할 수 있다.

다소 드문 일부 경우들에서는, 하나 이상의 영역에 어떠한 샘플도 없을 수 있음에 주목해야 한다. 이 경우, 재구성된 컬러는 단순히 올바르지 않을 것이며, 이에 대한 해결책은 그러한 영역들에 새로운 광선을 발사하고, 재구성에서 그 샘플의 컬러를 이용하는 것이다. kD 트리를 재구축하는 것, 기울기 및 구조 텐서를 재계산하는 것 등을 피하기 위해, 간단히, 새로운 샘플을 사용 후에 폐기한다.

y 차원은 스캔라인 당 적은 수의 y 버킷 중심으로 불연속화되었다. 결과적으로, 이것은 y 방향으로의 에일리어싱의 경향이 매우 크다. 이러한 효과를 감소시키기 위해, 재구성 동안 각 노드 및 스캔라인에 대해, 픽셀 내에서의 적분 포인트의 y 값을 지터링한다. 지터링된 적분 포인트에 가장 가까운 y 버킷이 국부적 기하학적 형상의 대표로서 이용된다. 충분한 수의 y 버킷이 주어진다면, 이것은 에일리어싱을 잡음으로 대체한다.

도 10에 도시된 컴퓨터 시스템(130)은 버스(104)에 의해 칩셋 코어 로직(110)에 연결되는 하드 드라이브(134) 및 이동식 매체(136)를 포함할 수 있다. 키보드 및 마우스(120) 또는 다른 종래의 컴포넌트들이 버스(108)를 경유하여 칩셋 코어 로직에 연결될 수 있다. 코어 로직은 버스(105)를 경유하여 그래픽 프로세서(112)에, 그리고 일 실시예에서는 메인 또는 호스트 프로세서(100)에 연결될 수 있다. 그래픽 프로세서(112)는 또한 버스(106)에 의해 프레임 버퍼(114)에 연결될 수 있다. 프레임 버퍼(114)는 버스(107)에 의해 디스플레이 스크린(118)에 연결될 수 있다. 일 실시예에서, 그래픽 프로세서(112)는 SIMD(single instruction multiple data) 아키텍처를 이용하는 멀티스레드 멀티코어 병렬 프로세서일 수 있다.

소프트웨어 구현의 경우에서, 적절한 코드는 메인 메모리(132) 또는 그래픽 프로세서 내의 임의의 이용가능한 메모리를 포함하는, 임의의 적당한 반도체, 자기 또는 광학 메모리에 저장될 수 있다. 따라서, 일 실시예에서, 도 9의 시퀀스를 수행하기 위한 코드는 메모리(132) 또는 그래픽 프로세서(112)와 같은 머신 또는 컴퓨터 판독가능한 매체에 저장될 수 있고, 일 실시예에서는 프로세서(100) 또는 그래픽 프로세서(112)에 의해 실행될 수 있다.

도 9는 흐름도이다. 일부 실시예들에서, 이 흐름도에 도시된 시퀀스들은 하드웨어, 소프트웨어 또는 펌웨어로 구현될 수 있다. 소프트웨어 구현에서, 반도체 메모리, 자기 메모리 또는 광학 메모리와 같은 비-일시적인 컴퓨터 판독가능한 매체는 명령어들을 저장하기 위해 이용될 수 있고, 도 9에 도시된 시퀀스들을 구현하기 위해 프로세서에 의해 실행될 수 있다.

여기에 설명된 그래픽 프로세싱 기법은 다양한 하드웨어 아키텍처 내에서 구현될 수 있다. 예를 들어, 그래픽 기능성은 칩셋 내에 통합될 수 있다. 대안적으로, 이산 그래픽 프로세서가 이용될 수 있다. 또 다른 실시예로서, 그래픽 기능들은 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다.

본 명세서 전반에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 본 발명에 포함되는 적어도 하나의 구현에 포함됨을 의미한다. 따라서, "일 실시예" 또는 "실시예에서"라는 구문이 나온다고 해서 반드시 동일 실시예를 지칭하는 것은 아니다. 또한, 그 특정한 특징, 구조 또는 특성은 예시된 특정 실시예 외의 다른 적절한 형태로 실시될 수 있으며, 모든 그러한 형태가 본 출원의 청구범위 내에 포괄된다.

본 발명이 제한된 개수의 실시예들에 관련하여 설명되었지만, 본 기술분야의 숙련된 자들은 그로부터 많은 수정 및 변경을 알아낼 것이다. 첨부된 청구항들은 그러한 수정 및 변경 전부를 본 발명의 진정한 취지 및 범위 내에 드는 것으로서 포함하도록 의도된 것이다.

Claims (30)

1. 멀티-뷰 이미지 생성 방법으로서,
   교점으로부터 카메라 라인으로 광선을 역추적하는 것에 의해 상기 교점과 상기 카메라 라인과의 사이의 멀티-뷰 실루엣 에지들을 검출하는 단계;
   상기 멀티-뷰 실루엣 에지들을 이용하여 복사 휘도 함수(radiance function)에서의 불연속들을 검출하는 단계; 및
   멀티-뷰 실루엣 에지들을 이용하여 재구성하는 단계
   를 포함하는 방법.
2. 제1항에 있어서,
   셰이딩 포인트들과 카메라 라인 간의 분석 가시성(analytical visibility)을 계산하는 단계
   를 포함하는 방법.
3. 제2항에 있어서,
   픽셀은 복수의 영역으로 분할되는 방법.
4. 제2항에 있어서,
   분석 가시성에 기초하여 3차원 kD 트리(tree)에 역추적 샘플들(back tracing samples)을 삽입하는 단계를 포함하는 방법.
5. 제3항에 있어서,
   샘플이 없는 영역들로 새로운 광선을 발사(shooting)하는 단계를 포함하는 방법.
6. 교점으로부터 카메라 라인으로 광선을 역추적하는 것에 의해 상기 교점과 상기 카메라 라인과의 사이의 멀티-뷰 실루엣 에지들을 검출하고, 상기 멀티-뷰 실루엣 에지들을 이용하여 복사 휘도 함수에서의 불연속들을 검출하며, 멀티-뷰 실루엣 에지들을 이용하여 재구성함으로써 멀티-뷰 이미지를 생성하기 위한 프로세서; 및
   상기 프로세서에 연결된 저장소
   를 포함하는 장치.
7. 제6항에 있어서,
   상기 프로세서는 카메라 라인 내의 셰이딩 포인트들 간의 분석 가시성을 계산하는 장치.
8. 제7항에 있어서,
   픽셀은 복수의 영역으로 분할되는 장치.
9. 제7항에 있어서,
   상기 프로세서는 분석 가시성에 기초하여 3차원 kD 트리에 역추적 삼각형들을 삽입하는 장치.
10. 제8항에 있어서,
    상기 프로세서는 샘플이 없는 영역들로 새로운 광선을 발사하는 장치.
11. 제7항에 있어서,
    상기 프로세서는 상기 카메라 라인 상의 가시성 세그먼트들에 대해 셰이딩 계산들을 공유하고, 상이한 빈도들로 셰이딩하는 장치.
12. 제9항에 있어서,
    상기 프로세서는 역추적 삼각형 내부에서 멀티-뷰 실루엣 에지들을 검출하는 장치.
13. 제6항에 있어서,
    상기 프로세서는 각각의 순방향 광선이 부딪히는 교점으로부터 본 역방향 삼각형들만을 프로세싱함으로써 실루엣 에지들을 발견하는 장치.
14. 제6항에 있어서,
    상기 프로세서는 역방향 삼각형 평면과 교차하는 삼각형들만을 이용함으로써 실루엣 에지들을 발견하는 장치.
15. 제6항에 있어서,
    상기 프로세서는 에지를 공유하는 역추적 삼각형들을 발견하고, 실루엣 에지 발견 동안 공유된 에지를 무시하는 장치.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제

Images