KR20100067656A - 3차원 디스플레이에 대한 렌더링 개선 - Google Patents

3차원 디스플레이에 대한 렌더링 개선 Download PDF

Info

Publication number
KR20100067656A
KR20100067656A KR1020107006841A KR20107006841A KR20100067656A KR 20100067656 A KR20100067656 A KR 20100067656A KR 1020107006841 A KR1020107006841 A KR 1020107006841A KR 20107006841 A KR20107006841 A KR 20107006841A KR 20100067656 A KR20100067656 A KR 20100067656A
Authority
KR
South Korea
Prior art keywords
pixel
samples
sample
display
dimensional
Prior art date
Application number
KR1020107006841A
Other languages
English (en)
Other versions
KR101612100B1 (ko
Inventor
토마스 에릭슨
크리스티안 몰러
올라 해빅
존 카르레슨
더그 피터슨
Original Assignee
세트레드 에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세트레드 에이에스 filed Critical 세트레드 에이에스
Publication of KR20100067656A publication Critical patent/KR20100067656A/ko
Application granted granted Critical
Publication of KR101612100B1 publication Critical patent/KR101612100B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

이미지 데이터를 생성하는 방법이 개시되며, 이 이미지 데이터는 무안경식 디스플레이와 함께 이용하는 데에 적합하다. 이미지 데이터 생성 방법은 3차원 장면의 복수의 샘플을 추출하는 단계를 포함하며, 각각의 샘플은 2차원 디스플레이 상의 픽셀과 무안경식 디스플레이의 구멍의 조합을 위해 추출된다. 특정 구멍에 대해 모든 샘플을 위한 투영 중심선이 이 구멍의 동일 포인트를 실질적으로 통과하는 것인 이미지 데이터 생성 방법.

Description

3차원 디스플레이에 대한 렌더링 개선{RENDERING IMPROVEMENT FOR 3D DISPLAY}
본 발명은 3차원 장면을 표현하는 이미지들을 렌더링하는 방법에 관한 것이다. 본 발명의 실시 형태들에 있어서 이들 이미지는 무안경식 디스플레이 장치(autosteroscopic display apparatus)로 볼 때 3차원 장면을 재생하게 된다.
3차원 이미지를 생성하는 널리 증명된 방법은 관찰자가 각각의 눈으로 장면의 상이한 원근화들을 보게 하는 것이다. 이렇게 하는 한가지 방법은 상이하게 편광된 2개의 이미지를 스크린에 표시하고, 관찰자를 위해 각각의 눈에 편광 필터를 착용시키는 것이다.
무안경식 디스플레이 또는 3차원 디스플레이는 2차원 디스플레이와 함께 구멍(aperture) 또는 슬릿 어레이를 이용하여 3차원 이미지를 표시하도록 실시될 수 있다. 이 장치의 원리는 스크린으로부터 일정 거리만큼 떨어져 있는 슬릿 어레이를 통해 2차원 이미지를 볼 때 관찰자가 각각의 눈으로 2차원 이미지의 상이한 부분을 보는 것에 있다. 적절한 이미지가 2차원 디스플레이 상에 렌더링 및 표시되는 경우, 관찰자는 각각의 눈에 필터를 착용할 필요 없이 상이한 원근화 이미지가 관찰자의 각각의 눈에 표시될 수 있다.
대부분의 3차원 디스플레이 기술에서 품질을 조절하는 하나의 중요한 파라미터는 3차원 디스플레이에 의해 제공될 수 있는 원근화의 개수이다. 이것은 충분한 애니메이션 속도를 제공하기 위해 이미지 정보를 계산할 때 난제에 직면하게 된다. 표준 그래픽 처리 유닛들을 이용해서 계산을 수행할 수 있다면 시스템 비용이 감소할 수 있다.
또한, 무안경식 디스플레이들은 중심 디스플레이 평면의 전방 또는 후방으로 연장하는 가상 장면들 때문에 이미지 왜곡을 발생시킨다. 이러한 왜곡은 다수의 인자에 기인하며, 대부분의 인자는 개별 장치로 연속 장면이 표현된다는 사실과 관련되어 있다. 이미지 왜곡의 예로서는 영상 열상(tearing)으로도 불리는 들쭉날쭉한 선들과, 보이지 않는 얇은 수직 피처들(features) 또는 기타 작은 피처들이 있다.
본 발명의 실시 형태들은 이미지 데이터가 계산되어 높은 이미지 품질과 실시간 성능을 제공할 수 있는 방법들을 보여준다.
공지의 렌더링 방법은 이미지 왜곡을 효과적으로 최소화하지 못한다. 이들 방법은 설정된 개수의 관찰 위치를 위해 렌더링을 최적화시킬 수 있다. 이것이 의미하는 바는 이미지 왜곡이 어떤 관찰 위치에서 축적된다는 것이다. 디스플레이의 관찰자는 자유로이 이동할 것이며, 이것은 불연속 성분들이 균일하게 분산되어 있는 경우에 유리할 수 있다.
공지된 렌더링 방법들은 상당한 하드웨어 자원들, 통상적으로는 그래픽 처리 유닛들 필요로 하고, 이미지 갱신을 느리게 할 수 있다. 이것은 추가의 하드웨어 자원들을 이용하면 극복될 수 있으며, 이들 추가의 하드웨어 자원은 다음에 더 높은 비용으로 이어진다.
본원에 개시된 발명은 인용에 의해 본원에 합체되어 있는 PCT 출원 PCT/IB2005/001480에 기재되어 있는 스캐닝 슬릿 시간 다중화 시스템에서 구현될 수 있다. 그러나 본 발명은 다른 디스플레이 시스템과 함께 사용될 수도 있다. 예를 들면, 디스플레이 전방에 있는 셔터의 스캐닝 슬릿이 슬릿 형상의 스캐닝 백라이트를 생성해서 동일한 효과를 발휘하는 장치로 대체되는 유사한 시스템이 사용될 수 있다. 이 경우, 스캐닝 백라이트는 셔터로서 취급될 수 있다. 셔터의 구멍과 백라이트의 형상은 슬릿이 아닌 다른 형상을 가질 수 있다.
이 스캐닝 슬릿 시스템은 디스플레이 전방의 상이한 위치들에 상이한 영상들을 고속으로 보여줌으로써 3차원 효과를 만들어 낸다. 이 시스템은 높은 프레임율의 2차원 디스플레이를 셔터와 조합함으로써 이러한 3차원 효과를 달성한다. 셔터는 디스플레이와 동기화되어 있고, 2차원 디스플레이의 상이한 부분들이 단지 특정의 위치들로부터만 보일 수 있다는 것을 보장한다. 도 1에서 좌측 이미지는 어떻게 좁은 슬릿을 통해 보는 관찰자가 어떻게 각각의 눈에 대해 하나씩 할당된 2개의 개별 구역을 보는 지를 보여준다. 이러한 간단한 슬릿 시스템으로부터 3차원 디스플레이를 생성하기 위해, 슬릿은 충분히 신속하게 측방으로 이동해야 하며, 그 결과 관찰자는 스캐닝 셔터를 투명한 창으로 인식한다. 모든 슬릿이 깜박거림이 없는(flicker-free) 것으로 인식되기에 충분히 빠르게 갱신되는 경우, 관찰자는 어느 위치에서도 최대 해상도의 기본 2차원 디스플레이를 볼 것이다. 2차원 디스플레이는 도 1의 우측 이미지에 도시된 바와 같이 셔터의 슬릿들을 개방하는 것과 동기화된 상이한 이미지들을 보여준다.
상술한 문제점을 고려하여 아래의 방법들과 장치들이 본원에 개시된다.
무안경식 디스플레이와 함께 이용하는 데에 적합한 이미지 데이터를 생성하는 방법이 제공된다. 이 방법은 3차원 장면의 복수의 샘플을 추출하는 단계를 포함하며, 각각의 샘플은 2차원 디스플레이 상의 픽셀과 무안경식 디스플레이의 구멍의 조합을 위해 추출된다. 특정 구멍에 대해 모든 샘플을 위한 투영 중심선이 이 구멍의 동일 포인트를 실질적으로 통과한다.
또한, 일차원으로만 시차를 표시하도록 배치된 무안경식 디스플레이와 함께 이용하는 데에 적합한 이미지 데이터를 생성하는 방법이 제공되며, 이 무안경식 디스플레이의 각각의 구멍은 슬릿이다. 이 방법은 3차원 장면의 복수의 샘플을 추출하는 단계를 포함하며, 각각의 샘플은 2차원 디스플레이 상의 픽셀과 무안경식 디스플레이의 구멍의 조합을 위해 추출된다. 특정 구멍에 대해 모든 샘플을 위한 투영 중심선이 이 구멍의 동일 포인트를 실질적으로 통과하고, 이 구멍의 중심선은 이 구멍의 긴 축선과 정렬한다.
모든 샘플을 위한 투영 중심선은 관찰선을 실질적으로 통과할 수 있다. 이 관찰선은 구멍의 중심선에 대해 실질적으로 수직으로 배열될 수 있다.
특정 픽셀에 대해 모든 샘플을 위한 투영 중심선은 이 픽셀의 동일 포인트를 실질적으로 통과할 수 있다. 특정 픽셀에 대해 모든 샘플을 위한 투영 중심선은 다른 구멍들을 제외하고 이 픽셀의 동일 포인트를 실질적으로 통과할 수 있다.
복수의 샘플은 실질적으로 균일하게 분포될 수 있다. 특정 구멍을 위한 복수의 샘플은 디스플레이 평면과 관찰 평면 중의 적어도 하나에 실질적으로 균일하게 분포될 수 있다. 특정 구멍을 위한 복수의 샘플은 셔터 평면과 관찰 평면 중의 적어도 하나에 실질적으로 균일하게 분포될 수 있다.
복수의 샘플은 물리적인 구멍 폭보다 더 좁은 구멍 폭을 가정함으로써 얻어질 수 있다.
각각의 샘플은 중심 샘플을 가질 수 있으며, 각각의 중심 샘플은 투영 중심선을 따라 추출된다. 각각의 샘플은 복수의 편심 샘플의 평균을 가질 수 있으며, 이들 편심 샘플은 투영 중심선 주위에 분포된다. 이들 편심 샘플은 투영 중심선에 대해 평행한 선들을 따라 추출될 수 있다. 이들 편심 샘플은 투영 중심선에 대해 소정 각도에 위치한 선들을 따라 추출될 수 있으며, 이 경우 이들 편심 샘플은 투영 중심선과 교차할 수 있다. 교차점은 구멍 어레이의 평면에 위치할 수 있다. 각각의 샘플은 중심 샘플과 복수의 편심 샘플의 평균을 가질 수 있으며, 각각의 중심 샘플은 투영 중심선을 따라 추출되고, 편심 샘플들은 투영 중심선 주위에 분포된다. 각각의 편심 샘플은 수직 거리 및 수평 거리 중의 적어도 하나로 투영 중심선으로부터 오프셋될 수 있다. 이들 편심 샘플은 투영 중심선 주위에 균일하게 분포될 수 있다.
이들 편심 샘플은 통계적인 지터링(stochastic jittering)에 의해 분포될 수 있다. 통계적인 지터링은 왜곡 현상을 감추는 데에 사용될 수 있는 기법이며, 약간의 오프셋(offsets)이 샘플링 위치들에 추가될 수 있다. 이들 샘플링 위치는 상이한 무작위 인자들에 의해 오프셋된다. 최대 오프셋 거리가 정의될 수 있으며, 샘플들 사이의 거리와 동일할 수 있다. 오프셋은 어느 확률 분포 함수를 가질 수 있다. 이 함수는 가우스 분포 함수일 수 있다. 또한 오프셋은 의사 무작위 분포를 제공하기 위해 검사 테이블에 의해 조절될 수 있다.
평균은 가중 평균이 될 수 있다.
또한, 적어도 하나의 풀 원근화 이미지(full perspective image)와 관련 깊이 지도를 생성하는 단계와, 이 깊이 지도는 풀 원근화 이미지의 각각의 픽셀에 대해 z 방향을 정의하며, 픽셀들이 깊이 지도를 이용하여 예비 정의된 원근화 변화에 대해 어떻게 변화되는 지를 결정하는 단계와, 이미지 보간을 이용하여 복수의 샘플 중의 적어도 하나가 추출될 수 있는 새로운 원근화를 생성하는 단계를 더 포함하는 이미지 데이터 생성 방법도 제공된다.
제1 위치로부터 3차원 장면의 제1 원근화를 계산하는 단계와, 제2 위치로부터 3차원 장면의 제2 원근화를 계산하는 단계와, 제3 위치로부터 3차원 장면의 제3 원근화를 보간하는 단계와, 이 제3 위치는 제2 위치보다 제1 위치에 더 가까운 보간 단계를 더 포함하는 이미지 데이터 생성 방법이 제공되며, 이 보간 단계는 제3 위치로부터의 뷰(view)에 대응하도록 제2 원근화를 변환하고, 변환된 제2 원근화를 버퍼에 저장하는 단계와, 제3 위치로부터의 뷰에 대응하도록 제1 원근화를 변환하고, 변환된 제2 원근화의 픽셀 값들은 이 픽셀 값에 대한 어떠한 정보도 변환된 제1 원근화에 의해 제공되지 않는 경우에 중복 기록되도록 변환된 제1 원근화를 버퍼에 저장하는 단계를 포함한다.
이미지 데이터 생성 방법은 제1, 제2 및 제3 원근화들 중의 적어도 하나로부터 샘플을 추출하는 단계를 더 포함할 수 있다. 보간된 뷰에서 정의되지 못한 픽셀에는 최인접 계산 픽셀 값과 동일한 값이 주어질 수 있다.
2차원 디스플레이의 픽셀과 무안경식 디스플레이의 구멍의 특정 조합을 위한 샘플은 이 샘플이 무안경식 디스플레이 상에 표시될 수 있는 픽셀에 대해 값을 결정하는 데에 사용되도록 결정되는 경우에 단지 계산될 수 있을 뿐이다. 보간을 수행하는 공지의 방법은 결국 존재하지 않는 셔터 위치들에 대응하여 수많은 픽셀 값을 계산하게 된다. 따라서 이들 픽셀 값은 디스플레이 상이 보이지 않도록 계산되며, 처리 능력을 낭비하게 만든다.
샘플은 투영 중심선이 구멍의 중심 포인트 또는 선과 상기 2차원 디스플레이의 픽셀의 중심 양자를 통과하도록 추출될 수 있다. 샘플 또는 편심 샘플은 투영 중심선이 구멍의 중심 포인트 또는 선과 상기 2차원 디스플레이의 픽셀의 어느 포인트 양자를 통과하도록 추출될 수 있다. 각각의 샘플은 투영 중심선이 구멍의 중심을 통과하도록 추출될 수 있다. 각각의 샘플은 투영 중심선이 구멍의 중심으로부터 오프셋되는 구멍 상의 포인트 또는 선을 통과하도록 추출될 수 있다. 구멍의 중심으로부터 오프셋되는 구멍 상의 포인트 또는 선은 가상 구멍의 가장자리와 2개의 인접한 가상 구멍 사이의 중점 중에서 적어도 하나가 될 수 있다.
이미지 데이터 생성 방법은 샘플이 추출되기 전에 3차원 장면에 저역 필터를 적용하는 단계를 더 포함할 수 있다. 이러한 저역 필터는 3차원 장면의 z값에 종속적인 저역 주파수를 가진다. 이 저역 필터는 3차원 장면의 z값과 이 z값에 대해 3차원 픽셀의 폭에 종속적인 저역 주파수를 가질 수 있다. 이 저역 주파수의 종속성은 검사 테이블의 사용에 의해 확인될 수 있다.
이미지 데이터 생성 방법은 샘플이 추출되기 전에 상기 3차원 장면에 테셀레이션(tessellation)을 적용하는 단계를 더 포함할 수 있다. 이미지 데이터 생성 방법은 문턱값보다 더 큰 삼각형을 더 작은 삼각형으로 테셀레이팅하는 단계를 더 포함할 수 있다. 테셀레이션을 위한 문턱값은 삼각형의 꼭포인트의 z값에 종속할 수 있다.
3차원 장면의 체적 데이터는 어느 복셀 값이 판독 과정을 통해 검색될 수 있도록 3차원 데이터 구조에 저장될 수 있다. 적어도 하나의 샘플이 광선 추적(ray tracing)을 이용하여 추출될 수 있다. 적어도 하나의 샘플이 래스터화(rasterization)를 이용하여 추출될 수 있다.
이미지 데이터 생성 방법은 변환 및 투영을 수행하여 적어도 하나의 샘플을 추출하는 단계를 더 포함할 수 있으며, 이 변환은 무안경식 디스플레이의 형상에 종속적인 변환을 계산하는 단계를 포함하며, 이 투영은 투영 평면에 종속적인 투영을 계산하는 단계를 포함한다.
이미지 데이터 생성 방법은 무안경식 디스플레이의 적어도 하나의 추가 구멍에 대해 3차원 장면의 복수의 샘플을 추출하는 단계를 더 포함할 수 있다. 이미지 데이터 생성 방법은 무안경식 디스플레이의 모든 구멍에 대해 3차원 장면의 복수의 샘플을 추출하는 단계를 더 포함할 수 있다.
샘플들이 추출되는 픽셀과 구멍의 조합 그룹은 3차원 장면의 특정 관찰선, 특정 관찰 영역, 특정 관찰 제적, 및 특정 체적, 그리고 무안경식 디스플레이의 특징 중에서 어느 하나에 대해 최적화될 수 있다. 이 관찰선, 관찰 영역 또는 관찰 체적은 표시되는 이미지가 최적화되는 선, 영역 또는 체적이다. 그와 같은 최적화는 디스플레이가 관찰선, 관찰 영역 또는 관찰 체적으로부터 관찰될 때 올바른 원근화 뷰를 제공하도록 마련될 수 있다.
또한 본원에 개시된 이미지 데이터 생성 방법을 수행하도록 마련된 무안경식 디스플레이 장치가 제공된다.
무안경식 디스플레이를 가진 컴퓨터 시스템에 사용하기 위한 그래픽 처리 장치가 제공되며, 이 그래픽 처리 장치는 본원에 개시된 이미지 데이터 생성 방법을 수행하도록 마련되어 있다.
또한 무안경식 디스플레이에 사용하기 위한 그래픽 처리 장치가 제공되며, 이 그래픽 처리 장치는 본원에 개시된 이미지 데이터 생성 방법을 수행하도록 마련되어 있다.
또한 본원에 개시된 이미지 데이터 생성 방법을 수행하기 위한 컴퓨터 판독 매체에 저장된 코딩 수단을 구비한 컴퓨터 프로그램 제품이 제공된다.
또한 무안경식 디스플레이와 함께 이용하는 데에 적합한 이미지 데이터를 생성하는 방법이 제공된다. 이 이미지 데이터는 무안경식 디스플레이 상에 보여질 때 3차원 장면을 재생한다. 무안경식 디스플레이 장치는 스위칭식 구멍 어레이와, 스크린을 포함한다. 이 방법은 다수의 원근화 샘플로부터 이미지를 생성하는 단계를 포함하며, 원근화 샘플의 개수는 디스플레이가 제공할 수 있는 독립적인 관찰 위치의 개수보다 더 많다. 이 디스플레이는 수평 시차만을 가질 수 있고, 관찰자 위치들의 정의된 범위는 선이 될 수 있다. 이들 원근화 샘플은 디스플레이 평면에서 제로 간격 또는 동일한 간격을 가질 수 있다. 이들 원근화 샘플은 관찰 평면에서 제로 간격 또는 동일한 간격을 가질 수 있다. 이들 원근화 샘플은 디스플레이 평면 및 구멍 평면 양자에서 제로 간격 또는 동일한 간격을 가질 수 있다. 이들 원근화 샘플은 또한 관찰 평면에서 동일한 간격을 가질 수 있다.
렌더링 방법은 관찰선을 따라 위치한 관찰자에 대해 이미지 왜곡 현상을 감소시킬 수 있다.
도 1은 스캐닝 슬릿 시스템의 동작을 설명하는 도면이다.
도 2는 2차원 디스플레이 절두체를 보여주는 도면이다.
도 3은 스캐닝 슬릿 시스템을 위한 다수의 관찰 위치를 보여주는 도면이다.
도 4는 특정의 셔터 슬릿을 위한 다수의 관찰 위치를 보여주는 도면이다.
도 5는 특정의 셔터 슬릿을 위한 중간 관찰 위치를 보여주는 도면이다.
도 6은 관찰자가 이동함에 따라 원근화 정보가 어떻게 변하는 지를 보여주는 도면이다.
도 7은 공간의 2개의 포인트로부터의 다수의 광선을 보여주는 도면이다.
도 8은 2개의 포인트가 광선을 어떻게 정의하는 지를 보여주는 도면이다.
도 9는 동일한 3차원 픽셀을 통과하는 모든 광선에 대한 경계를 보여주는 도면이다.
도 10은 상부에서 본 3차원 픽셀을 보여주는 도면이다.
도 11은 인접한 3차원 픽셀에 대한 중심선을 보여주는 도면이다.
도 12는 픽셀이 어디에서 완전하게 그리고 부분적으로 볼 수 있는 지를 보여주는 도면이다.
도 13은 관찰자를 위치를 바꿈에 따라 포인트가 어떻게 이동하는 것처럼 보이는 지를 보여주는 도면이다.
도 14는 상이한 3차원 픽셀이 동일한 포인트를 어떻게 표현하지는 지를 보여주는 도면이다.
도 15는 도 14에서와 같이 동일한 포인트를 표현하는 다른 3차원 픽셀을 보여주는 도면이다.
도 16은 크기 조정된 및 미리 스케일링된 공간에서 동일한 절두체를 보여주는 도면이다.
도 17은 셔터 평면의 어느 일측에 2개의 상이한 함수를 위한 절두체를 보여주는 도면이다.
도 18은 미리 스케일링된 공간에서 픽셀 절두체를 보여주는 도면이다.
도 19는 미리 스케일링된 공간에서 2개의 인접한 셔터 슬릿에 대한 픽셀 절두체를 보여주는 도면이다.
도 20은 선이 일반적인 렌더링 방법을 이용하여 어떻게 크기 조정되는 지를 보여주는 도면이다.
도 21은 공지의 렌더링 방법을 보여주는 도면이다.
도 22는 3차원 픽셀 중심선과 비교하여 공지의 렌더링 방법을 보여주는 도면이다.
도 23은 3차원 픽셀 중심선과 비교하여 공지의 렌더링 방법을 보여주는 도면이다.
도 24는 더 좁은 슬릿을 가정하여 렌더링 방법을 보여주는 도면이다.
도 25는 카메라 위치가 어떻게 투영 포인트에 종속하는 지를 보여주는 도면이다.
도 26은 카메라 위치가 어떻게 투영 포인트에 종속하는 지를 보여주는 도면이다.
도 27은 심도 방법을 보여주는 도면이다.
도 28은 다중 원근화 방법을 보여주는 도면이다.
도 29는 2개의 원래 카메라 사이에서 보간되는 카메라 뷰를 보여주는 도면이다.
3차원 디스플레이 장면 표현
3차원 디스플레이가 어떻게 장면을 표현할 수 있는 지를 설명하기 위해 이동 관찰자가 고려될 수 있다. 왜냐하면 3차원 디스플레이를 이해하려면 정지 관찰자보다 이동 관찰자가 더 흥미를 끌기 때문이다. 적어도 스캐닝 슬릿 시스템의 경우, 정지 관찰자는 3차원 디스플레이가 주어진 깊이에 대해 2차원 디스플레이와 동일한 정확도로 장면을 재생할 수 있게 해준다. 도 2에서 알 수 있듯이, 2차원 디스플레이에서 픽셀들이 관찰자의 포인트로부터 원뿔들을 표현하는 것을 알 수 있다. 이들 원뿔은 장면 내에서 관찰자로부터 더 멀어질수록 더 넓어질 것이다. 단순화를 위해 동일한 슬릿을 통해 모두 보여지는 3개의 픽셀만이 도시되어 있다.
3차원 디스플레이를 설명하는 한가지 방법은 상이한 관찰자 위치들을 위해 상이한 원근화를 나타낼 수 있는 방향성 디스플레이이다. 이러한 효과를 달성하는 데에는 많은 상이한 방법이 있다.
도 3은 스캐닝 슬릿 시스템이 9개의 상이한 관찰 위치들을 어떻게 표시할 수 있는 지에 대한 일예를 보여주고 있다. 셔터가 상이한 이미지들이 9개의 관찰 위치 각각으로부터 보여지도록 디스플레이에 대한 정보를 필터링한다.
이것은 3차원 디스플레이가 수평 시차(parallax)만을 가지고 있고, 디스플레이로부터의 주어진 거리에서 하나의 선을 따라 관찰을 위한 렌더링을 최적화하는 예에 기초를 두고 있다.
선의 거리, 높이 및 폭은 관찰자의 기호에 따라 변할 수 있다. 셔터가 디스플레이 전방에 위치하는 경우가 이러한 설명을 위해 사용될 것이라는 점에 주의하라. 또한 동일한 방법들이 셔터가 띠 또는 점 광원(stripe or point light source)으로 인해 디스플레이 뒤에 위치하는 해결책에도 적용될 것이다.
도 4는 하나의 셔터 슬릿에 대해 9개의 관찰 위치를 위한 부분 절두체의 이미지를 보여준다.
이 예에서는 단지 하나의 픽셀만이 각각의 셔터 슬릿 뒤에서 볼 수 있고, 다른 픽셀은 9개의 관찰 위치 각각으로부터 보여진다. 이를 달성하기 위해 디스플레이는 9개의 상이한 2차원 프레임을 보여주며, 각각의 프레임은 관련 셔터 슬릿과 동기화되어 있다.
이 예에서는 9개의 관찰 위치 각각으로부터 보여지는 이미지들 사이에 어떠한 중첩도 존재하지 않는다. 이들 이미지는 단순히 상이한 이미지들 또는 TV 채널이 될 수 있거나, 3차원 장면의 상이한 원근화를 표현할 수 있다.
이 예에서 관찰자는 이전의 이미지의 어떠한 요소도 보여지지 않았던 새로운 이미지를 보기 위해 거리(m)를 이동할 필요가 있다. 동일한 삼각형들에 의해 이 거리는 하기 수학식으로 주어진다는 것을 알 수 있다.
Figure pct00001
상기 예는 다수의 측면에서 실제 관찰자 상황을 단순화한 것이다. 먼저 많은 예에서 관찰자는 표시된 9개의 관찰 위치들 사이에 위치할 수 있다.
이 예에서 관찰자는 그러한 중간 위치들로부터 2개의 인접한 위치들의 일부를 볼 것이다. 자유로이 이동하는 관찰자의 경우 9개의 관찰 위치들에 대하여 특이한 것은 전혀 없으며, 남성 또는 여성 관찰자는 어떠한 중간 위치에서도 매우 유사하게 위치하게 될 것이다.
중간 위치들에서 이미지는 2개의 인접한 위치들 사이의 보간된 이미지(interpolated image)로 고려될 수 있다. 9개의 위치들은 관찰자에게 어떠한 의미를 가지지 못하더라도, 거리(m)는 하나의 극단 관찰 위치에서 나머지 관찰 위치로, 예컨대 이 예에서는 1번 위치에서 9번 위치로 이동할 때 새로운 원근화 정보가 제공될 수 있는 비율을 표현한다는 점에서 중요하다.
도 5는 상이한 원근화들이 셔터 슬릿의 중심을 통해 번호가 매겨진 관찰 위치들로부터 선을 따라 샘플링된 포인트들을 표현하는 경우 샘플 사이의 간격은 셔터 평면으로부터의 주어진 거리로 인해 상이하게 된다는 것을 보여준다. 이러한 간격은 문자 a로 표시되며, 하기 수학식에 따라 표현될 수 있다.
Figure pct00002
그러한 선들 또는 절두체들을 따라 샘플링하려고 선택하는 것은 다소 임의적인데, 왜냐하면 관찰자는 중간 관찰 위치에서 매우 유사하게 위치될 것이기 때문이며, 4.5번과 5.5번 관찰자 위치로 예시되어 있다.
이 대신에 누구나가 이들 중간 위치로부터 진행하는 선들 또는 절두체를 이용하여 샘플링할 수 있고, 픽셀들에게 이들 2개의 픽셀 사이의 평균 또는 가중 평균에 기초한 값을 제공할 수 있으며, 예컨대 5번 관찰 위치를 중심으로 하는 픽셀은 4.5번과 5.5번 중간 위치로부터 평균값을 제공받을 수 있다.
위의 예는 디스플레이 평면에서 픽셀의 폭이 정확하게 셔터 슬릿을 통해 보여 진다는 점에서 특별한 경우를 나타낸다. 동일한 삼각형으로부터 이 경우는 아래의 특정 조건들이 하기 수학식으로 만족될 때의 경우만이라는 것을 보여줄 수 있다.
Figure pct00003
여기에서 Δe는 셔터 슬릿의 폭이고, S, D 및 P는 상기와 같이 정의된다.
이들 조건들이 만족되지 않는 디스플레이를 사용하기 위해 요구하는 상황들이 존재할 수 있다. 이것은 데이터를 렌더링할 때 추가의 고려사항들을 발생시킨다.
도 6은 3개의 픽셀의 폭이 단일의 셔터 슬릿을 통해 보여지는 예를 보여주고 있다.
이 경우에 Δe>P인 경우, 유사한 분석이 P>Δe에 대해서도 이루어질 수 있다. 임의의 관찰자 위치가 원래의 원근화를 표현하도록 선택된다. 관찰자가 이 위치로부터 멀리 이동함에 따라 디스플레이의 새로운 부분이 슬릿을 통해 보여질 것이다. 이들 부분은 새로운 원근화 정보를 보여줄 수 있다.
그럼에도 불구하고 원래의 원근화의 일부가 관찰자가 원래의 관찰자 위치로부터 충분히 멀리 이동할 때까지 여전히 보여질 수 있다. 동일한 삼각형에 의해 거리가 하기 수학식으로 표현될 수 있다.
Figure pct00004
새로운 원근화 정보와 원래 원근화 정보에 대한 비율은 n과 함께 선형으로 변화하고, 하기 수학식으로 표현될 수 있다.
Figure pct00005
수학식 1은 관찰자가 새로운 풀 픽셀(full new pixel)을 보기 위해 얼마나 멀리 이동할 필요가 있는 지를 조절한다. 이 값을 수학식 5에 대입하면 하기 수학식이 얻어진다.
Figure pct00006
이것은 관찰자가 관찰선을 따라 이동함에 따라 새로운 원근화 정보가 추가될 수 있는 비율과 오래된 원근화 정보가 남아있는 비율에 대한 비로 간주될 수 있다. 수학식 3과 수학식 6을 조합하면 1이라는 비를 얻게 될 것이며, 이 비는 정확하게 하나의 픽셀이 각각의 셔터 슬릿을 통해 보여지는 상황에 대해 기대되는 것이다.
새로운 원근화 정보와 원래의 원근화 정보 양자가 하나의 특별한 관찰 위치에 대해 교정될 수 있다. 그러나 누구나 이것을 원래의 원근화 위치라고 정의할 수 있고, 동일한 분석을 다시 수행할 수 있다.
이것이 보여주는 것은 단지 디스플레이가 관찰자가 어디에 위치하는 지를 정확하게 알고 있지 못하는 경우 이것은 대부분의 관찰자 위치에 대해 오류를 일으킬 것이라는 것이다. 이 오류는 장면의 표현에서 부정확한 것으로 간주될 수 있다.
관찰자의 위치가 임의적이고 알려지지 않을 수도 있기 때문에, 현재로선 3차원 디스플레이를 설명하기 위해 상이한 모델을 사용하는 것이 유용할 것이다. 3차원 디스플레이는 상이한 광선들을 재생할 수 있는 디스플레이로서 설명될 수 있으며, 이들 광선은 광 벡터라고 불릴 수도 있고, 공간에서 선택된 평면을 통과할 수 있다.
도 7은 공간에서 2개의 임의의 포인트로부터 출발하는 선택된 광선들을 보여주며, 이들 광선은 디스플레이 평면을 통과한다. 아래의 설명은 광선들의 y축 방향이 보이지 않는 관점에 주로 기초를 둘 것이며, 이것은 수평 시차 시스템의 경우에 가장 의미있는 것이다. 분석이 확장되어 동일한 방법을 사용하는 수직 시차를 역시 포함할 수 있다.
많은 경우에 빛은 광선(기하 광학)으로서 취급될 수 있더라도 빛의 파동 특성이 예컨대 간섭/회절과 함께 고려되어야 하는 경우들도 있다. 그러나 아래의 분석에서 회절은 무시될 것이고, 순수한 기하학적인 접근법이 사용될 것이다.
광선의 고유한 방향은 광선이 통과하는 공간 내의 2개의 포인트에 의해 결정될 수 있다. 이 광선을 물체까지 역으로 추적하고 빛이 공기를 통해 진행하는 것으로 가정함으로써 방사 휘도(radiance)가 결정될 수 있다. 이것이 순수한 빛 장(light field)에 대한 단순화된 모델일지라도 광선 추적 분석을 상당히 단순화시킨다. 따라서 광선[L(s,t,u,v)]은 도 8에 도시된 바와 같이 2개의 포인트 혹은 4차원 공간 내의 4개의 변수에 의해 고유하게 결정된다. 그러나 빛 장에 대한 더욱 세밀한 분석을 위해 5차원 다굴절 함수(plenoptic function)가 고려될 수 있거나, 심지어 더 정교한 기법은 시간, 빛의 파장 등과 같은 차원들을 고려한다. 4차원 공간 분석에서 광선들은 공간을 통해 진행할 때 일정한 방사 휘도와 색깔을 가질 것이다.
디스플레이 평면은 공간 내의 2개의 포인트를 정의하는 데에 사용되는 2개의 평면 중의 하나로서 선택될 수 있다. 실제 장면을 완벽하게 재생하기 위해 무한대의 광선들을 재생할 필요가 있다. 이것은 하나의 평면 상에서 각 포인트는 나머지 평면 상에서 무한대의 포인트를 통과하는 광선을 가지거나 이의 반대도 될 수 있다는 것을 의미한다. 실제로 광선들은 연속적인 빛 장을 형성한다.
실제 디스플레이는 각 광선의 값을 독립적으로 설정할 수 없다는 점에서 완벽한 상황과 다르다. 3차원 디스플레이 픽셀은 디스플레이가 단지 공동으로 어드레싱할 수 있는 광선의 범위로서 정의될 것이다. 이러한 범위의 광선들이 비록 독립적인 값은 아니지만 상이한 값을 취할 수 있는 경우가 존재할지라도 여기에서는 동일한 값을 추출하는 경우가 고려될 것이다. 또한 실제 디스플레이는 표현될 수 있는 모든 범위의 광선들에 제한될 것이며, 다시 말해서 시야각을 제한한다.
스캐닝 슬릿 시스템에서 디스플레이 픽셀과 셔터 구멍(aperature)의 조합이 3차원 픽셀을 정의하는 것으로 간주될 것이다. 실제로 어떠한 무안경식 디스플레이도 이러한 방식으로 모델링될 수 있다. 스캐닝 슬릿 시스템의 가장 흔한 구현에 있어서 3차원 픽셀은 색깔 및 세기와 관련하여 하나의 값을 취할 수 있을 뿐이다.
광선들을 정의하는 것과 관련하여 3차원 픽셀은 분석을 단순화하여 디스플레이 평면과 셔터 평면을 2개의 평행 평면으로서 선택한다.
3차원 픽셀은 도 9에 도시된 바와 같이 광선의 범위를 표현한다. 이 범위는 동일한 디스플레이 픽셀과 동일한 셔터 구멍을 통과하는 모든 광선으로서 정의될 수 있다. 픽셀들이 정사각형이고 셔터 구멍들이 수직 슬릿인 경우가 상세하게 설명될 것이지만, 유사한 분석이 어떠한 형상의 픽셀과 구멍으로 확장될 수 있다.
이러한 특정의 시스템은 수직 시차를 가지지 않기 때문에 관찰선이 선택될 수 있고, 이 선을 통과하는 광선들만이 중요한 것으로 고려된다. 또한 디스플레이 및 셔터 양자에는 어드레싱될 수 없는 어두운 영역들도 존재할 수 있다는 점도 주의해야 하며, 이들 어두운 영역은 3차원 픽셀 갭(pixel gaps)을 도입시켰다. 3차원 픽셀 갭의 일예는 수많은 2차원 디스플레이들이 가지고 있는 픽셀들 사이의 어두운 갭이 될 수 있다.
모든 광선들이 3차원 픽셀의 값에 대해 동일한 가중치를 가지고 있다면, 3차원 픽셀의 값은 이중 적분에 의해 결정될 수 있다. 일차 적분은 디스플레이 픽셀 상의 단일 포인트를 위해 슬릿의 영역을 통과하는 모든 광선에 대해 세기 함수를 적분한다. 이차 적분은 디스플레이 픽셀의 영역에 대해 일차 적분을 적분한다. 관찰선을 통과하는 광선들만이 중요한 것으로 고려되는 경우를 위해, 적분 대상 값들은 약간 더 복잡하게 된다.
그때 일차 적분은 디스플레이 픽셀 상의 단일 포인트를 위해 슬릿의 영역과 관찰선을 통과하는 모든 광선에 대해 세기 함수를 적분한다. 실제로 이것은 디스플레이 픽셀 상의 주어진 포인트를 위해 셔터 슬릿 상의 수평선에 대해 적분이 이루어진다는 것을 의미한다.
이차 적분은 여전히 디스플레이 픽셀의 영역에 대해 일차 적분을 적분한다. 세기 함수를 L(s,t,u,v)라고 가정한다면, 이중 적분은 하기 수학식으로 표현될 수 있다.
Figure pct00007
더욱 진보된 모델에서는 전달 함수[a(s,t,u,v)]가 도입될 수 있으며, 이 전달 함수는 상이한 광선들의 가중치를 효과적으로 제공한다. 이 경우 L 함수와 a 함수의 적(product)이 적분된다.
도 10은 위에서 y축 아래로 바라본 2개의 평면의 횡단면을 보여준다. 이러한 특정의 횡단면에 대해 수학식 7의 적분은 하기 수학식으로 쓰여질 수 있다.
Figure pct00008
여기에서 P는 픽셀의 폭이고, Δe는 셔터 슬릿의 폭이다.
풀 3차원 픽셀 값을 결정하기 위해 픽셀의 높이에 대해 y축 방향으로 수학식 8을 적분할 필요가 있다. 이산 시스템(discrete system)에서 수학식 8은 하기 수학식의 합으로서 설명될 수 있다.
Figure pct00009
여기에서 P는 픽셀의 폭이고, Δe는 셔터 슬릿의 폭이다.
디스플레이 픽셀과 셔터 슬릿의 가장자리로부터 경계 광선들을 그림으로써 3차원 픽셀로부터 광선들이 스위핑하는(sweep) 영역이 정의될 수 있다.
이 영역은 셔터와 디스플레이 사이의 구역을 제외한 어디에서나 디스플레이 픽셀과 셔터 슬릿의 맞은편 가장자리로부터 출발하는 광선들에 의해 경계가 지워진다는 것을 관찰할 수 있다. 이 구역에서는 상기 영역이 셔터 슬릿과 픽셀의 동일한 가장자리로부터 출발하는 광선들에 의해 경계가 지워진다. 광선들에 의해 스위핑된 영역의 폭은 w라고 명명될 것이고, 하기 수학식에 따르면 z에 따라 변할 것이다.
Figure pct00010
도 11은 수많은 인접한 3차원 픽셀들에 대해 중심선들을 보여준다. 이들 중심선은 디스플레이 평면과 셔터 평면 양자에서 교차한다. 이 때문에 이들 중심선 광선들을 설명하는 데에는 두가지 대안이 있다. 이들 광선들은 픽셀들의 중심을 소정의 각도 간격으로 통과하는 광선 그룹들로 설명될 수도 있거나, 셔터 슬릿들의 중심을 다른 소정의 각도 간격으로 통과하는 광선 그룹들로 설명될 수 있다.
도 11의 예에서는 셔터 슬릿들이 디스플레이 픽셀들보다 더 넓다. 그렇기 때문에 중심선 그룹들은 셔터 평면에서보다 디스플레이 평면에서 더 촘촘하게 이격될 것이다. 그러나 다른 한편 각도 간격은 셔터 평면에서보다 디스플레이 평면에서 그룹들 내에서 더 크게 될 것이다.
주의할 한 가지 사항은 이 예에서는 각도 간격이 하나의 광선 그룹 내에서 균일하지 않다는 것이다. 이에 반해 각도 간격은 시야각이 클수록 더 작아진다.
이 상황을 충분하게 이해하기 위해서는 관찰자가 분석에 재차 도입될 수 있다.
도 12는 디스플레이 평면으로부터 소정 거리(D)에 위치한 관찰자를 보여준다. 도 12는 2차원 픽셀을 전체적으로 또는 부분적으로 볼 수 있는 관찰 위치들을 보여준다. 이러한 관찰 지역의 폭은 수학식 10에 z=D를 대입함으로써, 다시 말해서 3차원 픽셀을 정의하는 영역에 의해 얻어질 수 있다. 또한 이 폭은 수학식 1과 수학식 4에 의해 정의된 거리와 관련되어 있다는 것도 알 수 있다.
일부의 관찰 위치의 경우 2차원 픽셀을 완전하게 볼 수 있고, 일부의 관찰 위치의 경우 2차원 픽셀을 단지 부분적으로만 볼 수 있다는 점에 주의하라.
주의할 또 다른 점은 z축 방향을 따라 어떤 장소에서 한 포인트가 선택되는 경우 2차원 픽셀이 완전하게 보여질 수 있다는, 다시 말해서 일부 영역에서 픽셀 상의 모든 포인트를 통해서 보여질 수 있는 반면에, 2차원 픽셀이 단지 부분적으로만 보여질 수 있다는, 다시 말해서 일부 영역에서 단지 픽셀의 일부를 통해서만 보여질 수 있다는 점이다. 이것은 중요할 수도 있으며, 만약 몇 개의 샘플을 추출해서 3차원 픽셀의 값을 결정하고, 이들 샘플에 상이한 가중치를 가하고 싶은 경우에 그러하다.
3차원 디스플레이에서 3차원 픽셀은 z축 방향으로 어디에서나 물체를 표현할 수 있다. 관찰자가 물체를 인지하는 장소를 결정하는 다른 기준들이 있다.
도 13은 양자의 관찰 위치에 대해 동일한 슬릿을 통해 보여지는 2차원 픽셀을 위한 관찰 원뿔을 보여준다. 따라서 양자의 원뿔은 동일한 3차원 픽셀의 일부를 형성하는 소정 범위의 광선을 표현한다. 그렇기 때문에 이들 광선은 동일한 색깔과 세기를 가지지 않을 수 없다.
이 예에서 다른 기준들은 관찰자가 1번 위치에 대해 깊이(z1)에서 포인트를 인지하게 해 준다. 관찰자가 1번 위치에서 2번 위치로 이동함에 따라 그 포인트는 이동하는 것처럼 보일 것이다.
디스플레이 평면으로부터 멀어질수록 그 포인트는 더 이동하게 될 것이다. 정확하게 그 포인트가 얼마나 이동하는 것처럼 보이는 가는 다른 기준들에 의존하게 될 것이다. 그 포인트는 z 평면 내에서, 그리고 z축을 따라 이동할 수 있다. 이러한 효과는 관찰자가 머리 추적 없는 고글 기반 스테레오 시스템(goggle based stereo system)에서 머리를 움직일 때 경험하게 되는 효과와 유사하다. 심지어 동일한 원근화가 여전히 보이는 경우라도 장면이 변하는 것처럼 보일 것이다. 스캐닝 슬릿 시스템의 경우, 이것은 국부적인 원근화 오류를 발생시킬 것이다.
도 10에서 정의된 3차원 픽셀은 포인트가 이동하는 것처럼 보이는 어느 정도의 최대량, 그러므로 오류의 양으로서 간주될 수 있다.
포인트가 얼마나 이동하는 것처럼 보이는 가를 결정하는 기준들은 통상적으로 관찰자의 다른 눈과 머리의 움직임으로부터 경험하게 되는 시차에 의해 보여지는 원근화가 될 수 있다.
도 14는 디스플레이 평면 뒤에 있는 포인트를 보여준다. 그 포인트가 각각의 셔터 슬릿 뒤에 있는 3개의 픽셀의 값을 설정하도록 렌더링 방법이 사용된다고 가정한다.
그 포인트로부터 출발하는 좁은 회색 원뿔들은 그 포인트와 이들 픽셀을 통과하는 광선의 범위를 보여주고 있다. 그러나 이들 픽셀의 값을 설정함으로써, 선택된 2차원 픽셀과 셔터 슬릿의 조합을 표현하는 3차원 픽셀에 대해 값을 설정하지 않을 수 없다.
이미지는 1번 머리 위치와 2번 머리 위치에 대해 그러한 3개의 3차원 픽셀을 보여준다. 3차원 픽셀 전부가 중첩하는 영역이 비교적 크다는 것을 알 수 있고, 그 포인트가 어디에 위치하는 것에 대해 불확실성을 표현하는 것으로 간주될 수 있다.
수학식 10으로부터 추론될 수 있는 것은 불확실성의 영역이 픽셀 크기, 슬릿 크기, 셔터 디스플레이 이격도, 및 디스플레이 평면으로부터 떨어진 거리에 의존할 것이라는 점이다.
도 15는 셔터 슬릿의 폭이 감소되는 예를 보여준다. 불확실성의 영역이 현저하게 감소된다.
3차원 이미지 생성
이미지 생성 기법이 하나 또는 다수의 2차원 이미지를 생성할 것이며, 이러한 2차원 이미지는 3차원 디스플레이 상에 표시될 때 3차원 장면을 재생한다. 어떤 슬릿 위치에 대해 픽셀의 값을 결정하기 위해 가상의 장면을 통과하는 벡터 또는 광선을 샘플링함으로써 2차원 이미지를 생성할 수 있다.
이것은 광선 추적하는 데에 사용되는 방법이다. 샘플이 추출되는 선, 즉 샘플링 벡터 또는 광선이 투영의 중심선이라고 명명될 수 있다. 2차원 앤티 앨리어싱(anti-aliasing)이 광선 추적하는 데에 사용되는 경우 샘플링은 하나 이상의 선을 따라 수행되고, 그러면 하나의 픽셀에는 이들 샘플들에 기초한 값이 주어진다.
이들 다른 샘플 선들은 투영 중심선 주위에 분포될 수 있다. 래스터화(rasterization)에서 광선 추적에서와 동일한 방법으로 선을 따라 샘플링을 하지 못하며, 이 대신에 알고리듬이 피사체가 특정 픽셀과 카메라 위치를 위한 절두체 내에 위치하고, 다음에 각 픽셀에 이에 기초한 값이 주어 졌는지를 검사한다. 이 절두체의 중심은 투영 중심선으로 명명될 수도 있다. 2차원 앤티 앨리어싱이 래스터화에 이용되는 경우 각 픽셀은 통상적으로 다수의 서브 픽셀로 분할되고, 이어서 원래 픽셀에는 이들 서브 픽셀의 값에 기초한 값이 주어진다.
후술하는 분석은 광선 추적과 래스터화 양자에 대해 유사한 결론을 내릴 것이다. 이를 설명하기 위해 일 방법이 사용되는 경우, 유사한 설명이 나머지 다른 방법을 사용하여 이루어질 수 있다.
위 분석이 보여주는 바와 같이 각각의 픽셀과 셔터 슬릿의 조합(즉, 각각의 3차원 픽셀)은 소정 범위 내에서 무한대의 광선을 표현한다. 그렇기 때문에 디스플레이 평면에 표시하기 위해 2차원 이미지들을 생성하는 많은 상이한 방법이 존재한다. 이들 상이한 방법은 관찰자에게 상이한 시각 결과를 제공할 것이다.
공지된 두가지 방법은 상술한 디스플레이 장면 표현에 대해 분석될 것이다. 시각 결과를 향상시키는 방법들이 제공될 것이다.
1. 일반적인 렌더링 방법( GRM )
일반적인 렌더링 방법(GRM)은 특허 출원 PCT/IB2005/001480에 기술되어 있다. GRM은 장면 내에 매우 가는 슬릿과 매우 정밀한 세부사항을 가진 이상화된 디스플레이의 렌더링을 위해 우수한 벤치마크를 제공한다.
이와 관련하여 매우 가는 슬릿은 픽셀의 폭과 실질적으로 동일한 폭을 가진 슬릿이고, 매우 정밀한 세부사항은 하나의 픽셀 해상도와 실질적으로 동일한 각지름(angular diameter)을 가진 장면 세부사항이다.
수학식 11은 GRM을 위한 핵심 수학식 중의 하나이다. GRM은 하나의 셔터 슬릿에 대한 모든 원근화가 표준 원근화 렌더링 방법을 통해 촬영될 수 있도록 장면을 변환한다.
GRM은 법선 원근화 렌더링 단계(normal perspective rendering step) 전후에 수행될 수 있는 x 좌표 변환을 제공한다. 실제의 구현에서는 이러한 변환은 2개의 개별 단계일 필요는 없고, 단일의 수학식에서 실시된다. 그럼에도 불구하고 관련 문제점들을 이해하려고 시도하는 경우 두 단계를 분리하는 것이 유용하다.
Figure pct00011
이상적인 경우를 고려하는 것에서 출발할 수 있다. 이상적인 경우에 GRM 변환은 표준 원근화 렌더링 방법이 수행될 때 어떠한 왜곡을 발생시키는 방식으로 정보를 변경시키지 않는다. 이것은 모든 삼각형이 일정한 z 값을 가진 경우이거나, 장면 내의 각각의 요소가 충분히 작은 경우이다.
이 렌더링 방법이 3차원 장면의 샘플들을 추출하는 방법을 이해하기 위해서는 샘플링을 수행하는 렌더링 방법이 변환된 또는 스케일링된(scaled) 공간에서 미리 스케일링된 공간, 즉 원래의 장면 공간으로 이동할 수 있다. 스케일링된 공간에서 법선 카메라가 주어진 절두체와 함께 설정된다.
도 16은 카메라가 z=100인 포인트에 위치하고 있고, 셔터가 z=10인 포인트에 위치하고 있고, 디스플레이가 z=0인 포인트에 위치하고 있다는 것을 보여준다. x=0인 포인트를 중심으로 하는 슬릿의 경우, 절두체는 x=100와 x=-100인 포인트들에서 디스플레이와 교차한다.
수학식 11에 스케일링된 값들을 삽입함으로써 미리 스케일링된 절두체가 계산될 수 있다. 또한 도 16은 카메라가 촬영한 미리 스케일링된 공간을 보여주고 있다. 그 형상이 이해될 것이다. z=100인 포인트에서 공간은 관찰선을 포함하고, 수학식이 무한하게 좁은 슬릿을 가정하는 z=10인 셔터 평면 내에서 포인트가 교차하고, 미리 스케일링된 공간과 스케일링된 공간 양자에서 동일한 포인트에서 디스플레이 평면과 교차한다.
추출된 실제의 샘플들은 스케일링된 공간에서 픽셀에 값이 주어진 때일 것이다. 해당 절두체를 위한 디스플레이 평면 내에 200개의 픽셀이 존재하는 경우, 이들 픽셀은 디스플레이 평면에서 1 피치를 가질 것이다.
기본적인 예에서 광선 추적 유추법을 이용하면 카메라는 카메라 위치에서 출발하여 스케일링된 공간 내에서 각각의 픽셀의 중심을 통과하는 선을 따라 샘플들을 추출할 것이다.
도 18은 미리 스케일링된 공간으로 변환된 다수의 인접한 픽셀을 위한 선들을 보여준다. 도 11과 비교해보면, 이것은 해당 셔터 슬릿을 통과하는 3차원 픽셀들 모두를 위해 중심선을 따라 샘플링하는 것과 동일하다는 것을 알 것이다.
원래의 장면에서는 작은 피처들 또는 다른 고주파 요소들이 존재할 수 있고, 이는 훨씬 더 많은 선들을 따라 샘플링하는 것을 요구할 수 있다. 2차원 앤티 앨리어싱이 표준 투영 단계에 사용되는 경우, 이것은 도 18에 도시된 선들 사이에 하나 이상의 선을 추가하는 것과 동일하고, 이들 선을 따라 샘플링할 수 있다.
그때 마지막 픽셀 값은 인접한 선들 사이의 평균 또는 가중 평균을 취함으로써 결정될 수 있다. 이 대신에 래스터화를 이용하면 픽셀들이 서브 픽셀들로 분할되고, 다음에 원래 픽셀에는 이들 서브 픽셀들에 기초한 값이 주어질 것이라고 말 할 수 있다.
이러한 방법을 이용함으로써 관찰자가 경험하게 되는 이미지 왜곡 현상(image artefacts)이 감소될 수 있다. 이 방법은 슬릿의 중심을 통과하는 샘플링된 광선들의 수를 증가시킬 것이다. 그러나 이 방법은 슬릿의 다른 부분들을 통과하는 광선들에 대해서는 샘플들을 추출하는 것을 무시한다.
도 11에 예시된 3차원 픽셀들의 중심선들도 역시 디스플레이 평면에서 교차한다. GRM은 다른 슬릿 위치들에 대해 이미지를 렌더링할 때 추출된 상이한 샘플들을 통해 이러한 교차를 처리한다.
기본적인 경우를 위해 이것은 미리 스케일링된 절두체를 하나의 슬릿 폭만큼 옆으로 변위시키는 것을 포함한다. 카메라가 변위되면, e가 수학식 11에서 상이한 값을 취하기 때문에 장면에 대한 약간 상이한 변환이 일어난다.
도 19는 미리 스케일링된 공간에서 2개의 인접한 절두체를 보여준다.
주의할 흥미로운 일은 셔터 평면에 인접한 2개의 절두체 사이에 마름모 모양의 공간이 존재한다는 것이며, 이 공간은 이들 절두체 중의 어느 것에 의해 촬영되지 않는다. 셔터 평면 내 또는 근처에는 샘플들이 이들 절두체 내에서 촘촘하게 이격될 것이지만, 샘플들 사이의 거리가 큰 마름모 공간 내에는 점프(jump)가 될 것이다. 이것이 보여주는 것은 미리 스케일링된 공간 내의 셔터 평면 내 또는 근처에서 샘플들 사이의 거리가 전술한 2차원 앤티 앨리어싱 방법이 사용되는 경우 감소되지 않는다는 점이다.
셔터 평면 근처에서 샘플 간격을 감소시키기 위해 더 좁은 슬릿 간격을 가진 추가의 가상 슬릿 위치들에 대해 샘플링이 이루어질 수 있고, 다음에 평균 또는 가중 평균이 취해질 수 있다.
일예는 슬릿 중심과 슬릿 교차점에서 모두 샘플들을 추출하고, 중심 샘플에 0.5의 가중치를 제공하고 교차 샘플들에 0.25의 가중치를 제공하는 것이다. 또한 저역 필터가 렌더링 단계에 적용될 수 있다. 그러한 저역 필터는 z 값에 따라 상이한 저역 주파수를 가질 수 있다. 이 주파수의 파장은 수학식 10에서 정의된 거리와 관련될 수 있다. 이 저역 필터가 변환 단계 이후에 적용되는 경우, 주파수는 변환을 위해 조절되는 것이 중요하다.
셔터 평면 근처에서 샘플들 사이의 거리를 감소시키는 다른 방법은 셔터 평면의 어느 쪽에서 2개의 상이한 스케일링 함수(different scaling functions)를 가지는 것이다.
일예는 수학식 11의 2개의 버전을 가지는 것이며, 여기에서 S는 z0<S를 위해 (S+a)로 대체되고, S는 z0 > S를 위해 (S-b)로 대체된다. 이 예에서 a와 b는 양 또는 음의 어떤 값도 제공될 수 있는 상수이다. z0=S를 위해, 특별한 경우가 정의될 수 있거나, 2개의 수학식 중의 어느 하나를 사용하도록 선택될 수 있다. a와 b는 픽셀 절두체들이 셔터 평면에서 동일하게 이격되도록 설정될 수 있다.
도 17은 일예를 보여준다. 이 예에서 a는 디스플레이 평면 내의 절두체의 단부로부터 셔터 평면 내의 슬릿 경계를 통과하는 선들 사이의 교차점에 의해 결정된다. b는 관찰선의 단부로부터 슬릿 경계를 통과하는 선들 사이의 교차점에 의해 결정된다. 이 예를 위한 동일한 삼각형들은 하기 수학식을 제공한다.
Figure pct00012
여기에서 T는 디스플레이 평면 내에서 절두체의 폭이며, W는 관찰선의 폭이며, Δe는 셔터 슬릿의 폭이며, S는 셔터와 디스플레이의 이격 거리이며, D는 디스플레이와 관찰선의 이격 거리이다.
다른 방법은 함수라기보다는 검사 테이블(lookup table)을 정의하는 것이다. 이 검사 테이블은 z의 함수로서 스케일링을 정의한다. 이것은 x 종속 스케일링을 정의하는 하나의 테이블과, 수학식 11에서 정의되는 바와 같이 e 종속 스케일링을 정의하는 하나의 테이블로 분할될 수 있다.
이러한 분할 테이블은 장면의 일부들이 촬영되지 않는 영역까지 표준 곡선을 추적하도록 만들어질 수 있다. 이 영역에서는 변위가 감소될 수 있다. 또한 검사 테이블도 전술한 나머지 스케일링 함수들 중의 하나를 추적할 수 있다.
최소 테셀레이션
GRM과 관련한 과제들 중의 하나는 그래픽 카드들이 선형 보간법을 광범위하게 이용하는 데에 도움이 된다는 점이다. 삼각형 상의 모든 포인트에 대해 상수(z)를 가진 삼각형의 경우 이것은 문제가 되지 않는데, 왜냐하면 위의 수학식에서 스케일링 및 변위 인자가 선형이기 때문이다. 그와 같은 삼각형은 셔터의 법선에 대해 평행한 법선을 가지고 있다. 상이한 z값에서 꼭 포인트를 가진 삼각형의 경우 선형 보간법은 오류를 발생시킬 것이다.
도 20은 미리 스케일링된 공간에서 곧은 수평선이 스케일링된 공간에서 무엇처럼 보일 것인 지를 보여준다. 삼각형이 z=-30인 경우의 끝점과 z=30인 경우의 끝점을 가진 경우, 선형 보간법은 0.33부터 -0.35까지의 x값들을 가진 직선을 제공할 것이다.
그러나 교정 곡선은 z=10 근처의 점근선들 때문에 고도의 비선형이다. 이러한 문제를 극복하는 한가지 방법은 수개의 더 작은 삼각형으로 분할하는 것이다. 이것은 테셀레이션(tessellation)이라고 불린다. 테셀레이션은 GRM의 샘플링 주파수를 효과적으로 향상시킨다.
도 18은 미리 스케일링된 공간 내의 인접한 픽셀들을 위한 절두체들을 표현하는 것으로 간주될 수 있다. 이들 절두체 중의 단지 하나 내에 배치되는 삼각형이 스케일링된 공간에서 하나의 픽셀에 의해 촬영될 뿐이다.
큰 삼각형은 새로운 삼각형들 중에서 적어도 하나가 단지 하나의 절두체 내에 배치되도록 테셀레이싱 되는 경우, 그러한 삼각형의 꼭지점들이 올바르게 스케일링된다는 것이 보장될 수 있다.
아래의 이미지로부터 알 수 있는 것은 이러한 최소 삼각형 크기가 꼭지점들의 z 및 x 위치들에 크게 의존한다는 점이다. 충분한 테셀레이션이 수행된다는 것을 보장하는 일반적인 규칙을 만드는 것이 가능하다. 그러한 기법은 z값들이 셔터 평면(S)의 z값에 더 가까울수록 x 방향 및 y 방향으로 더 작은 삼각형들로 테셀레이싱할 수 있다.
또한 그 기법은 x값이 더 클수록 z 방향으로 더 작은 삼각형들로 테셀레이싱할 것이다. 도 18은 하나의 스릿 위치를 위한 절두체들을 보여줄 뿐이다. 모든 슬릿 위치를 위한 전체 장면에 대해 테셀레이션을 수행 할려고 할 수도 있다.
그 경우 z 방향으로의 테셀레이션은 최악의 경우 x값들을 고려할 수 있다. 왜냐하면 새로운 슬릿 위치로의 이동은 x축을 변위시키는 것과 동일하기 때문이다. 이 대신에 z 방향으로 테셀레이션을 결정하는 것은 최대 허용 시야각이다.
셔터 평면 대신에 디스플레이 평면을 사용하는 GRM
변형례로서 하나의 디스플레이 픽셀 또는 픽셀 컬럼을 위한 모든 원근화가 표준 원근화 렌더링 방법을 통해 촬영될 수 있도록 장면의 변환이 선택될 수 있다. 이러한 변환은 수학식 11에서 설명된 법선 GRM 변환을 사용할 수 있는데, 다만 이 변환과 표준 투영 방법 양자를 위해 셔터가 디스플레이로서 처리되고 디스플레이가 셔터로서 처리되는 경우이다. 하나의 원근화 렌더링을 위한 출력은 단일의 픽셀 컬럼을 위한 모든 셔터 슬릿 위치들에 대한 모든 픽셀 값들이 될 것이다. 이 출력은 다음에 해당 셔터 위치들을 위한 풀 프레임들이 결합되는 그러한 방식으로 메모리에 읽혀질 수 있다.
기본적인 경우에 선들은 픽셀의 중심과 각각의 셔터 슬릿의 중심을 통과하면서 샘플링된다. 이러한 샘플링은 법선 GRM 샘플링을 위한 기본적인 경우와 동일하다. 그러나 스케일링된 공간 내에서 2차원 앤티 앨리어싱의 도입은 상이한 효과를 가질 것이다. 이 경우, 추가의 샘플들이 셔터 슬릿들이라기 보다는 픽셀의 중심을 통과하는 추가의 선들을 통해 추출될 것이다.
마름모 모양이 셔터 평면이라기 보다는 디스플레이 평면 근처에 나타날 것이다. 동일한 개선 방법이 표준 GRM에서와 같이 이러한 GRM 변화를 위해 예컨대 추가의 가상 픽셀 위치들을 가정하기 위해 사용될 수 있다.
체적 데이터용 와핑 구현예
체적 데이터는 다각형이라기 보다는 공간 내의 점들 및 복셀들(voxels)에 기초를 두고 있다. 이들 점을 표현하는 통상적인 방법은 수많은 평행 평면을 통해 표현하며, 각각의 평행 평면은 평면 내의 모든 복셀을 표현하는 텍스처(texture)를 가진다.
수학식 11은 카메라가 e만큼 변위할 때 GRM을 이용하여 특정 포인트의 x 좌표의 변위인 x0에서 x1으로의 변위를 설명한다. 상수(z0)에 대해 수학식은 2개의 성분으로 분할될 수 있는데, 하나는 x 좌표의 선형 스케일링 인자이고, 다른 하나는 x 좌표에 무관한 변위이다. 이렇게 분할함으로써 스케일링 인자는 e에 독립적이며, 이것은 스케일링이 모든 카메라 위치를 위해 한번 수행될 수 있다는 것을 의미한다는 점에 주의하라. 스케일링 인자와 변위 양자는 z 좌표에 종속적이다.
이러한 관찰에 기초하여 체적 데이터의 렌더링을 위한 아래의 구현예가 구성될 수 있다.
1. 장면을 표현한다. 이 장면에서는 구조 평면의 법선들이 셔터 평면의 법선에 대해 평행하고, 즉 z가 텍스처 평면에서 일정하다.
2. 제1 카메라 위치를 특정 슬릿 위치에 대해 선택한다.
3. z 좌표를 삽입함으로써, 그리고 e=0를 설정함으로써 상기의 수학식으로부터 인자와 함께 x 방향으로 텍스처 평면을 확장한다. z0 > S에 대해 확장은 텍스처의 플립(flip)을 효과적으로 구성하는 사인(sign)을 변화시킬 것이라는 점에 주의하라.
4. 선택된 슬릿 위치에 대한 절두체 좌표들에 기초하여 장면의 표준 투영체를 만든다.
5. 새로운 슬릿 위치와 해당 카메라 위치를 선택한다.
6. 원래 위치와 비교하여 새로운 카메라 위치를 위해 올바른 카메라 변위(e)를 삽입함으로써 x 방향으로 텍스처 평면을 변위시킨다. 이러한 변위는 수학식 11에 의해 제공된다. 이러한 변위는 z값에 종속적이기 때문에 각각의 텍스처 평면에 대해 상이하게 될 것이다.
7. 모든 슬릿 위치들이 렌더링될 때까지 4번 단계 내지 6번 단계를 반복한다.
앤티 앨리어싱을 위해 상술한 1번 및 2번 단계 사이에서 각각의 텍스처 평면에 대해 저역 필터가 적용될 수 있다. 이것은 z 좌표에 따라 상이한 필터로 수행될 수 있다. 저역 필터의 최소 피처 크기 또는 파장은 주어진 z값에 대해 수학식 10으로 설명되는 w, 즉 3차원 픽셀에 의해 스위핑되는(swept) 폭과 일치하도록 설정될 수 있다. 다른 대안들 및 방법들이 본 명세서에서 나중에 설명된다.
매우 큰 확장 인자들을 위한 정밀도 문제 때문에 특별한 경우가 셔터 평면 내 또는 근처에서 텍스처 평면들을 위해 요구될 수 있다. 이렇게 하는 한가지 방법은 이들 텍스처 평면들을 위한 변위 후에 확장을 하는 것이다.
다른 방법은 셔터 평면의 어느 일측에서 확장을 위해 상이한 수학식을 사용하는 것이다. 또 다른 방법은 상술한 바와 같이 법선 스케일링 및 변위 수학식이라기 보다는 검사 테이블을 사용하는 것이다. 그와 같은 검사 테이블은 스케일 및 변위 인자에 캡(cap)을 둘 수 있다. 이들 대안은 앞 절에서 보다 상세하게 설명된 바 있다.
확장 전에, 텍스처 평면들의 어느 부분-만약 존재한다면-이 슬릿 위치들 중의 어느 하나에서 볼 수 없는 지가 결정될 수도 있고, 그 부분이 제거될 수 있다. 위의 방법은 복셀들이 텍스처 평면들에 의해 표현되는 경우에 한정되지 않는다. 특정 시야각에 대해 복셀들이 먼저 개별적으로 또는 그룹으로 확장되거나 변위될 수 있고, 다음에 각각의 새로운 슬릿 카메라 위치에 대해 특정 깊이를 위해 그룹으로 변위될 수 있다.
성능과 품질을 향상시키는 한 가지 방법은 수많은 시야각에 대해 평면을 사전 계산하는 것이다. 일부 예에서는 이들 시야각 사이에서 비선형 z 종속 변환들의 근사(approximation)를 수행하는 것이 충분할 수 있다.
2. 다중 원근화
도 21은 공지된 렌더링 방법의 일예를 보여준다. 이 예는 셔터 슬릿들이 픽셀 피치의 폭의 3배인 3 시점(아래에 정의되는 바와 같이 3개의 독립적인 관찰 위치) 시스템의 예이다. 각각의 셔터 위치에 대해 3개의 원근화가 렌더링된다.
이들 원근화는 여러 위치로부터 추출되며, 그 결과 3개의 절두체가 생성되고 디스플레이/디퓨저(diffuser) 평면에서 중첩하지 않는다. 이들 절두체는 셔터 평면 내에서 셔터 슬릿을 메우도록 추출되기도 한다.
이들 절두체는 모든 슬릿에 대해 특정 원근화에 사용될 수 있도록 추출되기도 한다. 통상적으로 설명하면 그러한 슬릿을 통해 실제/가상 세계에서 보여지는 것이 기록되는 방식으로 뷰들(views)이 생성된다.
이러한 방법을 이용하면 샘플들이 도 11에서 설명된 3차원 픽셀 중심선과 비교하여 불균일하게 분포되어 있다. 이것이 의미하는 것은 이미지가 일부의 관찰자 위치들로부터 낮은 오류를 가지는 반면에 다른 위치들로부터 높은 오류를 가질 수 있다는 것이다. 상술한 바와 같이, 관찰자의 눈의 위치에 관한 정확한 정보가 없는 경우에도 가능한 한 균일하게 분포된 샘플들을 가지는 것이 요구될 수 있다. 도 11에 대한 설명에서는 3차원 픽셀 중심선들이 2차원 픽셀들의 중심을 통과하는 중심선의 그룹들 또는 셔터 슬릿들의 중심을 통과하는 중심선의 그룹들로서 관찰될 수 있다고 언급된 바 있다.
도 22는 공지의 방법을 이용하여 추출된 샘플들을 특정 셔터 슬릿을 위한 중심선의 그룹과 비교하는 반면에, 도 23은 이들 샘플을 특정 디스플레이 픽셀을 위한 중심선의 그룹과 비교한다.
어느 샘플이 어느 3차원 픽셀 중심선과 관련되어 있는 지가 숫자와 문자로 표시되어 있다. 도 23에서는 추출된 샘플과 중심선 사이의 거리가 상이한 3차원 픽셀들에 대해 상대적으로 작고 균일하다.
도 22에서는 상황이 다르다. 이 경우, 중심선과 샘플 사이의 거리는 일부의 3차원 픽셀들에 대해, 예컨대 5번 3차원 픽셀에 대해 매우 작지만, 다른 픽셀들에 대해, 예컨대 3번과 4번 3차원 픽셀들에 대해 상당히 크다.
또한 4번 3차원 픽셀에 대해서는 샘플은 중심선에서 반시계 방향 회전에 의해 추출된 반면에, 3번 3차원 픽셀에 대해서는 샘플은 시계 방향 회전에 의해 추출되었다. 이것은 균일한 샘플들 사이의 각도 간격으로서 표현될 수 있다. 그렇기 때문에 최악의 경우 샘플 간격은 샘플들이 분균일하게 분포된 경우보다 더 나쁘다. 이것은 원래의 장면에서 높은 이미지 주파수 요소들의 범위를 더 나쁘게 표현하게 될 수 있다.
중심선으로부터 불균일한 거리는 5번 3차원 픽셀의 중심선과 관찰선, 즉 눈 위치(V1)의 교차점에서 볼 때 오류가 상대적으로 작게 되는 결과가 된다. 실제로 이 위치에서 볼 수 있는 3개의 픽셀(4, 5 및 6)은 이러한 관찰 위치에서 샘플들을 추출해서 렌더링되었다. 다시 말해서 이들 픽셀은 이 위치에서 관찰자가 보는 원근화를 표현한다.
이에 반해 4번 3차원 픽셀의 중심선과 관찰선, 즉 눈 위치(V2)의 교차점에서 관찰하면 오류는 상대적으로 크다. 여기에서 볼 수 있는 픽셀들은 이들이 관찰되는 눈 위치(V2)가 아닌 눈 위치들(V1, V3)에서 샘플들을 추출해서 렌더링 된다.
상기의 발견은 이러한 렌더링 방법을 위해 시각 현상에 반영된다. 원근화 사이의 점프 차이는 다소 동일하지만 특정 슬릿에 대한 이미지 내에서의 불연속 성분들이 표시된다. 그러나 이미지 품질을 향상시키기 위해 추출되는 샘플의 개수가 증가될 수 있다.
공지의 방법들은 이미지를 렌더링 하는 데에 사용된 원근화 위치의 개수는 독립적인 관찰 위치의 개수와 동일하다고 가정한다. 명료성을 위해 이들 두 용어는 아래와 같이 정의된다.
여기에서 "원근화 위치의 개수"는 하나 이상의 픽셀이 특정 셔터 슬릿 또는 구멍을 위해 렌더링되는 관찰선 또는 관찰 평면 상의 위치의 개수, 즉 이미지를 렌더링하는 데에 사용되는 위치의 개수로서 정의된다.
여기에서 "독립적인 관찰 위치의 개수"는 나머지 독립적인 관찰 위치들 중의 어느 위치에서도 정보를 포함하고 있지 아니한 풀 이미지로 뷰어를 나타낼 수 있는 위치의 최대 개수로서 정의된다.
이들 위치는 도 3에서 설명된 위치들일 수 있다. 이러한 정의는 시스템 성분의 완벽한 특성을 가정하고 있다는 점에 주의해야 한다. 실제 시스템에서는 예컨대 셔터가 빛을 완전하게 차단할 수 없다는 사실 때문에 나머지 관찰 위치에서 정보가 존재할 수 있다.
많은 예에서 독립적인 관찰 위치의 개수는 디스플레이가 제공할 수 있는 고유 프레임의 개수와 동일하게 된다. 독립적인 관찰 위치의 개수는 슬릿의 개수가 될 수도 있는데, 이 슬릿을 통해 픽셀이 고유값(unique value)을 취할 수 있다. 볼록렌즈 디스플레이 시스템(lenticular display system)에서 독립적인 관찰 위치의 개수는 상이한 뷰들을 표현하는 각각의 렌즈 뒤에 있는 픽셀의 개수가 될 수 있다.
원근화 위치들이 다소 임의적이기 때문에 독립적인 관찰 위치들보다는 원근화 위치에서 추출된 원근화 또는 샘플로부터 이미지를 생성함으로써 품질이 향상될 수 있다.
본 발명의 제1 예에서는 주어진 셔터 슬릿 또는 디스플레이 픽셀을 위한 원근화 위치의 개수는 주어진 셔터 슬릿 또는 디스플레이 픽셀을 위한 3차원 픽셀의 개수와 동일하게 하는 방법이 사용된다. 그 경우 단지 하나의 원근화 또는 샘플이 각각의 3차원 픽셀을 위해 추출될 것이다.
본 발명의 제2 예에서는 하나 이상의 원근화 또는 샘플이 각각의 3차원 픽셀을 위해 추출될 것이며, 3차원 픽셀에는 이들 원근화 또는 샘플의 평균 또는 가중 평균이 주어질 것이다.
본 발명의 다른 측면에서는 원근화들 또는 샘플들이 셔터 평면에 균일하게 분포되거나, 디스플레이 평면에 균일하게 분포되거나, 이들 평면 양자에 균일하게 분포된다. 원근화 또는 샘플의 개수를 증가시키는 한가지 목적은 이미지 왜곡 현상들을 감소시키는 것이며, 이들 이미지 왜곡 현상의 일부는 3차원 앨리어싱 효과라고 불리워질 수 있다.
한가지 렌더링 기법은 실제 셔터 슬릿보다 더 좁은 셔터 슬릿을 가정함으로써 더 많은 원근화 위치들을 제공하고, 이어서 도 24에 도시된 바와 같이 다중 원근화 방법을 실시한다.
이 예에서는 9개의 원근화 위치들이 사용되지만, 이전에 설명된 공지의 방법에서 단지 3개의 원근화 위치와 비교되며, 각각의 위치는 셔터 슬릿 뒤에 있는 서브 슬라이스(sub-slice) 내에 각각의 픽셀에 대해 사용된다.
서브 슬라이스는 개방 슬릿에 대해 이미지들의 디스플레이를 위해 사용될 수 있는 스크린의 일부가 될 수 있다. 디스플레이는 여전히 3개의 독립적인 관찰 위치를 제공할 수 있을 뿐이다. 대역 폭은 동일하지만, 원근화 또는 샘플들은 3차원 디스플레이 픽셀들의 중심선들로부터 더욱 균일한 이격 거리를 가지고 더욱 균일하게 분포된다. 단지 하나의 풀 픽셀이 개방 슬릿을 통해 보여질 수 있는 특별한 경우에 이 방법과 공지된 방법은 동일하다는 점에 주의해야 한다. 그러나 이러한 특별한 경우라고 해도 도 24에 도시된 위치들 사이의 추가의 원근화 위치에서 원근화들 또는 샘플들을 추출하는 데서 이익이 생길 수 있다.
픽셀당 하나의 원근화가 추출되고 장면이 어떠한 2차원 앤티 앨리어싱 없이 광선 추적을 이용하여 선을 따라 샘플링된다고 가정하는 경우, 상기 방법은 동일한 가정을 둔 표준 GRM 방법과 수학적으로 동일하게 될 수 있다. 그러나 2차원 앤티 앨리어싱은 두 가지 방법에 대해 상이한 효과를 가질 것이다.
전술한 바와 같이 GRM을 위한 스케일링된 공간에서 2차원 앤티 앨리어싱은 원래의 샘플링 선과 셔터 평면 내의 동일한 포인트를 통과하는 추가의 중간 샘플링 선들을 제공한다. 이 방법을 위해 2차원 앤티 앨리어싱은 도 24에 도시된 동일한 좁은 픽셀 절두체 내에서 추가의 샘플링을 제공하며, 다시 말해서 2차원 앤티 앨리어싱은 원근화 샘플의 개수를 증가시키지 않는데, 왜냐하면 원근화 샘플들이 동일한 카메라 위치로부터 추출되었기 때문이다.
투영 중심선이 슬릿의 중심과 픽셀의 중심을 통과하도록 카메라가 위치 조정된 것으로 가정하면, 도 25에 도시된 바와 같이 카메라 위치들이 결정될 수 있다. 하나의 슬릿 위치가 슬릿 간격(e)에 의해 설정되면, 하나의 카메라 위치가 고정되고, 투영된 포인트(xp)이 주어진다. 이것이 의미하는 것은 카메라로부터 슬릿 위치까지의 선 상에 놓여 있는 장면 내의 어느 포인트가 포인트(xp)으로 투영될 것이라는 점이다. 동일한 삼각형들을 이용하면 포인트(xp)이 하기 수학식으로 주어진다는 것을 알 수 있다.
Figure pct00013
도 26에 나타낸 바와 같이 (x0, z0)에 위치한 포인트에 대해, (C, D)에 위치한 카메라를 위한 투영된 포인트(xp)은 하기 수학식으로 주어질 것이다.
Figure pct00014
이들 두 수학식을 조합해서 다시 정리하면 수학식 13이 얻어진다.
Figure pct00015
이들 수학식은 어디에 카메라가 위치해야만 포인트(x0, z0)을 올바르게 촬영해서 그 방향으로 그 슬릿에 대해 올바른 원근화를 얻는 지를 결정한다.
따라서 슬릿을 통해 부채꼴 "광선"(a fan of "rays")을 촬영하기 위해 카메라는 C에 대한 수학식에 따라 이동되어야 한다. 실제로 이것은 무한 개수의 위치들인데, 왜냐하면 x 또는 z의 작은 변화는 C에대해 새로운 위치를 제공하기 때문이다. 그러나 양자화된 시스템에서는 컴퓨터 스크린과 같이 유한한 위치들이 존재한다. 예컨대 슬릿을 통해/뒤에서 볼 수 있는 200개의 픽셀이 있다고 하자. 이 경우 200개의 상이한 C값이 계산될 수 있는데, 왜냐하면 200개의 xp값이 존재하기 때문이다.
이것은 주어진 셔터 슬릿에 대한 원근화 위치의 개수는 그 셔터 슬릿에 대한 3차원 픽셀의 개수와 동일한 경우이다.
더 많은 수의 값을 이용하여 더 많은 샘플들이 추출될 수 있고, 이어서 평균 또는 가중 평균 방법이 수행될 수 있고, 이렇게 함으로써 각각의 3차원 픽셀에 대한 하나 이상의 원근화 또는 샘플이 추출될 수 있다. 일예는 각각의 2차원 픽셀 사이에 추가 중간 값들을 정의하는 것이다.
GRM과 같이 상기 방법은 셔터 평면 내에 동일한 숨은(blind) 마름모 모양을 가지고, 셔터 슬릿의 중심 또는 디스플레이 픽셀의 중심을 제외한 다른 부분을 통과하는 선들 또는 절두체들을 따라 추출된 추가의 샘플들로부터 이득을 얻을 수 있다. 이것은 실제 셔터 위치들보다 더 많은 가상 셔터 위치들을 가짐으로써 달성될 수 있다. 이것은 하나 이상의 샘플 또는 원근화가 동일한 3차원 픽셀에 대해 추출되고, 이 3차원 픽셀에는 이들 샘플 또는 원근화의 평균 또는 가중 평균에 기초한 값이 주어지는 방법이 될 것이다.
추가의 가상 슬릿 위치들에 대해 렌더링하는 한 가지 방법 심도 방법(depth of field method)을 사용하는 것이다. 렌즈와 관련하여 심도는 렌즈의 초점면으로부터의 피사체 포인트 거리와 렌즈의 초점면 상의 이미지의 선명도 사이의 관계이다.
그와 같은 포인트의 이미지는 착란원(circle of confusion)이라고 불린다. 심도는 렌즈의 유효 직경에 의해, 또는 더 세부적으로 수치로 표시된 구경에 의해 조절된다. 컴퓨터 그래픽에서 심도 방법은 실제로 수많은 상이한 원근화의 평균을 추출하는 것이며, 이 원근화에는 하나의 평면이 여전히 변화 없이 존재한다. 이러한 평면이 픽셀 평면으로 선택되는 경우, 이것은 나머지 가상 슬릿 위치들에 대해 추가의 샘플들을 추출하는 것과 동일하게 된다.
도 27은 중심 원근화에 대해 2개의 심도 원근화를 보여준다. 카메라를 관찰선을 따라 충분한 거리만큼 이동시킴으로써 그렇지 않는 경우에 마름모 모양을 발생시키는 공간에서 샘플링이 이루어질 수 있다.
본 발명의 일 측면에서 이러한 거리는 절두체가 셔터 평면에서 셔터 슬릿의 폭의 절반까지 움직이도록 할 수 있다. 다른 측면에서 이러한 거리는 카메라 위치들이 관찰선에서 균일하게 이격되도록 선택된다.
심도 방법은 또한 수직 방향뿐만 아니라 수평 방향으로 추가의 샘플들을 제공할 수 있다. 어떤 예에서는 이러한 수직 평활(vertical smoothing)이 장면의 시각 현상을 향상시킬 수 있는 것으로 실험을 통해 보여준 바 있다.
심도 방법은 어떻게 이러한 수직 평활이 달성될 수 있는 지에 대한 일예일 뿐이다. 추가의 샘플들을 제공하고, 이어서 평균 또는 가중 평균 방법을 통해 조합되는 방법도 사용될 수 있다.
다른 평활 방법도 역시 사용될 수 있다. 달성하고자 하는 것은 셔터 평면과 디스플레이 평면 양자에서 동일한 간격을 가진 광선들을 샘플링하는 수학식 8에 상당하는 방법을 실시하는 것이다.
이러한 결과를 달성하는 다른 방법은 도 21에서 설명된 바와 같은 개방 슬릿을 통해, 그러나 몇 개의 추가의 카메라 위치들을 가지고 보여지는 것의 이미지를 렌더링하는 것이다. 다수의 여분의 원근화가 추출되고, 픽셀들에는 그러한 원근화들의 평균 또는 가중 평균이 제공된다.
도 28은 그와 같은 방법을 설명한다. 카메라 원근화가 무한대로 되는 경우 상기 방법은 카메라로서 역할을 하도록 배후에 디스플레이를 이용하는 것과 동일하게 된다.
체적 데이터의 광선 투사 구현예
광선 투사(ray casting)는 체적 데이터를 표시하기 위한 공지의 방법이다. 광선 투사는 또한 체적 데이터 외의 다른 데이터, 즉 표면 모델들에 사용될 수도 있다. 광선 투사는 광선 추적과 유사하게 광선을 눈으로부터 장면을 통해 보내는 것에 기초를 두고 있다.
아래의 방법도 광선 추적 애플리케이션에 유효하다. 컴퓨터 그래픽에서 광선 추적은 하나 이상의 광선을 가상 카메라로부터 이미지 평면 내의 각각의 픽셀을 통해 보내고, 이 광선을 따라 색깔 컨트리뷰션(colour contributions)을 추가하는 것을 의미한다. 아래의 예는 수평 시차 시스템에 기초를 두고 있지만, 수평 및 수직 시차 양자로 확장될 수 있다.
다중 원근화 유추를 이용하면 계산된 카메라 위치들로부터 광선들을 추적함으로써 3차원 디스플레이용 이미지들을 생성하는 것이 가능하다. 3차원 디스플레이로 보내지는 주어진 다중 원근화 이미지에 대해 계산된 카메라 위치들은 그 이미지 내의 각각의 픽셀을 위해 계산된다.
다중 원근화 이미지 내의 주어진 픽셀을 위해 계산된 카메라는 슬릿에 기초를 두고 있는 것으로 밝혀졌고, 이 슬릿을 통해 픽셀이 보여질 수 있다. 광선들이 픽셀 중심으로부터 슬릿의 수평 중심을 통해 정의된 관찰선까지 추적된다. 광선이 관찰선과 교차하는 장소는 수학식 13에 따르면 현재 슬릿으로부터 관찰된 픽셀에 대한 계산된 카메라 위치이다. 기본적인 알고리듬은 다음과 같이 생각될 수 있다.
1. 간단한 판독 과정을 통해 어떤 복셀 값을 검사하는 것을 가능하게 해주는 3차원 데이터 구조/텍스처에 체적 데이터를 저장한다.
2. (슬릿들이 컬럼 형태라고 가정하면) 픽셀들의 모든 컬럼에 대한 계산된 카메라 위치들을 출력 프레임들에 저장하는 검사 테이블/텍스처를 생성한다.
3. 광선들을 계산된 카메라 위치로부터 이미지 평면 내의 대응 픽셀을 통해 보내고, 반복하는 동안에 체적으로부터 컨트리뷰션을 추가한다. 마지막 결과는 대응 픽셀 위치에 저장된다. 상이한 복합 방법이 예컨대 최대 강도 투영[Maximum Intensity Projection (MIP)], 다면상 재구성[MultiPlanar Reconstruction (MPR)], 오버오퍼레이터, 언더오퍼레이터, 등이 사용될 수 있다.
상기 방법은 블렌딩 방법, 장면을 통한 광선 증대, 또는 빈 공간 도약 또는 초기 광선 종료와 같은 최적화 방법에 어떠한 제한을 두지 않으며, 각각의 픽셀/서브 픽셀 맵핑에 의해 3차원 디스플레이를 위한 고품질의 뷰를 렌더링한다. 시각 품질을 증가시키기 위해 광선들의 지터링(jittering)도 수퍼샘플링/앤티 앨리어싱 기법으로서 수행될 수 있다.
본 명세서에서 개략적으로 설명된 다른 방법들도 역시 사용될 수 있다. 예컨대 픽셀과 셔터 슬릿 양자가 서브 픽셀로 분할될 수 있다.
다중 원근화 유추를 사용하여 체적을 광선 투사하는 다른 방법은 뷰 정렬 슬라이스들을 이용하여 체적을 통해 반복에 의한 것이다. 이들 뷰 정렬 슬라이스는 균일하게 이격되지 않아야 한다. 텍스처 검사는 현대 그래픽 하드웨어에 대한 소스 요구 행위이기 때문에, 개념은 3차원 디스플레이로 보내진 각각의 프레임에 대해 체적을 통한 반복을 대신하여 슬라이스 대 슬라이스 방식으로 단지 한번만 체적 데이터를 통한 반복에 의해 텍스처 검사를 줄이는 것이다.
각각의 슬라이스에 대해 그 슬라이스를 위한 대응 체적 데이터는 나머지 3차원 디스플레이 프레임들 모두에서 올바른 위치로 변환된다.
1. 간단한 판독 과정을 통해 어떤 복셀 값을 검사하는 것을 가능하게 해주는 3차원 데이터 구조/텍스처에 체적 데이터를 저장한다.
2. 체적을 통해 뷰 정렬 슬라이스들에서 반복에 의해 중심 뷰를 전후로 광선 투사한다. 다시 말해서 z는 샘플링 평면에서 일정하다.
3. 각각의 뷰 정렬 슬라이스에 대해 다중 원근화 프레임드로부터 보간을 행한다.
보간을 통한 추가의 원근화들 또는 샘플들
많은 원근화들 또는 샘플들이 이미지 품질을 향상시킬 수 있는 것으로 설명되었다. 통상적으로 원근화 위치의 개수를 증가시키는 데에는 계산 비용이 추가된다. 기존의 그래픽 처리 유닛(GPU)이 처리하는 방식이 의미하는 것은 3차원 장면의 전체 형상(full geometery)이 실시간 성능을 달성하는 것을 어렵게 만드는 각각의 원근화 위치에 대해 처리될 필요가 있다는 것이다.
이를 극복하는 한가지 방법은 먼저 하나 이상의 풀 원근화, 즉 원래의 원근화를 관련 깊이 지도들(depth maps)을 따라 생성하는 것이다. 이들 깊이 지도는 각각의 픽셀이 z 방향으로 위치하는 장소를 묘사하고 있다.
이 깊이 지도는 미리 정의된 카메라 이동에 기초하여 픽셀이 어떻게 이동하는 지를 묘사하고 있는 부등 지도(disparity map)으로 전환될 수 있다. 이미지 보간을 통해 새로운 원근화가 생성될 수 있다.
원래의 카메라 위치들 외의 다른 위치들에서 뷰들을 보간하는 데에 사용될 수 있는 한가지 방법이 후술된다.
보간 함수에 대한 주 입력은 하나의 이미지와 대응 깊이 지도, 또는 하나 이상의 이미지와 대응 깊이 또는 부등 지도들이다. 깊이 지도는 이미지 내에서 각각의 픽셀의 깊이를 알려주고, 부등 지도는 2개의 픽셀이 2개의 이미지에서 (이들 이미지가 임의의 카메라 이격 거리를 가지고 동일한 목적으로 촬영된 것으로 가정하면) 어떻게 다른 지를 알려준다.
보간된 뷰는 다음과 같이 계산된다.
Figure pct00016
여기에서
Figure pct00017
Figure pct00018
V = 뷰포트 행렬(viewport matrix)
W = 픽셀들에서 뷰포트의 폭
H = 픽셀들에서 뷰포트의 높이
P = 투영 행렬
n = 근위 평면 거리
f = 원위 평면 거리
w = 좌우 클립 평면 사이의 거리
h = 상하 클립 사이의 걸리
Pmodi = 보간된 뷰의 트랜스레이션 및 시어링(translation and shearing) 행렬
Pmodr = 원래의 뷰의 트랜스레이션 및 시어링(translation and shearing) 행렬
ei = 중심 뷰에서 보간된 뷰까지의 거리
er= 중심 뷰에서 원래 뷰까지의 거리
Figure pct00019
보간된 픽셀의 위치, 즉 xi , pix는 그때 하기 수학식으로 계산된다.
Figure pct00020
여기에서 xi , pix는 원래의 이미지에서 픽셀의 위치이고, z는 픽셀의 깊이이다.
환언하면, 원래의 이미지는 동기식으로 판독되며, 즉 한번에 하나의 픽셀이 판독되고, 이들 픽셀은 상기에 계산된 바와 같이 보간된 이미지 내의 위치에 기록된다.
보간된 이미지의 품질은 원래의 뷰에서 원하는 뷰까지의 거리인
Figure pct00021
가 증가함에 따라 감소한다. 이러한 보간 방법과 관련한 한가지 문제점은 빈 표면들이 특히 인접한 픽셀들 사이에서 깊이가 많이 변하는 위치에서 생길 수 있다는 점이다.
광각도로부터 많은 원근화를 생성하기 위해 하나 이상의 입력 이미지가 사용될 수 있다. 이들 이미지로부터의 정보는 상이한 방식으로 조합되어 더 나은 보간법을 생성할 수 있다.
도 29는 2개의 입력 이미지에 대한 카메라 설치를 보여준다. xi < 0.5인 위치에서의 제3 뷰가 요구되는 경우, 2개의 입력 이미지로부터의 정보를 조합하는 한가지 방법은 먼저 이미지(R)로부터 뷰를 계산하고, 그 결과를 버퍼에 저장하고, 이미지(L)로부터 뷰를 계산하고, 그 결과를 동일 버퍼에 저장하는 것이다. 이미지(L)는 우세한 이미지, 즉 xi < 0.5일 때
Figure pct00022
이기 때문에, 보간된 이미지는 기본적으로 이미지(L)로부터의 정보로 구성될 것이지만 갭들은 이미지(R)로부터의 정보로 채워진다. 이것은 이미지 품질을 급격하게 향상시킬 수 있지만, 여전히 완벽한 결과를 제공하지는 못한다.
보간 품질을 더욱 향상시키는 한가지 방법은 출력 이미지에서 주변 픽셀의 개수를 고려하는 것이다. 픽셀들이 초기에 기록되지 못한 경우 현재 픽셀이 이들 위치에 기록되지만, 이들 픽셀이 기록된 것으로 마킹하지는 않는다. 이것은 어느 정도의 추가 기록을 발생시키지만, 작은 갭들이 최인접 픽셀 값으로 채워질 것이다.
이것은 사용될 수 있는 보간 방법들의 일예일 뿐이다. 보간이 전술한 다중 원근화 방법을 생성하기 위해 이용될 수 있거나, 추가의 변환 단계들을 이용해서 GRM에 따라 이미지를 생성할 수 있다.
일부의 예에서, 모든 픽셀 값이 모든 카메라 위치에 대해 계산되지 못한 경우에도 성능을 향상시키는 것이 가능하다. 전술한 광선 투사 방법에 대한 유추가 이루어질 수 있다.
모든 픽셀을 가진 풀 프레임이 각각의 계산된 카메라 위치(픽셀 중심과 슬릿의 수평 중심 사이의 선이 관찰선과 교차하는 위치)에 대해 보간을 통해 생성될 수 있다면, 결코 표시되지 않는 많은 픽셀이 렌더링된다. 따라서 주어진 카메라 위치에 대한 그러한 픽셀들만을 계산해서 3차원 디스플레이 상에 표시하는 기법이 생성될 수 있다.
동일한 것을 달성하는 다른 방법은 3차원 디스플레이로의 출력 프레임에서 주어진 픽셀에 대해 관련 카메라 위치를 선택하고, 이 카메라 위치에 기초하여 픽셀 값을 보간하는 것이다. 이들 방법은 본 명세서의 다른 부분에서 설명된 바와 같이 픽셀들을 서브 픽셀드로 분할할 때에도 사용될 수 있다.
원래의 이미지들이 심도 기법 또는 다른 예비 필터링 기법을 이용하여 생성될 수 있다. 이에 의해 다중 원근화를 생성하기 전에 상이한 깊이에서 주파수 요소들이 제한될 수 있다.
본 발명의 일 측면에서 이러한 예비 필터링은 수학식 10의 w로 정의된 바와 같이 3차원 픽셀의 폭 또는 그 배수와 관련되어 있다. 이러한 폭은 주어진 깊이에서 이미지 주파수에 대해 허용된 최대 파장으로 볼 수 있다.
디스플레이의 깊이 특성들이 프레임에서 프레임까지 변하는 것을 허용하는, 애플리케이션들에 제공된 명령어(instruction)가 존재할 수 있다. 예컨대 디스플레이가 비트 깊이를 감소시키고, 추가의 깊이가 요구되는 장면에서 표시된 원근화의 개수를 증가시킬 수 있다. 원근화들이 보간에 의해 렌더링되는 경우 동일한 출력이 애플리케이션 및/또는 그래픽 드라이버에 의해 생성될 수 있다.
이미지 비트 깊이가 감소되는 경우에 보간 속도는 상이한 세팅들 사이에서 비슷할 수 있는데, 왜냐하면 추가의 원근화들이 더 적은 색깔 비트들에 의해 보상되기 때문이다.
장면의 피처 크기 및 이미지 주파수 변경
상기의 방법들은 장면이 주어지고, 이 장면에 기초하여 관찰자를 위해 인지된 이미지 품질을 최적화하도록 되어 있는 것으로 가정한다. 가상 3차원 장면에서, 주어진 3차원 디스플레이와 렌더링 방법에 대한 이미지 왜곡 현상들 감소될 수 있는 방식으로 장면을 적응시킬 수 있다.
한가지 방법은 최소 피처 크기가 장면 내의 주어진 깊이에 적합하다는 것을 보장하는 것이다. 본 발명의 일 측면에서 이러한 피처 크기는 수학식 10에서 정의된 폭(w)과 관련되어야 한다.
최소 피처 크기는 폭(w)과 동일하거나 상수 인자로 곱해진 폭(w)의 배수일 수 있다. 그와 같은 최소 피처 크기를 설정하는 장점은 어떤 피처들이 어떤 관찰 위치들에서 보이지 않게 되는 것을 회피할 수 있고, 상대적인 이미지 오류가 감소될 수 있다는 점에 있다. 환언하면, 이미지의 오류는 피처 크기와 관련하여 피처가 더 큰 경우에 더 작을 수 있다. 예를 들면, 선의 가장자리가 들쭉날쭉하게 된 경우 이러한 들쭉날쭉은 선의 폭과 관련하여 선이 더 넓은 경우 더 작을 수 있다.
때로는 피처 크기는 의미있는 용어가 아닐 수도 있고, 이 대신에 장면에서 최대 주파수 요소가 제한될 수 있다. 이 경우 최대 주파수의 파장이 최소 피처 크기와 유사한 방식으로 수학식 10에서 정의된 폭(w)과 관련될 수 있다.
컴퓨터 그래픽에서 사용되는 표준 방법들이 최소 피처 크기를 보장하는 데에 사용될 수 있다. 그러한 방법들의 예들이 상세도(level of detail)와 MIP 지도이다. 상세도에서 3차원 객체의 복잡성, 따라서 최소 피처 크기는 객체의 위치에 다라 변할 수 있다. MIP 지도는 상이한 상세도와 이미지 주파수를 가진 텍스처의 예비 계산 버전이다.
최소 피처 크기는 주어진 깊이에서 공간 샘플링 속도와 관련되어 있을 뿐이다. 또한 3차원 디스플레이는 주어진 깊이에 대해 제한된 각도 샘플링 속도를 가진다. 장면도 객체에 대한 각도 주파수와 각도 상세도를 줄이기 위해 예비 필터링될 수 있다.

Claims (36)

  1. 이미지 데이터를 생성하는 방법으로서, 상기 이미지 데이터는 무안경식 디스플레이와 함께 이용하는 데에 적합하며,
    3차원 장면의 복수의 샘플을 추출하는 단계를 포함하며, 각각의 샘플은 2차원 디스플레이 상의 픽셀과 상기 무안경식 디스플레이의 구멍의 조합을 위해 추출되며,
    특정 구멍에 대해 모든 샘플을 위한 투영 중심선이 이 구멍의 동일 포인트를 실질적으로 통과하는 것인 이미지 데이터 생성 방법.
  2. 이미지 데이터를 생성하는 방법으로서, 상기 이미지 데이터는 일차원으로만 시차를 표시하도록 배치된 무안경식 디스플레이와 함께 이용하는 데에 적합하며, 상기 무안경식 디스플레이의 각각의 구멍은 슬릿이며,
    3차원 장면의 복수의 샘플을 추출하는 단계를 포함하며, 각각의 샘플은 2차원 디스플레이 상의 픽셀과 상기 무안경식 디스플레이의 구멍의 조합을 위해 추출되며,
    특정 구멍에 대해 모든 샘플을 위한 투영 중심선이 이 구멍의 동일 포인트를 실질적으로 통과하고, 상기 구멍의 중심선은 이 구멍의 긴 축선과 정렬하는 것인 이미지 데이터 생성 방법.
  3. 제2항에 있어서, 모든 샘플을 위한 투영 중심선은 관찰선을 실질적으로 통과하는 것인 이미지 데이터 생성 방법.
  4. 어느 선행 항에 있어서, 특정 픽셀에 대해 모든 샘플을 위한 투영 중심선은 상기 픽셀의 동일 포인트를 실질적으로 통과하는 것인 이미지 데이터 생성 방법.
  5. 어느 선행 항에 있어서, 상기 복수의 샘플은 실질적으로 균일하게 분포되는 것인 이미지 데이터 생성 방법.
  6. 제1항 내지 제4항 중의 어느 항에 있어서, 특정 구멍을 위한 복수의 샘플은 디스플레이 평면과 관찰 평면 중의 적어도 하나에 실질적으로 균일하게 분포되는 것인 이미지 데이터 생성 방법.
  7. 제1항 내지 제4항 중의 어느 항에 있어서, 특정 구멍을 위한 복수의 샘플은 셔터 평면과 관찰 평면 중의 적어도 하나에 실질적으로 균일하게 분포되는 것인 이미지 데이터 생성 방법.
  8. 어느 선행 항에 있어서, 상기 복수의 샘플은 물리적인 구멍 폭보다 더 좁은 구멍 폭을 가정함으로써 얻어지는 것인 이미지 데이터 생성 방법.
  9. 어느 선행 항에 있어서, 각각의 샘플은 중심 샘플을 구비하며, 각각의 중심 샘플은 상기 투영 중심선을 따라 추출되는 것인 이미지 데이터 생성 방법.
  10. 제1항 내지 제8항 중의 어느 항에 있어서, 각각의 샘플은 복수의 편심 샘플의 평균을 구비하며, 상기 편심 샘플들은 상기 투영 중심선 주위에 분포되는 것인 이미지 데이터 생성 방법.
  11. 제1항 내지 제8항 중의 어느 항에 있어서, 각각의 샘플은 중심 샘플과 복수의 편심 샘플의 평균을 가지며, 각각의 중심 샘플은 상기 투영 중심선을 따라 추출되고, 편심 샘플들은 상기 투영 중심선 주위에 분포되는 것인 이미지 데이터 생성 방법.
  12. 제10항 또는 제11항에 있어서, 각각의 편심 샘플은 수직 거리 및 수평 거리 중의 적어도 하나로 상기 투영 중심선으로부터 오프셋되는 것인 이미지 데이터 생성 방법.
  13. 제10항, 제11항 또는 제12항에 있어서, 상기 편심 샘플들은 상기 투영 중심선 주위에 균일하게 분포되는 것인 이미지 데이터 생성 방법.
  14. 제10항, 제11항 또는 제12항에 있어서, 상기 편심 샘플들은 통계적인 지터링(stochastic jittering)에 의해 분포되는 것인 이미지 데이터 생성 방법.
  15. 제10항 내지 제14항 중의 어느 항에 있어서, 상기 평균은 가중 평균인 것인 이미지 데이터 생성 방법.
  16. 어느 선행 항에 있어서,
    적어도 하나의 풀 원근화 이미지와 관련 깊이 지도를 생성하는 단계와, 상기 깊이 지도는 상기 풀 원근화 이미지의 각각의 픽셀에 대해 z 방향을 정의하며,
    어떻게 픽셀들이 상기 깊이 지도를 이용하여 예비 정의된 원근화 변화에 대해 변화되는 지를 결정하는 단계와,
    이미지 보간을 이용하여 상기 복수의 샘플 중의 적어도 하나가 추출될 수 있는 새로운 원근화를 생성하는 단계
    를 더 포함하는 것인 이미지 데이터 생성 방법.
  17. 어느 선행 항에 있어서,
    제1 위치로부터 상기 3차원 장면의 제1 원근화를 계산하는 단계와,
    제2 위치로부터 상기 3차원 장면의 제2 원근화를 계산하는 단계와,
    제3 위치로부터 상기 3차원 장면의 제3 원근화를 보간하는 단계와, 상기 제3 위치는 상기 제2 위치보다 상기 제1 위치에 더 가까운 보간 단계
    를 더 포함하며, 상기 보간 단계는
    상기 제3 위치로부터의 뷰에 대응하도록 상기 제2 원근화를 변환하고, 상기 변환된 제2 원근화를 버퍼에 저장하는 단계와,
    상기 제3 위치로부터의 뷰에 대응하도록 상기 제1 원근화를 변환하고, 상기 변환된 제2 원근화의 픽셀 값들은 이 픽셀 값에 대한 어떠한 정보도 상기 변환된 제1 원근화에 의해 제공되지 않는 경우에 중복 기록되도록 상기 변환된 제1 원근화를 버퍼에 저장하는 단계
    를 포함하는 것인 이미지 데이터 생성 방법.
  18. 제17항에 있어서, 상기 제1, 제2 및 제3 원근화들 중의 적어도 하나로부터 샘플을 추출하는 단계를 더 포함하는 것인 이미지 데이터 생성 방법.
  19. 제16항, 제17항 또는 제18항에 있어서, 보간된 뷰에서 정의되지 못한 픽셀에는 최인접 계산 픽셀 값과 동일한 값이 제공되는 것인 이미지 데이터 생성 방법.
  20. 어느 선행 항에 있어서, 상기 2차원 디스플레이의 픽셀과 상기 무안경식 디스플레이의 구멍의 특정 조합을 위한 샘플은 이 샘플이 상기 무안경식 디스플레이 상에 표시될 수 있는 픽셀에 대해 값을 결정하는 데에 사용되도록 결정되는 경우에 단지 계산될 뿐인 것인 이미지 데이터 생성 방법.
  21. 어느 선행 항에 있어서, 샘플은 상기 투영 중심선이 상기 구멍의 중심 포인트 또는 선과 상기 2차원 디스플레이의 픽셀의 중심 양자를 통과하도록 추출되는 것인 이미지 데이터 생성 방법.
  22. 어느 선행 항에 있어서, 샘플 또는 편심 샘플은 상기 투영 중심선이 상기 구멍의 중심 포인트 또는 선과 상기 2차원 디스플레이의 픽셀의 어느 포인트 양자를 통과하도록 추출되는 것인 이미지 데이터 생성 방법.
  23. 어느 선행 항에 있어서, 각각의 샘플은 상기 투영 중심선이 상기 구멍의 중심을 통과하도록 추출되는 것인 이미지 데이터 생성 방법.
  24. 어느 선행 항에 있어서, 각각의 샘플은 상기 투영 중심선이 상기 구멍의 중심으로부터 오프셋되는 상기 구멍 상의 포인트 또는 선을 통과하도록 추출되는 것인 이미지 데이터 생성 방법.
  25. 제24항에 있어서, 상기 구멍의 중심으로부터 오프셋되는 상기 구멍 상의 포인트 또는 선은 가상 구멍의 가장자리와 2개의 인접한 가상 구멍 사이의 중점 중에서 적어도 하나인 것인 이미지 데이터 생성 방법.
  26. 어느 선행 항에 있어서, 샘플이 추출되기 전에 상기 3차원 장면에 저역 필터를 적용하는 단계를 더 포함하는 것인 이미지 데이터 생성 방법.
  27. 제26항에 있어서, 상기 저역 필터는 상기 3차원 장면의 z값에 종속적인 저역 주파수를 가지는 것인 이미지 데이터 생성 방법.
  28. 제26항에 있어서, 상기 저역 필터는 상기 3차원 장면의 z값과 이 z값에 대해 3차원 픽셀의 폭에 종속적인 저역 주파수를 가지는 것인 이미지 데이터 생성 방법.
  29. 제27항 또는 제28항에 있어서, 상기 저역 주파수의 종속성은 검사 테이블의 사용에 의해 확인되는 것인 이미지 데이터 생성 방법.
  30. 어느 선행 항에 있어서, 샘플이 추출되기 전에 상기 3차원 장면에 테셀레이션을 적용하는 단계를 더 포함하는 것인 이미지 데이터 생성 방법.
  31. 제30항에 있어서, 문턱값보다 더 큰 삼각형을 더 작은 삼각형으로 테셀레이팅하는 단계를 더 포함하는 것인 이미지 데이터 생성 방법.
  32. 제31항에 있어서, 테셀레이션을 위한 문턱값은 삼각형의 꼭포인트의 z값에 종속하는 것인 이미지 데이터 생성 방법.
  33. 어느 선행 항에 있어서, 상기 3차원 장면의 체적 데이터는 어느 복셀 값이 판독 과정을 통해 검색될 수 있도록 3차원 데이터 구조에 저장되는 것인 이미지 데이터 생성 방법.
  34. 어느 선행 항에 있어서, 적어도 하나의 샘플이 광선 추적을 이용하여 추출되는 것인 이미지 데이터 생성 방법.
  35. 제1항 내지 제33항 중의 어느 항에 있어서, 적어도 하나의 샘플이 래스터화를 이용하여 추출되는 것인 이미지 데이터 생성 방법.
  36. 제1항 내지 제33항 중의 어느 항에 있어서, 변환 및 투영을 수행하여 적어도 하나의 샘플을 추출하는 단계를 더 포함하며, 상기 변환은 상기 무안경식 디스플레이의 형상에 종속적인 변환을 계산하며, 상기 투영은 투영 평면에 종속적인 투영을 계산하는 것인 이미지 데이터 생성 방법.
KR1020107006841A 2007-08-29 2008-08-29 3차원 디스플레이에 대한 렌더링 개선 KR101612100B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0716776.0A GB0716776D0 (en) 2007-08-29 2007-08-29 Rendering improvement for 3D display
GB0716776.0 2007-08-29

Publications (2)

Publication Number Publication Date
KR20100067656A true KR20100067656A (ko) 2010-06-21
KR101612100B1 KR101612100B1 (ko) 2016-04-12

Family

ID=38616916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107006841A KR101612100B1 (ko) 2007-08-29 2008-08-29 3차원 디스플레이에 대한 렌더링 개선

Country Status (9)

Country Link
US (1) US8860790B2 (ko)
EP (2) EP2189000A1 (ko)
JP (1) JP5421264B2 (ko)
KR (1) KR101612100B1 (ko)
CN (1) CN101803395B (ko)
AU (1) AU2008291977B2 (ko)
CA (1) CA2696610A1 (ko)
GB (1) GB0716776D0 (ko)
WO (1) WO2009027691A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041340A (ko) * 2017-08-23 2020-04-21 아발론 홀로그래픽스 인코퍼레이션 계층화된 장면 분해 코덱 시스템 및 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2477409A3 (en) 2006-04-19 2015-01-14 Setred AS Autostereoscopic display apparatus with settable display parameters
WO2012032826A1 (ja) * 2010-09-10 2012-03-15 富士フイルム株式会社 立体撮像装置および立体撮像方法
GB2484919A (en) * 2010-10-25 2012-05-02 Cambridge Silicon Radio Directional display device arranged to display visual content toward a viewer
EP2472880A1 (en) 2010-12-28 2012-07-04 ST-Ericsson SA Method and device for generating an image view for 3D display
WO2012094076A1 (en) * 2011-01-07 2012-07-12 Sony Computer Entertainment America Llc Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
US8619094B2 (en) 2011-01-07 2013-12-31 Sony Computer Entertainment America Llc Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
US9183670B2 (en) 2011-01-07 2015-11-10 Sony Computer Entertainment America, LLC Multi-sample resolving of re-projection of two-dimensional image
US9041774B2 (en) 2011-01-07 2015-05-26 Sony Computer Entertainment America, LLC Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US8514225B2 (en) 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3ｄ 영상을 출력하기 위한 장치 및 방법
CN103150757A (zh) * 2012-02-22 2013-06-12 林善红 数字城市3d被动立体展示系统及其制作方法
US9308439B2 (en) * 2012-04-10 2016-04-12 Bally Gaming, Inc. Controlling three-dimensional presentation of wagering game content
CA2869322C (en) * 2012-04-20 2021-04-13 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9311771B2 (en) * 2012-08-28 2016-04-12 Bally Gaming, Inc. Presenting autostereoscopic gaming content according to viewer position
KR20140089860A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
US9756316B2 (en) 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
WO2015120032A1 (en) * 2014-02-07 2015-08-13 Massachusetts Institute Of Technology Reducing view transition artifacts in automultiscopic displays
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
KR102240564B1 (ko) * 2014-07-29 2021-04-15 삼성전자주식회사 영상 렌더링 장치 및 방법
KR102240568B1 (ko) 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치
ES2854292T3 (es) * 2015-09-05 2021-09-21 Leia Inc Pantalla 3D supermuestreada con resolución angular mejorada
KR102574781B1 (ko) 2016-07-15 2023-09-06 라이트 필드 랩 인코포레이티드 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재
JP6895837B2 (ja) 2017-07-25 2021-06-30 三菱電機株式会社 表示装置
GB2566930B (en) * 2017-09-06 2021-05-19 Fovo Tech Limited A method for preserving perceptual constancy of objects in images
CA3088376A1 (en) 2018-01-14 2019-07-18 Light Field Lab, Inc. System and methods for rendering data from a 3d environment
CN108761815B (zh) * 2018-06-21 2021-02-09 北京虚拟动点科技有限公司 影像的显示方法及系统
KR20220027836A (ko) * 2019-06-07 2022-03-08 피씨엠에스 홀딩스, 인크. 분산 애퍼처들에 기초한 라이트 필드 디스플레이들을 위한 광학 방법 및 시스템
CN110355365B (zh) * 2019-06-13 2020-11-10 西安交通大学 一种协同840d数控系统的ebm变方向成形动态切片方法
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
US20230328216A1 (en) * 2022-04-06 2023-10-12 Samsung Electronics Co., Ltd. Encoding Depth Information for Images

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58199321A (ja) 1982-05-17 1983-11-19 Seiko Instr & Electronics Ltd 高速液晶シヤツタ−
US4740073A (en) 1982-12-27 1988-04-26 Meacham G B Kirby System for projecting three-dimensional images
JPS62153833A (ja) 1985-12-26 1987-07-08 Sharp Corp 液晶光シヤツタ−の駆動方式
US4853769A (en) 1987-06-16 1989-08-01 Massachusetts Institute Of Technology Time multiplexed auto-stereoscopic three-dimensional imaging system
GB8716369D0 (en) 1987-07-10 1987-08-19 Travis A R L Three-dimensional display device
JP2857429B2 (ja) 1989-10-02 1999-02-17 日本放送協会 ３次元画像表示装置および方法
KR0123909B1 (en) 1991-11-05 1997-11-26 Sharp Kk A three-dimensional display system
GB2267579A (en) * 1992-05-15 1993-12-08 Sharp Kk Optical device comprising facing lenticular or parallax screens of different pitch
GB2272555A (en) * 1992-11-11 1994-05-18 Sharp Kk Stereoscopic display using a light modulator
GB2278223A (en) 1993-05-21 1994-11-23 Sharp Kk Spatial light modulator and directional display
JP3268586B2 (ja) * 1993-09-24 2002-03-25 富士通株式会社 立体映像の表示装置と撮影記録装置
US5448322A (en) 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
DE69434108T2 (de) 1993-12-01 2006-02-02 Sharp K.K. Display für dreidimensionale Bilder
GB2297876A (en) * 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
JPH0915532A (ja) 1995-06-29 1997-01-17 Canon Inc 立体画像表示方法及びそれを用いた立体画像表示装置
JP2778543B2 (ja) * 1995-07-27 1998-07-23 日本電気株式会社 立体表示装置
JPH09171156A (ja) 1995-12-20 1997-06-30 Fujitsu General Ltd 立体画像表示装置
GB2309609A (en) * 1996-01-26 1997-07-30 Sharp Kk Observer tracking autostereoscopic directional display
JPH09289655A (ja) 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
JP2891177B2 (ja) * 1996-04-30 1999-05-17 日本電気株式会社 立体表示装置
GB2320156A (en) 1996-12-07 1998-06-10 Sharp Kk Directional display and method of making a mask for a directional display
GB2321815A (en) 1997-02-04 1998-08-05 Sharp Kk Autostereoscopic display with viewer position indicator
GB2317291A (en) 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
JPH10221643A (ja) * 1997-01-31 1998-08-21 Canon Inc 立体画像表示装置
DE69825572T2 (de) 1997-03-27 2005-08-04 Litton Systems, Inc., Woodland Hills Autostereoskopisches projektionssystem
JP3500036B2 (ja) 1997-05-15 2004-02-23 三洋電機株式会社 プラズマディスプレイパネルを用いた時分割メガネ方式の立体映像表示方法
KR100304784B1 (ko) 1998-05-25 2001-09-24 박호군 편광과광띠를이용한다자시청용3차원영상표시장치
JP2000092520A (ja) 1998-09-16 2000-03-31 Toshiba Corp 立体映像表示装置
JP2000102039A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 立体画像表示装置
US6795241B1 (en) 1998-12-10 2004-09-21 Zebra Imaging, Inc. Dynamic scalable full-parallax three-dimensional electronic display
GB9907277D0 (en) 1999-03-31 1999-05-26 Cambridge 3D Display Ltd Wide field view projection display
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6128132A (en) 1999-07-13 2000-10-03 Disney Enterprises, Inc. Method and apparatus for generating an autostereo image
US6674463B1 (en) * 1999-08-06 2004-01-06 Deiter Just Technique for autostereoscopic image, film and television acquisition and display by multi-aperture multiplexing
EP1085769B1 (en) * 1999-09-15 2012-02-01 Sharp Kabushiki Kaisha Stereoscopic image pickup apparatus
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
EP1087627A3 (en) 1999-09-24 2004-02-18 SANYO ELECTRIC Co., Ltd. Autostereoscopic image display device
US7089200B2 (en) * 1999-12-21 2006-08-08 Third Millennium Management Pty Ltd Payroll management method and apparatus
CA2436596C (en) 2000-01-25 2005-10-25 4D-Vision Gmbh Method and arrangement for the three-dimensional display
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US7084841B2 (en) * 2000-04-07 2006-08-01 Tibor Balogh Method and apparatus for the presentation of three-dimensional images
GB0010685D0 (en) 2000-05-03 2000-06-28 Koninkl Philips Electronics Nv Autostereoscopic display driver
WO2002042999A2 (en) 2000-11-03 2002-05-30 Actuality Systems, Inc. Three-dimensional display systems
WO2002069647A1 (en) 2001-02-22 2002-09-06 Thomson Licensing S.A. Stereoscopic plasma display with interlacing of fields
US7043073B1 (en) 2001-10-19 2006-05-09 Zebra Imaging, Inc. Distortion correcting rendering techniques for autostereoscopic displays
EP1462841A1 (en) 2001-12-07 2004-09-29 Juan Dominguez-Montes Double active parallax barrier for viewing stereoscopic images
US6940653B2 (en) 2001-12-19 2005-09-06 Actuality Systems, Inc. Radiation conditioning system
KR20050016344A (ko) 2002-04-17 2005-02-21 필립 안소니 셔만 자동 입체 디스플레이
GB2387664B (en) 2002-04-17 2005-08-24 Philip Anthony Surman Autostereoscopic display
US6927886B2 (en) 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
GB2393344A (en) 2002-09-17 2004-03-24 Sharp Kk Autostereoscopic display
JP3897712B2 (ja) 2003-02-14 2007-03-28 キヤノン株式会社 立体画像表示装置
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4200056B2 (ja) * 2003-06-17 2008-12-24 有限会社シーフォン 表示装置
GB2405043A (en) 2003-08-13 2005-02-16 Sharp Kk Compensation for refraction effects in an autostereoscopic display
GB2406731A (en) 2003-08-30 2005-04-06 Sharp Kk Multiple view display having directional backlight
GB2405517A (en) 2003-08-30 2005-03-02 Sharp Kk Multiple view display
GB2406730A (en) 2003-09-30 2005-04-06 Ocuity Ltd Directional display.
US7372629B2 (en) 2003-11-06 2008-05-13 Nec Corporation Three-dimensional image display device, portable terminal device, display panel and fly eye lens
KR100445613B1 (ko) * 2003-11-29 2004-08-26 (주)파버나인 입체영상 디스플레이 장치
US20050219693A1 (en) * 2004-04-02 2005-10-06 David Hartkop Scanning aperture three dimensional display device
US7573491B2 (en) * 2004-04-02 2009-08-11 David Hartkop Method for formatting images for angle-specific viewing in a scanning aperture display device
US20050275942A1 (en) * 2004-04-02 2005-12-15 David Hartkop Method and apparatus to retrofit a display device for autostereoscopic display of interactive computer graphics
WO2005106572A1 (en) 2004-04-02 2005-11-10 David Hartkop Scanning aperture three dimensional display device
US7375886B2 (en) 2004-04-19 2008-05-20 Stereographics Corporation Method and apparatus for optimizing the viewing distance of a lenticular stereogram
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
JP4227076B2 (ja) * 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
GB2418315A (en) * 2004-09-21 2006-03-22 Sharp Kk Multiple view display
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
JP4328311B2 (ja) 2005-04-14 2009-09-09 株式会社東芝 三次元画像表示用多視点画像の作成方法およびプログラム
JP4687216B2 (ja) 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
DE102005021155B3 (de) * 2005-04-29 2006-11-23 Seereal Technologies Gmbh Steuerbare Beleuchtungseinrichtung
GB2426351A (en) * 2005-05-19 2006-11-22 Sharp Kk A dual view display
TWI446004B (zh) * 2005-06-14 2014-07-21 Koninkl Philips Electronics Nv 結合型單一／多個檢視顯示器
GB2428344A (en) 2005-07-08 2007-01-24 Sharp Kk Multiple view directional display
JP4871539B2 (ja) * 2005-07-25 2012-02-08 キヤノン株式会社 立体像表示装置
JP4488996B2 (ja) 2005-09-29 2010-06-23 株式会社東芝 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
EP2477409A3 (en) 2006-04-19 2015-01-14 Setred AS Autostereoscopic display apparatus with settable display parameters
EP2232470A4 (en) * 2007-12-20 2012-04-11 Real Inc INTRA PIXEL LIGHTING SYSTEM AND METHOD
US7663528B1 (en) * 2008-03-20 2010-02-16 Lockheed Martin Corporation Missile boost-ballistic estimator

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200041340A (ko) * 2017-08-23 2020-04-21 아발론 홀로그래픽스 인코퍼레이션 계층화된 장면 분해 코덱 시스템 및 방법
US11611755B2 (en) 2017-08-23 2023-03-21 Avalon Holographies Inc. Layered scene decomposition codec system and methods

Also Published As

Publication number Publication date
JP2010538344A (ja) 2010-12-09
KR101612100B1 (ko) 2016-04-12
CN101803395A (zh) 2010-08-11
AU2008291977A1 (en) 2009-03-05
JP5421264B2 (ja) 2014-02-19
AU2008291977B2 (en) 2013-09-19
US8860790B2 (en) 2014-10-14
CA2696610A1 (en) 2009-03-05
US20110109629A1 (en) 2011-05-12
EP2189000A1 (en) 2010-05-26
CN101803395B (zh) 2013-03-20
WO2009027691A1 (en) 2009-03-05
GB0716776D0 (en) 2007-10-10
EP2665280B1 (en) 2017-12-13
EP2665280A1 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
KR101612100B1 (ko) 3차원 디스플레이에 대한 렌더링 개선
US7609906B2 (en) Method and system for acquiring and displaying 3D light fields
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
EP1582074B1 (en) Video filtering for stereo images
JP5300258B2 (ja) ３次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム
KR101334187B1 (ko) 다시점 렌더링 장치 및 방법
US20120182403A1 (en) Stereoscopic imaging
US8094148B2 (en) Texture processing apparatus, method and program
KR20080071475A (ko) 3차원 디스플레이용 컴퓨터 그래픽스 화상 생성장치 및생성방법
Bonatto et al. Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays
WO2012140397A2 (en) Three-dimensional display system
US8797383B2 (en) Method for stereoscopic illustration
CA2540538C (en) Stereoscopic imaging
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
AU2013237644B2 (en) Rendering improvement for 3D display
US20140313199A1 (en) Image processing device, 3d image display apparatus, method of image processing and computer-readable medium
JP2024070970A (ja) ３次元映像表示用データ生成装置およびそのプログラム
CN117635454A (zh) 多源光场融合渲染方法、装置及存储介质
Chuchvara Real-time video-plus-depth content creation utilizing time-of-flight sensor-from capture to display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant