KR101929836B1

KR101929836B1 - 홀로그래픽 시스템에서 투명 물체를 포함한 3차원 장면을 인코딩하는 방법 및 장치

Info

Publication number: KR101929836B1
Application number: KR1020177036383A
Authority: KR
Inventors: 엔리코 츠카우; 닐스 파이퍼
Original assignee: 시리얼 테크놀로지즈 에스.에이.
Priority date: 2010-04-01
Filing date: 2011-04-01
Publication date: 2018-12-18
Also published as: KR20130085941A; CN102918466B; TW201809929A; KR101812302B1; TWI599861B; TW201205211A; JP2013524270A; KR20180133950A; JP6001526B2; CN102918466A; CN106933082B; CN106933082A; WO2011121130A9; US20170038728A1; US10520889B2; EP2553531A2; EP2553531B1; WO2011121130A2; TW201706734A; TWI561941B

Abstract

광 또는 사운드를 부분적으로 흡수하는 물체(300)를 포함한 3차원 장면(200, 300)의 재구성을 위해 코드를 계산하는 방법이 개시된다. 이 방법은 컴퓨팅 유닛에서 구현될 수 있다. 3차원 장면을 가능한 한 현실성 있게 재구성하기 위해, 회절 무늬가 장면에서의 흡수 사례를 고려하여 그들의 원점에서 별도로 계산된다. 이 방법은 홀로그래픽 디스플레이 또는 체적형 디스플레이에서 3차원 장면의 표시를 위해 사용될 수 있다. 또한, 이 방법은 음원의 배열에서 음장의 재구성을 달성하기 위해 실시될 수 있다.

Description

홀로그래픽 시스템에서 투명 물체를 포함한 3차원 장면을 인코딩하는 방법 및 장치{METHOD AND DEVICE FOR ENCODING THREE-DIMENSIONAL SCENES WHICH INCLUDE TRANSPARENT OBJECTS IN A HOLOGRAPHIC SYSTEM}

본 발명은 투명 물체를 포함한 3차원 장면의 물점들의 인코딩 값들을 계산하는 방법에 관한 것이다. 본 발명은 또한 이러한 방법을 구현하는 컴퓨팅 유닛에 관한 것이다.

이 방법은 홀로그래픽 디스플레이 시스템의 컴퓨터 발생 홀로그램의 계산 및 홀로그램(하드 카피)의 생성에 적용될 수 있다. 이 방법은 또한 물점(object point)이 체적형 디스플레이와 같이 공간 내에서 지그재그 방식으로 분리되어 디스플레이될 수 있는 다른 3차원 디스플레이 시스템과 함께 사용될 수 있다.

일반적으로, 본 발명은 가시 스펙트럼 범위가 아닌 다른 파장 범위에 대해서도 또한 사용될 수 있다. 방사된 전자기파가 서로 간섭할 수 있도록 항상 적어도 2개의 안테나가 코히어런트 방사선(coherent radiation)을 방사하는 안테나 어레이와 함께, 본 발명은 예를 들면 전파 망원경에 의해 수신된 우주 방사선(cosmic radiation)의 공간 분석과 관련하여 전자기 스펙트럼을 시뮬레이트 및 재구성하기 위해 사용될 수 있다. 이러한 시뮬레이션 또는 재구성을 위해 사용되는 스펙트럼 범위는 분석 대상의 스펙트럼 범위와 항상 대응할 필요가 없지만, 변환에 의해 전자(former)에 이미징될 수 있다.

본 발명은 또한 전자기 스펙트럼이 아닌 다른 매체, 예를 들면 음파에 적용될 수 있다. 방사된 음파가 서로 간섭할 수 있게끔 항상 적어도 2개의 사운드 발생 수단이 간섭성 파(coherent wave)를 방사하도록 제어될 수 있는 사운드 발생 수단의 어레이와 함께, 본 발명은 3차원 음장(sound field)을 시뮬레이트 및 재구성하기 위해 사용될 수 있고, 본 발명은 가청 음향 주파수 범위로 제한되는 것이 아니다. 음장은 흡음 속성(sound-absorbing property)을 가진 물체를 포함한 3차원 장면(scene)의 공간적 및 시간적으로 변화하는 음가(sound value)를 포함한다. 방법 및 컴퓨팅 장치는 역위상 사운드를 발생하여 작은 공간에서뿐만 아니라 넓은 환경에서 잡음을 감소시키기 위해 또한 사용될 수 있다.

방법은 또한 비광학 특성의 것일 수 있는 다른 공간 분포의 디스플레이 및 분석을 위해 사용될 수 있다. 물리적 및 기타 파라미터의 3차원 분포는 투명도 값, 3차원 물체 및 광원(가색조(false colour) 이미징)으로 이미지화된다. 예를 들면 각종 단층 촬영법, 3차원 초음파 체크 또는 워크피스의 기계적 응력 분포를 시각화 또는 분석하는 것이 가능하다.

이 특허 출원에 따른 홀로그래픽 디스플레이 시스템(이하에서는 간단히 홀로그래픽 시스템이라고도 부른다)은 표시될 장면의 3차원 오브젝트 데이터가 재구성될 장면의 회절 무늬(diffraction pattern)의 형태로 인코드되는 3차원 오브젝트 데이터용의 디스플레이 장치이다. 특히 회절 무늬의 컴퓨팅은 여기에서 인코딩이라고 부르고, 이러한 다수의 인코딩 방법이 이미 공지되어 있다.

인코딩은 특히 고해상도 디스플레이 시스템에서 큰 계산 부하(computational load)를 쉽게 야기할 수 있는 모든 물점의 정보의 집성 홀로그램을 발생함으로써 달성될 수 있다.

다른 방법에 따르면, 홀로그램은 계산 부하를 최소화하기 위해 동일한 크기의 개별 인접 영역(호겔(hogel))으로 나누어진다. 따라서, 각 영역은 사용되는 공간 광 변조기(spatial light modulator; SLM)의 동일한 수의 셀들과 대응한다. 각각의 호겔은 다수의 물점 및 다수의 회절각(호겔 벡터)에 대한 정보를 소지한다. 사전 계산된 회절 무늬가 호겔을 계산할 때 룩업 테이블(look-up table; LUT)로부터 검색될 수 있다는 점에서 단순화가 달성된다.

대안적으로, 계산은 서브홀로그램의 형태로 개별 물점에 대하여 별도로 실행될 수 있다. 각 서브홀로그램은 재구성을 위해 사용되는 광학적 광 변조기(또는 공간 광 변조기(SLM))의 변조기 표면의 하위 영역(sub-region)에만 기록된다. 개별 서브홀로그램은 물점의 위치에 따라서 변조기 표면에 부분적으로 또는 전체적으로 중첩할 수 있다. 이 방법은 만일 홀로그램이 하나 이상 관측자의 관측자 눈의 이동에 대하여 관측자 눈에 지정되는 하나 이상의 가시성 영역을 추적하기 위해 적어도 하나의 수단이 제공되는 작은 가시성 영역에 대해서만 인코드되면 특히 양호하게 적용될 수 있다. 이러한 홀로그래픽 디스플레이 장치는 예를 들면 DE 10353 439 B4 문서 및 WO 2006/066919 A1 문서에 출원인에 의해 기술되어 있다. 서브홀로그램은 변조기 표면까지 소정의 거리에서 소정의 밝기(brightness) 또는 소정의 밝기와 색조를 가진 소정의 물점에 촛점을 맞추는 회절 렌즈와 대응한다. 볼록 렌즈의 기능은 변조기 표면 앞에서 물점을 발생하기 위해 사용된다. 오목 렌즈의 기능은 변조기 표면 뒤에서 가상 물점을 발생하기 위해 사용된다. 변조기 표면 내에 위치하는 물점은 직접 발생된다. 렌즈 기능들은 사전 계산될 수 있고 룩업 테이블에 저장될 수 있다. 회절 무늬를 인코딩할 때, 예컨대 SLM의 사용된 변조기 영역의 전달 함수, 광원 및 광로 내의 다른 광학 성분들을 고려할 수 있는 추가의 파라미터들이 고려될 수 있다. 이것은 또한 얼룩(speckle)을 감소시키는 기법을 포함한다.

대부분의 디스플레이에서, 개별 픽셀들은 평평한 SLM 표면에서 표시되기 때문에, 픽셀화 2D 이미지 또는 적어도 2개의 2D 이미지(3D 디스플레이)를 포함한 입체 3D 표시는 많은 적응 노력을 필요로 하지 않고 디스플레이 위에서 직접 보여질 수 있다. 필요한 적응은 주로 디스플레이 패널의 해상도로 표시되는 영역의 스케일링 및 디스플레이 패널의 계조(gradation)에 대한 밝기 및 색조 적응에 주로 관련이 있다. 3D 디스플레이에 있어서는 입체 표시의 복수의 뷰(view)가 사용되는 방법에 따라서 변조기 표면상에서 시간적으로 및/또는 공간적으로 인코드되어야 한다. 2D 벡터 그래픽 이미지는 이들이 디스플레이되기 전에 라스터 그래픽 이미지로 변환되어야 한다.

3차원 장면이 2D 디스플레이 또는 3D 디스플레이상에서 표시될 수 있기 전에, 또는 3차원 장면이 홀로그래픽 디스플레이에서 재구성을 위해 인코드되기 전에, 뷰들은 장면의 물체들을 그들의 속성으로 묘사하는 3차원 데이터 기록으로부터 발생되어야 한다. 이러한 처리는 이미지 합성 또는 연출(rendering)이라고도 부른다. 장면 묘사의 종류, 뷰의 소망하는 품질 및 이러한 뷰가 실제로 발생되는 방법에 있어서 차이가 있는 다수의 방법들이 이를 위해 공지되어 있다.

예를 들면, 3D CAD 모델은 3차원 좌표계에 포함된 물체들의 기하학적 묘사를 포함한다. 또한, 불투명 물체의 반사율과 방사율 및 추가적으로 투명 물체의 굴절률 및 흡수율과 같은 광학적 속성을 포함한 다수의 추가의 물리적 속성이 물체의 자료들을 묘사하기 위해 규정될 수 있다. 동질의 물체에 대해서는 이러한 파라미터들이 경계 표면에 대해서만 규정되는 것으로 충분하다. 일반적으로, 이러한 속성들은 공간 구배만을 보여줄 수 있고, 이들은 파장 및 분극과 같은 다른 하나 이상의 파라미터에 의존할 수 있다.

데이터는 또한 체적형 픽셀 데이터의 형태로 이미 존재할 수 있다. 이것은 예를 들면 의료 분야 응용의 경우이다. 3D 장면은 발생되었을 때 개별적인 공간 포인트 또는 작은 공간 영역(복셀(voxel))로 이미 분할된다.

예를 들면, 3D 장면은 깊이 지도(depth map)와 함께 픽셀화 2D 데이터로부터 발생되는 것이 또한 가능하다. 기준 평면까지 각 픽셀의 거리는 깊이 지도에 저장된다. 이러한 데이터 포맷은 예를 들면 2D 모니터에서 및 추가적으로 각종의 3D 디스플레이 장치에서 표시되는 비디오 데이터용으로 사용된다. 이것은 하나의 장면의 복수의 뷰의 생성을 촉진한다. 그러나, 추가의 데이터는 은닉 물체를 고려할 수 있도록 제공되어야 한다.

이미지 합성의 시작시에, 장면 내 물체들의 위치를 묘사하기 위해 사용되는 3차원 좌표계에서 각 뷰가 생성되도록 위치가 선택되어야 하고, 이 위치는 장면의 뷰가 기록되는 카메라(가상 카메라)의 위치에 대응한다. 또한, 이미지 생성을 위해 사용되는 SLM의 활성 변조기 표면의 장면 내의 가상 위치 및 가상 크기가 규정되어야 한다. 활성 변조기 표면의 가상 크기는 예를 들어서 스캐닝 배열 또는 투사 배열이 사용되는 경우에 그 실제 크기와 다를 수 있다. 가상 카메라의 위치는 관측자의 눈이 장면을 지각하는 위치 및 방향을 규정한다. 이 위치는 또한 물체들 사이에 또는 물체 내에 놓일 수 있다. 촛점 길이 및 시야각과 같은 가상 카메라의 속성은 어느 부분이 어떤 가상 배율로 디스플레이되는지를 결정한다. 시야각은 SLM의 가상 영역 및 가상 카메라에 대한 그 위치에 의해 결정된다. 가상 카메라의 위치에서 발생하고 SLM의 가상 영역의 테두리를 통하여 진행하는 빔은 가시성 영역을 표시하는 공간을 규정한다. 이 피라미드의 외측에 놓이는 장면 부분은 디스플레이될 수 없다. 2D 디스플레이에 있어서, 동일한 뷰가 관측자의 어느 한쪽 눈에 대하여 생성되어 원근법적 뷰(perspective view)만이 가능하다. 관측자의 어느 한쪽 눈에 대하여 가상 카메라를 동시성으로 이동시킴으로써, 관측자는 이미지 시퀀스 중에 장면을 통하여 가상적으로 이동할 수 있지만, 관측자는 디스플레이 앞에서 물리적으로 이동할 필요는 없다. 만일 디스플레이 앞에서 관측자 눈의 이동이 센서에 의해 검출되면, 이 정보에 기초하여 가상 카메라의 이동이 또한 제어될 수 있다. 추가의 이미징 수단이 가상 변조기 표면과 관측자 눈 사이에 배치될 수 있다. 이러한 이미징 수단은 가상 변조기 표면 지역에 포함될 수 있고 및/또는 가상 카메라의 속성에서 고려될 수 있다.

홀로그래픽 디스플레이에 있어서, 깊이 정보가 회절 무늬의 도움으로 생성될 수 있다. 깊이 정보는 재구성을 변경할 필요 없이 재구성된 장면의 서로 다른 깊이 평면에 촛점을 맞추는 가능성(원근 조절)을 관측자에게 제공한다. 그러므로, 깊이 정보는 홀로그래픽 디스플레이와 관련하여 가상 카메라보다는 가상 관측자 위치에 대하여 인용된다.

추가의 이미지 합성 과정에서, 장면의 어떤 부분이 가시성 영역 내측에 위치되고 어떤 부분이 실제로 보여지는지, 예를 들면 어느 부분이 장면의 다른 부분 뒤에 숨겨지지 않는지 결정된다. 이것은 다단계 처리일 수 있고, 여기에서, 취해지는 노력이 크면 클수록 장면이 더 복잡해지거나 소망하는 표시가 더 현실감있게 된다. 장면 내 광원의 위치 및 물질 속성에 따라서, 반사, 회절, 굴절 및 산란을 생각할 수 있고, 이들은 그 다음에, 보여지거나 숨겨지거나 및/또는 가시성 영역의 외측에 위치하는 장면 부분에 의해 생성되는 추가의 가시적 가상 물체, 표면 또는 포인트에 대하여 행하여질 수 있다.

장면 내 표면의 외관(appearance)은 물체의 물질 속성(음영)을 고려하여 계산될 수 있다. 이것은 예를 들면 물체의 표면에 대한 조직(texture)의 이미징을 포함한다. 이미지 합성은 매우 복잡한 처리이기 때문에, 물체의 외관, 표면 및 개별 이미지 포인트는 이미지 합성 중에 수 회 바뀔 수 있다.

만일 장면이 구조화 광원을 포함하면, 그들의 영향(조명, 음영)은 표면의 외관을 적응시킴으로써 고려될 수 있고, 이때 가끔은 단순화 조명 모델이 계산 부하를 최소화하기 위해 사용된다. 표면의 반사율은 가끔 양방향 반사 분포 함수(bidirectional reflectance distribution function; BRDF)를 이용하여 계산된다.

장면의 실제 뷰를 생성하기 위해 재귀 광선 추적법이 가끔 사용된다. 이것은 가상 카메라의 위치 및 디스플레이 픽셀에 의해 규정된 개별 광선의 경로가 역으로 추적된다는 것을 의미한다. 첫째로, 광선이 히트 물체의 비은닉 표면을 관통하는 모든 포인트가 결정되고 가상 카메라에 그 거리에 의해 저장된다. 그 다음에, 집성 데이터가 관련된 모든 가시성 포인트의 외관을 고려해서 대응하는 디스플레이 픽셀의 위치에서 표시되는 뷰의 포인트를 묘사하도록 생성된다. 이 집성 데이터를 생성할 때, 관련된 모든 투명 포인트의 투명도 속성, 및 만일 하나가 있으면 불투명 포인트의 투명도 속성이 잇따라 고려된다. 투명도 속성은 투명도를 결정하는 물질 속성 및 물질 내에서 광선에 의해 커버되는 광학 경로 길이를 고려해서 결정될 수 있다. 이러한 물질 속성의 스펙트럼 및 공간 분포가 또한 고려될 수 있다.

이러한 방법은 US 7,030,887 B2에 설명되어 있다. 깊이 정보가 저장된 복수의 깊이 버퍼를 이용해서, 상호 겹쳐지는 투명 픽셀들이 깊이에 의해 저장된다. 이것은 불투명 픽셀에 가장 가까이 오는 픽셀을 찾을 수 있게 한다. 그 다음에, 불투명 픽셀에 관한 이 픽셀의 투명성 효과가 계산된다. 그 다음에, 전자의 투명 픽셀에 대한 인접 투명 픽셀이 있는지 여부가 밝혀진다. 이 픽셀의 투명성 효과는 이제 이미 계산된 투명성 효과와 관련하여 계산된다. 이 처리는 겹쳐진 투명 픽셀들이 모두 고려될 때까지 반복된다. 이 방법은 디스플레이 패널상의 픽셀에 대응하는 각각의 관련된 광선에 대하여 단지 하나의 밝기 값 또는 하나의 밝기 값과 하나의 색도 값만이 결정되는 단점을 갖는다.

음향 및 기하학적 속성(청각화)을 고려해서 룸에서 음장을 시뮬레이트할 때 유사한 문제점이 발생한다. 이러한 시뮬레이션은 기하학적 모델에서 광대한 측정을 회피하기 위해 사용된다. 다른 위치, 이동, 폴라 패턴 및 소리크기(loudness)의 음원의 상호관계 및 실내 음향 특성이 그에 따라서 테스트될 수 있다. 특정의 위치 및 형태를 갖는 것에 추가해서, 공간 내의 개별 물체 또는 청각 장면(auditory scene)의 물체들은 파장 특유의 흡수 및 확산을 또한 나타낸다. 룸의 음향 속성은 다단계 처리에서 발견되고, 재귀 광선 추적법이 또한 사용된다. 또한, 예컨대 반사, 확산 및 편향에 의해 야기되는 가상 음원을 고려할 수 있다. 계산된 청각은 전형적으로 스테레오 이어폰을 통하여 가상 청취자의 위치에서 연출되고, 이때 머리 전달 함수(head-related transfer function; HRTF)는 현실성있는 청각을 위해 고려되어야 한다. 이어폰을 통하여 연출되는 집성 신호만이 있다는 점이 여기에서의 단점이다. 그럼에도 불구하고 변경된 청취자 위치에 대한 청각을 재계산할 때 가상 룸에서의 라운드 투어(round tour)가 가능하지만, 머리 이동 후에 음향 신호를 재계산하지 않은 현실적 청각은 가능하지 않다.

홀로그래픽 디스플레이 또는 체적형 디스플레이에서 투명 물체를 포함한 3차원 장면을 표시할 때의 단점은 청구항 1에서 청구되는 방법의 특징에 의한 본 발명에 따라서 극복된다. 음향 분야와 관련한 단점들은 청구항 8에서 청구되는 방법의 특징에 의한 본 발명에 따라서 극복된다.

본 발명에 따르면, 본 발명의 방법은 청구항 10에서 청구되는 특징을 포함한 컴퓨팅 유닛에서 구현될 수 있다. 본 발명의 추가의 양호한 실시형태 및 개선점은 종속 청구항에서 규정된다.

본 발명에 따른 방법은 적어도 하나의 관측자 눈에 대하여 투명 속성을 가진 물체를 포함하는 3차원 장면을 재구성하기 위해, 홀로그래픽 시스템의 광학적 광 변조기(optical light modulator; SLM)의 홀로그래픽 인코딩 값을 계산하기 위해 특히 사용될 수 있다. 이 방법은 아래의 단계들을 포함한다.

a) 3차원 장면이 개별적인 물점으로 나누어지고 이 물점들의 좌표가 결정된다. 이 좌표에 의해, 방법 단계 d)에 따른 분류가 실행되거나 물점의 좌표가 홀로그래픽 인코딩 값의 계산에서 다른 목적으로 사용될 수 있다.

b) 3차원 장면이 명백하게 지각되는 선택된 관측자 눈의 위치에 대응하는 가상 관측자 위치가 결정된다.

c) 가상 관측자 위치에서 볼 때 다른 물점에 의해 충분히 커버되지 않은 모든 물점들이 결정되고 인코드된다.

d) 가상 관측자 위치로부터 동일한 각도로 본 인코드 대상의 모든 가시적 물점들이 가상 관측자 위치까지의 그들의 거리에 의해 분류된다.

e) 만일 가능하다면 장면의 모든 실제 및 가상 광원의 위치 및 강도를 물점들이 가상 관측자 위치로부터 보여지는 각도로 물점들의 위치에서 고려하여 각각의 가시성 물점의 실제 밝기가 결정되고, 이때 실제 및 가상 광원을 포함한 물체의 물리적 속성이 고려될 수 있다.

f) 인코드될 각각의 가시적 물점에 대하여, 물점이 가상 관측자 위치에서 지각되는 겉보기 밝기 값이 그 실제 위치에서의 실제 밝기, 가상 관측자 위치까지의 거리 및 그 가상 물점과 가상 관측자 위치 사이에 위치된 모든 물체 또는 물점의 투명 속성을 고려하여 결정된다.

g) 각 물점은, 불투명 및 투명 물점이 그들 각각의 위치에서 분리되어 지각될 수 있도록, 각 물점이 각각의 밝기 값을 가진 위치에서 가급적 멀리 홀로그래픽 시스템에서 재구성되게끔 각각의 밝기 값을 가지고 별도로 인코드된다.

홀로그래픽 인코딩 값은 홀로그램 데이터 또는 단순히 홀로그램이라고도 부른다는 점에 주목한다.

WO 2006/066919 A1에 개시된 것처럼 홀로그래픽 디스플레이가 사용되거나 홀로그래픽 디스플레이가 예컨대 홀로그래픽 시스템에 대하여 작은 가상 관측자 창을 이용하여 구성되고 하나의 가상 관측자 창이 관측자의 각 눈에 대하여 이용가능한 경우에, 홀로그래픽 인코딩 값의 계산은 관측자의 눈이 위치되는 적어도 각각의 가상 관측자 창에 대하여 실행될 것이다. 홀로그래픽 시스템이 관측자 눈의 실제 위치에 관한 가상 관측자 창의 추적 기능을 포함한 경우에, 만일 장면의 콘텐츠 또는 가상 관측자 창의 위치가 변경되면, 물점의 실제 및 겉보기 밝기 값만이 다시 계산될 필요가 있다. 그러나, 만일 홀로그래픽 인코딩 값의 인코딩이 가상 관측자 창의 새로운 위치에 대하여 적응되면, 추적 수단 및/또는 이미징 수단의 결함뿐만 아니라 관측자 눈의 새로운 위치에 대한 물점의 인코딩을 위해 사용되는 광학적 광 변조기의 국소 특성이 고려될 것이다.

가상 시야 창(virtual viewing window)이라고도 부르는 전술한 가상 관측자 창과 관련하여, 관련된 물리적 애퍼쳐 또는 물리적 프레임 또는 기타의 광학 요소가 없다는 점에 주목한다. 본 발명에 따른 가상 관측자 창은 홀로그래픽 시스템에 의해 재구성되는 3차원 장면이 보여질 수 있는 지역이다. 그러므로, 관측자의 눈은 가상 관측자 창에 또는 그 부근에 위치된다.

홀로그래픽 시스템이 큰 가상 관측자 창을 포함하는 경우에, 각 물점에 대한 실제 및 겉보기 밝기 값의 계산은 가상 관측자 창 내에서 뷰의 단일 방향에 대하여 별도로 실행될 수 있다. 일반적으로, 관측자 창은 시야 창이 원형인 경우에 약 10~20 mm의 크기를 갖는다. 만일 시야 창이 직사각형이면, 가상 관측자 창의 크기는 일반적으로 직사각형의 모서리의 길이가 10~20 mm이다. 그러나, 가상 관측자 창이 보통의 크기보다 더 큰 크기를 가지면, 큰 가상 관측자 창이 단일의 각도 세그멘트로 스캔될 수 있다. 홀로그래픽 인코딩 값의 계산은 그러한 경우에 각각의 단일 각도 세그멘트에 대하여 실행된다. 만일 필요하면, 사이 값 또는 보간 값이 공지의 보간법을 이용하여 계산될 수 있다. 모든 각도 세그멘트에 대한 계산이 실행되었으면, 인코딩 값의 인코딩이 별도로 실행될 수 있다. 가상 관측자 창의 최대 크기는 가능한 최대 회절각을 포함한 광학적 광 변조기의 특성에 의해 결정된다. 가상 관측자 창의 최대 크기에 따라서, 필요한 증분이 그로부터 발생한다. 광학적 광 변조기와 상호작용하는 광의 회절에 대해 책임이 있는 유효 구조 특성은 인코딩의 종류(예를 들면, 버크하트 인코딩, 2상 인코딩)뿐만 아니라 광학적 광 변조기의 유형에 의존한다. 광학적 광 변조기의 복수의 변조기 셀 또는 픽셀은 복잡한 인코딩 값의 진폭 및 위상 값의 인코딩을 위해 사용된다. 이러한 복수의 변조기 셀들은 그 다음에 광학적 광 변조기의 유효 구조적 크기 및 그와 관련한 회절을 규정한다. 예를 들면, 2상 인코딩(2-phase-encoding)은 위상 값들이 위상 변조기로서 구체화되는 광학적 광 변조기의 2개의 이웃하는 픽셀에서 인코드되도록 실행된다. 상기 2개의 인코드된 위상 값은 그 다음에 복잡한 인코딩 값을 인코드한다. 만일 광학적 광 변조기가 그리드 또는 규칙적인 회절 구조가 없는 변조기, 예컨대 광학적으로 취급가능한 공간 광 변조기(optical addressable spatial light modulator; OASLM)로서 사용되면, 최소의 유효 구조 크기는 프로그래밍 유닛의 기록에 의존한다.

본 발명에 따른 방법은 체적형 디스플레이 장치에도 또한 적용할 수 있다. 이것은 추적 수단에 의해 관측자의 실제 위치를 추적하는 동안 체적형 디스플레이에 의해 디스플레이되는 3차원 장면을 관측하는 관측자의 위치가 변경되는 경우에 특히 그렇다. 이러한 디스플레이 장치에 의해, 하나의 물점이 서로 다른 또는 단일의 시야 방향에 대하여 서로 다른 회절 무늬로 인코드될 수 있는 홀로그래픽 시스템 또는 홀로그래픽 디스플레이 장치에서 가능한 것처럼, 서로 다른 방향으로 서로 다른 밝기 값을 인코드할 수 없다.

단일 물점의 회절 무늬가 소정 지역 내에서 또는 광학적 광 변조기의 제한된 영역 내에서 또는 홀로그래픽 시스템의 광 변조기의 완전한 지역 내에서의 물점에 대하여 발생될 수 있기 때문에, 광학적 광 변조기의 유효 그리드 또는 회절 무늬가 아닌 다른 그리드 또는 회절 무늬가 사용될 수 있다.

본 발명에 따른 방법은 물질, 예를 들면 X-선을 위한 생물학적 물질의 투명 성 및 흡수 특성이 진단 목적으로 조사 및 디스플레이되는 3차원 라디오 그래프(컴퓨터 단층촬영, CRT)의 발생 및 시각화 및 분석을 위해 적용될 수 있다.

많은 응용에서, 3차원 장면은 밝기 값 또는 강도 값에 의해 묘사될 뿐만 아니라 3차원 장면의 외관이 3차원 장면 내의 단일 요소 또는 물체의 방사 속성, 흡수 속성 및/또는 반사 속성에 또한 의존한다.

양호한 실시형태에 있어서, 겉보기 밝기 값 외에, 인코드되는 각 물점에 대하여, 가상 관측자 위치에서 물점이 지각되는 겉보기 색도 값이 그 위치에서의 실제 색도 값 및 그 가시적 물점과 가상 관측자 위치 사이에 위치하고 있는 모든 물체 또는 물점의 투명 속성을 고려하여 결정된다. 각 물점은 불투명 및 투명 물점이 그들 각각의 위치에서 별도로 지각될 수 있도록, 각 물점이 이 색도 값을 가진 실제 또는 가상 위치에서 가급적 멀리 홀로그래픽 시스템에서 재구성되게끔 그 각각의 색도 값으로 별도로 인코드된다.

이 실시형태에 따른 방법은 재구성될 장면이 인코드될 수 있는 적용된 색조 모델 및 적용된 색조 깊이에 적응될 수 있다. 통상적으로 사용되는 색조 모델은 예를 들면 추가적 적, 녹, 청 모델(RGB 색조 모델)이고, 이것은 이 장소에 매우 잘 적응될 수 있다. 이 색조 모델로 인해, 색조들이 광을 방사 또는 투과할 수 있는 하나의 적색, 하나의 녹색 및 하나의 청색 서브픽셀의 3중(triple)으로 생성된다. 물점의 밝기 값과 색도 값은 각각 적색, 녹색 및 청색의 색조를 나타내는 3개의 회색 값(grey value) 채널에 저장된다. 가능한 최대수의 회색 값은 가능한 색조 깊이를 결정한다. 물점의 투명 특성은 일반적으로 추가의 채널에 저장되고, 추가의 채널은 알파(α) 채널이라고도 부른다.

다른 색조 모델은 예를 들면 각 색조에 대한 색도 값(colour value), 색 포화도 및 밝기 값을 사용한다(색상, 채도 및 값, HSV 모델, 또는 색상, 채도 및 밝기, HSB 모델). 또한, 특수한 디스플레이 장치 또는 포맷에 대한 적응된 색조 모델, 예를 들면 텔레비전 포맷 NTSC 또는 PAL에 대하여 사용되는 YUV-모델이 또한 존재한다. 특히, 반사 모드에서 작용하는 프린팅 기술 또는 광 변조기에서, 감산 색조 모델이 사용된다. 그러므로, 예로는 시안, 마젠타, 옐로우 모델(cyan, magenta, yellow-model; CMY) 또는 시안, 마젠타, 옐로우, 키(CMYK)가 있고, 여기에서 키는 블랙 부분을 나타낸다. 이러한 모델은 프린팅 기술을 적용하는 하드카피 홀로그램의 생성에 적합하다.

추가적인 가상 물점이 계산되고, 이것은 적어도 하나의 가상 또는 실제 광원의 광과 재구성될 3차원 장면의 물체의 물점 간의 상호작용의 결과로서 반사, 레미션(remission) 또는 산란에 기인하여 가상적으로 생성된다. 물체의 스펙트럼 속성과 가상 또는 실제 광원이 고려될 수 있다. 가상 관측자 위치에서 겉보기 밝기 값 또는 겉보기 밝기 및 색도 값이 실제 물점에 대한 것과 같은 가상 물점에 대하여 계산된다. 이들은 그들 각각의 값으로 별도로 인코드된다.

실제 광원은 재구성될 3차원 장면에서 지향성 광을 명백하게 발생하는 광원이다. 가상 광원은 예를 들면 물체의 표면에서 실제 광원에 의해 발생되는 광의 반사에 의해 적용될 수 있다. 그러한 가상 광원은 예를 들면 홀로그래픽 인코딩 값을 계산하는 방법을 적용할 때 또한 고려될 수 있는 다중 반사에 의해 추가의 가상 광원을 생성할 수 있다. 이러한 다중 반사는 일반적으로 이미지 합성을 위해 다단계 처리를 필요로 한다.

양호한 실시형태에 있어서, 물점의 위치는, 만일 필요하다면, 가상 관측자 위치와 보정 대상 물점 사이에 위치된 물체 또는 물점에서 반사, 굴절 또는 회절과 같은 광학 속성에 기인하여 가상 관측자 위치와 관련하여 보정된다. 겉보기 밝기 값 또는 겉보기 밝기 및 색도 값은 상기 보정된 위치에 대하여 계산된다. 물점은 각각의 값에 의해 별도로 인코드될 수 있다.

이것은 수족관과 같은 복잡한 물체의 거울과 같은 반사면을 가진 물체를 포함한 3차원 장면에 적용될 수 있고, 이때 수족관의 물고기 또는 돌과 같은 물체의 정확한 위치를 시각화하기 위해 굴절 법칙이 적용되어야 한다.

가상 관측자 위치와 관련한 물점 위치의 보정은 투명 물체를 포함하지 않는 3차원 장면에서 실행될 수 있다는 것을 이 기술에 숙련된 사람이라면 알고 있을 것이다. 그러므로, 본 발명에 따른 방법은 이 특수한 경우에 재구성될 3차원 장면에 나타나지 않는 투명 물체에 관한 방법 단계들을 무시하는 방법으로 수정될 수 있다.

가상 관측자 위치에서 물점의 겉보기 밝기 값 또는 겉보기 밝기 및 색도 값은 물점과 가상 관측자 위치 사이에 위치된 물체 또는 물점의 공간 투명 분포를 고려함으로써 계산된다. 그들의 공간 상호의존성이 고려될 수 있다.

3차원 장면들의 물체는 단일의 상대 투명도 값(τ)을 포함할 수 있다. 이 투명도 값(τ)은 물질의 투명성(T)과 두께(D)로부터의 몫(quotient)이다. 그러므로, 물체의 투명성은 이 물체에서 광이 전파하는 광로의 길이에 의존한다. 일반적으로, 투명도 값(τ)은 위치로부터의 함수(밝기 함수) 또는 밝기 및 색조의 함수(색조 함수)일 수 있다. 투명성(T)은 광이 물체 내에서 전파하는 광로를 따르는 상대적 투명도 값 분포(τ)에 대한 공간 의존성을 적분함으로써 계산될 수 있다. 만일 물체가 굴절률의 공간 분포를 포함하면, 그러한 광로는 비선형일 수 있다.

투명 물체가 산란 특성, 예를 들면 확산 스크린이나 초점 유리(ground glass)를 포함하는 경우에, 이 산란 물체를 직접 통과한 광만이 가장 전방의 물점 뒤에 위치된 물점의 겉보기 밝기 또는 겉보기 밝기 및 겉보기 색도를 결정한다. 산란된 광은 그러한 물체의 겉보기 밝기에 기여한다. 그러한 물체는 반투명 물체라고도 부른다.

바람직하게, 가상 관측자 위치에서 물점의 겉보기 밝기 값 또는 겉보기 밝기 및 색도 값은 추계학적 방법(stochastic method), 및 물점과 가상 관측자 위치 사이에 위치된 투명 및/또는 반사성 및/또는 확산성 및/또는 회절성 및/또는 굴절성 물체 또는 물점의 흡수, 산란, 반사 및 회절의 확률의 도움으로 계산된다. 그들의 스펙트럼 상호의존성이 고려될 수 있다.

이미지 합성의 추가 부분들이 추계학적 방법, 예를 들면 몬테 카를로법의 도움으로 실시되는 경우에 이것은 특히 도움이 된다. 예컨대 흡수, 반사, 회절 또는 산란과 같은 물리적 효과는 계수로 묘사되지 않고 추계학적 방법이 적용될 때 물리적 효과로부터 유도되는 확률에 의해 묘사된다. 예를 들면, 3차원 장면을 통과하는 복수의 단일 광자의 광로가 추적 또는 주시될 수 있다. 이 광자들은 그러한 광자의 방출 확률을 고려해서 실제 광원에 의해 발생될 수 있다. 난수는 그러한 광원의 방사 특성, 예를 들면 광자가 방사되는 위치, 광 방사 방향, 파장, 및, 만일 필요하다면, 방사되는 광의 편광 및 다른 광자 또는 광파의 방사의 위상 관계를, 이 파라미터들이 고려될 필요가 있는 경우에, 결정할 수 있다. 광자가 반사, 굴절, 회절, 산란 또는 흡수되는지 여부를 동일하게 분포된 난수의 도움으로 각 광학 계면에서 결정할 수 있다. 균일하게 분포된 난수는 일반적으로 0과 1 사이의 간격에서 스케일된다. 이러한 결정은 흡수, 투과, 산란, 반사 및/또는 회절 확률에 관한 확률에 기초하여 행하여질 수 있고, 파장 또는 편광과 같은 물리적 파라미터로부터의 의존성이 고려될 수 있다. 예를 들면, 복굴절 물질 또는 물질의 파장 의존성 투명 분포와 함께 발생하는 편광의 효과가 고려될 수 있다. 방사에 의해 물점으로부터 직접 생성된 모든 광자, 또는 가상 관측자 창의 방향을 향해 물체의 표면에서 확산 반사를 통해 보내지는 광자들이 카운트될 수 있고, 이것은 모든 생성된 광자의 총량에 관한 적당한 스케일링 후에 물점의 실제 밝기 또는 실제 밝기와 색조를 결정한다. 가상 관측자 창에 도달하는 이러한 광자의 수가 또한 카운트되고, 이 수는 이 물점의 겉보기 밝기를 스케일링한 후에 결정한다.

매체 또는 간단한 방식으로 물체의 표면을 통과하는 강도의 비율인 투과 등급 또는 투과율(T) 및 유입 강도는 예를 들면 투과 확률로서 해석될 수 있다. 유입 광자가 매체 또는 물체에 진입할 때, 정상화 난수(Z)가 발생된다. Z가 T와 같거나 더 작으면, 광자는 매체를 통과하거나 물체의 표면을 통과한다. Z가 T보다 더 큰 경우에 광자는 흡수되고 겉보기 밝기에 기여하지 못한다.

더 복잡한 방식을 적용할 수 있고, 이때 예를 들면 물체의 표면에서의 반사를 고려할 수 있다. 만일 광자가 표면 또는 광학 계면에 입사하면, 새로운 난수가 발생되고, 이 난수에 의존해서 반사 확률(R)이 발생하거나 발생하지 않는다. 반사가 발생하는 경우에, 광자는 반사 법칙에 따라서 그 전파 방향을 변경한다. 확산 또는 산란 반사의 경우에, 광자의 새로운 전파 방향은 다른 난수 집합의 도움으로 결정될 수 있다. 예를 들면, 광자의 편향 확률은 물체의 편향 분포로부터 결정될 수 있다. 반사가 발생하지 않는 경우에, 광자의 흡수 확률에 지정되는 다른 난수가 결정되고, 이 추가의 난수에 의존해서 광자가 매체 또는 물체로부터 흡수되거나 광자가 물체의 출구 인터페이스로 계속하여 전파한다. 물체의 출구 인터페이스에서, 출구 표면/광학 계면에서의 반사가 발생하면, 또는 광자가 통과하면 광자가 시험될 수 있다. 직접 반사광은 그 위치가 반사 방향의 역추적에 의해 결정될 수 있는 가상 물점의 경우에, 또는 원래 입사 방향을 고려해서 발생한다. 광자가 가상 관측자 창으로 전파할 수 있는 그러한 가상 물점, 즉 그 겉보기 밝기 값이 0이 아니거나 그 위치가 재구성 체적을 넘지 않는 그러한 가상 물점만이 고려될 필요가 있다. 그러한 위치가 재구성 체적 외측에 위치되는 경우에, 가상 물점은 재구성될 재구성 체적의 테두리를 통과하는 연장된 광선의 교차점의 지역 내에서 발생될 수 있고, 이것은 그러나 원근 왜곡(perspective distortion)을 발생한다. 물론, 이것은 재구성 체적의 외측에 위치된 실제 물점에 대해서도 또한 가능하다. 이 물점들은 그에 따라서 재구성 체적의 배경에 투사 또는 이미지화된다. 광자가 그들의 경로에서 굴절된 경우에, 이것은 대응하는 물점의 명백히 다른 위치에서 발생한다. 물점의 새로운 위치는 굴절된 빔의 역추적 또는 광자가 전파하는 경로에 의해 또한 결정될 수 있다. 일반적으로, 방사(투명 광원)에 의해 가상 관측자 위치의 방향을 향하는 물점으로부터 발생된 광자 또는 가상 관측자 위치의 방향을 향하여 매체 또는 물체의 표면에서 산란 방식으로 반사된 광자만이 물점의 실제 밝기에 대하여 고려된다. 그러한 물점과 가상 관측자 위치 사이에 다른 물체 또는 매체가 존재하지 않으면, 가상 관측자 위치에 접근하는 광자의 수는 그러한 물점의 겉보기 밝기를 나타낸다.

투명 물점은 불투명 물점과 같은 방식으로 가상 물점을 발생할 수 있다.

투명 물체의 겉보기 밝기는 물체에서 광의 산란 또는 회절에 의해 또한 영향을 받을 수 있다. 이 효과는 투명 물체를 고려할 때 본 발명에 따른 방법으로 이것이 행하여지는 것과 유사한 방식으로 바람직하게 고려된다.

특히 재구성될 3차원 장면이 고해상도를 포함하고 다수의 광자가 계산되어야 하는 경우에, 그러한 추계학적 방법의 응용이 높은 계산 시간 및 다수의 컴퓨터 메모리를 필요로 하는 경우가 있을 수 있다. 그러므로, 그러한 추계학적 방법은 실시간으로 실행될 수 없을 것이다. 그러나, 복잡하거나 복합적인 장면을 가진 경우에도, 단순한 알고리즘이 적용될 수 있고, 광자의 계산은 병렬 처리로 실시될 수 있다. 그러므로, 그러한 방법은 정적 장면 또는 홀로그래픽 비디오가 실시되어야 하는 경우에 특히 적용될 수 있다. 그러므로 이것은 하드 카피를 발생하거나 또는 마스터를 발생하는 경우에 진실이다.

양호한 실시형태에 있어서, 물점과 가상 관측자 위치 사이에 위치된 적어도 하나의 단일 물체의 적어도 하나의 투명도 값이 개별 물점의 겉보기 밝기 값 또는 겉보기 밝기 및 색도 값의 계산시에 증폭된 형태 또는 약화된 형태로 고려되어 그 물점의 가시성을 개선하거나 감소시킨다.

장면의 영역 또는 지역의 자연적인 발생에 비하여 다른 겉보기 밝기 및/또는 다른 겉보기 색도를 포함한 장면의 지역 또는 영역이 재구성될 수 있다. 그러므로, 그러한 지역의 가시성은 그 외관이 증폭되거나 약화되거나 억압되거나 및/또는 변경될 수 있다. 그러므로, 장면의 변경된 지역만이 장면의 완전한 재계산 없이 변경되도록, 그들의 외관이 변경되거나 조작되어야 할 장면의 지역들이 일시적으로 저장(예를 들면, 컴퓨터 메모리에)될 수 있게 하는 본 발명에 따른 방법으로 알고리즘이 구현될 수 있다. 본 발명의 방법이 WO 2006/066919 A1에 기술된 것처럼 홀로그래픽 인코딩 값의 계산을 위해 서브홀로그램에 적용되는 경우에, 조작 전의 장면의 각 지역의 물점의 서브홀로그램들만이, 서브홀로그램의 합산이 발생되고 조작 후에 변경된 물점의 홀로그램이 서브홀로그램의 합산에 추가될 수 있을 때, 감산될 수 있다. 예를 들면, 조작의 제어는 적어도 하나의 관측자와 함께하는 상호작용의 결과로서 실시될 수 있다. 재구성될 3차원 장면의 단일 지역의 외관 조작은 예를 들면 장면의 단일 물체 또는 지역의 투명 특성을 변경함으로써 변경되어 의료 응용에서 기관(organ)의 시각화 내의 병리학적 지역을 강조할 수 있다.

본 발명의 추가의 양태에 있어서, 본 발명의 방법은 사운드 재생 시스템과 관련하여 사용되는 인코딩 값을 계산하는데 적용될 수 있다. 사운드 재생 시스템은 적어도 2개의 사운드 발생 수단을 포함하고, 사운드 재생 시스템은 3차원 장면의 공간적 및 시간적으로 변화하는 음가(sound value)를 포함한 3차원 음장을 재구성하기 위해 사용된다. 3차원 장면은 흡음 특성을 가진 물체를 포함한다. 3차원 음장의 재구성은 적어도 하나의 청취자 귀에서 지각되도록 만들어진다. 이 방법은 하기의 단계들을 포함한다:

h) 3차원 장면이 복수의 개별 물점으로 나누어진다. 개별 물점은 사운드에 영향을 줄 수 있다. 이들 물점의 좌표가 결정된다.

i) 3차원 장면이 음향적으로 명백하게 지각되는 선택된 청취자 귀의 위치와 대응하는 가상 청취자 위치가 결정된다.

j) 가상 청취자 위치의 방향으로 다른 충분히 흡음성이 있는 물점에 의해 충분히 커버되지 않은 모든 물점이 결정된다.

k) 가상 청취자 위치로부터의 방향에 위치된 모든 물점이 가상 청취자 위치까지의 거리에 의해 분류된다.

l) 음향에 영향을 줄 수 있는 각 물점의 위치에서 실제 소리크기, 피치 및 사운드 통과 시간이, 만일 가능하다면, 가상 청취자로부터 물점이 지각되는 각도로 그 물점들의 위치에서 장면의 모든 실제 및 가상 음원의 위치 및 강도를 고려해서 결정되고, 이때 실제 및 가상 음원을 포함한 물체의 물리적 속성이 고려될 수 있다.

m) 사운드에 영향을 줄 수 있는 각 물점에 대하여, 사운드가 가상 청취자 위치에서 지각되는 겉보기 소리크기, 피치 및 사운드 통과 시간이 사운드에 영향을 줄 수 있는 물점 위치에서의 실제 소리크기, 피치, 및 사운드 통과 시간과; 가상 청취자 위치까지의 거리; 및 물점과 가상 청취자 위치 사이에 위치된 모든 물체 또는 물점의 흡수 특성을 고려하여 결정된다.

n) 상기 소리크기, 피치 및 사운드 통과 시간을 포함한 각 음가는 사운드 재구성 시스템에 의한 그 재구성이 상기 겉보기 소리크기 값, 피치 및 사운드 통과 시간을 가진 가상 청취자 위치의 장소에서 지각될 수 있도록 별도로 인코드된다.

음원과 청취자 귀 사이에 위치된 장면의 흡수 물체는 사운드의 소리크기를 감소시켜서 음원이 실제 존재하는 곳보다 관측자의 귀가 위치하는 곳에서의 인식이 더 조용하게 한다. 사운드 반사 표면 또는 물체는 추가적인 가상 음원을 발생할 수 있다. 그러한 반사되는 사운드는 음원의 사운드가 청취자의 귀에 직접(즉, 반사 없이) 도달하는 것에 비하여 나중에 도달할 수 있고(즉 다른 위상 또는 다른 사운드 통과 시간 또는 방향에서), 이것에 의해 홀 효과 또는 에코 효과를 발생한다. 사운드 또는 사운드 통과 시간의 이러한 위상 지연은 흡음 매체 내에서 사운드의 속도에 의해 영향을 받는다. 발진 또는 진동이 가능한 장면의 물체들은 입사 사운드에 의해 발진/진동하도록 유도되어 가상 음원을 발생할 수 있다.

사운드의 현실성있는 인식을 위하여, 관측자의 좌측 귀에 대한 사운드 부분과 우측 귀에 대한 사운드 부분을 별도로 계산 및 인코딩하는 것이 본 발명에 따른 양호한 실시형태에서 실시된다.

3차원 장면을 위한 인코드된 사운드 분포의 재구성은 개별적인 사운드 발생 수단 분야의 도움으로 실시될 수 있고, 이 분야는 더 높은 해상도를 포함하고, 단일 사운드 발생 수단은 그들의 위상 관계와 관련하여 동기적으로 제어가능해야 한다. 또한, 사운드 발생 수단은 발생되는 사운드와 관련하여 더 높은 주파수 스펙트럼을 가져야 한다. 각각의 또는 적어도 하나의 사운드 발생 수단의 사운드 발생 특성은, 사운드 발생 수단의 인코딩 값의 계산이 실시될 때 사운드가 발생되는 사운드 재생 시스템의 음향 특성 및 볼륨과 함께 별도로 고려될 수 있다.

그러므로, 광학적 인식, 즉 3차원 장면의 겉보기 밝기 또는 겉보기 밝기와 색도 값과 관련하여 3차원 장면의 계산 및 인코딩 및 재구성을 결합하는 것이 특히 양호하고, 이것은 예를 들면 청구항 1 내지 청구항 7에 개시되어 있다. 이것에 추가하여, 그러한 3차원 장면의 사운드의 재구성은 동시에 계산, 인코드 및/또는 재구성된다. 다시 말해서, 가상의 소리크기, 피치 및 사운드 통과 시간은 청구항 1 내지 청구항 7 중의 어느 한 항에 따른 겉보기 밝기 또는 겉보기 밝기와 색도 값의 계산 및 인코딩에 추가해서 청구항 8에 따라 계산 또는 인코드된다.

홀로그래픽 시스템, 예를 들면 홀로그래픽 프로젝터 장치와 사운드 발생 수단의 분야 또는 배열이 사용된다. 예를 들면 관측자가 이동할 수 있는 체적 내에서 가상 장면을 발생할 수 있다. 재구성은 이 체적 내에서 그의 이동에 따라 추적되고, 또는 장면이 관측자의 전체 이동 공간에 대하여 계산 및 재구성되어 관측자가 이 체적 내의 모든 위치로부터 3차원의 재구성된 장면을 현실감있게 보고 들을 수 있다.

본 발명에 따른 방법은 실제 또는 겉보기 밝기 값 또는 실제 또는 겉보기 색도 값 및/또는 실제 또는 겉보기 소리크기 값, 피치 및 사운드 통과 시간이 결정된 때 광선 추적 또는 광선의 계산으로만 제한되지 않는다. 이 방법을 실시하기 위한 분석은 광의 파 특성을 고려하는 방법 즉 유한 요소법(finite element method; FEM)을 또한 포함할 수 있다. 유한 요소법의 방법은 3차원 물리적 처리, 예를 들면 온도 분포 또는 기계적 장력(tension) 또는 기계적 응력(stress)의 분포의 시뮬레이션과 함께 유리하게 적용될 수 있고, 3차원 분포의 재구성은 가색조 시각화(false colour visualization)에서 실시된다.

청구항 1 내지 청구항 9 중 어느 한 항에 따른 방법을 실시하기 위해, 컴퓨팅 유닛은 단일 방법 단계를 최적의 방법으로 실시하도록 적응될 수 있다. 그러므로, 본 발명에 따르면, 3차원 장면의 재구성을 위해, 광학적 광 변조기(SLM) 및/또는 홀로그래픽 시스템의 사운드 발생 수단 및/또는 사운드 재생 수단의 인코딩 값들을 각각 계산하는 컴퓨팅 유닛이 제공된다. 3차원 장면은 투명 광학 특성 및/또는 흡음 특성을 가진 물체를 포함하고, 적어도 하나의 관측자 눈 및/또는 적어도 하나의 청취자 귀에 대하여 재구성된다. 컴퓨팅 유닛은 청구항 1 내지 청구항 9 중 적어도 하나의 방법을 실시한다.

이러한 컴퓨팅 유닛은 적어도 하나의 프로그래머블 프로세서 코어 및/또는 임의 유형의 적어도 하나의 프로그래머블 논리 장치(PLD:programmable logic device) 및/또는 적어도 하나의 주문형 집적회로(ASIC:application-specific integrated circuit) 및/또는 적어도 하나의 디지털 신호 프로세서(DSP:digital signal processor)를 포함한다. 상기 장치들은 적어도 2개가 하나의 집적 회로로 결합될 수 있다.

컴퓨팅 유닛은 예를 들면 프로그램 코드 및/또는 데이터 저장 수단, 전원, 동작 상태 및/또는 계산 결과의 제어 및 시각화 수단과 같은 추가의 컴포넌트를 포함할 수 있다.

이 컴퓨팅 유닛은 3차원 장면의 재구성을 위한 디스플레이의 시스템 제어기의 일부, 예를 들면 홀로그래픽 디스플레이, 홀로그래픽 3D-TV 장치, 3D 게임 장치, 홀로그래픽 데이터의 시각화/재구성이 가능한 모바일 장치, 및/또는 3차원 사운드 분포/음장을 재구성하는 장치일 수 있다. 컴퓨팅 유닛은 전자 컴퓨팅 장치 또는 3D 장면을 수신 및/또는 발생 및/또는 저장하는 다른 장치와 3차원 음장을 재생하는 홀로그래픽 디스플레이 장치 및/또는 시스템 사이에 접속된 별도의 유닛으로서 제공될 수 있다.

이 컴퓨팅 유닛은 3차원 장면을 계산하기 위해 사용될 수 있는 일반 컴퓨팅 시스템의 일부일 수 있다.

컴퓨팅 유닛은 다른 기술, 예를 들면 광학적 방법으로 동작되는 컴퓨팅 유닛(예를 들면, 양자 컴퓨터(quantum computer) 및 전자식으로 수행되는 계산에 기초를 두는 컴퓨터 유닛)의 일부를 포함할 수 있다. 만일 이러한 컴퓨팅 유닛이 병렬 처리 수단으로서 동작할 수 있는 다수의 컴퓨팅 유닛을 포함하면 특히 유리하다.

본 발명의 목적, 기술 및 구조의 완전한 이해를 위해, 이제 하기의 상세한 설명 및 첨부 도면을 참조하기로 한다.

첨부 도면은 불투명 및 투명 물체를 포함한 단순 3차원 장면의 모습을 개략적으로 보인 도이다.

홀로그래픽 시스템 또는 홀로그래픽 디스플레이 장치(도시되지 않음)에 의해 재구성되는 3차원 장면은 불투명 물체(200)와 투명 물체(300)를 포함한다. 2개의 물체(200, 300)는 복수의 개별 물점으로 나누어질 수 있다(도면에는 나타나지 않음). 확산 백색 광원(도시되지 않음)은 모든 방향으로부터 균일하게 3차원 장면을 조명한다. 광원의 광선(101~110)은 도면에서 개략적으로 도시되어 있다. 3차원 장면은 관측자의 눈(400)에 대하여 재구성된다. 관측자의 눈(400)이 3차원 장면을 명백하게 인식하는 장면 내의 위치는 역시 참조 번호 400으로 표시된 가상 관측자 위치가 되도록 결정된다. 가상 관측자 위치(400)와 관련하여 물체(200)의 뒤쪽(즉, 가상 관측자 위치(400)로부터 보았을 때 물체(200)의 뒤쪽)에 위치된 물점들은 물체(200)의 시각화에 기여하지 못하고, 따라서 계산 또는 인코드될 필요가 없다. 도면에 도시된 이러한 단순한 장면은 반사면을 가진 물체를 포함하지 않고, 이 장면은 또한 지향성 광 방사 특성을 가진 광원을 포함하지 않는다. 그러므로, 가상 물체 또는 가상 광원은 장면에서 발생하지 않는다. 백색광에 의한 3차원 장면의 확산 조명 때문에, 물체(200, 300)는 그들의 실제 위치에 위치된 관측자에 의해서 및 물체(200, 300)의 물질 특성과 관련된 그들의 색도 값에 따라서 지각된다. 물체(200)는 도시된 예에서 황색을 포함한다. 백색광의 광도의 청색 부분은 물체(200)에 의해 흡수된다. 백색광의 적색 및 녹색광은 모든 방향으로 완전하게 보내진다. 불투명 물체(200)의 가시성 물점은 만일 투명 물체(300)가 3차원 장면에서 나타나지 않으면 황색에서 IAo=IAo_r + IAo_gr인 그 실제 강도(510)로 가상 관측자 위치(400)에서 지각될 것이다. IAo_r 및 IAo_gr은 불투명 물체(200)의 물점으로부터 가상 관측자 위치(400)로 오는 지향성 광의 겉보기 강도 또는 실제 색도 값이다. 청색의 강도 부분(intensity portion) 또는 색도 값(IAo_b)은 0과 같다. 실제 강도의 절대치는 확산 조명의 밝기로부터 또한 결정된다. 도면의 3차원 장면에서 나타나는 투명 물체(300)는 투명도가 각각 Tr=0.5 및 Tb=0.5인 적색 광과 청색 광을 포함한다. 녹색 광의 강도 부분은 투명 물체(300)에 의해 완전히 흡수된다. 즉, 녹색 광의 투명도는 청색광의 Tgr=0.50%이고, 적색 광의 50%는 투명 물체(300)에 의해 흡수되며, 청색 광 및 적색 광의 50%는 투과된다. 따라서, 가상 관측자 위치(400)의 위치에서 불투명 물체(200)의 물점이 지각되는 겉보기 강도(ISo)(520)는 ISo = Tr*IAo_r + Tgr*IAo_gr + Tb*IAo_b = 0.5*IAo_r이다. 도면의 예에서, 불투명 물체(200)의 관측된 물점은 가상 위치(400)에서 적색 강도 부분의 절반의 강도를 가진 적색으로 지각된다. 이러한 물점은 3차원 장면의 홀로그래픽 재구성 중에 이 강도 값에 의해 계산 및 인코드된다.

투명 물체(300)의 물점은 가상 관측자 위치(400)의 방향으로부터 볼 때 보라색을 포함한다. 실제 강도(IAt)(530)는 확산 백색 광원의 적색 광, 녹색 광 및 청색 광의 3개의 강도 부분(Ir, Igr, Ib)을 이용하여 IAt = 0.5*Ir + 0.0*Igr + 0.5*Ib로 계산될 수 있다. 추가의 투명 물체는 투명 물체(300)와 가상 관측자 위치(400) 사이에 존재하지 않는다(IAt=ISt). 그러므로, 투명 물체(300)의 실제 밝기는 또한 겉보기 밝기이다. 투명 물체(300)의 물점은 3차원 장면을 재구성하는 동안 이 밝기 값을 이용하여 계산 및 인코드된다. 도면에 따르는 이 간단한 예에서, 물체의 광학 계면상의 반사는 고려되지 않았다. 또한, 매체 내의 광로에 의존하는 투명도의 변화는 무시되었다.

불투명 물점은 불투명 물체가 장면 내의 광원의 광을 차폐 또는 커버할 수 있기 때문에 가상 관측자 위치의 방향을 향하여 위치된 투명 물점의 실제 및 겉보기 밝기 및/또는 실제 및 겉보기 색도에 또한 영향을 준다는 점에 주목한다.

더 정확한 물리적 효과는 이미지 합성을 실시하는 동안 고려될 수 있고, 3차원 장면의 더 현실성있는 뷰가 발생될 수 있다.

특히 3차원 장면의 3차원 지각(perception)이 재구성될 수 있도록 관측자의 모든 눈에 대한 다른 뷰가 발생된다. 재구성된 홀로그램이 넓은 시야각에서 동시에 보여지는 경우에, 예를 들면 하드카피의 경우에, 서로 다른 가상 관측자 위치에 대한 복수의 뷰가 계산되고, 인접 뷰의 뷰로부터 중간 위치에 대한 뷰를 보간할 수 있다. 그렇게 함으로써, 3차원 장면이 가상 관측자 위치에 의해 변경될 수 있다(다중 홀로그램). 단일 뷰의 계산은 병렬 방식으로 순차적으로 및/또는 바람직하게 수행될 수 있다. 관측자의 하나의 눈에 대한 가상 관측자 위치는 관측자 위치가 변경되는 경우에 관측자의 이동에 적응될 수 있다.

불투명 물체(200)와 투명 물체(300)의 가시적인 물점이 별도로 인코드되기 때문에, 관측자는 그의 눈을 각각의 단일 물체(200, 300)에 개별적으로 촛점을 맞출 수 있고, 3차원 장면의 물체를 바라볼 때 눈의 집중과 원근조절 사이에 미스매치가 없기 때문에 재구성된 3차원 장면을 눈의 피로가 거의 없이 관측할 수 있다. 그러므로, 관측자는 재구성된 3차원 장면을 왜곡 없이 그의 자연적인 눈의 이동으로 관측할 수 있다.

본 발명에 따른 3차원 장면의 계산을 실시하는 동안, 그러한 장면을 계산하기 위해 공지의 홀로그램 라이브러리를 이용할 수 있다. 그러한 홀로그램 라이브러리는 예를 들면 오픈GL, 다이렉트3D 또는 XNA-프레임워크이다. 예컨대 룩업 테이블(LUT)의 사전 계산된 값 또는 중간 값의 보간에 접근하기 위해 공지의 수학적 방법을 이용할 수 있다.

지금까지 본 발명을 특정 실시형태와 관련하여 설명하였지만, 이 기술에 숙련된 사람이라면 전술한 설명에 비추어 여러 가지 대안예, 수정예 및 변형예가 가능하다는 것을 이해할 것이다. 따라서, 본 발명은 첨부된 청구범위 내에 있는 그러한 모든 대안예, 수정예 및 변형예를 포괄하는 것으로 의도된다.

부 록

이하의 설명은 위에서 언급한 본 발명에 관한 추가의 정보를 설명하기 위해 제공된다. 정보가 부록으로만 제공되고 위의 설명에서 제공되지 않지만, 이 부록은 본 출원의 일부를 구성한다는 점에 주목한다.

홀로그래픽 디스플레이에서 콘텐츠를 실시간으로 생성, 인코딩 및 상연하기

재고(off-the-shelf) 하드웨어와 함께 SeeReal의 서브홀로그램 기술을 이용하여 실시간으로 인코드된 대화식 또는 비디오 콘텐츠로 홀로그래픽 디스플레이를 구동하는 솔루션이 논의된다. 콘텐츠 측 및 홀로그래피 측 모두로부터 홀로그램의 투명성에 관한 양태들을 포함한 복합 콘텐츠를 정확히 생성하는 가이드라인이 제시된다. 컴퓨터 발생 홀로그램을 생성하는 종래의 방법은 계산력(computation power)을 급속히 감소시키기 위해 서브홀로그램을 이용하는 우리의 솔루션과 비교하여 논의된다. 마지막으로, 컴퓨팅 플랫폼 및 우리들의 20 인치 다이렉트 뷰 홀로그래픽 프로토타입(prototype)의 명세서가 제시될 것이다.

1. 서문

CGH(컴퓨터 발생 홀로그램)를 발생하기 위한 종래의 방법은 계산력의 대량 소모 때문에 대화식 응용에 잘 적합되지 않는다. 그래서, 종래의 방법을 이용해서 정지 화상 또는 사전 계산된 비디오만이 구현되었다. 3D 스테레오와 비교하여 3D 홀로그래피의 중요한 잇점을 실현하기 위해, 대화식 콘텐츠가 중요하고, 이것은 전문 설계, 3D 게임 또는 3D TV와 같은 전형적인 3D 애플레케이션을 3D 홀로그래피의 뷰잉 안락성과 결합하는 로드맵을 제공한다. 따라서, 고성능 컴퓨팅 하드웨어를 필요로 하지 않고 실시간 홀로그래픽 계산을 위한 솔루션이 필요하다.

이 논문은 흥미를 끄는 대화식 홀로그래픽 응용을 생성하기 위한 일부 배경을 제공할 것이다. 또한 그래픽 처리 유닛 또는 현장 프로그램가능 게이트 어레이를 효과적으로 사용하기 위한 우리의 신규 서브홀로그램 기술의 적응이 논의될 것이고, 이것은 실시간으로 홀로그램의 계산을 가능하게 한다.

2. 실시간 홀로그래피

이 장에서는 홀로그래피에 대한 개관을 제공하고, 특히 종래의 방법을 SeeReal로부터의 신규 서브홀로그램 기술과 비교하며, 이것은 큰 홀로그램을 실시간으로 계산하는 기초가 된다.

2.1 왜 홀로그래피인가?

3D 스테레오와 비교하여 홀로그래피는 깊이 촛점과 컨버전스 사이의 뎁스큐(depth-cue) 미스매치의 문제점을 극복한다. 이러한 소위 원근조절-컨버전스 미스매치는 짧은 방위 손실이 발생하더라도 피로 또는 두통을 유발하고, 그래서, 3D 스테레오에 의해 작은 깊이 범위만이 실현되어야 하고 차단(break)없이 3D 스테레오를 소비하는 시간이 또한 매우 제한되어야 한다².

이와 대조적으로 홀로그래피는 매우 큰 깊이 범위를 가능하게 하는 자연적인 3D 뷰잉과 같고, 눈이 보여지는 물체에 촛점을 맞추고 집중할 수 있기 때문에, 역효과는 없다. 홀로그램을 주시할 때, 촛점이 맞춰진 물체는 선명하게 보이고 다른 거리에 있는 다른 물체들은 실생활에서처럼 흐릿하게 보일 것이다. 눈들이 물체에 집중하지만 디스플레이 자체에 촛점이 맞추어지는 3D 스테레오에 있어서, 미스매치가 발생하고, 이것은 위에서 이미 설명한 효과들을 유도한다(도 1a 참조).

이것은 많은 응용 분야, 즉 전문적 3D 설계, 3D 게임 및 3D 텔레비전에 대하여 더 나은 옵션이기 때문에, 홀로그래피가 현재 급속이 개발중인 3D 스테레오 시장에서 다음의 큰 단계가 되는 이유이다.

다음 섹션에서는 홀로그램을 생성하는 종래의 방법을 소위 서브홀로그램이라고 하는 SeeReal의 신규 솔루션과 비교한다. 서브홀로그램을 사용함으로써 크고 깊은 홀로그램을 실시간으로 계산할 수 있고, 이것은 재고 하드웨어 컴포넌트를 이용한 홀로그래픽 디스플레이에서 대화식 콘텐츠를 실현할 수 있게 한다.

도 1을 참조하면, 도 1(a)는 3D 스테레오와 자연적인 뷰잉/홀로그래피 사이의 차, 즉 3D 스테레오에 대하여 양 눈이 소정 깊이의 물체에 집중하지만 디스플레이 평면에 촛점이 맞추어지고, 자연적인 뷰잉 및 홀로그래피에 대하여 촛점 및 컨버전스가 동일한 것을 도시하고 있다. 도 1(b)는 종래의 홀로그래피의 원리, 즉 코히어런트 광원에 의해 조명될 때 복수의 큰 중첩하는 회절 무늬가 복수의 장면 점(scene-point)을 재구성하고 재구성이 규정된 뷰잉 구역(viewing-zone)에서 보여질 수 있는 것을 도시하고 있다.

2.2 종래의 방법 대 서브홀로그램

홀로그램은 일반적으로 복합 회절 무늬이다. 코히어런트 광원에 의해 조명될 때, 장면 점들로 이루어진 3D 장면이 재구성되고, 이것은 공간 내의 규정된 지역에서 볼 수 있다(도 1b 참조).

컴퓨터 발생 홀로그램(CGH)을 계산하는 종래의 방법은 일반적으로 하기의 방식에 기초를 둔다: 홀로그램 내의 각 픽셀은 각각의 재구성된 장면 점에 기여한다. 이것은 장면의 각 장면 점에 대하여, 풀 홀로그램의 크기를 가진 회절 무늬가 계산되어야 함을 의미한다. 이 개별적인 홀로그램은 복합 겹침에 의해 모두 함께 가산되어 완전한 장면을 나타내는 홀로그램을 생성한다.

이제, 도 2를 참조하면, 도 2(a)는 종래의 방법을 사용할 때, 큰 뷰잉 구역이 생성되지만, 관측자의 눈이 있는 위치에서는 사실상 작은 부분만이 필요하고, 따라서 대부분의 계산된 정보가 허비되는 것을 도시하고 있다. 도 2(b)는 서브홀로그램을 이용할 때 본질적인 정보만이 계산되는 것을 도시하고 있다. 또한, 홀로그래픽 디스플레이의 해상도는 훨씬 더 낮고 오늘날의 제조 능력에 잘 부합된다.

이러한 종래의 홀로그램은 한편으로 매우 큰 뷰잉 구역을 제공하지만, 다른 한편으로는 재구성될 매우 작은 픽셀 피치(즉, 약 1 ㎛)를 필요로 한다(도 2a 참조). 뷰잉 구역의 크기는 홀로그래피의 기본 원리인 회절광의 간섭 때문에 픽셀 피치에 의해 직접 규정된다. 뷰잉 구역이 충분히 클 때, 양 눈은 자동으로 다른 원근감을 감지하고, 그래서 양 눈은 복수의 사용자가 3D 장면의 재구성을 독립적으로 볼 수 있다 하더라도 동일한 지점에서 촛점을 맞추고 집중할 수 있다.

종래의 홀로그램에 있어서, 각 장면 점에 대하여 계산할 픽셀의 양은 막대하다. 유용한 디스플레이 크기로 작은 피치를 제공하는 디스플레이 기술이 부족하다는 것 외에, 이 기술은 매우 큰 계산력을 필요로 할 것이다. 또한, 그러한 방대한 양의 데이터의 취급은 데이터 전송률, 메모리 등과 관련한 더 많은 문제점을 유도한다. 이것은 종래의 방법을 이용한 실시간 홀로그래피가 예견되는 미래에서 왜 상업적으로 생존할 것 같지 않은지에 대한 핵심 이유이다. 이러한 기술적 제한 때문에, 하드카피 또는 화학 필름과 같은 스틸(still)만이 지금까지 데스크톱 또는 TV형 응용에 적합한 크기로, 조정가능한 기술에 의해 실현될 수 있었다.

도 2b를 참조하면, 종래의 홀로그램에서 계산된 정보의 대부분은, 눈에 실제로 보이는 정보만이 실제로 필요하기 때문에, 허비된다는 것을 알 수 있다. 그래서, 전체 뷰잉 구역을 계산하는 대신에, 관측자 눈의 위치에서 특수한 3D 장면 점, 즉 서브홀로그램(SH)을 재구성하는 책임이 있는 필요한 홀로그램 부분만이 계산되게 한다. 이러한 감소된 뷰잉 구역은 소위 뷰잉 윈도우(Viewing-Window; VW)이다(도 3 참조).

이러한 뷰잉 구역의 크기 감소는 픽셀 피치의 증가에 의해 행하여진다. 즉, 다른 파라미터와 함께 픽셀 피치는 뷰잉 구역의 크기를 규정한다. 다른 장면 점의 SH를 중첩(추가 또는 겹침)시킴으로써, 고밀도 장면 점을 가진 홀로그래픽 3D 장면이 재구성되고 VW의 위치에서 보여지게 된다(도 3 참조).

반면에 증가된 픽셀 피치는 픽셀 수를 크게 감소시켜서 현재의 디스플레이 기술을 다른 동기부여(motivation)로서 사용할 수 있게 한다. 그러나, 작은 VW의 사용은 관측자의 눈의 이동에 따라 VW를 편이시키도록 고속의 신뢰성있는 매우 정밀한 눈 추적 시스템의 필요성을 암시한다. 그러한 눈 추적 시스템은 이미 개발되어 있지만, 현재의 SeeReal은 홀로그래픽 프로토타입에 통합된 그 자신의 눈 추적 솔루션을 이용하고, 이것은 SID, FPD 요코하마 및 파인테크(Finetec)와 같은 공개 이벤트에서 SeeReal에 의해 증명되었다.

도 3을 참조하면, 홀로그램의 작은 부분, 즉 서브홀로그램만이 감소된 뷰잉 구역에서 하나의 단일 장면 점, 즉 뷰잉 윈도우를 재구성할 필요가 있음을 나타내고 있다. 복수의 서브홀로그램을 겹침으로써, 전체 장면을 나타내는 홀로그램이 발생되고 뷰잉 윈도우의 공간 내 위치에서 재구성된다.

계산력이 얼마나 많이 절약되는지의 예를 들기 위해, 양자의 방법이 예시적인 상황을 이용하여 일반적으로 비교되었다.

40 인치 SLM(800 mm × 600 mm)을 갖기 위해, 하나의 관측자가 2 m의 거리에서 디스플레이를 주시하고, 뷰잉 구역이 수평 및 수직 방향으로 +/- 10°로 되며, 콘텐츠가 전방으로 1 m 및 홀로그램 뒤의 비제한 거리의 범위 내측에 위치되고, 홀로그램이 HDTV 해상도(1920×1080 장면 점)로 장면을 재구성하고 파장이 500 nm라고 가정하면, 특정의 상황이 관리되어야 한다.

여기에서, 종래의 방법에 대하여, 계산은 이러한 대형 홀로그램을 위하여 가장 효율적인 방법을 적용하기 위해 퓨리에 변환에 기초를 두고, 이를 위해 256 단계의 장면 점에 대하여 깊이 양자화를 갖는 것으로 추정된다. SH 방법에서는 각 눈에 하나씩 2개의 독립 홀로그램을 계산할 필요가 있다.

요약하자면, 양자의 방법은 개별 관측자 위치에 대하여 동일한 결과를 제공하지만, 광 변조기, 프레임 크기 및 계산력과 관련한 중요한 차이를 명확히 알 수 있다.

계산력을 더욱 감소시키기 위해, 소위 단일 시차(parallax) 홀로그램이 사용될 수 있고, 여기에서 SH의 크기 및 홀로그래픽 시차는 1차원으로 감소된다. 이것은 수직 또는 수평 방향에 대하여, 소위 수평 시차만(horizontal-parallax-only; HPO) 또는 수직 시차만(vertical-parallax-only; VPO)의 홀로그램에 대하여 가능하다³. 반시차(half-parallax) SH를 각 눈의 다른 뷰와 혼합함으로써, 예를 들면 수직 홀로그래픽 시차를 수평 스테레오 시차와 혼합함으로써, 낮은 계산 필요성을 가진 실시간 비디오 홀로그램이 생성될 수 있다⁸. 지각되는 단일 시차 재구성의 제한은 만일 잘 이해되고 홀로그래픽 콘텐츠에 통합되면 관측자에게 보이지 않을 수 있다.

종래의 방법과 서브홀로그램법의 비교

	종래의 홀로그램	전시차 서브홀로그램 및 추적된 뷰잉 윈도우에 기초한 홀로그램
SLM 픽셀 피치 뷰잉 윈도우/뷰잉 구역	1.4 ㎛ 700mm×700mm/700mm×700mm	100 ㎛ 10mm×10mm/>700mm×700mm
깊이 양자화 픽셀의 홀로그램 해상도	256 단계 ~572K×429K ≒246 GPixel	∞ 8000×6000 ≒48 MPixel
1 홀로그램 프레임에 대한 메모리(홀로그램 픽셀당 2×4 바이트) 1 단색 프레임에 대한 부동 연산(Float-operation)	1968 GByte ~33 페타플롭(최적화 FFT 기반 계산을 이용함으로써)	2×384 MByte(각 눈에 하나씩 2개의 홀로그램) 2×182 기가플롭(직접 서브홀로그램 계산을 이용함으로써)

전시차(full parallax) SH를 제공하는 홀로그램이 현장 프로그램가능 게이트 어레이(FPGA) 및 그래픽 처리 유닛(GPU)과 같은 오늘날의 최신 기술을 이용하여 SeeReal 알고리즘으로 취급될 수 있다 하더라도, 이것은 충분한 계산력을 제공한다. 이것은 다음 섹션에서 설명된다.

3. SeeReal의 홀로그래픽 처리 파이프라인

다음의 4개의 섹션은 위에서 설명한 서브홀로그램을 이용하여 홀로그래픽 3D 디스플레이에서 실시간 3D 콘텐츠를 보이기 위한 중요한 단계들의 개관을 제공한다.

도 4를 참조하면, 홀로그래픽 처리 파이프라인의 일반적인 개관이 나타나 있다. 도 4에 도시된 단계들은 우리의 홀로그래픽 소프트웨어 파이프라인을 규정하고, 이것은 하기의 모듈로 분리된다: 콘텐츠 생성으로 시작해서, 콘텐츠 생성기에 의해 생성된 데이터는 홀로그램 합성으로 넘겨지고, 여기에서 복소수 값 홀로그램이 계산된다. 그 다음에, 홀로그램 인코딩이 복소수 값 홀로그램을 기사용된 공간 광 변조기(SLM)에 호환되는 표시, 즉 홀로그래픽 디스플레이로 변환한다. 마지막으로, 후치 프로세서가 3개의 색조 성분에 대한 서로 다른 홀로그램과 디스플레이 유형에 따른 2개 이상의 뷰를 혼합하여 최종으로 결과적인 프레임이 SLM에서 제공될 수 있다.

4. 단계 1: 콘텐츠 생성

홀로그래픽 디스플레이에 대하여, 2개의 주요 유형의 콘텐츠가 구별될 수 있다. 첫째로, 3D 게임 및 3D 애플리케이션과 같은 실시간 컴퓨터 발생(CG) 3D 콘텐츠가 있다. 둘째로, 3D 카메라, 3D-TV 방송 채널, 3D 비디오 파일, 블루레이 또는 다른 미디어로부터의 동영상일 수 있는 실생활 또는 생활 동작(life action) 비디오 콘텐츠가 있다.

3D 게임 또는 3D 애플리케이션과 같은 대부분의 실시간 CG 콘텐츠에 대하여, 그래픽 처리 유닛(GPU)을 이용하는 현재의 3D 연출 API가 편리하다. 가장 중요한 것은 마이크로소프트의 다이렉트3D 및 오픈GL-API이다.

장면을 생성하고 연출할 때, 각각의 뷰에 대하여 픽셀과 함께 2D 맵(3D 연출 API에 대해서는 조직(texture))이 생성되고, 각 픽셀은 2D 위치와 함께 색조를 제공한다. 각 픽셀은 또한 대응하는 3D 장면의 장면 점으로서 보여질 수 있다. 이것은 양측의 API가 일반적으로 SeeReal의 홀로그래픽 처리 파이프라인에 의해 처리되는 콘텐츠를 발생하기에 매우 적합한 이유이다.

4.1 뷰, 색조 및 깊이 정보

SeeReal의 방법에 있어서, 각 관측자에 대하여 각 눈에 하나씩 2개의 뷰가 생성된다. 3D 스테레오에 대한 차이점은 각 뷰에 대한 추가적인 정확한 깊이 정보에 대한 필요성이고, 이것은 일반적으로 소위 깊이 지도 또는 색조 지도에 대한 z-맵 바운드로 공급된다. 각 관측자에 대한 2개의 뷰는 각 눈이 볼 것으로 기대되는 적당한 원근 뷰를 제공하기 위해 중요하다. 이들은 함께 컨버전스 정보를 제공한다. 각 뷰의 깊이 지도와 함께 제공되는 깊이 정보는 적당한 깊이에서 장면 점을 재구성하기 위해 사용되고, 그에 따라서 각 3D 장면 점은 공간 내의 정확한 위치에서 생성될 것이고, 그에 따라 사용자의 눈에 자연적인 3D 장면의 정확한 촛점 정보를 제공한다. 뷰는 독립적으로 및 다른 VW 내측에서의 3D 장면 및 사용자 위치에 따라 재구성되고, 그 다음에 각 관측자의 눈 위치에 배치된다.

제공된 깊이 정보는 깊이 지도에서 주어진 장면 점의 깊이 및 2개의 뷰의 시차에 의해 제공된 그 깊이 정보가 상관되어야 하기 때문에 매우 정밀해야 한다. 이것은 촛점과 컨버전스가 일치하도록 홀로그래픽 디스플레이의 뷰잉 체적의 우측 장소에서 장면 점을 재구성하기 위해 중요하다. 깊이 정보는 나중에 정확한 회절 무늬인 서브 홀로그램을 생성하기 위해 사용되고, 이것은 눈이 컨버전스 지점에서 정확히 촛점을 맞추게 한다.

4.2 가상 카메라

3D 스테레오에 또한 적용되지만 콘텐츠 생성자에 의해 가끔 과소평가되는 다른 중요한 점은 양 눈에 대한 뷰가 취해지는 정확한 3D 카메라 설정(실시간 3D 콘텐츠를 위한 실제 카메라 또는 가상 카메라)이다.

도 5를 참조하면, 카메라 설정 및 결과적인 재구성이 개략적으로 도시되어 있다. 양측 FOV(field of view; 시야) 및 CD(카메라 거리)와 CPD(컨버전스 평면 거리) 간의 관계가 설정된 ED/OD(눈 거리/관측자 거리)와 거의 같으면, 홀로그래픽 디스플레이가 제공되고 1:1 재구성이 달성될 수 있다.

컨버전스 정보가 기록되는 (가상) 카메라는 이상적으로 관측자가 그들의 눈으로 감시하는 것과 동일한 설정을 가져야 한다. 이것은 카메라가 디스플레이 평면에서의 컨버전스와 함께 눈의 위치에 배치되어야 함을 의미한다. 그 다음에, 원래의 장면이 기록되고 1:1로 재구성될 수 있다. 일반적으로 카메라 설정을 위한 파라미터들 사이의 관계는 홀로그래픽 디스플레이가 제공하는 설정과 거의 동일해야 한다. 즉 CD/CPD는 거의 ED/OD이어야 한다(도 5 참조). 카메라의 시야는 디스플레이 평면으로부터 관측자의 눈까지 펼쳐지는 거의 동일한 각도 영역을 제공해야 한다. 이러한 제한을 고려할 때에만, 장면이 재구성될 수 있고 "장면이 실제로 거기에 있는 것처럼" 보여진다. 그렇지 않으면, 장면이 유사하게 보이지만, 파라미터가 이상적이지 않은 것에 의존하여 약간 수정된 조망 또는 크기를 갖는다. 만일 파라미터가 양호한 기하학적 형상과 너무 차이가 있으면, 강한 조망 미스매치가 발생할 수 있다.

이러한 제한은 가상 카메라가 가상 공간에서 자유롭게 배치 및 모델링될 수 있기 때문에 실시간 컴퓨터 발생 3D 콘텐츠에 대하여 쉽게 고려될 수 있다. 이러한 가상 카메라는 전형적으로 3D 연출 API와 관련하여 소위 뷰 및 투영 메트릭에 의해 표시된다. 실세계(3D 카메라) 또는 오프라인 컴퓨터 발생 콘텐츠(즉, 컴퓨터 애니메이션 영화)에 있어서, 상기 언급한 제한은 이미지가 취해질 때 카메라 설정이 향후 변경되지 않을 수 있기 때문에 염두에 두어야 한다. 절충안은 다른 모든 조망이 발생되는, 색조 및 깊이 정보를 포함하는 하나의 중앙 조망으로부터 필요한 모든 뷰를 자동으로 발생하는 것이다¹⁰. 그러나, 주로 폐색 정보가 없기 때문에 품질의 손실이 있다는 것을 고려해야 한다. 단지 하나의 조망이 이용될 수 있기 때문에, 물체가 중앙 뷰에서 폐색되는 중요한 조망 정보는 다른 조망에서 이용될 수 없다. 그럼에도 불구하고, 실시형태는 데이터 스트림의 일부로서 폐색 데이터를 포함할 수 있다.

실시간 컴퓨터 발생 3D 콘텐츠에 있어서, 사용자 추적이 있는 홀로그래픽 디스플레이 앞의 실제 관측자 위치는 가상 카메라의 적당한 배치를 위해 사용될 수 있다. 뷰잉 윈도우 내에만 정보를 가진 SeeReal의 홀로그래픽 3D 디스플레이에 있어서, 관측자의 위치 및 이동에 대응하여 가상 카메라를 배치하고 천연 장면의 충분한 뷰잉 범위("둘러보기"(look around) 효과)를 제공하기 위해 눈 좌표에 대한 지식이 또한 사용될 수 있다. 이것은 정지 물체를 둘러볼 때 장면이 실재하는 것처럼 동일 장소에서 고정된 것으로 보인다는 것을 의미한다. 안락한 장기 3D 뷰잉을 위한 모든 자연적인 뎁스큐를 제공하는 것 외에, 이것은 동일한 큰 뷰잉 구역을 생성하고, 종래의 초고 해상도 홀로그램이 고유적으로 제공될 것이다. 또한, 이 특징은 가상 카메라 설정을 개선하기 위해 관측자의 눈 간격에 따라 가상 카메라의 거리를 적절히 설정하기 위해 사용된다. 둘러보기 효과는 모든 3D 콘텐츠에 대하여 바람직하지 않은 임의의(스위치 온/오프) 특징이다.

4.3 투명성

SeeReal의 홀로그래픽 처리 파이프라인의 유일한 특징인 관심있는 효과는 (반)투명 물체를 포함한 장면의 재구성이다. 유리 또는 연기와 같은 본질적으로 투명한 물체는 강도, 방향 또는 파장과 관련하여 광원으로부터 오는 광에 영향을 준다. 사실상, 눈은 투명 물체 또는 일부가 역시 투명 물체일 수 있는 뒤에 있는 물체들에 촛점이 맞추어질 수 있다.

이러한 재구성은 홀로그래피에 대한 SeeReal의 솔루션을 이용하여 달성될 수 있고, 하기의 방법으로 디스플레이 논증자(display demonstrator)에게서 실현되었다: 눈-디스플레이-광선(eye-display-ray)을 따라 다른 깊이에 배치된 복수의 장면 점들은 동시에 재구성될 수 있다. 이것은 홀로그램 내의 동일한 위치에서 다른 깊이 및 색조를 가진 3D 장면 점에 대한 복수의 SH의 겹침 및 눈이 그들의 개별 깊이에서 다른 장면 점에 촛점이 맞추어질 수 있음을 의미한다(도 6a 참조). 관측자 눈까지의 촛점 거리 내에 있는 장면 점은 선명하게 보이고, 그 뒤 또는 전방에 있는 다른 장면 점들은 흐릿하게 보일 것이다. 불행하게도, 재구성된 3D 장면 점은 물리적 행동을 실현할 수 없고, 본질적으로 투명 물체는 통과하는 광파에 반응할 것이다. 그래서, 이 행동은 색조 필터링 또는 감쇠(damping)와 같은 효과를 실현하기 위해 그에 따라서 장면 점의 색조를 조작함으로써 시뮬레이트되어야 한다.

콘텐츠 생성 측면에서 볼 때, 이 투명성 효과는 기존 색조 및 깊이 값 외에 각 장면 점에 알파 값을 추가함으로써 제어될 수 있다. 만일 장면 점이 0.0의 알파 값을 가지면(종합적으로 투명함), 장면 점이 재구성되지 않고 SH가 생성되지 않을 것이다. 1.0의 알파 값은 장면 점이 종합적으로 불투명임을 의미하고, 이 때문에 단일 SH가 생성되고 뒤에 있는 모든 장면 점들이 보이지 않게 되고 이들을 위해 SH가 생성되지 않을 것이다. 0.0과 1.0 사이의 값은 장면 점이 부분적으로 투명하고, 알파 값은 투명성의 등급을 나타내며, 그래서 투명 장면 점과 그 뒤 또는 전방에 있는 장면 점 모두에 대하여 서브홀로그램이 생성될 것이다.

다이렉트3D 및 오픈GL과 같은 현재의 실시간 3D 연출 API는, 전형적으로 단지 하나의 색조 지도 및 깊이 지도가 연출된 장면을 저장하기 위해 동시에 사용되기 때문에, 픽셀당 하나의 깊이 값만을 제공한다. 투명 효과를 연출할 때, 색조 지도에 이미 연출된 다른 투명 물체에 대하여 모든 투명 물체를 그 깊이 순서로 혼합함으로써 전형적으로 복수의 통과가 수행된다. 이러한 혼합 통과를 위하여, 전형적으로 깊이 값의 생성이 폐기된다. 깊이 지도 내의 각 픽셀의 최종 깊이 값은 통상적으로 모든 투명 물체 뒤에 있는 픽셀에 대응한다. 그러므로, 한편으로 최신 3D 연출 API를 이용하고 다른 한편으로 모든 투명 물체의 깊이 값을 생성하게 하는 솔루션이 SeeReal에 의해 개발되었다.

홀로그램 평면 내에서 동일한 위치에 있지만 다른 깊이를 가진 복수의 3D 장면 점을 생성하는 SeeReal의 원리는 복수의 콘텐츠 데이터 층의 사용에 기초를 둔다(도 6b 참조). 각 층은 개별 색조, 깊이 및 알파 정보를 가진 장면 점을 포함한다. 이 층들은 정돈된 깊이 층처럼 보일 수 있고, 각 층은 투명하거나 투명하지 않은 하나 이상의 물체를 포함한다. 필요한 층들의 총 수는 3D 장면에서 중첩하는 투명 3D 장면의 최대 수에 대응한다. 이 방식은 2D 또는 입체 3D 디스플레이에 대한 투명성 효과를 생성하는 방법과 호환된다. 차이점은, 한편으로, 혼합 통과의 결과를 기존 색조에 덮어쓰기하는 대신에 적당한 층의 색조 지도에 지향시키는 것이다. 다른 한편으로, 생성된 깊이 값은 폐기하는 대신에 층의 깊이 지도에 저장된다.

도 6을 참조하면, 도 6(a)에는 하나의 눈-디스플레이-광선을 따르는 복수의 장면 점이 연속적으로 재구성되고 투명성 효과가 가능하도록 사용되는 것이 도시되어 있다. 도 6(b)는 투명 장면 점을 취급하기 위한 하나의 추가의 층(더 많은 층도 가능하다)을 가진 예시적인 장면을 보인 것이다. 투명한 장면 점은 제1 층에 저장되고, 배경 물체는 배경 층에 존재한다.

마지막으로, 층들은 그들의 주어진 알파 값에 따라서 모든 장면 점의 색조를 변경하고 뒤에 있는 다른 장면 점으로부터 영향을 받도록 사전처리되어야 한다. 예로서, 2개의 물체가 있고, 그중 하나는 100% 적색이고 배경이 불투명하며, 다른 하나는 100% 백색이고 전경이 반투명(50% 투명도, 알파=0.5)이며, 이것은 50%만큼 광을 감쇠시킨다. 처리 후에, 배경 물체가 감쇠되어 그 새로운 색조는 50% 적색으로 되고, 전경 물체는 단지 50% 불투명으로 되며, 그 최종 색조는 50% 백색으로 될 것이다. 이러한 재구성을 주시할 때, 배경 물체는 전경에서 반투명 백색 물체에 의해 폐색될 때 더 어둡게 되지만, 둘 다 보여지고 촛점이 맞추어질 수 있다.

그러므로, 알파 값을 처리한 후의 끝에서, 홀로그램 합성으로 이양된 데이터는 색도 값 및 깊이 값을 가진 장면 점들을 각각 내포한 복수의 층을 가진 복수의 뷰를 포함한다. 나중에, SH는 유효 장면 점들에 대해서만 생성되고, 활성적으로 사용된 투명 층의 부분만이 처리될 것이다.

다시 말해서, 투명 물체의 재구성은 하기의 방법으로 실현될 수 있다:

투명 물체를 포함한 컴퓨터 발생 장면으로부터 홀로그램을 계산하는 것이 직접 가능하지 않다. 투명 물체는 예를 들면 유리, 물, 안개, 먼지 입자 등일 수 있다. 일반적으로 투명 물체에 대하여 깊이 값이 생성되지 않지만, 하나 이상의 투명 물체 뒤에 위치된 불투명 물체에 대해서만 깊이 값이 생성된다. 만일 물체가 홀로그램을 이용하여 재구성되어야 하면 물체는 물체의 깊이 값을 가질 필요가 있다.

만일 홀로그램이 하나의 관측자로부터 볼 때 적어도 부분적으로 서로의 뒤에 위치하는 2개 이상의 물체에 대하여 생성되면, 이 물체들은 그들 각각의 거리(또는 깊이 좌표)에서 재구성될 것이고 모두 보여질 수 있다. 다른 물체의 전방에 위치된 물체는 이 물체의 뒤에 위치된 다른 물체의 외관에 영향을 주지 않는다. 그러나, 이것은 다른 물체의 전방에 위치된 투명 물체의 경우에는 다르다. 예를 들면, 적색 투명 유리판 뒤에 위치된 물체로부터 전파하는 빛의 적색 부분만이 유리판을 통과할 수 있다.

본 발명의 일 실시형태에 있어서, 방법은 복수의 단계를 포함한다. 제1 단계에서, 재구성되는 완전 3차원 장면의 깊이 값이 3차원 장면의 투명 물체 없이 생성된다. 제2 단계에서, 3차원 장면의 모든 투명 물체의 깊이 값이 별도로 생성된다. 홀로그램(또는 홀로그램 디스플레이/SLM[공간 광 변조기]에 인코드되는 홀로그램 데이터)이 역시 복수의 단계에서 생성된다. 첫째로, 불투명 물체 또는 불투명 물점이 서브홀로그램을 생성하고 서브홀로그램을 합산함으로써 처리된다. 둘째로, 투명 물체 또는 투명 물점이 서브홀로그램을 생성하고 서브홀로그램을 합산함으로써 처리된다.

투명 물체에 의해 조작되거나 영향을 받는 불투명 물체의 색도 값은 하기의 방법으로 현실성있는 표시 또는 재구성을 위해 처리된다: 불투명 물체로부터 관측자의 눈까지 그 경로를 따라 전파하는 광의 파장을 조작하는 대신에, 불투명 물체로부터의 광 또는 색조의 파장이 불투명 물체의 위치에서 불투명 물체의 전방에 위치된 투명 물체의 특성에 따라 조작 또는 변경된다. 이 조작된 색도 값은 컴퓨터 그래픽의 방법으로 생성될 수 있다.

홀로그램은 조작된 색조/파장 데이터를 가진 불투명 물체의 물점(투명 물체의 뒤에 위치된 경우) 및 다단계 처리에서 투명 물체의 물점의 정보/데이터로 구성된다. 모든 물체, 즉 투명 및/또는 불투명 물체는 정확한 깊이에서 정확한 색조로 재구성된다.

통상의 2차원 디스플레이를 사용하거나 입체 디스플레이를 사용하는 3차원 장면의 시각화와 대조적으로, 홀로그래픽 재구성을 위하여 추가의 물점이 공간 내에서 생성될 수 있고, 이때 추가의 물점은 동일한 x-y 좌표(측면 위치)를 갖지만 다른 z 좌표(깊이)를 갖는다. 대안적으로, 추가의 장면 점이 예를 들면 안개 또는 물과 같이 깊이에 의해 고농도 체적을 실현하도록 생성될 수 있다. 그러한 추가의 물점은 보는 방향으로 단일 선로에 위치(단일 선로를 따라 상이한 깊이 값을 가짐)되거나 이미 계산된 물점이 없는 측면 위치를 갖는다. 이것은 추가의 물점에 대하여 단지 하나의 추가의 서브홀로그램이 생성될 필요가 있고 이 서브홀로그램은 재구성된 3차원 장면에 대한 추가의 물점을 생성하기 위해 모든 다른 서브홀로그램에 추가될 필요가 있기 때문이다.

이 방법은 매우 효율적이고 단지 적은 추가 연산 전력으로 실현될 수 있다. 이것은 홀로그램의 계산을 포함해서 실시간으로 또는 준 실시간으로 현대의 그래픽 보드에서 실시될 수 있다.

도 10은 실생활/자연에서 불투명 물체 및 투명 물체의 상황을 보인 것이다. 도 11은 본 발명에 따라서 3차원 장면의 재구성을 계산/생성하기 위해 사용되는 상황을 보인 것이다.

4.4 홀로그래픽 비디오 포맷

홀로그래픽 비디오를 재생하는 데는 이미 계산된 홀로그램을 직접 로딩 및 제공하는 것 또는 미가공(raw) 장면 점을 로딩하고 홀로그램을 실시간으로 계산하는 것의 2가지 방법이 있다.

제1 옵션은 한가지 큰 단점을 갖는다. 즉 홀로그램 프레임의 데이터는 비디오 코덱과 같이 압축법에 의해 조작되어서는 안되고 무손실 방법만이 적합하다. 매우 무작위성인 홀로그래픽 데이터의 성질 때문에, 무손실 압축 기술은 IP 네트워크를 통한 스트리밍은 물론이고 하드 드라이브 또는 광학 매체로부터의 스트리밍을 달성하기 위해 데이터 체적을 크게 감소시키는 데는 효과적이지 않다.

이것을 극복하기 위해, SeeReal은 위에서 설명한 것처럼 다른 뷰/층 내에 저장된 원래의 장면 점을 사용할 것을 제안한다. 이것은 SeeReal의 실시간 홀로그램 계산과 함께, 사용되는 비트율에 따라 다소간의 손실이 있지만 훌륭한 압축비를 제공하는 H.264 또는 MPEG-4와 같은 최신의 비디오 압축 기술을 사용할 수 있게 한다. 손실은 특히 깊이 정보와 관련하여 엄격하게 제어되어야 하고, 이것은 재구성 품질에 직접적인 영향을 준다. 그러나, 높은 비트율을 선택할 때, 최소이지만 수용가능한 손실을 갖는 약 1:10의 압축비가 가능하다.

SeeReal은 홀로그래픽 디스플레이에서 색조 및 투명성을 포함한 비디오 프레임을 재구성하기 위해 모든 중요한 데이터를 저장하는 단순한 비디오 프레임을 개발하여 사용한다. 이러한 융통성있는 포맷은 색조, 알파 값 및 깊이 값을 비디오 프레임에 배치된 서브프레임으로서 저장하기 위해 모든 필요한 뷰 및 뷰마다의 층을 내포한다(도 7 참조). xml 문서에 저장되거나 비디오 콘테이너에 매립된 추가의 메타 정보는 홀로그래픽 비디오 플레이어가 적당한 홀로그램을 생성하기 위해 필요로 하는 비디오 프레임의 레이아웃 및 파라미터를 포함한다. 이 정보는 예를 들면 어떤 유형의 서브프레임이 매립되어 있는지, 그들의 위치 및 최초의 카메라 설정, 특히 이들을 홀로그래픽 디스플레이의 3D 좌표계에 맵핑하기 위해 저장된 깊이 값을 해석하는 법을 설명한다.

도 7을 참조하면, 비디오 프레임의 전형적인 레이아웃의 예가 도시되어 있다. 서브프레임은 비디오 프레임 내에 자유롭게 배치될 수 있다. 즉 별도의 메타 정보 기록은 어떤 서브프레임이 매립되어 있는지 및 비디오 프레임 내에서 그들의 위치에 관한 정보를 제공한다.

이 방법은 SeeReal이 홀로그래픽 디스플레이에서 실시간으로 투명성 효과에 의해 3D 색조-비디오를 재구성할 수 있게 한다. 메타 정보는 플레이어가 홀로그램을 생성하는데 필요한 모든 파라미터를 제공한다. 메타 정보는 비디오가 카메라 설정과 호환되는 것을 확실히 하고 3D 장면 정보의 완전성을 검증한다(즉, 깊이가 이용가능해야 한다).

5. 단계 2: 홀로그램 합성

홀로그램 합성은 복수의 장면 점의 홀로그램으로의 변환을 수행하고, 이때 각 장면 점은 색조, 측면 위치 및 깊이에 의해 특징화된다. 이 처리는 모든 가용층에 대하여 반복하는 동안 각 뷰 및 색조 성분에 대하여 독립적으로 행하여진다. 즉, 각각의 뷰 및 각각의 색조 성분에 대하여 별도의 홀로그램이 계산된다.

가용층 내의 각 장면 점에 대하여, 서브홀로그램(SH)이 계산되어 소위 홀로그램 셀 또는 셀이라고 부르는 각 홀로그램 픽셀에 대한 복소수 값으로 구성되는 홀로그램(H)에 누적된다. b>0인 강도/밝기(b)를 가진 가시적 장면 점만이 변환되고, 이것은 특히 종종 부분적으로만 채워지는 투명 층에 대하여 연산 시간을 절약한다.

SLM은 수평/수직 피치(p_x/p_y)를 제공하고, 홀로그램 평면과 관측자 간의 관측자-거리는 od이고 층에서의 그 위치(ox, oy)(이것은 또한 홀로그램 내의 서브홀로그램 위치이다), 깊이(d) 및 파장(λ)에서의 밝기(b)를 제공(현재 처리된 색조 성분에 따라서)한다고 가정한다.

처음에, 디스플레이 평면(홀로그램 평면)에서 서브홀로그램의 크기

가 계산된다. 그 다음에 SH 내측의 별개의 셀 위치(x,y)에서의 각 셀 SH(x, y)에 대하여, 복소수 값 SH(x, y)=Ae^-jψ(x,y)가 계산되고, 위상(ψ(x,y)) 및 진폭(A)이 다음과 같이 주어진다.

이러한 SH는 인코드된 거리(d)에서 소정의 장면 점을 재구성하기 위해 촛점 길이가 F=odd/(od-d)인 홀로그래픽 렌즈를 묘사한다. 용어 ψ(0≤ψ₀≤2π)는 전형적으로 무작위인 각 장면 점에 대하여 유일한 초기 위상이다. 계산된 SH는 홀로그램(H) 내의 SH 위치 (ox, oy)에서 홀로그램(H)에 최종적으로 가산된다. 위치 (ox, oy)는 홀로그램(H)에서 서브홀로그램(SH)의 중심 위치이고, 이 중심 위치는 VW에서 시작하고 공간 내 장면 점의 위치를 통과하는 홀로그램/디스플레이 평면을 교차하는 광선에 의해 규정되고, 층 내의 장면 점의 2D 위치에 대응한다. 이제 H는 우리의 3D 장면을 재구성하는 파면(wave-front)을 나타낸다.

다음 단계에서, 디스플레이 가능한 실제 값으로의 복소수 값의 변환, 즉 홀로그램 인코딩이 수행되어 SLM에 홀로그램을 기록할 수 있게 한다.

6. 단계 3: 홀로그램 인코딩

인코딩은 홀로그래픽 디스플레이인 SLM에 기록되는 홀로그램을 준비하는 처리이다. SLM은 일반적으로 복소수 값을 직접 디스플레이할 수 없다. 이것은 SLM이 하나의 단일 픽셀 내의 광파를 동시에 변조 및 위상 편이할 수 없다는 것을 의미한다. 그러나, 진폭 변조와 위상 변조를 결합함으로써, 코히어런트 광파의 변조가 실현될 수 있다. 각 SLM 픽셀의 변조는 홀로그램 내의 복소수 값(셀)에 의해 제어된다. 간섭성 광으로 SLM을 조명함으로써, 합성된 장면의 파면이 홀로그램 평면에서 생성되고, 이 파면은 그 다음에 VW로 전파하여 장면을 재구성한다.

홀로그램을 생성하기 위해 다른 유형의 SLM이 사용될 수 있고, 그 일부 예를 들자면 하나의 복소수 값을 생성하기 위해 3개의 진폭 값을 이용하여 진폭만의 변조(우회 위상(detour-phase) 변조)를 행하는 SML⁴, 2개의 위상을 결합함으로써 위상만의 변조를 행하는 SLM⁵ 또는 하나의 진폭 픽셀과 하나의 위상 픽셀을 결합하여 진폭 및 위상 변조를 결합하는 SLM이 있다. 후자는 위상 및 진폭 패널의 샌드위치에 의해 실현될 수 있다⁶.

그래서, SLM 유형에 따라서, 우리의 홀로그램의 위상-진폭, 위상만 또는 진폭만의 표시가 필요하다. 홀로그램 내의 각 셀은 적당한 표시로 변환되어야 한다. 변환된 홀로그램을 SLM에 기록한 후에, 각 SLM-픽셀은 통과하는 광파를 그 위상 및 진폭에 의해 변조한다.

7. 단계 4: 후처리

처리 사슬의 최종 단계는 색조 성분의 다른 홀로그램과 뷰의 혼합을 수행하고 홀로그램 프레임을 관측자에게 나타내는 것이다. 홀로그래픽 디스플레이에서 색조 및 뷰를 나타내는 여러 가지 방법이 있다.

하나의 방법은 완전한 시간 순차적 상연(presentation)(총 시간 다중화)이다. 여기에서 모든 색조 및 뷰는 다중 사용자 시스템의 서로 다른 관측자에 대하여 하나씩 상연된다. 우측 위치에서 VW의 배치를 현재 상연된 뷰와 동기적으로 제어하고 λ에 대하여 인코드된 현재 나타난 홀로그램에 따라서 올바른 시간에 λ에 대하여 적당한 광원을 스위칭함으로써, 모든 관측자가 3D 장면의 재구성을 볼 수 있다. 다른 하나의 방법은 뷰의 독립 상연 및 2개의 다른 SLM에 의한 색조의 시간 다중화이고, 이러한 시스템은 2007년에 SID 롱 비치에서 SeeReal에 의해 이미 발표되었다⁷.

우리의 현재 프로토타입에서 구현되는 2개의 추가의 방법은 하나의 단일 프레임에서 색조와 뷰를 혼합하는 것, 또는 하나의 단일 프레임에서의 뷰를 혼합하고 색조를 순차적으로 상연하는 것에 기초를 둔다. 양자에 대하여 수직 방향의 단일 시차 홀로그램(VPO)이 사용되고, 수평 방향으로 다른 뷰(및 색조)가 수직 인터레이싱을 이용하여 다중화된다.

모든 관측자에게 색조 및 뷰를 나타내는 다른 방법이 또한 많이 있다. 일반적으로, 후처리는 관측자에게 상연되는 홀로그래픽 프레임을 포맷하는 책임을 갖는다.

8. 구현예

위에서 설명한 모든 처리 단계는 SeeReal의 홀로그래픽 기준 소프트웨어 시스템 내측의 일반적인 소프트웨어 모듈로서 구현되었다. 다른 프로토타입에 대하여, 필요한 코드-경로는 재고 PC 하드웨어 및 SeeReal의 전용 FPGA 플랫폼에서 동작하도록 GPU 및 FPGA 컴퓨팅에 대하여 최적화되었다. 양측의 플랫폼은 뒤에서 설명되지만, 먼저 우리의 20 인치 직접 뷰(direct view) 홀로그래픽 프로토타입의 명세서가 주어질 것이다.

8.1 SeeReal의 직접 뷰 홀로그래픽 프로토타입

SeeReal의 20 인치 직접 뷰 프로토타입은 1D 수직 인코딩(VPO)을 이용한 풀 색조 홀로그래픽 3D 디스플레이이다. 이것은 최대 4명의 관측자의 3D 눈 위치를 +/-2.5 mm의 정확도로 초당 60회 전달하는 통합형 정확성 및 고속 눈 추적 시스템을 이용하여 추적하는 뷰잉 윈도우를 제공한다. 현재의 홀로그래픽 프로토타입은 단지 1명의 관측자용으로 설계된다. 눈 추적 소프트웨어는 표준 PC에서 동작하거나 임베디드 DSP/FPGA 솔루션을 이용하여 디스플레이에 완전히 통합된다.

홀로그래픽 패널은 2048×7680 진폭 변조 픽셀의 해상도를 가지며 60 Hz로 동작한다. 관측자 거리는 재고 LCD의 비교적 조악한 픽셀 피치(홀로그래피용) 때문에 현재 약 2m로 설정된다. 우회-위상 인코딩⁴을 이용함으로써, 하나의 복합 픽셀(셀)에 대한 피치는 156×156 ㎛이고, 이것은 수직 방향으로 8mm의 대응하는 VW를 유도한다. 수평 방향으로, 양 눈에 대한 홀로그램은 공간적으로 분리된다. 고정식 광학 시스템은 각 눈에 대하여 32.5 mm 폭의 수평 스위트 스폿(sweet spot)을 생성하고, 이 스위트 스폿은 관측자의 이동에 따라 수평 방향으로 이동된다. 그래서, 관측자는 홀로그래픽 뷰를 손실하지 않고 머리를 수평 및 수직 방향으로 자유롭게 움직일 수 있다. 좌측 및 우측 눈에 대한 홀로그램은 디스플레이된 프레임으로 공간적으로 다중화되고, 색조는 순차적으로 상연된다. 각각의 색조 성분(적, 녹, 청)에 대하여, 적당한 파장의 다른 프레임이 보여진다.

층당 512×2560 장면 점을 재구성할 수 있지만, 2m의 관측자 거리에서 인간의 눈은 20 인치 디스플레이에서 512×2560의 3D 장면 해상도를 분석할 수 없다. 따라서, 3D 장면 해상도는 층당 512×640 장면 점으로 임의로 제한되고, 이것은 또한 더 공통적인 포맷(3:4)을 제공한다. 더 큰 LCD에 있어서, 3D 장면 해상도는 풀 HD 또는 더 높은 해상도로 쉽게 스케일될 수 있다. 3D 장면의 깊이 범위는 일반적으로 홀로그램 디스플레이 앞에서 약 1m이고 디스플레이 뒤에서 무한대로 갈 수 있다.

8.2 PC에서의 실시간 홀로그래피

홀로그래픽 디스플레이를 구동하기 위해 PC를 이용하는 동기부여는 다양하다. 즉, DVI를 이용하여 SLM을 구동하는 표준 그래픽 보드가 사용될 수 있고, 이것은 필요한 큰 해상도를 지원한다. 또한, 각종의 재고 컴포넌트를 사용할 수 있고, 이것은 빠른 속도로 계속하여 개선되고 있다. 실시간 3D 콘텐츠의 생성은 마이크로소프트 윈도즈 플랫폼에서 폭넓게 확립된 3D 연출 API 오픈GL 및 다이렉트3D를 이용하여 쉽게 취급된다. 또한 3D 모델 및 비디오에 대한 포맷 및 코덱을 제공하는 유용한 SDK 및 소프트웨어 라이브러리가 제공되고 쉽게 접근할 수 있다.

집중적인 홀로그래픽 계산을 위해 PC를 이용할 때, 메인 프로세서는 대개 충분히 강력하지 않다. 가장 최신의 CPU마저도 고해상도 실시간 3D 홀로그램을 충분히 빠르게 수행하지 못한다. 예를 들면, 인텔 코어 i7은 약 50 GFlop/s를 달성한다⁹. 그래서 더 강력한 컴포넌트를 사용하는 것이 명백하고, 가장 관심있는 것은 그래픽 처리 유닛(GPU)인데, 그 이유는 비록 약간의 오버헤드 및 비융통성에도 불구하고 GPU가 큰 메모리 대역폭 및 큰 처리 능력을 갖기 때문이다. 장점으로서, 그들의 프로그램가능성, 융통성 및 처리 능력이 최근 수년간 명확히 개선되었다.

8.3 GPU를 이용한 실시간 홀로그래피

마이크로소프트의 다이렉트3D 9에 기초해서, 위에서 제시한 바와 같은 완전한 홀로그래픽 처리 파이프라인이 흥미를 끄는 대화식 응용과 함께 구현되었다. 모든 것이 하나의 NVIDIA 지포스 285 GTX와 함께 PC에서 동작하여 우리의 20 인치 홀로그래픽 3D 직접 뷰 프로토타입을 구동한다. 거의 모든 계산이 그래픽 처리 유닛(GPU)에서 수행되고, CPU는 프로그램 흐름을 제어하고 계산을 위한 파라미터를 제공하기 위해서만 사용된다. 대부분의 단계에 대하여, 특수한 픽셀 및 버텍스 셰이더 프로그램(vertex-shader-program)¹¹이 구현되었고, 이 프로그램은 적당한 알고리즘을 수행하기 위해 단계별로 스위치된다. 셰이더 프로그램은 C-형 언어(즉, 다이렉트3D를 이용할 때 HLSL)로 기록된 작은 코드-단편이다. 실행을 위해 컴파일되고 GPU에 업로드될 때, 이들은 GPU의 셰이더-코어 내측에서 병렬로 동작하여 그래픽 파이프라인 내측에서 정점 또는 단편/픽셀을 처리한다. 현대의 GPU는 전형적으로 200개 이상의 셰이더 코어를 가지며, 각각의 셰이더 코어는 약 1 GHz의 높은 주파수에서 전형적인 4차원 벡터 연산을 수행할 수 있다.

CUDA¹²와 같은 다른 GPGPU-기술(그래픽 처리 유닛에서의 일반 용도 계산¹³)을 향한 다이렉트3D의 직접 사용이 선택된 이유는 GPU가 제공하는 임의의 특징을 사용하는 것에 더 큰 융통성이 있고 응용 모듈에 의해 실시간으로 생성된 3D 콘텐츠에 대한 간단한(straightforward) 인터페이스가 있기 때문이다.

GPU를 이용하는 우리의 솔루션은 매우 융통성이 있고 파라미터화가 가능하다. 윈도즈-SDK는 홀로그래픽 계산의 모든 양태를 캡슐화하는 단순 API를 제공하는 SeeReal에 의해 개발되었고, 그래서 임의의 애플리케이션 설계자는 콘텐츠 자체에 집중할 필요가 있다. 특수한 홀로그래픽 디스플레이의 가상 카메라, 홀로그램 합성, 홀로그램 인코딩 및 후처리와 관련된 모든 일은 은닉되고 소프트웨어 시스템에 의해 자동으로 취급된다. 도 8은 GPU 기반 처리 파이프라인의 개관을 보인 것이다.

SeeReal의 20 인치 직접 뷰 프로토타입에 대하여 사용되는 GPU 솔루션은 다음과 같이 작용한다. 홀로그래픽 애플리케이션의 콘텐츠 생성부인 제1 모듈에서 최대 4개의 층으로 각각 구성된 2개의 뷰가 생성되고, 상기 각 층은 512×640 장면 점을 저장하고 각 장면 점은 색조, 깊이 및 알파 정보를 제공한다. 홀로그래픽 애플리케이션은 예를 들면 자신의 셰이더 프로그램과 같은 다이렉트3D-API가 제공하는 모든 기능 및 특징을 이용할 수 있다. 알파와 함께 깊이 및 색조를 제공하는 각 층마다 2개씩, GPU 메모리에서 최대 16 조직까지 발생된 데이터는 다음 인스턴스로 이양된다. 이것은 애플리케이션 설계자가 생성 및 구현해야 할 유일한 모듈이고, 모든 다른 부분들은 SDK에 의해 제공된다.

도 8을 참조하면, 우리의 GPU-솔루션에서 데이터 흐름의 개관이 나타나 있다.

다음 모듈인 홀로그램 합성은 알파 값에 의해 주어진 투명 효과를 적용하도록 각 층을 처리하고, 서로 다른 층들 간의 깊이가 애플리케이션에 의해 분류되지 않은 경우에 일부 깊이 분류를 수행한다. 그 다음에 각 층의 각각의 3D 장면 점에 대하여, 서브홀로그램이 버텍스 셰이더 프로그램을 이용하여 발생되고 배치된다. 각각의 서브홀로그램은 위에서 설명한 것처럼 각각의 홀로그램 셀(복소수 값)에 대하여 위상 및 진폭의 계산을 수행하는 픽셀 셰이더 프로그램에 의해 처리된다. 각각의 계산된 셀은 그 다음에 결과적인 복소수 값 홀로그램에 누적된다. 이 복소수 값 홀로그램은 GPU 메모리에서 실수부에 대한 하나와 허수부에 대한 하나인 2개의 부동 소숫점 조직를 이용하여 구현된다.

2007년에 SID에서 발표한 우리의 제1 프로토타입 버전에 있어서는 룩업 테이블 방법이 사용되었고, 이때 표준화 서브홀로그램이 256개의 별개의 깊이 단계 각각에 대하여 사전 계산되었다. 이것은 이때에 GPU의 제한된 처리 능력, 즉 NVIDIA 7900 GTX를 극복하기 위해 행하여졌다. 지금까지, 그래픽 처리 유닛은 급속도로 개선되고 있지만, 메모리 대역폭에 대해서 보다는 계산 능력 쪽으로 더욱 개선되었다. 이제, 개선된 GPU와 최적화 SeeReal 알고리즘의 결합이 더 큰 품질, 융통성 및 효율을 가지고 서브홀로그램의 직접 계산이 가능하게 되었고, 동적 서브홀로그램 크기 및 직접 계산이 더 효율적인 계산을 유도하며, GPU에 의해 제공되는 거의 무제한의 깊이 해상도(전형적으로 24 비트)가 이제 재구성(특히 큰 깊이 범위에 대하여)에서 더 미세한 깊이 해상도를 제공하기 위해 사용되고, 메모리 대역폭은 더 이상 계산을 제한하지 않는다.

제3 단계인 홀로그램 인코딩에 있어서, 복소수 값이 인코드되어 다른 픽셀 셰이더 프로그램 집합을 이용하여 행하여지는 우회-위상 변조를 이용하여 최종의 SLM 호환성 표시를 생성한다.

마지막으로, 3개의 홀로그램(색조 성분에 대한 것) 각각에 대하여 2개의 뷰를 가진 6개의 홀로그램이 SLM에서의 상연을 위해 다중화된다. 각각의 색조 성분에 대하여 하나씩 3개의 SLM 프레임이 각각의 색조 성분에 대한 2개의 뷰를 수직 인터레이싱을 이용하여 하나의 프레임에 다중화함으로써 생성된다. 그 다음에 상기 3개의 프레임이 순차적으로 디스플레이된다.

8.4 FPGA를 이용한 실시간 홀로그래피

홀로그래픽 3D 솔루션에 대한 SeeReal 개발의 다른 단계는 현장 프로그램가능 게이트 어레이(FPGA)에 포팅(porting)하기 위해 소프트웨어를 최적화하는 것이었다. 동기부여는 임의의 디스플레이에 통합되도록 자율 시스템을 실현하는 것이었다. 이를 위해, 알테라(Altera)로부터의 스트라틱스 III FPGA를 이용하는 커스텀 FPGA-보드가 설계되었다. CPU 또는 GPU에 대한 FPGA의 장점은 GPU에서보다 더 큰 프로그래밍 융통성과 결합된 CPU에서보다 훨씬 더 나은 평행현상(parallelism)인 두가지 다른 것의 각각의 장점(best-of-both-worlds)을 혼합하는 것이다. 그럼에도 불구하고, FPGA 솔루션의 복합 프로그래밍 모델은 PC 기반 개발에 비하여 더 긴 개발 주기를 유도한다.

애플리케이션 측에서, 양측의 솔루션은 위에서 이미 설명한 것처럼 콘텐츠 생성 모듈을 이용하여 콘텐츠를 생성하기 위해 PC를 이용한다. 그러나 이 솔루션에 대하여, 생성된 데이터는 하나의 단일 DVI 프레임 내측에 있는 양측 뷰에 대한 색조 및 깊이 정보를 패킹함으로써, GPU 메모리 내측의 조직 대신에 DVI 프레임을 이용하여 FPGA 보드에 전달된다. 그래서, 셋톱박스 또는 게임 콘솔이 콘텐츠 소스로서 사용하기에 또한 적당하다. 하나 이상의 투명 층의 취급은 위에서 설명한 제안된 비디오 프레임 포맷과 유사한 최대 4개의 층의 정보를 포함하도록 DVI 프레임 크기를 확장함으로써 실현될 것이다.

도 9를 참조하면, 우리의 FPGA 솔루션에서의 데이터 흐름의 개관이 나타나 있다.

서브홀로그램 계산, 누적 및 인코딩뿐만 아니라 후처리를 위한 모듈은 VHDL을 이용하여 구현되었다. 오늘날 이러한 솔루션은 층에 대한 계류중인(pending) 지원을 제외하고 SeeReal의 GPU 버전과 동일한 기능을 제공한다. FPGA-보드는 프레임을 상연하기 위해 LVDS 인터페이스를 이용하여 SLM을 직접 구동한다(도 9 참조).

8.5 애플리케이션

GPU뿐만 아니라 FPGA에 이용가능한 이러한 솔루션으로, SeeReal은 비디오 디코딩을 위한 표준 MPEG-4 코덱을 이용하여 PC의 하드 드라이브로부터 프레임마다 스트림되는 60 Hz의 풀 디스플레이 프레임 속도로 라이브 인코드된 고해상도 라이프 액션 3D-비디오를 나타낼 수 있다. 각 프레임은 다량으로(heavily) 사용되는 4개의 층, 즉 배경과 3개의 투명 층 및 2개의 뷰에 대한 미가공 색조, 깊이 및 알파 정보를 포함한다. 모든 이용가능한 장면 점의 80% 이상이 의미있는 부하 비교를 위해 투명 층에서 사용된다.

또한, 구체화된 3D 환경에서 복수의 모델로 구성된 복합 대화식 3D 장면 및 표준 포맷에 기초한 컴퓨터 발생 3D 모델을 나타내는 실시간 애플리케이션이 개발되고 논증되었다. 사용자 경험을 향상시키고 상호작용을 단순화하기 위해, 3D 공간 마우스 및 닌텐도 위(Nintendo Wii) 제어기와 같은 선택된 현대의 인간-기계 인터페이스가 통합되었다.

9. 결과

홀로그래픽 3D 디스플레이 및 대응하는 사적(proprietary) 알고리즘에 대한 SeeReal의 원리에 기초해서, 양측의 솔루션인 GPU 및 FPGA가 공간 뷰 및 순차적 색조 다중화를 이용하여 60 Hz의 풀 SLM 주파수로 SeeReal의 20 인치 홀로그래픽 3D 직접 뷰 프로토타입을 구동할 수 있다. 또한, 오늘날, 이 솔루션은 대응하게 증가된 픽셀 량으로 상향 조절된 디스플레이 하드웨어(더 높은 SLM 해상도, 더 큰 크기)를 구동할 수 있다.

고해상도, 풀프레임률의 GPU 솔루션은 단일 NVIDIA GTX 285에 의해 PC에서 동작하고, SeeReal의 FPGA 해상도는 알테라 스트라틱스 III를 이용하여 모든 홀로그래픽 계산을 수행한다. 복합 3D 장면 및 3D 비디오 내측의 투명 효과가 지원된다. 모든 4개의 층을 이용하는 복합 고해상도 3D 콘텐츠에 대해서도, 프레임률은 일정하게 60 Hz 이상이다. 콘텐츠는 PC에 의해 제공될 수 있고, 특히 통상의 2D 또는 3D 디스플레이를 구동하는 셋톱박스, 게임 콘솔 등에 의해 FPGA 솔루션에 대하여 제공될 수 있다.

양측의 솔루션은 더 많고 더 큰 서브홀로그램, 특히 양측 차원(전시차 홀로그래피)에서 확산하는 서브홀로그램에 대한 능력들을 통합하도록 확장성이 매우 높은 설계를 갖는다. 현재의 솔루션으로도 실시간의 전시차 색조 홀로그램의 계산이 달성될 수 있고 내부적으로 테스트되었다. 3D 장면 복잡도에 따라서, 이용가능한 계산 능력에 따라 더 작은 깊이 범위에 대한 일부 제한이 있을 수 있다. 오늘날, 복수의 GPU(NVIDIA SLI 또는 AMD 크로스파이어)를 사용하거나 복수의 FPGA를 연결함으로써, 계산 성능은 쉽게 충분히 증가될 수 있다. 일 예로서, NVIDIA SLI는 1.9의 인자만큼 홀로그램 계산 프레임률을 증가시킨 2개의 지포스 285 GTX GPU를 접속하도록 적용되어 이 솔루션에 대한 양호한 확장성을 제공한다.

이 솔루션은 SeeReal이 모두 홀로그래픽적으로 급히(on-the-fly) 인코드되는 복합 대화식 3D 장면뿐만 아니라 복합 3D 비디오를 나타낼 수 있게 한다. 이것은 이제 기술 자체에 대한 것보다, 스트리밍, 게이밍 또는 홀로그래픽 TV용의 적당한 포맷과 함께 홀로그래픽 콘텐츠 및 애플리케이션의 개발에 더욱 촛점을 맞출 수 있게 한다.

10. 결론 및 추가 개발

이 논문은 신규의 서브홀로그램 접근법을 이용하여 우리의 솔루션을 제시하고, 이러한 솔루션은 복잡한 대화식 3D 콘텐츠를 나타내는 홀로그래픽 디스플레이를 구동하기 위해 GPU 또는 FPGA 하드웨어에 적응된 때 홀로그램의 계산을 실시간으로 행할 수 있게 한다.

추가의 개발은 SeeReal의 GPU 솔루션의 효율성 및 융통성을 개선하기 위해, 오픈CL과 함께 새로이 도입된 컴퓨터 셰이더 및 오픈GL 3/4에 의해 다이렉트3D 11과 같은 GPU 분야의 새로운 기술에 집중할 것이다. SeeReal의 FPGA 솔루션은 복수의 투명 층에 대한 지원을 포함해서 2010년에 완성될 것이다. 또한, VHDL 설계는 전용 홀로그래픽 ASIC의 개발에 최적화될 것이다.

기존의 게임 또는 애플리케이션 엔진에 SeeReal 기술을 통합하는 것과 함께 홀로그래픽 비디오(3D-TV) 및 3D 콘텐츠를 스트리밍하기 위한 적당한 포맷의 개발 또는 적응은 또 다른 목표가 될 것이다.

참고 문헌

Claims

적어도 하나의 관측자 눈에 대하여, 투명 특성을 가진 물체들을 포함하는 3차원 장면들의 재구성을 위해 홀로그래픽 시스템의 광학적 광 변조기(optical light modulator)의 홀로그래픽 인코딩 값들을 컴퓨팅하는 방법에 있어서,
3차원 장면을 개별 물점(object point)들로 나누는 단계와,
상기 3차원 장면이 지각되는 가상 관측자 위치를 결정하는 단계와,
상기 가상 관측자 위치에서 보았을 때 다른 불투명 물점들에 의해 완전히 차폐되지 않는, 인코딩될 모든 물점들을 결정하는 단계와,
상기 가상 관측자 위치에서 보았을 때 동일한 각도 상에 나타나는 인코딩될 모든 가시성 물점들을, 상기 가상 관측자 위치까지의 거리에 따라 정렬(sort)하는 단계와,
각각의 가시성 물점의 실제 밝기(brightness)를 결정하는 단계와,
인코딩될 각 가시성 물점에 대하여, 상기 가시성 물점이 상기 가상 관측자 위치에서 지각되는 겉보기 밝기 값(apparent brightness value)을, 상기 가시성 물점의 실제 위치에서의 상기 가시성 물점의 실제 밝기, 상기 가상 관측자 위치까지의 거리, 및 상기 가시성 물점과 상기 가상 관측자 위치 사이에 놓여 있는 모든 물체들 또는 물점들의 투명 특성들을 고려하여 결정하는 단계와,
상기 가시성 물점들 각각에 대하여, 홀로그래픽 시스템에서 상기 홀로그래픽 시스템의 재구성 체적 내의 가시점(visible point)과 대응하는 위치에서 상기 가시성 물점이 상기 겉보기 밝기 값을 이용하여 재구성되도록, 상기 가시성 물점의 겉보기 밝기 값 각각을 이용하여 상기 인코딩 값들을 서브 홀로그램으로서 개별적으로 컴퓨팅함으로써, 불투명 물점들 및 투명 물점들이, 상기 불투명 물점들 및 투명 물점들 각각의 위치에서 개별적으로 지각될 수 있도록 하는 단계와,
적어도 하나의 관측자에 대해 상기 3차원 장면의 상이한 뷰들이 생성되도록, 상기 가상 관측자 위치에 의존하여 상기 3차원 장면으로부터 결정된 적어도 하나의 물점을 변경(alter)하는 단계를 포함하는,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
상기 3차원 장면의 적어도 하나의 물점이 변경되면(changed), 상기 적어도 하나의 물점의 실제 밝기 값 및 겉보기 밝기 값이 다시 컴퓨팅되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
인코딩될 각 가시성 물점에 대하여, 상기 가상 관측자 위치에서 지각되는 상기 가시성 물점의 적어도 하나의 겉보기 밝기 값이 결정되고, 상기 적어도 하나의 겉보기 밝기 값은 적어도 하나의 파장에 의존하는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제3항에 있어서,
적어도 하나의 파장에 의존하는 상기 적어도 하나의 겉보기 밝기 값은, 상기 물점의 위치에서의 상기 물점의 실제 색도 값 및 상기 가시성 물점과 상기 가상 관측자 위치 사이에 놓여 있는 모든 물체들 또는 물점들의 투명 특성들을 고려하여, 상기 물점이 상기 가상 관측자 위치에서 지각되는 겉보기 색도 값으로서 결정되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
상기 장면의 재구성될 3차원 물체들의 물점들과 적어도 하나의 가상 광원 또는 실제 광원의 광 사이의 상호작용의 결과인 반사(reflection), 레미션(remission) 또는 산란(scattering)으로 인해 가상적으로 발생하는 추가적인 가상 물점들이 컴퓨팅 - 상기 컴퓨팅에는 가상 광원 또는 실제 광원과 상기 물체들의 스펙트럼 특성들이 고려될 수 있음 - 되며,
상기 가상의 가시성 물점들에 대하여, 상기 물점이 가상 관측자 위치에서 지각되는 겉보기 밝기 값이 실제의 가시성 물점들에 대해서와 같이 컴퓨팅되고,
상기 가상의 가시성 물점들의 인코딩 값들은, 상기 가상의 가시성 물점들 각각의 겉보기 값들을 이용하여 서브홀로그램으로서 개별적으로 컴퓨팅되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
상기 가상 관측자 위치에 대한 상기 물점들의 위치는, 상기 가상 관측자 위치와 보정될 물점 사이에 놓여 있는 물체들 또는 물점들에서의 반사, 굴절(refraction) 또는 회절(diffraction)과 같은 광학성 특성들에 기인하여 보정되고,
보정된 위치에 대하여 겉보기 밝기 값이 컴퓨팅되며, 상기 가시성 물점들에 대한 인코딩 값들은 각각의 겉보기 값들을 이용하여 개별적으로 컴퓨팅되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
상기 가시성 물점과 상기 가상 관측자 위치 사이에 놓여 있는 물체들 또는 물점들의 공간적 투명도 분포를 고려함으로써, 상기 가시성 물점이 상기 관측자 위치에서 지각되는 상기 가시성 물점의 겉보기 밝기 값이 컴퓨팅 - 상기 컴퓨팅에는 상기 물체들 또는 물점들의 스펙트럼 상호의존성(spectral interdependencies)이 고려될 수 있음 - 되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
물체가 상기 가상 관측자 위치에서 지각되는 가시성 물점의 겉보기 밝기 값이, 상기 물점과 상기 가상 관측자 위치 사이에 놓여 있는, 투명성 물체들 또는 물점들, 반사성 물체들 또는 물점들, 확산성 물체들 또는 물점들, 회절성 물체들 또는 물점들 및 굴절성 물체들 또는 물점들 중 적어도 하나의 흡수, 확산, 반사 및 회절의 확률과 확률론적 방법(stochastic methods)을 이용하여 컴퓨팅 - 상기 컴퓨팅에는 상기 물체들 또는 물점들의 스펙트럼 상호의존성이 고려될 수 있음 - 되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
개별 가시성 물점들의 겉보기 밝기 값의 컴퓨팅에, 물점의 가시성을 개선하거나 감소시키기 위하여, 상기 물점과 상기 가상 관측자 위치 사이에 놓여 있는 적어도 하나의 단일 물체의 적어도 하나의 투명 특성이 증폭되거나 약화된 형태로 고려되는 것인,
홀로그래픽 인코딩 값 컴퓨팅 방법.
제1항에 있어서,
상기 겉보기 밝기 값을 컴퓨팅 및 인코딩하는 것에 더하여, 사운드 재생 시스템의 인코딩 값들을 컴퓨팅하는 방법에 따라 사운드의 가상 음량(loudness), 피치(pitch), 및 전달 시간(transit time)이 컴퓨팅 및 인코딩되고, 상기 사운드 재생 시스템은 흡음 특성들을 가진 물체들을 포함하는 3차원 장면의 공간적 및 시간적으로 변화하는 사운드 값을 포함하는, 적어도 하나의 청취자 귀에 대한 3차원 음장의 재구성을 위한 적어도 2개의 사운드 발생 수단을 포함하고, 상기 사운드 재생 시스템의 인코딩 값들을 컴퓨팅하는 방법은,
상기 3차원 장면을 상기 사운드 발생 수단에 의해 생성된 사운드에 영향을 줄 수 있는 개별 물점들로 나누는 단계 - 상기 물점들의 좌표가 결정됨 - 와,
선택된 청취자 귀의 위치와 대응하는, 상기 3차원 장면이 음향적으로 지각되는 가상 청취자 위치가 결정되고,
상기 가상 청취자 위치의 방향에서 다른 완전 흡음성 물점들(fully sound-absorbing object points)에 의해 완전히 차폐되지 않는 모든 물점들을 결정하고,
상기 가상 청취자 위치의 방향으로 위치된 모든 물점들을, 상기 가상 청취자 위치까지의 거리에 의해 정렬하고,
상기 사운드에 영향을 줄 수 있는 각 물점의 위치에서, 상기 사운드의 실제 음량, 피치 및 전달 시간을, 상기 물점의 위치에서의 그리고 상기 가상 청취자 위치로부터 지각되는 각도에서의 상기 장면의 모든 실제 및 가상 음원들의 위치 및 강도를 고려하여 결정 - 상기 결정에는 상기 실제 및 가상 음원들을 포함하는 물체들의 물리적 특성들이 고려됨 - 하고,
상기 사운드에 영향을 줄 수 있는 각 물점에 대하여, 상기 사운드가 상기 가상 청취자 위치에서 지각되는 상기 사운드의 겉보기(apparent) 음량, 피치 및 전달 시간을, 상기 사운드에 영향을 줄 수 있는 물점의 위치에서의 상기 사운드의 실제 음량, 피치 및 전달 시간과, 상기 가상 청취자 위치까지의 거리, 및 상기 물점과 상기 가상 청취자 위치 사이에 놓여 있는 모든 물체 또는 물점의 흡수 특성들을 고려하여 결정하고,
상기 사운드 재생 시스템에 의한 재구성이 상기 가상 청취자 위치의 위치에서 상기 사운드의 겉보기 음량, 피치 및 전달 시간을 이용하여 지각될 수 있도록, 상기 사운드의 음량, 피치 및 전달 시간을 포함하는 각각의 사운드 값을 개별적으로 컴퓨팅하는 단계를 포함하는,
홀로그래픽 인코딩 값 컴퓨팅 방법.
적어도 하나의 관측자 눈 또는 적어도 하나의 청취자 귀에 대해, 투명 특성들을 가진 물체들을 포함하는 3차원 장면을 재구성하기 위해, 홀로그래픽 시스템의 광학적 광 변조기 또는 사운드 발생 수단의 인코딩 값들을 컴퓨팅하는 컴퓨팅 장치로서,
상기 컴퓨팅 장치는 제1항의 홀로그래픽 인코딩 값 컴퓨팅 방법을 수행하도록 구성된 적어도 하나의 프로그래머블 프로세서 코어를 포함하는 것인, 컴퓨팅 장치.
제11항에 있어서,
임의의 유형의 적어도 하나의 프로그래머블 논리 장치(programmable logic device)와, 적어도 하나의 주문형 집적회로(application-specific integrated circuit)와, 적어도 하나의 디지털 신호 프로세서(digital signal processor) 중 적어도 하나를 포함하고,
상기 임의의 유형의 적어도 하나의 프로그래머블 논리 장치와, 상기 적어도 하나의 주문형 집적회로와, 상기 적어도 하나의 디지털 신호 프로세서 중에서 적어도 2개가 제공되는 경우, 상기 적어도 2개의 상기 임의의 유형의 적어도 하나의 프로그래머블 논리 장치와, 상기 적어도 하나의 주문형 집적회로와, 상기 적어도 하나의 디지털 신호 프로세서는 하나의 집적회로 내에 결합될 수 있는 것인, 컴퓨팅 장치.
제11항에 있어서, 상기 컴퓨팅 장치는 3차원 장면의 표시를 위한 디스플레이의 시스템 제어기의 일부인 것인, 컴퓨팅 장치.
제11항에 있어서, 상기 컴퓨팅 장치는 3차원 장면의 컴퓨팅을 위해 사용될 수 있는 일반 컴퓨팅 시스템의 일부인 것인, 컴퓨팅 장치.