KR101384728B1 - 컴퓨터 제작 비디오 홀로그램을 실시간으로 렌더링 및 생성하는 방법 - Google Patents

컴퓨터 제작 비디오 홀로그램을 실시간으로 렌더링 및 생성하는 방법 Download PDF

Info

Publication number
KR101384728B1
KR101384728B1 KR1020087024717A KR20087024717A KR101384728B1 KR 101384728 B1 KR101384728 B1 KR 101384728B1 KR 1020087024717 A KR1020087024717 A KR 1020087024717A KR 20087024717 A KR20087024717 A KR 20087024717A KR 101384728 B1 KR101384728 B1 KR 101384728B1
Authority
KR
South Korea
Prior art keywords
observer
scene
data
plane
hologram
Prior art date
Application number
KR1020087024717A
Other languages
English (en)
Other versions
KR20090004931A (ko
Inventor
알렉산더 슈워트너
Original Assignee
시리얼 테크놀로지즈 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시리얼 테크놀로지즈 에스.에이. filed Critical 시리얼 테크놀로지즈 에스.에이.
Publication of KR20090004931A publication Critical patent/KR20090004931A/ko
Application granted granted Critical
Publication of KR101384728B1 publication Critical patent/KR101384728B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G03H2210/33—3D/2D, i.e. the object is formed of stratified 2D planes, e.g. tomographic data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/454—Representation of the decomposed object into planes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 깊이 정보를 가진 3차원 이미지 데이터로부터 실시간으로 컴퓨터 제작 비디오 홀로그램을 렌더링 및 생성하는 방법에 관한 것이다. 관찰자(V)의 위치 및 상기 관찰자의 시선에 의해 장면(3D-S)의 뷰(view)가 결정되고, 관찰자 평면(VP)에서 눈에 가까이 놓인 하나 이상의 가상 관찰자 윈도우(VW)가 관찰자에 할당된다. 상기 방법은 하기 단계들을 포함한다. 단계 1): 관찰자 시선에 대해 수직인 2개의 평행한 섹션 평면 사이에 있는 장면 섹션 데이터로부터 깊이 맵을 3D-렌더링 및 생성시키고, 단계 2): 광파가 관찰자 윈도우 내로 전파되도록, 장면 섹션 데이터를 변환하고, 단계 3): 개별 변환의 결과가 가산되도록, 시선 방향으로 섹션 평면을 연속적으로 이동하면서 3D 렌더링 및 변환 단계를 반복하고, 단계 4): 상기 가산된 데이터가 관찰자 평면으로부터 홀로그램 평면으로 변환되어 홀로그램 데이터를 형성하도록, 역변환하고, 단계 5): 3차원 장면의 재구성을 위해 픽셀 값으로 코딩한다. 상기 단계들은 그래픽 서브 시스템에서 하나 또는 다수의 그래픽 프로세서에 의해 실시된다.
3차원 이미지 데이터, 장면, 뷰, 관찰자 평면, 섹션 평면, 관찰자 윈도우, 렌더링, 역변환, 픽셀.

Description

컴퓨터 제작 비디오 홀로그램을 실시간으로 렌더링 및 생성하는 방법{METHOD FOR RENDERING AND GENERATING COMPUTER-GENERATED VIDEO HOLOGRAMS IN REAL-TIME}
본 발명은 깊이 정보를 가진 3차원 이미지 데이터로부터 실시간으로 컴퓨터 제작 비디오 홀로그램 CGVH 을 렌더링 및 생성하는 방법에 관한 것이다.
렌더링의 영역에서, 본 발명은 모니터 상에 래스터화된 이미지에 대한 3D-장면을 벡터로, 수학적으로 나타내는 알고리즘을 포함하는 소위 3D 렌더링-파이프 라인 또는 그래픽 파이프 라인에 관한 것이다. 3차원 이미지 데이터는 깊이 정보를 포함하고 일반적으로 재료 및 표면 특성에 대한 추가 설명을 포함한다. 홀로그래픽 데이터를 생성하는 영역에서, 본 발명은 장면의 부분 영역의 변환에 관한 것이며, 상기 변환에 의해 광파가 전파된다.
3D 물체 또는 3D 장면의 홀로그래픽 표시에서, 광 파면(light wave front)은 코히어런트 광파의 중첩 및 간섭에 의해 생성된다.
간섭 패턴으로서 포토그래픽으로 또는 다른 방식으로 저장되는 종래의 홀로그램과는 달리, CGVH는 3차원 장면의 시퀀스로부터 홀로그램 데이터의 계산 및 전자 수단에 의한 그 저장의 결과로서 존재한다.
변조된 간섭성 광은 3차원 장면을 재구성하기 위해 진폭 및/또는 위상 값에 의해 제어 가능한 광 파면으로서 관찰자의 눈 앞에서 공간적으로 전파된다. 비디오 홀로그램의 홀로그램 값에 의한 광 변조기 수단 또는 공간 광 변조기 SLM 의 제어는, 디스플레이로부터 나오는, 픽셀 변조된 파동장이 간섭에 의해 공간적으로 소정 3차원 장면을 재구성하게 한다.
홀로그래픽 디스플레이 장치는 제어 가능한 픽셀의 장치를 포함하고, 상기 픽셀은 조명 광의 진폭 및/또는 위상의 전자적 영향에 의해 물체점을 재구성한다. 이러한 장치는 공간 광 변조기 SLM의 형태이거나 또는 일반적으로 광 변조기 수단이라 한다. 디스플레이는 매트릭스 형태가 아니라 연속적일 수 있다. 디스플레이는 예컨대 매트릭스 제어 방식 연속 SLM 또는 음향-광학 변조기 AOM을 포함하는 연속 SLM 일 수 있다. 광 패턴의 공간적 진폭 변조에 의한 비디오 홀로그램의 재구성을 위한 적합한 디스플레이 장치는 예컨대 액정 디스플레이 LCD 이다. 그러나, 본 발명은 광 파면을 변조하기 위해 코히어런트 광을 사용하는 다른 제어 가능한 장치에도 적용될 수 있다.
상기 간행물에서, "픽셀"은 SLM에서 제어 가능한 홀로그램 픽셀이다. 픽셀은 홀로그램 점의 이산 값에 의해 개별적으로 어드레싱되거나 제어된다. 각각의 픽셀은 비디오 홀로그램의 홀로그램 점이다. 따라서, LCD에서 "픽셀"은 디스플레이의 개별적으로 어드레싱 가능한 이미지 점에 대해 사용된다. DLP에서 "픽셀"은 개별 마이크로 거울에 대해 또는 작은 그룹의 마이크로 거울에 대해 사용된다. 연속 SLM에서 픽셀은 복잡한 홀로그램 점을 나타내는 SLM 상에서의 전이 영역이다. 따라서, "픽셀"은 일반적으로 복잡한 홀로그램 점을 나타내는, 즉 표시하는 가장 작은 단위이다.
컴퓨터 제작 비디오 홀로그램은 예컨대 출원인이 간행물 WO2004/044659에 이미 개시한 홀로그래픽 디스플레이 장치에 의해 재구성될 수 있다. 이를 위해, 관찰자는 동공 보다 큰 하나 이상의 가상 관찰자 윈도우를 통해 디스플레이를 바라본다.
"관찰자 윈도우"는 관찰자가 충분히 큰 가시성으로 전체 재구성된 3D 장면을 볼 수 있게 하는 제한된 가상 영역이다. 관찰자 윈도우는 관찰자의 눈 위에 또는 눈 가까이에 배치된다. 관찰자 윈도우는 X, Y 및 Z 방향으로 움직일 수 있다. 관찰자 윈도우 내에서, 파동장들이 중첩됨으로써, 재구성된 물체가 관찰자에게 가시될 수 있다. 윈도우는 관찰자의 눈 근처에 놓이고, 실제 관찰 위치의 공지된 위치 검출 및 트랙킹 장치에 의해 트래킹될 수 있다. 따라서, 윈도우는 동공 크기를 초과하지 않는 크기로 제한될 수 있다. 2개의 관찰자 윈도우, 즉 각각의 눈에 대해 하나의 관찰자 윈도우를 사용하는 것이 가능하다. 관찰자 윈도우의 복잡한 배치도 가능하다. 또한, SLM 뒤에서 관찰자가 보는 물체들 또는 전체 장면을 포함하는 비디오 홀로그램을 코딩하는 것이 가능하다.
"변환"은 변환과 동일하거나 또는 변환과 유사한 수학적 또는 컴퓨터 기술을 포함하도록 넓게 해석된다. 수학적 의미에서 변환은 맥스웰 파동장 전파 방정식으로 표시되는 물리적 과정의 근사이다. 프레넬 변환 또는 푸리에 변환으로서 공지된 특수 그룹의 변환과 같은 변환은 제 2 차수의 근사를 나타낸다. 변환은 일반적으로 미분으로 표시되지 않고 대수로 표현되기 때문에, 컴퓨터 기술로 효율적으로 그리고 성능적으로 다루어진다. 또한, 변환은 광학 시스템에 정확하게 사용될 수 있다.
출원인의 WO 2006/066919는 컴퓨터 제작 비디오 홀로그램의 계산 방법을 개시한다. 각각의 섹션 평면에 대해 래스터 점에 이산 진폭값을 가진 별도의 물체 데이터 레코드를 규정하고 이미지 데이터 레코드로부터 홀로그래픽 디스플레이 장치의 광 변조기 매트릭스용 홀로그래픽 코딩을 계산하기 위해, 복잡한 진폭 값을 가진 물체를 평행한 가상 섹션 평면의 래스터 점들 내의 3차원 장면에 할당한다.
상기 목적은 본 발명에 따라 컴퓨터 지원 방식으로 하기 단계를 실시함으로써 달성된다:
- 각각의 토모그래픽 장면 섹션의 물체 데이터 레코드로부터, 회절 상이 섹션 평면에 대해 평행하게 유한 간격을 두고 관찰자 평면에 대한 파동장의 별도의 2차원 분포의 형태로 계산되고, 하나 이상의 공통 가상 윈도우, 즉 관찰자 윈도우에 대한 모든 섹션의 파동장이 계산되고, 상기 윈도우는 관찰자 평면에서 관찰자의 눈 가까이에 놓이며 그 면이 비디오 홀로그램에 비해 감소한다.
- 모든 섹션 평면의 계산된 분포는 윈도우에 대한 하나의 공통 파동장을 나타내기 위해 관찰자 평면에 대해 기준이 된 데이터 레코드에 가산된다.
- 기준 데이터 레코드는 장면의 공통 컴퓨터 제작 홀로그램용 홀로그림 데이터 레코드를 생성하기 위해 기준 평면으로부터 유한적으로 떨어진, 평행한 홀로그램 평면으로 변환되고, 상응하는 코딩 후에 장면을 관찰자의 눈 앞에서 공간적으로 재구성하는 광 변조기 매트릭스가 홀로그램 평면 내에 놓인다.
상기 방법 및 홀로그래픽 디스플레이 장치는 장면의 물체를 재구성하는 것이 아니라, 먼저 물체가 방사하는 파면을 하나 또는 다수의 관찰자 윈도우 내로 재구성한다는 사실을 기초로 한다.
관찰자가 가상 관찰자 윈도우를 통해 장면을 바라볼 수 있다. 가상 관찰자 윈도우는 실제 관찰 위치의 공지된 위치 검출 및 트래킹 장치에 의해 트래킹된다.
홀로그래픽 디스플레이 장치의 광 변조기 수단과 관찰자 윈도우 사이에는 소위 절단체를 형성하는 가상 절두 피라미드형 관찰 영역이 있다. SLM은 밑면을 형성하고, 관찰자 윈도우는 윗면을 형성한다. 관찰자 윈도우가 매우 작은 경우, 절두 피라미드는 피라미드에 근사해질 수 있다. 관찰자는 가상 관찰자 윈도우를 통해 디스플레이 방향으로 바라보고 관찰자 윈도우 내에 장면을 나타내는 파면을 형성한다.
본 발명의 목적은 깊이 정보를 가진 3차원 이미지 데이터로부터 실시간으로 비디오 홀로그램을 생성할 수 있게 하는 방법을 제공하는 것이다.
특히 현재 이용 가능한, 예컨대 그래픽 카드 및 게임 패드용 그래픽 프로세서 및 그랙픽 서브 시스템이 사용될 수 있어야 한다. 보편성의 제한 없이, 하드웨어, 소프트웨어 및 프로그램 인터페이스와 관련해서 현재 정해진 산업 표준이 사용되어야 한다.
본 발명의 방법은 하기에서 최적화가 생략된다는 것을 기초로 한다. 방법의 출발점은 깊이 정보를 가진 3차원 이미지 데이터이다. 상기 정보는 3차원 표시로서 정점, 법선 벡터 및 매트릭스의 형태로 주어진다. 이미지 데이터는 일반적으로 재료 및 표면 특성 등에 대한 추가 표시를 포함한다.
소위 3D 렌더링 파이프 라인 또는 그래픽 파이프 라인은 실시간 렌더링의 경우 모니터 상에 표시하기 위해 프레임 버퍼 내에서 래스터화된 이미지 데이터에 대한 3D 장면의 벡터의, 수학적 표현 방법을 나타낸다. 파이프 라인에서 예컨대 디스플레이 좌표로부터 장치 좌표로의 환산, 텍스처링, 클리핑 및 안티앨리어싱이 이루어진다. 그래픽 어댑터의 프레임 버퍼 내에 저장된 래스터화된 이미지, 즉 3D 장면의 2D 투영은 모니터, 예컨대 LCD 디스플레이의 제어 가능한 픽셀용 픽셀값의 데이터를 포함한다.
홀로그래픽 표시를 위해, 간섭성 광의 위상 및/또는 진폭 변조에 의해 3차원 장면이 간섭 패턴을 중첩함으로써 재구성된다.
깊이 정보를 가진 3차원 이미지 데이터로부터 비디오 홀로그램을 생성하기 위해, 제 1 단계에서 상기 그래픽 파이프 라인이 사용된다. 그리고 나서, 홀로그래픽 데이터의 생성은 장면의 변환에 기초한다. 상기 변환은 광파를 전파한다. 역변환 후에, 코딩이 이루어지고, 복잡한 홀로그램 값들은 홀로그래픽 디스플레이 장치의 광 변조기 수단(들)에 대한 픽셀값으로 변환된다.
본 발명은 3D 렌더링 및 홀로그래픽 변환 및 역변환 및 코딩이 그래픽 프로세서 및 계산 프로세서에 의해 분리되어 이루어지지 않고, 2개의 방법 그룹이 하나 또는 다수의 그래픽 프로세서에 의해 실시된다는 사실을 기초로 한다. 단계들의 전체 실행은 메인 소자로서 그래픽 프로세서, 메모리 매체 및 인터페이스를 포함하는 그래픽 서브 시스템에서 이루어진다. 본 발명에 따라 이용 가능한 계산 프로세서에 비해 현재 이용 가능한 그래픽 프로세서의 더 높은 성능이 바람직하게 이용된다. 또한, 그래픽 서브 시스템과 다른 외부 인터페이스 사이의 복잡한 데이터 전송이 방지될 수 있다.
이하에서, 상기 단계들이 설명된다.
관찰자의 위치 및 그 시선에 의해 3차원 장면의 뷰가 결정된다. 기준 평면에서 눈 가까이에 놓인 하나 이상의 가상 관찰자 윈도우가 관찰자에 할당된다.
이미지 데이터는 깊이 정보를 가진 3차원 표시로서 주어진다. 일반적으로, 물체의 색 및 표면의 구조가 결정된다. 또한, 재료 특성 및 광원이 모델링되거나 또는 보조 알고리즘에 의해 작성된다.
준비된 단계에서, 관찰자의 시선을 따라 회전, 스케일링, 병진 운동이 실시되고, 장면의 가시성이 계산된다. 또한, 조명 모델에 의해 광의 타입 및 그 분포에 대한 필요한 모든 정보가 계산된다. 따라서, 후속 단계에서 홀로그래픽 데이터를 생성하기 위해 좌표 및 조명 계산이 반복적으로 이루어지지 않아도 된다. 상기 계산은 복잡하고, 복잡한 장면에서 전체 시스템의 성능에 부정적인 영향을 줄 것이다.
제 1 단계에서, 3D 렌더링 및 깊이 맵의 생성이 이루어진다. 장면 데이터들은 2개의 평행한 섹션 평면들에 의해 층들로 분할된다. 이 평면들은 관찰자의 시선에 대해 수직이며, 섹션 평면들 사이의 간격은 계산 정확성 및 방법의 성능이 보장되도록 충분히 작게 선택된다. 이상적으로 상기 간격은 관찰자와 일정한 간격을 두고 배치된 깊이 정보만이 계산에 고려될 정도로 매우 작아야 한다. 평면들 사이의 간격이 커지면, 깊이 정보가 적합하게 선택되고, 예컨대 2개의 평면의 간격 평균값으로서 결정되어 하나의 층에 할당된다. 하나의 층의 장면 섹션 데이터가 렌더링되고, 깊이 맵이 생성된다.
후속 단계에서, 장면 섹션 데이터의 변환이 이루어진다. 가장 일반적인 형태로, 변환시 광파가 가상 관찰자 윈도우 내로 전파된다. 가장 간단한 변환은 푸리에 또는 프레넬 변환으로서 주어진다. 푸리에 변환은 관찰자와의 큰 간격으로 인해 광파가 편평한 파면으로서 해석될 수 있는 먼 범위에 사용된다. 푸리에 변환은 다른 변환과는 달리, 변환이 광학 소자에 의해 - 그리고 역으로 - 모델링될 수 있다는 장점을 갖는다. 구면파의 가까운 영역에는 프레넬 변환이 바람직하게 사용된다. 변환은 섹션 평면들에 의해 포함된 일정한 z 좌표를 기초로 한다. 예컨대, 2개의 평면 중 하나의 평면의 z 좌표 또는 그것으로부터 형성된 평균값이 기초가 된다.
후속해서, 3D 렌더링 및 변환의 상기 단계는 시선 방향으로 섹션 평면이 연속적으로 이동하면서 전체 장면들이 변환될 때까지 반복된다. 장면 섹션 데이터의 변환된 데이터는 연속적으로 가산되어 하나의 공통 기준 데이터 레코드를 형성한다. 전체 장면의 변환 후에, 상기 기준 데이터 레코드는 개별 장면 섹션 데이터의 변환의 합을 형성한다.
다음 단계에서, 역변환이 이루어진다. 기준 데이터는 광 변조기 수단에서 유한적으로 떨어진, 평행한 홀로그램 평면 내로 변환되어 비디오 홀로그램용 홀로그램 데이터를 형성한다.
마지막 단계에서, 코딩이 이루어지고, 정규화 후에 픽셀 값으로 변환이 이루어진다. 부르크하르트(Burckhardt) 코딩의 경우, 복잡한 홀로그램 값이 3개의 값으로 나타나고, 상기 값들은 각각 0 내지 1의 값 범위로 정규화된다. 1로 나타난 값은 최대로 얻어질 수 있는 값을 제한한다. 후속해서, 상기 값들은 이산 값으로 변환되고, 이산된 그레이 단계에 의해 광 변조기 수단의 픽셀용 제어 강도를 형성한다. 이산화 단계의 수는 그래픽 카드의 특성 및 사용된 디스플레이에 의존한다. 이는 대개 256 단계를 가진 8 비트의 분해능을 갖는다. 10 비트 이상의 다른 분해능도 가능하다. 다른 바람직한 코딩은 2 단계 코딩이다.
분석 해(analytic solution)를 허용하지 않고 단지 반복 해(iterative solution)를 허용하는 코딩이 선택되면, 방법의 특별한 실시예에서 3D 렌더링 내지 코딩 단계는 최소 신호 잡음을 특징으로 하는 최적 해가 충분히 근사해질 때까지 반복된다.
코딩된 픽셀값들은 프레임 버퍼 내에서 광 변조기로 전달되고, 상기 광 변조기는 간섭성 광의 위상 및/또는 진폭 변조에 의해 간섭 패턴을 중첩함으로써 3차원 장면을 재구성한다.
컬러 이미지 내용을 생성하기 위해, 방법은 개별 컬러 성분에도 유사하게 적용된다. 비디오 홀로그램을 나타내기 위해, 각각의 픽셀은 삼원색 각각의 컬러 홀로그램 점을 표시 또는 디스플레이하기 위한 서브 픽셀을 포함할 수 있다. 비디오 홀로그램의 코딩 방식에 따라, 각각의 컬러 홀로그램 점의 원색을 표시하기 위한 다른 서브 픽셀이 존재할 수 있다.
따라서, 본 발명에 따른 방법은 예컨대 그래픽 카드 및 게임 패드에 사용되는 바와 같은 이용 가능한 그래픽 프로세서 및 그래픽 서브 시스템에 실시간으로 비디오 홀로그램이 깊이 정보를 가진 3차원 이미지 데이터로부터 생성되게 한다.
본 발명의 다른 관점 및 세부 사항은 하기 실시예 및 첨부한 도면에 제시된다.
도 1은 본 발명에 따른 방법의 흐름도.
도 2는 특별한 경우에 대한 본 발명에 따른 방법의 흐름도.
도 3은 홀로그래픽 디스플레이 장치의 원리도.
도 1은 본 발명에 따른 방법의 흐름도를 도시한다. 방법은 깊이 정보를 가진 3차원 이미지 정보를 기초로 한다. 관찰자 및 그 시선의 위치에 의해, 장면의 뷰가 결정된다.
기준 평면에서 눈에 가까이 놓인 하나 이상의 가상 관찰자 윈도우가 관찰자에 할당된다. 준비된 단계에서, 관찰자의 시선을 따라 장면의 좌표 변환 및 조명 계산이 이루어진다. 경우에 따라 장면의 개선된 표시를 보장하기 위한 추가 단계가 이루어진다. 이러한 단계들은 그래픽 서브 시스템에서 후속 단계와 마찬가지로 이루어진다.
먼저, 관찰자의 시선에 대해 수직인 2개의 평행한 섹션 평면 사이에 있는 장면 섹션 데이터로부터 깊이 맵의 3D 렌더링 및 생성이 이루어진다. 그리고 나서, 장면 섹션 데이터의 변환이 이루어지며, 광파는 기준 평면 내에 놓인 가상 관찰자 윈도우 내로 전파된다. 장면 섹션 데이터의 변환된 데이터는 공통 데이터 레코드에 가산된다. 이 실시예에서는 고속 푸리에 변환 알고리즘에 의해 수치로 실시되는 푸리에 변환이 사용된다. 변환을 실시하기 위해 중요한 수치 연산, 즉 승산 및 가산, 반복 및 조건문(conditional statement)으로 이루어질 수 있는 수치 연산은 프로그래밍 가능한 셰이더(shader)에서 실시되고 그것에 의해 실행된다.
시선 방향으로 섹션 평면을 연속적으로 이동하면서 전체 장면이 변환될 때까지 3D 렌더링 및 변환 단계를 반복한 후에, 역변환이 마찬가지로 푸리에 변환에 의해 이루어진다. 역변환은 변환과 유사하게 프로그래밍 가능한 셰이더에서 실시 및 실행된다. 역변환시에, 상기 가산된 데이터는 광 변조기 수단에서 기준 평면으로부터 유한적으로 떨어진, 평행한 홀로그램 평면으로 변환되어 비디오 홀로그램용 홀로그램 데이터를 형성한다.
끝으로 코딩이 이루어진다. 정규화 후에 픽셀값으로 코딩이 이루어지고, 프레임 버퍼 내에서 3차원 장면의 재구성을 위한 광 변조기 수단으로 전달이 이루어진다. 변환을 위한 이러한 비교적 간단한 계산 동작은 가장 간단한 경우에 프로그래밍 가능한 셰이더에서 실시 및 실행된다.
도 2는 반복 해의 특별한 경우에 대한 방법의 흐름도를 도시한다. 기초 단계들, 즉 장면의 가시성 및 조명 계산, 깊이 맵의 3D 렌더링 및 생성, 변환된 장면 섹션 데이터의 가산의 변환, 역변환 및 코딩은 제 1 실시예와 유사하게 구성되고 실시된다. 이 실시예는 픽셀값들의 코딩의 분석적 계산이 불가능하다는 사실을 기초로 한다. 따라서, 3D-렌더링 내지 코딩 단계는 반복적으로 이루어진다. 계산된 코딩된 픽셀값들, 즉 위상 및/또는 진폭은 초기 해(start solution)로서 후속하는 반복 단계의 변환 및 역변환에 사용된다. 반복은 최소 신호 잡음을 특징으로 하는 최적 해(optimal solution)가 충분히 근사해질 때까지 반복된다. 최적 해의 다른 포기 기준 또는 결정은 사용된 변환 및 수치 알고리즘을 고려해서 결정될 수 있다.
도 3은 본 발명의 방법에 따라 생성된 비디오 홀로그램을 나타낼 수 있는 홀로그래픽 디스플레이 장치(HAE)의 원리를 도시한다. 관찰자의 눈으로 표시되는 관찰자는 가상 관찰자 윈도우(VW)를 통해 홀로그래픽 디스플레이 장치(HAE)를 바라본다. 장치는 광 변조기 수단(SLM)을 포함한다. 이러한 홀로그래픽 디스플레이 장치는 물체가 방사하는 파면을 먼저 관찰자 평면(VP) 내의 하나 또는 다수의 가상 관찰자 윈도우(VW) 내로 재구성한다는 사실을 기초로 한다.

Claims (7)

  1. 홀로그래픽 디스플레이 장치(HAE)를 위해 깊이 정보를 가진 3차원 이미지 데이터로부터 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법에 있어서,
    상기 홀로그래픽 디스플레이 장치(HAE)는 광 변조기 수단(SLM)을 포함하고, 물체가 방사하는 파면(wave front)을 관찰자 눈의 방향으로 재구성하고, 관찰자의 위치 및 관찰자의 시선 방향에 의해 3차원 장면(3D-S)의 뷰가 규정되고, 관찰자 평면에서 눈에 가까이 놓인 적어도 하나의 가상 관찰자 윈도우(VW)가 관찰자에 할당되고, 준비 절차 단계에서 관찰자 시선 방향을 따라 장면의 좌표 변환 및 조명 계산이 수행되는 것인, 상기 방법은
    단계 1): 관찰자 시선 방향에 대해 수직인 2 개의 평행한 섹션 평면들에 의해 장면 데이터들을 섹션 층들로 분할하고(slicing), 장면 섹션 데이터를 3D-렌더링하고, 상기 장면 섹션 데이터의 깊이 정보를 생성하는 단계,
    단계 2): 광파가 관찰자 윈도우 내로 전파되도록, 상기 장면 섹션 데이터를 변환하는 단계,
    단계 3): 개별 변환의 결과의 가산으로 집계된 데이터 세트를 생성하기 위해, 섹션 평면들을 연속적으로 이동시키면서 전체 장면이 변환될 때까지, 단계 1) 및 단계 2)를 반복하는 단계,
    단계 4): 상기 집계된 데이터 세트가 상기 관찰자 평면으로부터 홀로그램 평면 - 상기 홀로그램 평면은 광 변조기의 위치와 일치하며 상기 관찰자 평면에 평행하고 유한한 거리만큼 떨어져서 위치함 - 에 변환되어, 비디오 홀로그램을 위한 홀로그램 데이터를 생성하도록 역변환(Back-transformation)하는 단계,
    단계 5): 3차원 장면의 재구성을 위하여, 상기 홀로그램 데이터를 정규화한 후에 픽셀 값의 계산 및 프레임 버퍼 내에서의 전달이 이루어지도록, 인코딩하는 단계
    를 포함하고,
    상기 개별 단계들은 그래픽 서브 시스템에서 하나 또는 다수의 그래픽 프로세서에 의해 실행되는 것인, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
  2. 제 1항에 있어서,
    단계 1), 단계 2), 단계 4), 및 단계 5)는 프로그래밍 가능한 표준화된 셰이더(programmable standardised shader)에서 구현되고 실행되는 것인, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
  3. 제 1항에 있어서,
    상기 변환은 푸리에 또는 프레넬 변환의 방법으로 상기 광파를 관찰자 윈도우(VW) 내로 전파하는 것인, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
  4. 제 1항에 있어서,
    단계 1) 및 단계 2)는 상기 3차원 장면(3D-S)의 윤곽에 대해서만 실시되는 것인, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
  5. 제 1항에 있어서,
    상기 방법은 컬러 표시의 경우 각각의 원색에 대해 적용되는, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
  6. 제 1항에 있어서,
    상기 관찰자 평면 내로의 변환은 상기 장면 섹션 데이터 및 상기 관찰자 평면 사이의 일정 간격 - 상기 일정 간격은 상기 섹션 평면들 상에 내재됨 - 을 기초로 하는, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
  7. 제 1항에 있어서,
    상기 변환 및 상기 인코딩의 반복 해(iterative solution)에 대해서, 상기 단계 1) 내지 3)은, 최소 신호 잡음으로 특징지어진 해(solution)로 근사될 때까지 반복되는, 컴퓨터 제작 비디오 홀로그램을 실시간 렌더링 및 생성하기 위한 방법.
KR1020087024717A 2006-04-13 2007-04-12 컴퓨터 제작 비디오 홀로그램을 실시간으로 렌더링 및 생성하는 방법 KR101384728B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006018689A DE102006018689A1 (de) 2006-04-13 2006-04-13 Verfahren zum Rendern und Generieren computergenerierter Videohologramme in Echtzeit
DE102006018689.3 2006-04-13
PCT/EP2007/053568 WO2007118842A1 (de) 2006-04-13 2007-04-12 Verfahren zum rendern und generieren computer-generierter videohologramme in echtzeit

Publications (2)

Publication Number Publication Date
KR20090004931A KR20090004931A (ko) 2009-01-12
KR101384728B1 true KR101384728B1 (ko) 2014-04-14

Family

ID=38198369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087024717A KR101384728B1 (ko) 2006-04-13 2007-04-12 컴퓨터 제작 비디오 홀로그램을 실시간으로 렌더링 및 생성하는 방법

Country Status (9)

Country Link
US (1) US8395616B2 (ko)
EP (1) EP2005259B1 (ko)
JP (1) JP5124563B2 (ko)
KR (1) KR101384728B1 (ko)
CN (2) CN102608900B (ko)
CA (1) CA2648699C (ko)
DE (1) DE102006018689A1 (ko)
TW (1) TWI374343B (ko)
WO (1) WO2007118842A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100073744A1 (en) * 2006-09-01 2010-03-25 Seereal Technologies S.A. Method for Generating Video Holograms in Real Time by Means of Subholograms
US8139103B2 (en) * 2006-11-11 2012-03-20 Vuzix Corporation Traveling lens for video display
BR112012009893B1 (pt) 2009-10-26 2021-02-02 Sony Computer Entertainment Inc. dispositivos e métodos de geração de arquivo de imagem e de processamento de imagem, mídia de gravação não transitória legível por computador, e, estrutura de dados de um arquivo de imagem
US8396256B2 (en) 2010-03-25 2013-03-12 International Business Machines Corporation Parallel computing of line of sight view-shed
CN101860979B (zh) * 2010-04-23 2012-07-18 浙江工商大学 一种无线局域网络中三维模型传输和交互式绘制方法
KR101652401B1 (ko) * 2010-09-07 2016-08-31 삼성전자주식회사 입체 영상 디스플레이 장치 및 입체 영상 표시 방법
KR101766272B1 (ko) 2010-11-01 2017-08-08 삼성전자주식회사 시준화된 지향성의 백라이트 유닛을 사용하는 홀로그래픽 영상 디스플레이 장치 및 방법
KR101849696B1 (ko) 2011-07-19 2018-04-17 삼성전자주식회사 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
FR2986874A1 (fr) * 2012-02-15 2013-08-16 France Telecom Procede de codage de motif holographique, dispositif de codage et programme d'ordinateur correspondants
CN103217888B (zh) * 2012-11-09 2018-02-02 浙江师范大学 一种计算机制合成彩色彩虹全息图的制作方法
KR102083584B1 (ko) 2013-04-15 2020-03-02 삼성전자주식회사 홀로그램 패턴 생성 장치 및 방법
DE112014002704A5 (de) 2013-06-06 2016-03-03 Seereal Technologies S.A. Vorrichtung und Verfahren zur Berechnung von Hologrammdaten
US9473764B2 (en) 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display
KR102224718B1 (ko) 2014-08-06 2021-03-08 삼성전자주식회사 홀로그램 생성 방법 및 장치
KR102390372B1 (ko) 2015-06-01 2022-04-25 삼성전자주식회사 개선된 화질을 제공하는 공간 광변조기 및 이를 포함하는 홀로그래픽 디스플레이 장치
KR102464362B1 (ko) 2015-09-30 2022-11-07 삼성전자주식회사 홀로그래픽 이미지 처리방법 및 장치
DE102016100793A1 (de) * 2016-01-19 2017-07-20 Seereal Technologies S.A. Verfahren und Vorrichtung zur Kodierung von komplexwertigen Signalen für die Rekonstruktion von dreidimensionalen Objekten
KR102571080B1 (ko) 2016-02-12 2023-08-25 삼성전자주식회사 홀로그래픽 이미지를 처리하는 방법 및 장치
KR20170096420A (ko) 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
JP6599569B2 (ja) * 2016-05-24 2019-10-30 イー インク コーポレイション ディスプレイ上に画像をレンダリングする方法、ディスプレイデバイスおよびコンピューティングデバイスを備える装置、ならびに、非一過性コンピュータ記憶媒体
US10969740B2 (en) * 2017-06-27 2021-04-06 Nvidia Corporation System and method for near-eye light field rendering for wide field of view interactive three-dimensional computer graphics
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
EP3511910A1 (en) * 2018-01-12 2019-07-17 Koninklijke Philips N.V. Apparatus and method for generating view images
FR3080469A1 (fr) * 2018-04-23 2019-10-25 B<>Com Procede de traitement d'un hologramme, dispositif, systeme de restitution holographique et programme d'ordinateur associes
CN109270816B (zh) * 2018-08-16 2024-01-23 中国科学院光电研究院 一种全息图生成方法及彩色全息显示系统
KR20200116318A (ko) * 2019-04-01 2020-10-12 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 장치 및 방법
CN118466774B (zh) * 2024-07-10 2024-09-06 武汉攀升鼎承科技有限公司 全息场景的无线短距离通信的前端体验系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549308B1 (en) 2000-01-11 2003-04-15 Zebra Imaging, Inc. Unibiased light field models for rendering and holography
US20060050340A1 (en) 2004-09-08 2006-03-09 Armin Schwerdtner Method and device for encoding and reconstructing computer-generated video holograms

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6123733A (en) * 1996-11-27 2000-09-26 Voxel, Inc. Method and apparatus for rapidly evaluating digital data processing parameters
JPH10288938A (ja) * 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> 計算機ホログラム生成方法並びに装置
ES2158471T3 (es) * 1997-11-20 2001-09-01 Europ Economic Community Procedimiento y dispositivo holograficos asistidos por ordenador.
EP1008919A1 (fr) * 1998-12-09 2000-06-14 Communauté Européenne (CE) Procédé et dispositif holographiques assistés par ordinateur pour restituer des images tridimensionnelles
CN1361452A (zh) * 2000-12-29 2002-07-31 南开大学 层析图像纵向面积循环分割的光学全息三维立体合成方法
US6646773B2 (en) * 2001-05-23 2003-11-11 Board Of Regents, The University Of Texas System Digital micro-mirror holographic projection
CN1343910A (zh) * 2001-07-07 2002-04-10 昆明理工大学 像素化全息显示技术
WO2003054797A2 (en) * 2001-12-19 2003-07-03 Actuality Systems, Inc. A radiation conditioning system
CN101349889B (zh) * 2002-11-13 2012-04-25 希瑞尔技术有限公司 视频全息图和用于重构大物体的视频全息图的装置
WO2005010623A2 (en) * 2003-07-24 2005-02-03 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
JP4464751B2 (ja) * 2003-08-25 2010-05-19 株式会社エヌ・ティ・ティ・ドコモ 立体画像表示装置及び立体画像表示システム
US7477252B2 (en) * 2004-04-05 2009-01-13 Actuality Systems, Inc. Processing three dimensional data for spatial three dimensional displays
WO2005099386A2 (en) * 2004-04-13 2005-10-27 Board Of Regents, The University Of Texas System Holographic projector
US8042094B2 (en) * 2004-07-08 2011-10-18 Ellis Amalgamated LLC Architecture for rendering graphics on output devices
US7697750B2 (en) * 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549308B1 (en) 2000-01-11 2003-04-15 Zebra Imaging, Inc. Unibiased light field models for rendering and holography
US20060050340A1 (en) 2004-09-08 2006-03-09 Armin Schwerdtner Method and device for encoding and reconstructing computer-generated video holograms

Also Published As

Publication number Publication date
EP2005259B1 (de) 2013-01-16
TW200809439A (en) 2008-02-16
US20100067075A1 (en) 2010-03-18
CA2648699A1 (en) 2007-10-25
CN102608900A (zh) 2012-07-25
TWI374343B (en) 2012-10-11
WO2007118842A1 (de) 2007-10-25
EP2005259A1 (de) 2008-12-24
JP5124563B2 (ja) 2013-01-23
JP2009533740A (ja) 2009-09-17
CN102608900B (zh) 2014-12-03
CN101421678B (zh) 2012-09-19
DE102006018689A1 (de) 2007-10-25
CN101421678A (zh) 2009-04-29
US8395616B2 (en) 2013-03-12
KR20090004931A (ko) 2009-01-12
CA2648699C (en) 2013-10-29

Similar Documents

Publication Publication Date Title
KR101384728B1 (ko) 컴퓨터 제작 비디오 홀로그램을 실시간으로 렌더링 및 생성하는 방법
US11460808B2 (en) Method for generating a head up display for an aircraft using video holograms in real time with the help of sub-holograms
KR101289585B1 (ko) 컴퓨터 제작 비디오 홀로그램을 랜더링 및 생성하는 방법 및 장치
KR101550934B1 (ko) 3ｄ-렌더링 그래픽 파이프 라인의 확장을 위한 실시간 비디오 홀로그램 생성 방법
US7636184B2 (en) Method and device for computing computer-generated video holograms
JP2010511899A (ja) コンピュータ合成ホログラム
Wang et al. Fast diffraction calculation of cylindrical computer generated hologram based on outside-in propagation model
US9811052B2 (en) Hologram generation apparatus and method
Zhang et al. Full parallax three-dimensional computer generated hologram with occlusion effect using ray casting technique
Ichikawa et al. A rendering method of background reflections on a specular surface for CGH
KR20210085177A (ko) 광 시야각 홀로그램 생성 방법 및 장치
US20230025687A1 (en) Method for generating a head up display for an aircraft using video holograms in real time with the help of sub-holograms
Sakamoto et al. A fast computational method for computer‐generated Fourier hologram using patch model
Esmer Real-Time Diffraction Field Calculation Methods for Computer-Generated Holograms
Zhang et al. Computer-generated hologram calculation using layered stereogram based inverse Fresnel diffraction
Wu et al. A method of calculating full-parallax computer-generated hologram with occlusion and lighting in real time
Lu et al. A Holographic Display Method of Medical Images with Modified Ray Tracing Method
Janda et al. HPO hologram synthesis for full-parallax reconstruction setup
Sakamoto A rendering method of background reflections on a specular surface for CGH
Zhang New approach to 3D terrain model display using computer generated holograms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 6