KR20230050404A - 홀로그램 데이터 계산을 위한 장치 및 방법 - Google Patents
홀로그램 데이터 계산을 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20230050404A KR20230050404A KR1020237008392A KR20237008392A KR20230050404A KR 20230050404 A KR20230050404 A KR 20230050404A KR 1020237008392 A KR1020237008392 A KR 1020237008392A KR 20237008392 A KR20237008392 A KR 20237008392A KR 20230050404 A KR20230050404 A KR 20230050404A
- Authority
- KR
- South Korea
- Prior art keywords
- hologram
- scene
- data
- circuit
- processing circuit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims abstract description 302
- 238000007781 pre-processing Methods 0.000 claims abstract description 276
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000010606 normalization Methods 0.000 claims description 110
- 238000004458 analytical method Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 8
- 206010047571 Visual impairment Diseases 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 208000029257 vision disease Diseases 0.000 claims description 7
- 230000004393 visual impairment Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 30
- 239000011295 pitch Substances 0.000 description 26
- 238000012937 correction Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 230000008901 benefit Effects 0.000 description 14
- 238000013461 design Methods 0.000 description 12
- 238000011161 development Methods 0.000 description 11
- 230000018109 developmental process Effects 0.000 description 11
- 230000001419 dependent effect Effects 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 239000002918 waste heat Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0891—Processes or apparatus adapted to convert digital holographic data into a hologram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
- G03H2001/2236—Details of the viewing window
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/30—3D object
- G03H2210/36—Occluded features resolved due to parallax selectivity
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/05—Means for tracking the observer
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2240/00—Hologram nature or properties
- G03H2240/20—Details of physical variations exhibited in the hologram
- G03H2240/40—Dynamic of the variations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
Abstract
본 발명은 적어도 하나의 홀로그램 계산 회로를 위한 전처리 회로, 홀로그램을 계산하기 위한 장치 및 방법에 관한 것이다. 전처리 회로는 표현될 장면의 데이터를 수신하기 위한 입력 인터페이스 유닛, 수신된 데이터를 정의된 방식으로 처리하고 장면을 표현하는 데 필요한 특정 파라미터를 포함하여 시스템 독립적인 포맷으로 데이터를 변환하기 위한 처리 유닛, 및 변환된 데이터를 출력하여 적어도 하나의 홀로그램 계산 회로로 전송하기 위한 출력 인터페이스 유닛을 포함한다.
Description
본 발명은 홀로그램 계산 칩 아키텍처를 갖는 장치, 특히 적어도 하나의 홀로그램 계산 회로를 위한 전처리 회로에 관한 것이다.
또한, 본 발명은 바람직하게는 3차원 장면 또는 오브젝트를 표현하기 위해 홀로그램 계산을 위한 장치에 관한 것이다. 또한, 본 발명은 홀로그램의 실시간 계산을 위한 파이프라인, 및 예를 들어 홀로그래픽 디스플레이 장치 또는 디스플레이로 3차원 장면 및 오브젝트를 표현하기 위해 사용될 수 있는 것과 같은 홀로그램의 계산 및 인코딩을 위한 방법에 관한 것이다.
따라서 본 발명은 홀로그램 계산 및 공간 광 변조기 장치에서 계산된 홀로그램을 출력하기 위한 콘텐츠 전처리를 위한 칩 아키텍처 및 그 다양한 양태를 개시하고 설명한다. 이러한 칩 아키텍처에 대한 가능한 애플리케이션은 바람직하게는 장면 또는 오브젝트와 같은 3차원 정보를 표현하기 위한 홀로그래픽 디스플레이 장치 또는 디스플레이일 수 있지만, 그러나 애플리케이션은 이러한 디스플레이 장치로 제한되어서는 안 된다.
홀로그래픽 디스플레이 장치 또는 디스플레이 및 홀로그래픽 데이터 또는 홀로그램을 계산하기 위한 계산 방법은 예를 들어 WO 2004/044659 A2, WO 2006/066919 A1, WO 2008/138979 A1 또는 WO 2011/121130 A9에 설명되어 있고, 여기서 이에 따라 이들 문헌들의 내용이 완전히 통합되어야 한다. 이들 문헌들에서는, 특히 홀로그램 및 서브 홀로그램이라는 용어 및 이들의 의미가 상세하게 설명되어 있고, 아래에서는 이에 대한 참조가 이루어진다. 전체 홀로그램 또는 간단히 홀로그램이라고 하는 것은 표현될 3차원 장면 또는 오브젝트의 홀로그램을 생성하기 위해 서로 중첩되는 정의된 개수의 서브 홀로그램에 의해 여기서 형성된다.
종래 기술에서, 예를 들어, 접근법은 홀로그램 또는 서브 홀로그램 계산에서 대칭, 특히 거울 대칭을 이용하는 것, 즉, 2차원(2D)의 서브 홀로그램의 일 사분면(즉, 1/4)에 대한 홀로그램 값만이 계산되면 되는 것에 기초한다. 나머지 3 개의 사분면의 값은 명시적으로 계산되지 않고, 2D 서브 홀로그램의 제1 사분면의 계산 결과 값이 2D 서브 홀로그램의 주축을 따라 제1 사분면 값의 대응하는 미러링에 의해 생성되거나 또는 복사됨으로써, 2D 서브 홀로그램의 제1 사분면의 계산된 값을 이용하여 나머지 3 개의 사분면의 값을 결정한다. 거울 대칭이라 함은 적어도 축 대칭 및/또는 점 대칭을 의미하는 것으로 이해될 수 있고, 여기서 점 대칭은 특히 서브 홀로그램의 중심점과 관련될 수 있다.
그러나, 이러한 절차로 서브 홀로그램을 계산하기 위한 비용은 여전히 매우 높다. 따라서, 본 출원인은 이러한 비용을 최소화하고 서브 홀로그램을 효율적으로 계산하기 위해 대칭성을 유리하게 더 사용하는 방법을 개발했다. US 2016/0132021 A1에 개시된 이러한 2D 서브 홀로그램 계산 방법이 이제 간략히 설명되고, 여기서 US 2016/0132021 A1의 내용 전체가 여기에 포함되어야 한다.
US 2016/0132021 A1에는 서브 홀로그램 또는 전체 홀로그램을 계산하기 위한 장치 및 방법이 개시되어 있다. 3차원 장면의 오브젝트 포인트를 표현하기 위한 홀로그래픽 디스플레이 장치는 여기서 픽셀 매트릭스를 갖는 공간 광 변조기 장치를 포함한다. 여기서 픽셀은 또한 복수의 하위 픽셀 또는 서브 픽셀을 포함할 수 있다. 이러한 경우, 픽셀은 매크로 픽셀에 해당한다. 이제 계산될 2D 서브 홀로그램은 공간 광 변조기 장치의 픽셀에 할당할 수 있는 복소수 값을 포함하고, 3차원 장면의 오브젝트 포인트만을 이미징하기 때문에, 회전 대칭을 갖는다. 이러한 맥락에서 복소수 값이라 함은 특히 수학적 의미의 복소수로 이해되어야 한다. 3차원 장면의 오브젝트 포인트를 표현하기 위한 2D 서브 홀로그램의 계산을 위한 장치는, 2D 서브 홀로그램이 2D 서브 홀로그램의 원점으로부터 2D 서브 홀로그램의 최대 반경까지의 2D 서브 홀로그램을 통과하는 구간을 따라 절반의 1D 서브 홀로그램을 포함하고, 여기서 각각의 픽셀의 반경이 결정되고 2D 서브 홀로그램의 각각의 픽셀이 전자 회로에 의해 동일한 또는 유사한 반경을 갖는 절반의 1D 서브 홀로그램의 적어도 하나의 픽셀에 영구적으로 할당되는 것을 특징으로 한다. 여기서 최대 반경은 2D 서브 홀로그램을 둘러싸는 원의 반경이다. 결과적으로, 이러한 2D 서브 홀로그램의 원점까지의 거리가 동일한 2D 서브 홀로그램의 픽셀들, 즉, 반경이 동일한 모든 픽셀들의 진폭 값 및 위상 값은 동일하다. 따라서 이러한 픽셀의 계산은 동일한 반경의 다른 픽셀에 대해서도 이러한 값을 사용할 수 있도록 충분하다.
이러한 2D 서브 홀로그램의 중첩으로부터 생성되는 홀로그램을 계산하기 위한 계산 시간 및 계산 노력을 효과적으로 단축하기 위해, 동일한 또는 적어도 유사한 반경의 픽셀은 전자 회로에 의해, 상응하는 반경을 갖고 2D 서브 홀로그램의 원점으로부터 2D 서브 홀로그램의 최대 반경 부분까지의 위에서 설명된 위치를 갖는 절반의 1D 서브 홀로그램의 픽셀에 할당되고, 계산은 이러한 하나의 픽셀에 대해서만 수행된다. 따라서, 전자 회로를 통한 영구적 할당으로 인해, 다른 픽셀의 반경을 결정하는 추가 단계, 추가 어드레싱 또는 이러한 단계를 위한 룩업 테이블의 사용이 필요하지 않다. 이러한 전자 회로는 디지털 회로로서 구현될 수 있다. 그러나, 아날로그 회로도 또한 사용될 수 있다.
장치의 일 구성에서, 2D 서브 홀로그램의 각각의 픽셀은, 2D 서브 홀로그램의 픽셀의 반경이 절반의 1D 서브 홀로그램의 픽셀의 반경에 방향 종속 신축 계수를 곱한 값에 대응하는 방식으로, 전자 회로에 의해 절반의 1D 서브 홀로그램의 적어도 하나의 픽셀에 영구적으로 할당될 수 있다.
여기서, 전자 회로는 하드와이어드 매트릭스 형태로 구현될 수 있다. 여기서, 전자 회로는 FPGAs(Field Programmable Gate Arrays)(Anwendungsfeld programmierbare Logik-Gatter-Anordnungen), 즉, 프로그래밍 가능한 회로, 및/또는 ASICs(Application Specific Integrated Circuits)(Anwendungsspezifische integrierte Schaltungen)에서 구현된다.
언급된 바와 같이, 2D 서브 홀로그램의 회전 대칭에서, 이러한 2D 서브 홀로그램의 원점까지의 거리가 동일한, 즉, 모든 픽셀이 동일한 반경을 갖는 2D 서브 홀로그램의 픽셀의 진폭 값 및 위상 값은 동일하다. 그러나, 픽셀이 정의된 크기 및 정의된 피치를 갖는 매트릭스 형태의 공간 광 변조기 장치의 픽셀의 배열로 인해, 절반의 1D 서브 홀로그램의 픽셀의 특정 반경 값에 대해 진폭 및 위상 값이 계산되지만, 그러나 오브젝트 포인트의 2D 서브 홀로그램에는 반경 값이 절반의 1D 서브 홀로그램의 값과 상이한 일련의 픽셀이 포함되게 된다. 편차가 작은 경우에도 절반의 1D 서브 홀로그램에 대해 계산된 상응하는 값이 여기에 사용된다. 그러나, 절반의 1D 서브 홀로그램의 특정 픽셀의 반경과 2D 서브 홀로그램의 픽셀의 반경의 편차가 더 큰 경우, 관련 2D 서브 홀로그램 픽셀의 반경과 유사한 반경을 갖는 절반의 1D 서브 홀로그램의 2 개 이상의 픽셀의 값을 사용함으로써 필요한 진폭 및 위상 값을 결정하는 것이 유리하다. 원칙적으로, 이것은 선형 형식 또는 비선형, 2차 또는 일반적으로 지수 형식으로도 수행될 수 있다. 후자는, 양자화 오류가 2D 서브 홀로그램의 에지를 향해, 즉, 더 큰 반경을 향해 증가하기 때문에 의미가 있다.
따라서, 장치는 전자 회로에 절반의 1D 서브 홀로그램의 2 개 이상의 픽셀을 연결하여 중간 값을 생성하고 그리고 2D 서브 홀로그램의 해당 픽셀을 이러한 중간 값에 할당하기 위한 수단을 포함한다.
표현될 전체 3차원 장면의 홀로그램을 생성하기 위해, US 2016/0132021 A1의 이러한 홀로그램을 계산하기 위한 장치는 이러한 3차원 장면의 오브젝트 포인트의 2D 서브 홀로그램을 계산하기 위해 위에 개시된 장치를 포함한다. 또한, 이러한 홀로그램을 계산하기 위한 이러한 장치는 또한 2D 서브 홀로그램을 계산하기 위한 장치로 생성된 2D 서브 홀로그램을 극좌표로부터 직교좌표로, 또한 직교좌표로부터 극좌표로 변환하기 위한 수단, 3차원 장면의 오브젝트 포인트의 위치 및 이러한 장면의 관찰자의 위치에 따라 공간 광 변조기 장치에 2D 서브 홀로그램을 위치시키기 위한 수단, 및 동일한 픽셀의 각각의 실수부 및 허수부를 합산하여 표현될 3차원 장면의 서로 다른 오브젝트 포인트의 각각의 2D 서브 홀로그램을 중첩시키기 위한 수단을 포함한다.
또한, US 2016/0132021 A1에는 서브 홀로그램을 사용하여 홀로그램의 하드웨어 기반 실시간 계산을 위한 파이프라인이 또한 설명되어 있다. 이러한 파이프라인은 이후에 기능 단위를 변경하거나 또는 새롭게 추가하기 위해, 프로그래밍 가능한 회로의 형태로 구현된다. 이 경우 파이프라인은, 서브 홀로그램을 계산하고 그리고 공간 광 변조기 장치를 직접 제어하기 위한 수단을 포함한다. 파이프라인은 FPGA(Anwendungsfeld programmierbaren Logik-Gatter-Anordnung) 및/또는 ASIC(anwendungsspezifischen integrierten Schaltung)를 기반으로 구현된다.
이러한 파이프라인은 전자적으로 상호 연결된 기능 단위를 포함한다. 도 1은 예를 들어 US 2016/0132021 A1에서도 또한 사용될 수 있는 바와 같은 ASIC(application-specific integrated circuit)(11)를 갖는 전형적인 홀로그램 계산 파이프라인(10)의 구조를 블록도로 도시한다. 이 경우, 개별 ASIC(11)에는, 홀로그램을 계산하는 데 사용되거나 또는 필요한 모든 기능 단위가 포함된다. 도 1에서 알 수 있는 바와 같이, 표현될 정보의 데이터(12), 특히 장면의 오브젝트 포인트로부터의 데이터는 인터페이스(13)를 통해 ASIC(11)에 공급되고, 이는 입력 처리 모듈(14)을 통해 재구성될 장면을 설명하기 위한 오브젝트 포인트로부터의 데이터(12)를 수신하여 처리한다. 표현될 3차원 장면의 이러한 데이터는 그 후 전처리 모듈(15)을 사용하여 ASIC(11)에서 처리되고, 간단한 사용자 정의된 인터페이스(16)를 통해, 홀로그램 계산을 위해 데이터를 사용하는 ASIC(11)의 홀로그램 계산 모듈(17)로 전송된다. 홀로그램 계산 모듈(17)은 이 경우 홀로그램의 합성, 축적 및 인코딩을 담당한다. 계산된 홀로그램은 그 후 출력 인터페이스(18)를 통해 출력되고, 표현을 위해 ASIC(11)로부터 간단한 고대역폭 인터페이스(19)를 통해 공간 광 변조기 장치(SLM)(20)로 전송된다. 이러한 기능 단위는 ASIC(11) 또는 회로에 영구적으로 통합된다. 도 1에서 점선으로 볼 수 있는 바와 같이, 개별 ASIC(11)는 입력 처리 모듈(14), 전처리 모듈(15), 홀로그램 계산 모듈(17), 및 출력 인터페이스(18)를 포함한다.
일반적으로, 공간 광 변조기 장치로 인코딩하기 위한 홀로그램의 계산은 매우 계산 집약적이어서, 예를 들어 도 1에 따른 ASIC과 같은 매우 크고 복잡한 회로가 개발되고 제조되어야 한다. 또한, 회로를 사용한 계산은 소산되어야 하는 상대적으로 많은 양의 폐열을 생성한다. 도 1에 도시된 바와 같이, 특히 ASICs의 출력 인터페이스와 공간 광 변조기 장치 사이에서 사용되는 데이터 스트림의 매우 높은 대역폭으로 인해, 데이터의 전송을 위한 전력 소비가 전체 전력 소비의 상당 부분을 차지하기 때문에, 오히려 길이가 짧은 데이터 라인이 선호된다. 그러나, 길이가 짧은 데이터 라인을 사용하면, 전력 소비를 감소시킬 수 있는 더 많은 옵션이 있다. 공간 광 변조기 장치는 일반적으로 데이터 스트림을 전송하기 위해 복수의 측면, 즉, 왼쪽/오른쪽 에지 또는 위쪽/아래쪽 에지로부터 전기적으로 라인들과 연결된다. 그 결과, 공간 광 변조기 장치의 치수가 커짐에 따라, 데이터 라인 길이가 점점 더 길어진다. 그러나, 예를 들어 도 1에 따른 ASICs 형태의 단일 회로는 또한, 이것이 단일 공간 광 변조기 장치용으로 특별히 개발되었고 일반적으로 다른 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치에 적용하기가 어려울 수 있고, 특히 필요한 연산 능력이 홀로그램과 크게 다르거나 또는 인터페이스의 대역폭이 크게 다른 경우 그러하다는 것을 의미한다.
따라서 본 발명의 목적은 종래 기술의 단점을 극복하거나 또는 제거하기 위해 서두에서 언급한 유형의 홀로그램을 계산하기 위한 장치 및 방법을 추가로 개발하는 것이다. 특히, 종래 기술의 장치 및 방법에 비해 전력 소비 및 에너지 비용이 감소되고 낮게 유지되어야 한다. 또한, 이러한 장치의 생산이 단순화되고 비용이 감소되어야 한다.
2차원 및/또는 3차원 장면의 표현은 또한 여기서 2차원 및/또는 3차원 장면의 재구성의 관점에서 이해되어야 한다.
본 목적은 본 발명에 따르면 본원의 청구항 제1항에 따른 특징을 갖는 전처리 회로에 의해 달성된다.
본 발명에 따르면, 적어도 하나의 홀로그램 계산 회로에 대한 전처리 회로가 제공된다. 전처리 회로는 표현될 장면, 바람직하게는 3차원 장면의 데이터를 수신하기 위한 입력 인터페이스 유닛, 수신된 데이터를 정의된 방식으로 처리하고, 장면을 표현하는 데 필요한 특정 파라미터를 포함하여 시스템 독립적인 포맷으로 데이터를 변환하기 위한 처리 유닛, 및 변환된 데이터를 출력하여 적어도 하나의 홀로그램 계산 회로로 전송하기 위한 출력 인터페이스 유닛을 포함한다.
위에서 언급된 단점 및 문제점을 우회하고 회피하기 위해, 본 발명에 따르면, 홀로그램을 계산하기 위해 종래 기술로부터 알려진 회로의 개별 기능을 복수의 개별 회로 또는 유닛으로 분할하는 것이 제공된다. 이는, 본 발명에 따라 홀로그램 계산을 위해 적어도 2 개의 회로가 사용되어 적용되고, 이는 종래 기술에 따른 단일 회로를 대체하거나, 또는 종래 기술에 따라 홀로그램을 계산하기 위한 단일의 알려진 회로가 적어도 2 개의 회로로 분할됨을 의미한다. 이제 본 발명에 따른 전처리 회로가 제공되며, 이는 계산될 홀로그램의 데이터가 홀로그램의 직접 계산을 위해 적어도 하나의 홀로그램 계산 회로로 전송되어 여기에서 사용되기 전에, 계산될 홀로그램의 데이터를 처리하거나 또는 전처리한다. 전처리 회로에서 이제 기능이 구현되지만, 이 기능은 전처리 회로와 홀로그램 계산 회로로 구성된 전체 계산 시스템에서, 즉, 장면 데이터의 전처리 중에 한 번만 필요하다. 따라서 이 기능은 한 번만 구현된다. 홀로그램 계산 회로에서 홀로그램의 직접 계산에 이 기능을 구현하는 것은 기본적으로 제공되지 않으므로, 유리하게는 데이터의 전처리가 홀로그램의 데이터의 직접적인 계산으로부터 분리될 수 있고 적어도 2 개의 별도의 또는 상호 분리된 회로에 수용될 수 있다. 이러한 방식으로, 본 발명에 따르면, 이제 전처리 회로 및 적어도 하나의 홀로그램 계산 회로가 제공되며, 여기서 두 개의 회로는 독립적인 또는 별도의 회로로 설계되며 서로 별도로 작동된다.
따라서, 본 발명에 따른 전처리 회로는 홀로그램을 위해 입력되거나 또는 전송된 데이터를 전처리하는 유닛 또는 모듈만을 포함한다. 홀로그램의 직접 계산은 전처리 회로를 사용하여 수행되지 않는다. 데이터의 전처리를 구현하기 위해, 전처리 회로는 입력 인터페이스 유닛, 처리 유닛, 및 출력 인터페이스 유닛을 포함한다. 입력 인터페이스 유닛은 바람직하게 표현될 3차원 장면의 데이터를 수신하는데 사용된다. 처리 유닛은 수신된 데이터의 정의된 처리 및 바람직하게는 3차원 장면을 표현하는 데 필요한 특정 파라미터를 포함하여 시스템 독립적인 포맷으로 데이터를 변환하기 위해 제공된다. 따라서, 처리 유닛은 정의된 요구 사항에 따라 데이터를 처리하고, 표현될 장면의 전처리된 데이터를 후속적으로 적어도 하나의 공간 광 변조기 장치에 의해 처리될 수 있는 일반화된 포맷으로 변환한다. 이는, 전처리된 데이터가 특정 공간 광 변조기 장치에 맞게 조정되지 않았음을 의미한다. 시스템 독립적인 포맷으로의 변환은 이 경우 공간 광 변조기 장치의 정의된 특정 파라미터를 사용하여 수행된다. 이러한 파라미터는 예를 들어 사용된 파장, 사용된 공간 광 변조기 장치의 스크리닝, 필요한 또는 기존 해상도, 예를 들어 관찰자와 공간 광 변조기 장치 사이의 거리, 예를 들어 왜곡 또는 파장에 따른 수차의 특정 보정을 실행하기 위한 보정 테이블 및 보정 파라미터, 인터페이스 정보, 인터페이스 구성, 또는 또한 일반 인터페이스 파라미터에 대한 정보일 수 있다.
한편, 출력 인터페이스 유닛은 변환된 데이터를 출력하여 적어도 하나의 홀로그램 계산 회로로 분배하기 위해 제공된다. 따라서, 전처리 회로에서 전처리된 이러한 데이터는 그 후 적어도 하나의 홀로그램 계산 회로로 전송되어, 그 후 홀로그램을 계산하기 위해 이 데이터를 사용한다.
적어도 2 개의 별도의 회로를 갖는 구성에 의해, 유리하게는, 원칙적으로 가능한 하나의 홀로그램 계산 회로뿐만 아니라, 홀로그램의 직접 계산에만 사용되는 복수 개, 즉, 적어도 2 개의 홀로그램 계산 회로를 사용하는 것도 가능하며, 그 구성은 계산된 홀로그램이 그 후 인코딩되는 공간 광 변조기 장치에 대해 최적화되어 이루어질 수 있고, 이에 대해서는 나중에 더 자세히 설명하도록 한다.
데이터의 전처리에서 한 번만 필요한 기능을 전처리 회로에 아웃소싱 및 구현함으로써, 홀로그램 계산 회로의 크기(범위) 및 제조 비용이 본질적으로 감소되고 낮아질 수 있다. 전처리 회로는 주로 간단한 이미지 처리를 수행하고 홀로그램 계산 회로에 비해 연산 능력이 거의 필요하지 않기 때문에, 전처리 회로의 전력 소비가 낮아, 관련성이 적다. 따라서, 여기에도 유리하게는 더 크고 저렴한 구조적 폭(소위 기술 노드(technology node))을 사용할 수 있으며, 그 결과 개발 비용 및 생산 비용이 감소될 수 있다. 전처리 회로는 재사용이 가능하도록 설계될 수 있다. 그러나, 이러한 전처리 회로의 개발 및 제조는 홀로그램 계산 회로의 개발 및 제조에 비해 현저히 더 저렴하므로, 전처리 회로의 입력 측에 상이한 새로운 인터페이스 및 포맷 및 새로운 기능을 가능하게 하도록, 공간 광 변조기 장치의 상이한 제품에 대한 수정 또는 검사가 고려될 수 있고 그리고 가능하다.
전처리 회로는 독립적인 또는 별도의 회로로서 구현된다. 전처리 회로는 홀로그램 계산 회로와 독립적으로 작동한다. 이는 전체적으로 전력 소비 및 제조 비용을 감소시킬 수 있는데, 전처리 회로가 독립적인 회로로서 계산 프로세스에서 한 번만 수행되기만 하면 되는 기능만을 수행하므로, 적어도 하나의 후속의 유사하게 독립적인 또는 별도의 홀로그램 계산 회로는 전처리 회로에 의해 전송된 데이터에 기초하여 홀로그램의 계산만을 수행하기 때문이다. 이러한 방식으로, 홀로그램 계산 회로가 계산을 위해 필요로 하는 전력 소비는 낮게 유지될 수 있다.
본 발명의 추가적인 유리한 구성 및 개선은 추가 종속 청구항으로부터 나타난다.
바람직하게는 전처리 회로는 FPGA(Anwendungsfeld-programmierbare Logik-Gatter-Anordnung) 또는 ASIC(anwendungsspezifische integrierte Schaltung)로 구현될 수 있다. FPGA(Field Programmable Gate Array)로 구현하면 생산되는 장치의 개수에 따라 더 비용 효율적일 수 있다.
전처리 회로는 소위 표준화된 인터페이스인 입력 인터페이스 유닛을 통해, 계산되고 표현될 바람직한 3차원 장면의 데이터, 파라미터 및 프로그램을 수신한다. 입력 인터페이스 유닛은 이 경우 예를 들어 디스플레이 포트(DisplayPort), HDMI(High Definition Multimedia Interface), 하나 이상의 네트워크 인터페이스 또는 필요한 대역폭을 갖는 임의의 다른 인터페이스로서도 설계될 수 있다.
유리하게는, 이 경우, 전처리 회로에 공급되는 데이터, 파라미터 및 프로그램이 암호화된 포맷으로 존재하는 것이 제공될 수 있다.
바람직하게는 3차원 장면의 데이터는 다양한 포맷으로 제공되거나 또는 이용 가능하게 될 수 있는데, 예를 들어 3차원 포인트 클라우드로서, 3차원 볼륨으로서, 또는 하나 이상의 레벨의 하나 이상의 뷰의 2차원 매트릭스 또는 래스터 이미지, 즉, 홀로그램의 투명도 또는 볼륨을 구현하기 위해, 필요한 경우, 복수의 레벨의 색상 및 깊이 특징의 이미지의 조합으로서 제공되거나 또는 이용 가능하게 될 수 있다. 임의의 다른 포맷도 가능하다. 데이터의 해상도는 유동적이지만, 그러나 이 경우 공간 광 변조기 장치의 구현된 제품은 필요한 경우 콘텐츠를 표시하기 위한 특정 최대 해상도를 구현할 수 있다. 특별한 기능은, 홀로그래픽 디스플레이를 위한 전처리를 통해 준비되거나 또는 업그레이드된 종래의 2차원 데이터를 수신하고 처리할 수 있다는 것이다.
전처리 회로는 다양한 전처리를 수행할 수 있다. 전처리 회로가 포함하는 처리 유닛이 이러한 전처리를 수행한다. 이 처리 유닛은 예를 들어 색상 보정, 밝기 보정 및/또는 위치 보정을 바람직하게는 3차원 장면의 결과적으로 표현되는 오브젝트 포인트의 각각의 뷰 및 각각의 파장(색상)에 대해 개별적으로 수행하도록 설계될 수 있다. 따라서, 일반적으로 볼 때, 처리 유닛이 장면의 표현에서 이미징 오류를 수정하도록 설계되는 것이 제공될 수 있다. 그러나, 처리 유닛은 수신된 데이터를 업그레이드하고, 개선하고, 적응시키고 및/또는 일반적으로 변경하도록 설계될 수도 있다.
전처리 회로의 처리 유닛에 의한 데이터의 이러한 전처리는 예를 들어 사용되는 홀로그래픽 디스플레이 장치에 제공되는 광학 시스템의 다양한 효과를 보정하기 위해 사용될 수도 있다. 따라서, 본 발명에 따르면, 처리 유닛은 표현될 장면에 부정적인 영향을 미치는 홀로그래픽 디스플레이 장치에 제공된 광학 시스템의 효과 또는 이미징 오류를 보정하도록 설계되는 것이 제공될 수 있다.
사용되는 홀로그래픽 디스플레이 장치의 광학 시스템에서 파장 의존 효과를 경우에 따라 다르게 보상하기 위해, 바람직하게는 3차원 장면을 표현하는 데 사용되는 광의 각각의 파장(색상)에 대한 서로 다른 보정은 전처리 회로 또는 전처리 회로의 처리 유닛을 통해 수행될 수도 있다.
본 발명의 다른 실시예에서, 처리 유닛은 표현될 장면의 관찰자의 적어도 한쪽 눈의 시각 장애를 정의된 방식으로 수정하도록 설계될 수 있다. 전처리 회로의 처리 유닛은 또한 표현된 장면을 관찰하고 있는 관찰자의 한쪽 또는 양쪽 눈의 시각 장애의 제한된 후속 수정을 수행할 수 있다. 이를 위해, 처리 유닛은, 홀로그램에 의해 표현될 장면의 오브젝트 포인트가 각각의 차원/방향으로 개별적으로 변위되고, 회전되고 및/또는 왜곡되는 방식으로 계산되는 홀로그램의 데이터를 처리할 수 있다.
본 발명의 특히 유리한 실시예에서, 처리 유닛은, 포비티드 렌더링(Foveated Rendering)과 관련하여 아이 트래킹 데이터(Eye-Tracking-Daten)를 사용하는 경우, 표현될 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질은 관찰자의 시야의 정의된 영역에서 관찰자의 눈의 시선 방향에 기초하여 적응될 수 있도록 설계되는 것이 제공될 수 있다.
관찰자의 눈을 실시간으로 추적하기 위해 아이 트래킹 데이터를 사용하여 소위 포비티드 렌더링은, 관찰자의 눈의 현재 또는 예측된 시선 방향을 기반으로 바람직하게는 3차원 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질을 적응시킴으로써, 구현될 수 있다. 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질은 전처리 유닛을 통해 수신된 데이터를 처리함으로써 적응되어, 관찰자의 눈의 중심와의 에지 영역에서 3차원 장면을 볼 때 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질이 감소될 수 있다. 한편, 관찰자의 눈의 시선 방향에서 표현된 장면은 높은 해상도, 높은 상세 레벨 및/또는 높은 홀로그래픽 품질을 가지고 있는 반면, 관찰자가 직접 보거나 조준하지 않는 장면의 에지 영역에서는 해상도, 상세 레벨 및/또는 홀로그래픽 품질이 감소된다. 또한, 광의 파장(색상) 수가 감소될 수 있다. 이는 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질이 에지 영역에서 감소되는 방식으로 장면의 데이터가 처리 유닛에 의해 처리될 수 있음을 의미한다. 이러한 방식으로 전처리된 데이터를 사용하면, 이러한 데이터를 적어도 하나의 홀로그램 계산 회로로 전송한 후 필요한 홀로그램이 계산될 수 있다. 이러한 방식으로, 적어도 하나의 홀로그램 계산 회로에서, 표현될 바람직하게는 3차원 장면에 대한 홀로그램을 계산하기 위한 전력 소비는 감소되거나 또는 낮아질 수 있다. 또한, 이러한 처리는 적어도 하나의 홀로그램 계산 회로에서 에너지를 추가로 절약하기 위해, 사용되는 광의 어떠한 파장이 관찰자의 주변 시야에서 표현되어야 하는지를 결정하는 데 사용될 수 있다.
또한, 유리하게는, 처리 유닛은 적어도 하나의 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치의 제어 가능한 컴포넌트를 제어하도록 설계되는 것이 제공될 수 있다.
처리 유닛은 또한 적어도 하나의 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치의 전반적인 제어를 수행할 수 있다. 이는, 처리 유닛 또는 일반적으로 볼 때 전처리 회로가 적어도 하나의 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치의 모든 전자 또는 제어 가능한 컴포넌트를 구동하거나 또는 정의된 방식으로 제어할 수 있음을 의미한다. 이러한 제어 가능한 컴포넌트 또는 시스템은 예를 들어 레이저 또는 LED와 같은 적어도 하나의 광원을 갖는 조명 장치, 또는 가상 가시 영역/관찰자 윈도우를 변위 또는 추적하기 위한 장치일 수 있다. 또한, 처리 유닛 또는 전처리 회로는 동기식 및 효율적인 작동 및 상호 작용을 목적으로 적어도 하나의 공간 광 변조기 장치에서 입사 광파를 변조 및 조작하기 위한 능동 광학 요소를 제어할 수 있다.
본 발명의 또 다른 유리한 실시예에서, 런타임에 전환 가능한 경로 또는 런타임에 한 번 전환 가능한 경로를 갖는 고정 로직과 적어도 하나의 프로세서의 조합이 전처리 회로의 처리 유닛에서 사용될 수 있다. 전처리 회로는, 처리 유닛에서, 런타임에 전환 가능한 경로 또는 한 번 전환 가능한 경로를 갖는 고정 로직과, 적어도 하나의 프로세서 코어를 갖는 적어도 하나의 임베디드 프로세서의 조합을 사용하고, 여기서 유리하게는 복수의 프로세서 또는 프로세서 코어를 사용하여, 필요한 프로그램 및 모듈(그 개수는 작업, 계산될 데이터의 양, 및 병렬 계산 경로의 개수에 따라 다름)을 실행하여, 필요한 모든 작업을 해결할 수 있다. 프로그램 또는 프로세서 또는 프로세서 코어가 없는 처리 유닛의 실시예도 또한 고려될 수 있고 구현 가능하다.
전처리 회로의 다른 기능은 계산된 홀로그램이 인코딩되는 적어도 하나의 공간 광 변조기 장치의 직접적인 클록 및 제어를 위한 타이밍 제어기, 및 적어도 하나의 공간 광 변조기 장치를 구동하고 홀로그램의 계산된 데이터를 적어도 하나의 공간 광 변조기 장치의 픽셀 또는 픽셀 셀로 전송하기 위한 소스 드라이버 또는 보다 일반적으로 컴포넌트 및 회로의 구현이다. 전처리 회로를 따르며 또한 독립적으로 설계된 홀로그램 계산 회로가 복수 개, 즉, 적어도 2 개가 있는 경우, 이들은 전처리 회로에 의한 원활한 동작을 위해 적어도 하나의 공간 광 변조기 장치의 상술한 제어에 따라 동기화된다. 다른 말로 하면, 전처리 회로에서 제어 신호 및/또는 동기화 신호를 생성하기 위해 타이밍 제어기가 제공될 수 있다.
또한, 종래 기술로부터, 데이터를 적어도 하나의 공간 광 변조기 장치의 제한된 해상도 픽셀에 표현할 수 있도록, 인코딩 단계(Encoding)의 범위 내에서 복소수 값 데이터를 정규화하기 위해, 홀로그램의 임시 저장이 일반적으로 필요한 것이 알려져 있다. 예를 들어, 비트 수는 예를 들어 (서브) 픽셀당 8 비트로 정의되지만, 그러나 애플리케이션에 따라 임의의 값이 존재한다.
홀로그램의 정규화라 함은 예를 들어 홀로그램에 있는 모든 복소수의 최대 양, 즉, 최대 크기 또는 진폭을 결정하는 것과 같은 가장 간단한 방법으로 이해될 수 있다. 이 크기는 그 후 홀로그램의 모든 값을 사용 가능한 값 범위(비트 수에 대응함)로 스케일링하는 데 사용된다. 그러나 다른 정규화 방법도 또한 가능한데, 예를 들어 히스토그램을 기반으로 한 홀로그램의 정규화도 가능하다.
종래 기술에 따른 홀로그램의 일반적인 정규화는 완전한 데이터 세트, 즉, 일반적으로 부동 소수점(floating point) 또는 매우 높은 비트 해상도(예를 들어, ≥ 16 비트)를 갖는 불연속 값에 의한, 완전한 값 해상도의 완전한 홀로그램을 필요로 하므로, 불연속 값, 즉, 사용된 공간 광 변조기 장치의 비트 수에 대한 정규화가 수행될 수 있기 전에 정규화 파라미터를 결정한다. 따라서, 홀로그램은 외부 메모리 또는 예를 들어 ASIC 자체에서 계산에 사용되는 회로에 임시 저장되어야 한다. 그러나, 그에 상응하는 큰 메모리 용량을 갖는 ASIC은 그 치수가 매우 크고(칩 크기), 제조 비용이 매우 비싸다. 반면에 외부 메모리를 사용한다는 것은 훨씬 더 높은 정도의 전력 소비 및 복잡성을 의미한다. 적합한 외부 메모리는 많은 개수의 추가 고속 데이터 라인, 고가의 고성능 메모리 회로 및 그에 상응하는 사용 라이센스로 인해 비용 및 전력 소비 측면에서 매우 비싸다. 이러한 모든 사실은 이러한 회로 또는 ASIC을 수익성이 없거나 또는 비효율적으로 만들고, 공간 광 변조기 장치의 경쟁 제품을 거의 불가능하게 만든다. 따라서 두 개의 옵션 모두가 수익성 있는 솔루션을 제공하지 않는다.
따라서, 본 발명의 특히 유리한 실시예에서는, 처리 유닛이 홀로그램의 정규화 또는 홀로그램 정규화를 구현하거나 또는 수행하기 위해, 표현될 장면의 데이터의 분석을 수행하도록 설계되는 것이 제공될 수 있다.
홀로그램 계산의 마지막 단계인 인코딩(Encoding)에서 홀로그램의 정규화 또는 홀로그램 정규화를 구현하기 위해, 본 발명에 따르면 전처리 회로의 처리 유닛은, 대략 정확한 홀로그램 정규화를 가능하게 하기 위해, 표현될 바람직하게는 3차원 장면의 데이터의 특별한 분석을 수행한다. 이러한 방식으로, 완전한 홀로그램의 임시 저장을 회피할 수 있으므로, 후속 홀로그램 계산 회로가 임시 메모리를 필요로 하지 않는다. 홀로그램 데이터의 절대적으로 정확한 정규화는 기본적으로 필요하지 않은데, 왜냐하면 작은 편차는 일반적으로 홀로그램 또는 표현되는 바람직하게는 3차원 장면의 밝기에서 거의 인지할 수 없는 변동으로만 이어지기 때문이다. 따라서, 홀로그램 계산 회로에서 임시 메모리의 회피는 홀로그램 계산 회로의 복잡성 및 전력 소비를 상당히 또는 수십 배로 감소시킨다.
또한, 바람직하게는, 전처리 회로가 계산 경로의 가변 활성화에 의한, 적어도 하나의 공간 광 변조기 장치의 상이한 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및/또는 적어도 하나의 공간 광 변조기 장치의 파라미터에 대한 확장성을 특징으로 하는 것이 제공될 수 있다.
또한, 본 목적은 본 발명에 따르면 청구항 제13항의 특징을 갖는 장치에 의해 달성된다.
본 발명에 따르면, 적어도 하나의 공간 광 변조기 장치를 포함하는 홀로그래픽 디스플레이 장치에 의해 장면을 표현하기 위한 홀로그램을 계산하기 위한 장치가 제안된다. 홀로그램을 계산하기 위한 본 발명에 따른 장치는 여기서 위에서 설명된 바와 같은 본 발명에 따른 전처리 회로, 및 홀로그램을 계산하고 적어도 하나의 공간 광 변조기 장치에 대한 홀로그램을 인코딩하기 위한 적어도 하나의 홀로그램 계산 회로를 포함한다.
따라서, 장치는 위에서 상세히 설명된 본 발명에 따른 전처리 회로, 및 적어도 하나의, 바람직하게는 적어도 2 개의 홀로그램 계산 회로를 포함하므로, 홀로그램을 계산하는 데 필요한 개별 기능이 복수의 유닛, 즉, 복수의 독립 회로 또는 별도 회로로 분할된다. 따라서, 적어도 하나의 홀로그램 계산 회로는 독립적인 회로로 구현될 수 있거나, 또는 적어도 하나의 홀로그램 계산 회로는 전처리 회로와 독립적으로 구현될 수 있다.
본 발명에 따라 설명된 아키텍처의 구현은 종래 기술의 단일 회로 또는 1-칩 접근법과 비교하여 다음과 같은 기술적 장애물을 해결한다. 전처리 회로뿐만 아니라 적어도 하나의 홀로그램 계산 회로도 공간 광 변조기 장치의 상이한 제품을 위한 컴포넌트로 재사용될 수 있다. ASICs 형태로 구현된 회로는 일반적으로 개발 비용이 많이 들지만, 그러나 대량 생산의 경우 그에 상응하게 제조 비용이 저렴할 수 있다. 따라서, 본 발명에 따른 그러한 회로의 재사용성은 부품의 개수를 증가시키고, 따라서 생산 비용을 감소시킨다. 또한, 유리하게는, 본 발명에 따른 홀로그램 계산 회로의 설계는 본 발명에 따른 공급된 전처리 회로의 도움으로 판매될 수 있다. 이러한 사실은 또한 공간 광 변조기 장치의 인터페이스에 대한 제조업체별 조정 및 자신의 적합한 생산 기술의 선택을 허용한다. 적어도 2 개의 회로, 즉, 전처리 회로 및 적어도 하나의 홀로그램 계산 회로를 제공함으로써, 각각의 개별 회로의 칩 크기가 최적화될 수 있다. 이는, 각각의 칩 또는 각각의 회로가 필요한 기능만을 구현하므로, 데드(비어 있는) 또는 차단 영역이 크게 없다는 것을 의미한다. 이로부터, 예를 들어 도 1에 도시된 것과 같은 종래 기술에 따른 1-칩 형태의 회로에 비해 중요하고 결정적인 이점이 발생하는데, 즉, 공간 광 변조기 장치 및 이에 따라 홀로그래픽 디스플레이 장치의 작동에서 전력 소비 및 열 발생, 그리고 주어진 확장성으로 인한 공간 요구 사항 또는 집적 밀도 및 제조 비용의 최적화가 이루어지는데, 홀로그램 계산 회로는 공간 광 변조기 장치의 다양한 변형에 사용될 수 있기 때문이다. 다른 말로 하면, 적어도 하나의 홀로그램 계산 회로는 적어도 하나의 공간 광 변조기 장치의 상이한 버전 또는 구성에 대해 제공될 수 있다.
전처리 회로와 마찬가지로, 적어도 하나의 홀로그램 계산 회로는 FPGA(Anwendungsfeld-programmierbare Logik-Gatter-Anordnung) 또는 ASIC(anwendungsspezifische integrierte Schaltung)로 구현될 수 있다.
본 발명에 따르면, 적어도 하나의 홀로그램 계산 회로는 전처리 회로에 의해 처리된 데이터를 수신하기 위한 입력 인터페이스 유닛, 홀로그램을 계산하고 인코딩하기 위한 홀로그램 계산 유닛, 및 계산된 홀로그램의 데이터를 적어도 하나의 공간 광 변조기 장치에 전송하기 위한 출력 인터페이스 유닛을 포함할 수 있다.
따라서 적어도 하나의 홀로그램 계산 회로의 입력 인터페이스 유닛은 전처리 회로에서 처리되거나 또는 전처리된 데이터를, 홀로그램 계산 회로에 대해 처리될 수 있는 일반화된 포맷으로 또는 시스템 독립적인 포맷으로 수신한다. 다른 말로 하면, 전처리 회로에 의해 처리된 장면의 데이터는 시스템 독립적인 포맷으로 적어도 하나의 홀로그램 계산 회로에 공급된다. 이를 위해, 유리하게는, 적어도 하나의 홀로그램 계산 회로는, 시스템 독립적인 포맷으로 공급되는 장면의 데이터가 직접 사용될 수 있고 홀로그램이 계산될 수 있는 방식으로 설계될 수 있다. 그러나, 장면의 수신 데이터가 시스템 독립적인 포맷으로 사용될 수 없으므로 적어도 하나의 홀로그램 계산 회로에서 전처리되어야 하는 특수한 경우도 또한 가능할 수 있다. 그러나, 이 경우 전처리 회로가 구현하는 것과 같은 그러한 복잡한 전처리는 수행되지 않는다.
적어도 하나의 홀로그램 계산 회로의 홀로그램 계산 유닛은 이러한 전송된 데이터로부터 홀로그램을 계산하고, 공간 광 변조기 장치에 대한 홀로그램을 인코딩하는 역할을 한다. 또한, 적어도 하나의 홀로그램 계산 회로는 또한 계산된 홀로그램의 데이터를 공간 광 변조기 장치로 전송하는 출력 인터페이스 유닛을 포함한다.
적어도 하나의 홀로그램 계산 회로는 적어도 하나의 공간 광 변조기 장치의 일부로서 고도로 집적되어 형성될 수 있다. 이를 위해, 이것은 소위 소스 드라이버 부근에 제공되거나 또는 배열될 수 있다. 현재 개발은 또한, 본 발명에 따른 전처리 회로뿐만 아니라 이러한 홀로그램 계산 회로도 적어도 하나의 공간 광 변조기 장치의 기판에 직접 적용될 수 있는(칩 온 글라스(Chip on glass)) 토대를 마련한다. 다른 말로 하면, 적어도 하나의 홀로그램 계산 회로는 적어도 하나의 공간 광 변조기 장치의 일부로서 형성되거나 또는 적어도 하나의 공간 광 변조기 장치의 기판 상에 직접 구현될 수 있다.
또한, 바람직하게는, 서로 직렬로 연결되고 및/또는 병렬로 연결된 적어도 2 개의 홀로그램 계산 회로가 제공되는 것이 제안될 수 있다.
예를 들어 ASIC로 구현되는 복수의 홀로그램 계산 회로가 제공되는 경우 특히 유리하다. 이러한 적어도 2 개의 홀로그램 계산 회로는 예를 들어 공간 광 변조기 장치의 단자 또는 소스 드라이버에 가깝게 배열될 수 있다. 이를 위해, 홀로그램 계산 회로는 서로 직렬로 연결되어 공간 광 변조기 장치의 측면 영역에 배열될 수 있다. 또한, 홀로그램 계산 회로를 서로 병렬로 연결하고 배열하는 것도 가능하다. 또한, 특히 다수의 홀로그램 계산 회로가 제공되는 경우, 홀로그램 계산 회로의 직렬 연결 및 병렬 연결의 조합이 유리할 수 있다. 복수의 홀로그램 계산 회로로의 분할은 또한 다른 큰 이점을 갖는데, 이는 종래 기술의 회로에서와 같이 하나의 큰 스폿이 아닌 복수의 작은 스폿(핫 스폿)에 걸쳐 폐열을 고르게 소산시키는 데 있다. 사용될 홀로그램 계산 회로의 개수는 공간 광 변조기 장치에 필요한 연산 능력 및 필요한 대역폭의 결과이다. 이는 또한 일반적으로 공간 광 변조기 장치의 크기에 따라 확장되며, 이는 공간 광 변조기 장치의 영역이 클수록, 홀로그램 계산 회로의 개수가 더 커져야 함을 의미한다. 공간 광 변조기 장치의 에지 또는 공간 광 변조기 장치의 소스 드라이버에 대한 홀로그램 계산 회로의 근접성은 짧은 데이터 라인을 가능하게 하고, 이에 따라 매우 높은 데이터 속도에서 전력 소비를 그에 상응하게 유리하게 감소시킨다.
공간 광 변조기 장치에 대한 홀로그램 계산 회로 또는 각각의 홀로그램 계산 회로의 인터페이스 또는 출력 인터페이스 유닛은 여기서 유연하게 설계될 수 있으므로, 데이터 속도, 전송 라인의 개수 및 사용되는 프로토콜의 적응을 가능하게 할 수 있다. 이를 위해, 홀로그램 계산 회로에 대한 상응하는 데이터 경로는 공간 광 변조기 장치의 생산 또는 제조 시 영구적으로 활성화되거나 또는 구성될 수 있다. 이는 한편으로 홀로그램 계산 회로의 초기화 동안 런타임에 발생하거나 또는 구성 브리지(안티퓨즈)를 통해 홀로그램 계산 회로에서 영구적으로 설정될 수 있다.
유리하게는, 데이터 및 프로그램을 전처리 회로에 암호화된 방식으로 공급하기 위해 외부 데이터 인터페이스 유닛이 제공될 수 있다. 이러한 외부 데이터 인터페이스 유닛은 전처리 회로에 의해 사용되는 데이터 및 전처리 회로에서 실행되는 프로그램을 암호화된 방식으로 전처리 회로에 공급하기 위해 제공될 수 있다.
이를 위해, 암호화된 방식으로 전처리 회로에 공급되는 데이터 및 프로그램은 비휘발성 메모리에 암호화된 방식으로 저장될 수 있다. 비휘발성 메모리는 여기서 외부 또는 내부, 즉, 전처리 회로 외부에 또는 내부에 제공될 수 있다. 이러한 방식으로 악의적인 액세스를 방지할 수 있다.
특히 유리하게는, 본 발명에 따르면, 전처리 회로와 적어도 하나의 홀로그램 계산 회로 사이에 상호 인증 또는 진위 검사가 구현되는 것이 제공될 수 있다. 이는 전처리 회로 또는 적어도 하나의 홀로그램 계산 회로의 무단 복제를 방지하기 위해, 진위 검사의 의미에서의 조치이다.
이는 각각 독립적인 제품으로서의 전처리 회로 및 적어도 하나의 홀로그램 계산 회로 또는 독립적인 또는 개별의 회로, 전처리 회로 및 홀로그램 계산 회로로 구성되는 본 발명에 따른 장치를 판매하는 것이 가능하다는 이점을 갖는다. 이를 위해, 회로의 설계, 즉, "소스 코드" 또는 RTL 설계를 암호화된 IP 코어로 이용 사용할 수 있다. 결과적으로, 이러한 IP 코어는 FPGA 또는 ASIC 설계용 EDA 도구(Electronic Design Automation)에 의해서만 판독되고 처리될 수 있다.
전처리 회로는 공간 광 변조기 장치의 교정, 홀로그램의 보정 및 바람직하게는 3차원 장면의 적응/업그레이드에 관한 많은 노하우가 내장되고 구현되는 특별한 작업을 수행한다. 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치의 제품당, 적어도 하나의 홀로그램 계산 회로를 제어하기 위한 적어도 하나의 전처리 회로가 필요하다. 전처리 회로에서 보호되어 외부에서 읽을 수 없는 데이터 영역(EEPROMs)(외부에서 쓰기 가능, 내부에서만 읽을 수 있음)과 같은 조치를 통해, 암호화 기술을 사용하여, 전처리 회로와 적어도 하나의 홀로그램 계산 회로 간의 진위 검사를 위한 목적으로 상호 인증을 구현하고 전송 채널을 암호화할 수 있다. 예를 들어 TLS 또는 SSL과 같은 일반적인 또는 이전에 알려진 암호화 방법을 기초로 하여, 공간 광 변조기 장치의 파라미터 및 외부 또는 내부 비휘발성 메모리의 프로그램을 복호화하는 데 필요한 개인 키가 전처리 회로의 보호 영역에 저장될 수 있다. 이에 따라 전처리 회로 및 적어도 하나의 홀로그램 계산 회로는 또한 각각의 경우에 그들의 진위를 검사하고 증명하기 위해 상호 인증될 수 있다. 이 검사가 실패하면, 각각의 회로, 전처리 회로 및/또는 홀로그램 계산 회로는 예를 들어 특정 무효 모드로 전환될 수 있다. 이것의 효과는 다양할 수 있는데, 예를 들어 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치에 대한 해당 정보의 표시, 홀로그래픽 디스플레이 장치의 작동의 중단, 표현되는 바람직하게는 3차원 장면의 상당히 감소된 품질의 작동 또는 유사한 조치일 수 있다.
또한, 본 발명에 따른 장치는 특히 유리하게는 계산 경로의 가변 활성화에 의한, 적어도 하나의 공간 광 변조기 장치의 상이한 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및/또는 적어도 하나의 공간 광 변조기 장치의 파라미터에 대한 전처리 회로 및/또는 적어도 하나의 홀로그램 계산 회로의 확장성을 특징으로 할 수 있다.
따라서 홀로그램 계산 회로는 공간 광 변조기 장치와 관련하여 여러 번 채용되거나 또는 사용될 수 있다. 예를 들어 종횡비와 관련하여 적어도 유사하게 동일한 픽셀 피치와 같은 특정 전제 조건이 충족되면, 하나의 동일한 홀로그램 계산 회로가 공간 광 변조기 장치의 다른 제품에도 사용될 수 있는데, 이를 통해 공간 광 변조기 장치의 제품당 홀로그램을 계산하기 위한 회로의 값비싼 개발 및 생산이 회피될 수 있기 때문이다. 치수가 큰 회로, 예를 들어 ASIC에 비해 형태가 더 작게 형성된 회로, 예를 들어, ASICs는 또한 생산에서 더 높은 수율을 얻을 수 있다는 장점이 있다. 개발 및 검증도 또한 마찬가지로 덜 복잡하다. 더 작은 프로세스 구조를 사용하여 전력 소비가 또한 감소될 수도 있다. 이것은 많은 개수의 홀로그램 계산 회로가 제공되어야 하는 경우 가치가 있으며, 이는 일반화 및 복수의 또는 적어도 2 개의 홀로그램 계산 회로로의 분할에 의해 지원된다. 원칙적으로 적어도 2 개의 홀로그램 계산 회로를 제공하면 홀로그램 계산 회로의 설계가 또한 판매될 수 있다.
본 목적은 또한 청구항 제25항에 따른 특징을 갖는 홀로그래픽 디스플레이 장치에 의해 본 발명에 따라 달성된다.
본 발명에 따른 홀로그래픽 디스플레이 장치는 다음과 같은 특징을 포함한다:
- 위에서 설명된 바와 같은 본 발명에 따른 전처리 회로,
- 홀로그램을 계산하기 위한 위에서 설명된 바와 같은 본 발명에 따른 적어도 하나의 홀로그램 계산 회로, 및
- 계산된 홀로그램이 인코딩되는 적어도 하나의 공간 광 변조기 장치.
종래 기술의 홀로그래픽 디스플레이 장치와 비교하여, 본 발명에 따른 이러한 홀로그래픽 디스플레이 장치는 상당히 낮은 전력 소비, 디스플레이 장치의 작동 동안 더 적은 열 발생, 더 낮은 생산 비용, 및 홀로그램의 계산을 위한 최적화된 회로를 포함한다. 또한, 디스플레이 장치의 개별 컴포넌트, 특히 전처리 회로 및 홀로그램 계산 회로에 대해 설명된 장점들이 여기에도 적용된다.
적어도 하나의 홀로그램 계산 회로에 의해 계산된 홀로그램의 데이터는 적어도 하나의 소스 드라이버를 통해 적어도 하나의 공간 광 변조기 장치로 전송될 수 있다. 다른 말로 하면, 적어도 하나의 홀로그램 계산 회로에 의해 계산된 홀로그램의 데이터를 적어도 하나의 공간 광 변조기 장치로 전송할 수 있는 적어도 하나의 소스 드라이버가 제공될 수 있다.
본 발명에 따른 홀로그래픽 디스플레이 장치는 또한 적어도 하나의 광원을 포함하는 조명 장치, 및 적어도 하나의 공간 광 변조기 장치와 함께 장면을 재구성할 수 있는 광학 시스템을 포함할 수 있다.
또한, 본 발명의 본 목적은 청구항 제28항에 따른 특징을 갖는 홀로그램의 실시간 계산을 위한 파이프라인에 의해 달성된다.
홀로그램의 실시간 계산을 위한 본 발명에 따른 파이프라인은, 장면의 데이터를 전처리하고 적어도 하나의 공간 광 변조기 장치의 컴포넌트를 직접 제어하기 위한 위에서 설명된 본 발명에 따른 전처리 회로, 및 홀로그램을 계산하기 위한 위에서 설명된 본 발명에 따른 적어도 하나의 홀로그램 계산 회로를 포함하고, 여기서 전처리 회로 및 적어도 하나의 홀로그램 계산 회로는 각각 FPGA(Anwendungsfeld programmierbaren Logik-Gatter-Anordnung) 및/또는 ASIC(anwendungsspezifischen integrierten Schaltung)에 기초하여 구현된다.
특히 위에서 설명된 장치 및 이하에서 설명될 방법에 기초하여, 회로를 사용하여, 공간 광 변조기 장치 상에 표현하기 위한 홀로그램의 계산 및 출력은, 서브 홀로그램을 사용하여 홀로그램의 하드웨어 기반 실시간 계산 및 적어도 하나의 공간 광 변조기 장치의 직접 제어를 위한 파이프라인의 형태로 아래에서 설명된다. 본 발명에 따른 이러한 파이프라인은 전처리 회로 및 적어도 하나의 홀로그램 계산 회로를 포함하는 것을 특징으로 하며, 이들 둘 모두는 독립적인 또는 별도의 회로를 형성한다.
따라서, 홀로그램의 실시간 계산을 위한 본 발명에 따른 파이프라인은 바람직하게는 3차원 장면의 데이터를 전처리하고 적어도 하나의 공간 광 변조기 장치를 직접 제어하기 위한 전처리 회로, 및 홀로그램의 계산을 위한 적어도 하나의 홀로그램 계산 회로를 포함한다. 또한, 이 파이프라인은 전처리 회로 및 적어도 하나의 홀로그램 계산 회로가 FPGA(Anwendungsfeld programmierbarer Logik-Gatter-Anordnung) 및/또는 ASIC(anwendungsspezifischen integrierten Schaltung) 기반으로 구현되는 것을 특징으로 한다.
특히, 이러한 파이프라인은 바람직하게는 3차원 장면 또는 오브젝트 포인트로 구성된 장면을 표현하기 위한 홀로그램, 특히 서브 홀로그램을 계산하기 위한 본 발명에 따른 장치를 포함할 수 있다.
전처리 회로 및 적어도 하나의 홀로그램 계산 회로가 런타임에 구성될 수 있는 경우 특히 유리할 수 있다.
FPGA(Anwendungsfeld programmierbare Logik-Gatter-Anordnung) 및/또는 ASIC(anwendungsspezifisch integrierte Schaltung)로 구현된 전처리 회로 및 적어도 하나의 홀로그램 계산 회로는 이후에 구성될 수 있는데, 즉, 런타임 중에 구성 가능할 수도 있다.
본 발명에 따른 파이프라인의 전처리 회로 및 적어도 하나의 홀로그램 계산 회로는 전자적으로 상호 연결되며, 여기서 전처리 회로는 다음의 기본적인 기능을 구현한다:
- 입력 인터페이스 유닛을 통해, 재구성되어 표현될 장면을 설명하기 위한 데이터, 예를 들어 오브젝트 포인트를 수신하는 단계,
- 표현될 장면의 수신된 데이터를 전처리하는 단계, 특히 처리 유닛에 의해, 장면의 표현에 필요한 특정 파라미터를 포함하여 시스템 독립적인 포맷으로 정의된 방식으로 데이터를 처리 및 변환하는 단계, 및
- 출력 인터페이스 유닛을 통해, 전처리되어 변환된 데이터를 출력하여 적어도 하나의 홀로그램 계산 회로로 전송하는 단계,
여기서 홀로그램 계산 회로는 다음의 기본적인 기능을 구현한다:
- 입력 인터페이스 유닛을 통해, 전처리 회로에 의해 전처리된 데이터를 수신하는 단계,
- 홀로그램 계산 유닛에 의해 홀로그램을 계산하고 인코딩하는 단계, 및
- 출력 인터페이스 유닛을 통해 계산된 홀로그램의 데이터를 적어도 하나의 공간 광 변조기 장치로 전송하는 단계.
전처리 회로 및 적어도 하나의 홀로그램 계산 회로는 전체 회로에 통합되지만, 그러나 런타임에 구성 가능한데, 즉, 특정 공간 광 변조기 장치에 할당되지 않는다. 다른 말로 하면, 전처리 회로 및 홀로그램 계산 회로는 특정 유형의 공간 광 변조기 장치를 위해 의도되거나 정의된 유형을 위해 개발된 것이 아니라, 커미셔닝 중에 적절한 구성을 통해 환경(공간 광 변조기 장치의 유형 등)에 맞게 적응될 수 있다. 필요한 경우, 이후에 새롭게 구성 가능할 수 있다. 이를 통해, 1차원 및 2차원 홀로그램이 실시간으로 계산되어 출력될 수 있고 다양한 인코딩 유형 및 출력 모드가 지원될 수 있도록 이러한 파이프라인을 설계할 수 있다.
일반적으로 표현하면, 전처리 회로 및 적어도 하나의 홀로그램 계산 회로는, 전처리 회로에 의해 적어도 하나의 홀로그램 계산 회로가 제어될 수 있지만, 전처리 회로 및 적어도 하나의 홀로그램 계산 회로는 특정 공간 광 변조기 장치 및/또는 홀로그래픽 디스플레이 장치에 할당되지 않는 방식으로 서로 연결되는 독립적인 또는 별도의 회로이다.
또한, 본 발명에 따른 파이프라인은 데이터를 처리할 때 높은 병렬성에 의해 낮은 클록 주파수에서 높은 연산 능력을 보장할 수 있다. 이는 특히 최소 전력 소비와 관련하여 중요하다.
다른 이점은 계산 경로의 가변 활성화에 의한, 적어도 하나의 공간 광 변조기 장치의 상이한 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및/또는 적어도 하나의 공간 광 변조기 장치의 파라미터에 대한 파이프라인의 확장성이다. 따라서, 파이프라인은 비활성화될 수 있거나 또는 다시 활성화될 수 있는 계산 경로를 포함한다.
따라서 본 발명에 따른 홀로그램 계산의 일반화된 구현과 조합된 또 다른 중요한 양태는 확장성이다. 따라서 홀로그램 계산 회로는 적어도 하나의 공간 광 변조기 장치와 관련하여 여러 번 채용되거나 또는 사용될 수 있다. 예를 들어 종횡비와 관련하여 적어도 유사하게 동일한 픽셀 피치와 같은 특정 전제 조건이 충족되는 경우, 하나의 동일한 홀로그램 계산 회로가 또한 공간 광 변조기 장치의 다른 제품에도 사용될 수 있다. 이전에 알려진 회로를 ASICs 형태로 생산하기 위한 막대한 비용 요인이 이에 대해 결정적일 수 있다. 따라서, 동일한 유형의 회로가 하나의 제품 또는 다른 제품들에서 여러 번 사용될 수 있다면, 공간 광 변조기 장치의 제품당 홀로그램을 계산하기 위한 회로의 고가의 개발 및 제조가 회피될 수 있다. 치수가 큰 회로, 예를 들어 ASIC에 비해 형태가 더 작게 형성된 회로, 예를 들어 ASICs는 또한 생산에서 더 높은 수율을 얻을 수 있다는 장점을 갖는다. 개발 및 검증도 또한 마찬가지로 덜 복잡하다.
본 발명에 따른 홀로그램 계산 회로에 관한 비용 면에서 전력 소비 및 부품 개수를 감소시키기 위해, 더 작은 공정 구조를 목표로 할 수 있다. 이는 다수의 홀로그램 계산 회로가 또한 대상이 될 때 특히 가치가 있으며, 이는 복수의 또는 적어도 2 개의 홀로그램 계산 회로로의 일반화 및 분할에 의해 지원된다.
원칙적으로, 적어도 하나의 홀로그램 계산 회로의 제공은 또한 홀로그램 계산 회로의 설계가 판매되는 것을 가능하게 한다. 이는 예를 들어 공간 광 변조기 장치의 제조업체가 자체 프로세스 및 인터페이스에 적응시켜, 자체 생산 방법 또는 그에 적합한 생산 방법을 사용할 수 있게 한다.
특히, 홀로그램 계산 회로의 기능은 US 2016/0132021 A1 및 아래에 열거된 홀로그램 정규화 방법과 관련하여 보아야 하며, 그 내용은 여기에 전체가 포함되어야 하고, 홀로그램을 계산하기 위한 개시된 방법은, 본 문헌의 서두에 간략히 설명된 바와 같이, 본 발명에 따른 홀로그램 계산 회로에 의해 수행될 수 있다.
또한, 본 발명의 본 목적은 청구항 제34항에 따른 특징을 갖는 홀로그램을 계산하는 방법에 의해 달성된다.
적어도 하나의 공간 광 변조기 장치를 포함하는 홀로그래픽 디스플레이 장치를 사용하여 장면을 표현하기 위한 홀로그램을 계산하기 위한 본 발명에 따른 방법이 제공되며, 여기서 홀로그램은 전처리 회로 및 적어도 하나의 홀로그램 계산 회로에 의해 계산된다.
표현될 바람직하게는 3차원 장면의 홀로그램을 계산하기 위해, 본 발명에 따른 방법은 2 개의 (또는 그 초과의) 독립적인 또는 별개의 회로, 전처리 회로 및 적어도 하나의 홀로그램 계산 회로를 사용한다.
유리하게는, 여기서, 전처리 회로는 홀로그램을 계산하기 위한 전처리에서 한 번만 필요한 데이터를 처리하고, 적어도 하나의 홀로그램 계산 회로는 적어도 하나의 공간 광 변조기 장치에 대한 인코딩을 위해 제공되는 홀로그램을 전처리 회로에 의해 제공되는 데이터로부터 계산하여 적어도 하나의 공간 광 변조기 장치로 출력하는 것이 제공될 수 있다.
따라서, 홀로그램을 계산하기 위한 전처리에서 한 번만 사용되거나 또는 필요한 기능은 한 번만 구현된다. 따라서, 이러한 기능은 별도의 전처리 회로에서 구현된다. 전처리 회로는, 이미 상술한 바와 같이, 예를 들어 데이터의 변경 및 개선, 홀로그래픽 디스플레이 장치의 광학 시스템에 대한 데이터의 적응, 이미징 오류의 보정 등과 같은 단순한 이미지 처리만을 주로 수행하며, 따라서 필요한 홀로그램의 실제 계산을 수행하는 적어도 하나의 홀로그램 계산 회로의 연산 능력에 비해 적은 양의 연산 능력을 필요로 한다.
본 발명의 일 실시예에서, 전처리 회로의 입력 인터페이스 유닛은 예를 들어 권한 관리의 일부로서 암호화된 포맷으로 표현될 장면의 데이터를 수신할 수 있고, 이를 복호화하여 전처리 회로의 전처리 유닛으로 전송한다.
따라서, 전처리 회로는 표현될 바람직하게는 3차원 장면의 데이터, 예를 들어 장면의 오브젝트 포인트로부터의 데이터를 입력 인터페이스 유닛을 통해 수신하고, 이러한 암호화된 데이터를 복호화한다. 입력 인터페이스 유닛은 디스플레이 포트, HDMI, 하나 이상의 네트워크 인터페이스 또는 필요한 대역폭을 갖는 임의의 다른 인터페이스와 같은 표준화된 인터페이스일 수 있다. 장면의 데이터는 다양한 포맷으로 제공될 수 있는데, 예를 들어 3차원 포인트 클라우드로서, 3차원 볼륨으로서, 또는 하나 이상의 레벨의 하나 이상의 뷰의 2차원 (2D) 매트릭스 또는 래스터 이미지, 즉, 홀로그램의 투명도 또는 볼륨을 구현하기 위해, 필요한 경우, 복수의 레벨의 색상 및 깊이 특징의 이미지의 조합으로서 가능하다. 임의의 다른 포맷, 특히 고전적인 2차원 포맷 또는 스테레오 포맷도 또한 가능하며, 이들은 그 후 그에 상응하게 전처리 회로에 의해 3차원 포맷으로 변환될 수 있다. 장면의 데이터의 해상도는 유연하지만, 여기서 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치의 구현된 제품은 필요한 경우 바람직하게는 3차원 장면의 콘텐츠를 렌더링하기 위한 특정 최대 해상도를 구현할 수 있다.
전처리 회로의 전처리 유닛을 이용하여, 그 후, 전송된 데이터는 표현될 장면에 상응하게 본 발명에 따라 전처리될 수 있고, 전처리된 데이터는 적어도 하나의 공간 광 변조기 장치의 특정 파라미터를 고려하여 시스템 독립적인 포맷으로 변환될 수 있다.
전처리 유닛은 정의된 파라미터 및 사양에 상응하게 전송된 데이터를 전처리하고, 그 다음 홀로그램을 계산하기 위해 표현될 장면의 이러한 전처리된 데이터를 적어도 하나의 공간 광 변조기 장치의 특정 파라미터를 사용하여 적어도 하나의 후속 홀로그램 계산 회로에 대해 처리될 수 있는 일반화된 포맷으로 변환한다. 이러한 특정 파라미터는 예를 들어 파장, 공간 광 변조기 장치의 스크리닝, 장면 또는 홀로그램의 해상도, 예를 들어 관찰자와 공간 광 변조기 장치 사이의 거리, 예를 들어 왜곡 또는 파장에 따른 수차의 특정 보정을 실행하기 위한 보정 테이블 및 보정 파라미터, 인터페이스 정보, 인터페이스 구성, 및 인터페이스 파라미터에 대한 정보일 수 있다.
전처리 회로의 전처리 유닛은 다양한 전처리를 수행할 수 있다. 여기에는 예를 들어 결과적으로 표현되는 장면의 오브젝트 포인트에 대한 색상 보정 및 위치 보정이 포함될 수 있다. 데이터의 전처리는 또한 예를 들어 홀로그래픽 디스플레이 장치에 제공된 광학 시스템의 다양한 효과를 보정하기 위해 수행될 수도 있다. 또한, 필요한 경우, 광학 시스템의 파장에 따른 영향을 다르게 보상하기 위해, 전처리 유닛을 통해 데이터에서 각각의 파장(색상)에 대해 서로 다른 보정을 수행할 수도 있다. 따라서, 일반적으로 볼 때, 표현될 장면의 이미징 오류가 전처리 유닛에 의해 보정될 수 있고, 그 결과 이미징 오류가 보정된 데이터가 생성된다.
또한, 표현될 장면의 관찰자의 눈의 시각 장애가 장면의 가상 변위, 회전 및/또는 왜곡에 의해 전처리 유닛에 의해 보정되는 것이 제공될 수 있다.
또한, 전처리 회로에서 전처리 유닛에 의해 표현된 장면의 관찰자의 눈의 시각 장애의 후속 보정을 수행하는 것도 가능하다. 이를 위해, 장면의 오브젝트 포인트가 각각의 차원에서 개별적으로 변위되고, 회전되고 및/또는 왜곡되는 방식으로 데이터가 전처리 유닛에서 처리된다.
표현될 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질이, 표현된 장면이 에지 영역에서 적어도 하나의 홀로그램 계산 회로의 홀로그램 계산 유닛에 의해 감소된 해상도, 감소된 상세 레벨 및/또는 감소된 홀로그래픽 품질로 계산되도록, 전처리 유닛에 의해 관찰자의 눈의 시선 방향을 고려하여 적응되는 경우 특히 유리할 수 있다.
이러한 절차는 아이 트래킹 데이터를 사용하여, 즉, 실시간으로 관찰자의 적어도 한쪽 눈의 시선 방향을 추적할 때 소위 포비티드 렌더링이 구현되는 경우 특히 유리하다. 여기서, 표현될 바람직하게는 3차원 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질은 관찰자의 눈의 현재 및/또는 예측된 시야 방향에 기초하여 적응된다. 눈의 중심와의 에지 영역 또는 표현된 장면의 에지 영역에서, 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질이 감소될 수 있으며, 그 결과 장면의 홀로그램을 계산하기 위한 적어도 하나의 홀로그램 계산 회로에서의 전력 소비가 영향을 받아 감소될 수 있다. 이를 위해 사용자의 눈의 시선 방향이 계산된다. 홀로그램의 계산의 시작과 적어도 하나의 공간 광 변조기 장치에서 홀로그램의 후속하는 표현 사이의 홀로그램의 사전 계산, 계산 및 출력으로부터의 시스템의 지연으로 인해, 장면의 관찰자의 눈의 시선 방향 이동은 향후 지연 시간에 따라 예측되거나 또는 추정될 수 있다.
본 발명의 다른 유리한 실시예에서, 또한, 표현될 장면의 오클루전 데이터(Okklusionsdaten)가 전처리 회로로 전송되며, 여기서 전처리 회로는 전송된 오클루전 데이터로부터 장면의 오브젝트 포인트를 생성하는 데 필요한 정보를 추출하는 것이 제공될 수 있다.
전처리 유닛 또는 일반적으로 전처리 회로의 추가 기능은 일반적으로 적어도 하나의 공간 광 변조기 장치 상의 계산된 홀로그램의 출력과 동기식으로, 적어도 하나의 공간 광 변조기 장치 및/또는 홀로그래픽 디스플레이 장치의 추가 컴포넌트를 제어하는 것이다. 다른 말로 하면, 장면을 표현하기 위한 홀로그래픽 디스플레이 장치의 제어 가능한 컴포넌트들은 전처리 회로에 의해 제어될 수 있으며, 여기서 컴포넌트는 적어도 하나의 공간 광 변조기 장치에 대한 계산된 홀로그램의 출력과 동기식으로 제어된다.
여기에는 무엇보다도 조명 장치, 특히 적어도 하나의 광원 또는 백라이트의 제어, 위에서 설명한 바와 같이, 아이 트래킹 데이터의 처리, 및 관련 컴포넌트에 대한 이 데이터의 공급, 적어도 하나의 가시 영역/관찰자 윈도우의 광 편향 또는 추적을 위한 컴포넌트의 제어, 공간 광 변조기 장치에서 광파의 변조 및 조작을 위한 능동 광학 요소의 제어가 포함된다.
또한, 전처리 회로는 다음과 같은 기능도 수행할 수 있다. 예를 들어, 전처리 회로는 장면의 2차원(2D) 데이터로부터 장면의 3차원(3D) 데이터로의 변환, 즉, 소위 2D/3D 변환을 수행할 수 있다. 또한, 3차원 장면의 복수의 뷰로부터 깊이 데이터를 생성하는 것도 가능하다. 또한, 위에서 이미 언급한 바와 같이, 홀로그래픽 시차로 인해 장면의 그림자를 채우기 위해 추가적인 3차원 데이터의 생성, 즉, 오클루전 데이터의 생성이 수행될 수 있다. 이러한 생성은 특히 3차원 장면의 포인트 클라우드와 같은 데이터의 도움으로 수행되거나 또는 투명도가 있는 및/또는 없는 복수의 이미지 평면이 있을 때 수행될 수 있다.
전처리 회로의 다른 작업은 표현될 바람직하게는 3차원 장면에 대해 계산될 데이터를 하나 이상의 홀로그램 계산 회로(들)에 분배하는 것이다. 이것은 데이터 인터페이스 유닛을 통해 수행된다. 이를 위해, 전처리 회로의 전처리 유닛에 의해 생성된 데이터는 적어도 하나의 공간 광 변조기 장치의 특정 파라미터를 고려하여 시스템 독립적인 포맷으로 변환될 수 있으며, 전처리 회로의 출력 인터페이스 유닛을 통해 표현될 장면의 홀로그램을 계산하기 위한 적어도 하나의 홀로그램 계산 회로로 전송될 수 있다.
적어도 하나의 공간 광 변조기 장치의 특정 파라미터, 수신되어 표현될 장면의 전처리를 위한 데이터 및 프로그램은 암호화되어 전처리 회로에 전송될 수 있으며, 여기서 이러한 데이터, 파라미터 및 프로그램은 사전에 암호화되어 비휘발성 메모리에 저장될 수 있다. 비휘발성 메모리는 외부 또는 내부, 즉, 전처리 회로의 외부 또는 내부에 제공될 수 있다. 이러한 방식으로, 외부의 액세스 또는 외부로부터의 무단 액세스가 불가능해지거나 또는 더 어려워진다.
정의된 신호를 생성하기 위해, 전처리 회로에 타이밍 제어기가 제공되거나 또는 사용될 수 있다. 따라서, 적어도 하나의 공간 광 변조기 장치 및 이러한 적어도 하나의 공간 광 변조기 장치를 구동하기 위해 제공되는 적어도 하나의 소스 드라이버는 전처리 회로의 타이밍 제어기를 통해 클록 및 제어될 수 있다. 타이밍 제어기는 또한 다른 부품 및 회로를 제어하도록 설계된다. 또한, 타이밍 제어기에 의해, 표현될 바람직하게는 3차원 장면의 계산된 데이터는 공간 광 변조기 장치의 픽셀 또는 픽셀 셀로 전송될 수 있다. 복수의 홀로그램 계산 회로가 존재하는 경우, 홀로그램 계산 회로들은, 이러한 공간 광 변조기 장치의 제어에 따라, 원활하고 효율적인 동작을 위해 타이밍 제어기에 의해 동기화될 수 있다.
본 발명의 특히 유리한 실시예에서, 전처리 회로 내에서, 홀로그램 정규화를 위해 표현될 장면의 데이터에 대한 적어도 하나의 분석, 즉 하나 이상의 분석이 수행되는 것이 제공될 수 있다.
전처리 회로는 바람직하게는 홀로그램 계산 회로에서 홀로그램 정규화를 수행하는 데 사용될 수 있는 방식으로 유리하게 설계된다. 이러한 방식으로, 홀로그램의 정규화는 계산을 수행하는 회로, 즉, 홀로그램 계산 회로에 의해 홀로그램을 계산하는 단계에서 수행되지 않고, 별도의 회로, 여기서는 홀로그램의 직접 계산에 관여하지 않는 전처리 회로에 의해 수행될 수 있다. 이는, 홀로그램을 계산하기 위한 회로, 여기서는 이제 본 발명에 따른 홀로그램 계산 회로가 홀로그램의 전체 데이터 세트를 임시 저장하기 위해 더 이상 매우 큰 저장 용량을 필요로 하지 않는다는 엄청난 이점을 갖는다. 이는 본 발명에 따르면 임시 저장 없이 또는 임시 메모리 없이 홀로그램의 정규화가 수행될 수 있기 때문이다.
적어도 하나의 홀로그램 계산 회로와 별도로 설계되는 전처리 회로는, 대략적으로 정확한 홀로그램 정규화를 가능하게 하기 위해, 홀로그램 계산 회로 내에서의 홀로그램 계산의 마지막 단계, 즉, 코딩 또는 인코딩 단계에서 홀로그램 정규화를 구현하기 위해 표현될 바람직하게는 3차원 장면의 데이터를 기초로 하여 특별하고 정의된 분석을 수행한다. 이를 위해, 적어도 하나의 홀로그램 계산 회로는 따라서 임시 메모리를 필요로 하지 않으므로, 이 회로는 더 비용 효율적이고, 더 작은 치수로 생산될 수 있어, 더 비용 효율적인 생산이 가능하다.
이 경우, 전처리 회로의 입력 인터페이스 유닛으로 전송되는 데이터를 분석하여, 홀로그램 정규화를 위한 홀로그램 정규화 파라미터의 결정이 유리한 방식으로 수행될 수 있다. 이를 위해, 다음 단계가 수행된다:
- 관찰 영역에서 깊이 및 측방향 분포에 대한 장면의 오브젝트 포인트의 분포를 분석하는 단계,
- 관찰 영역에서 오브젝트 포인트의 각각의 깊이와 조합된 오브젝트 포인트의 밝기 분포를 분석하는 단계, 및
- 오브젝트 포인트의 총 개수를 결정하는 단계.
홀로그램 정규화는 결과적으로, 관찰 영역의 오브젝트 포인트의 분포, 관찰 영역의 오브젝트 포인트의 밝기 분포의 특징 및 장면의 채워지는 정도를 결정하기 위한 오브젝트 포인트의 총 개수를 관찰하고 평가함으로써, 전처리 회로에 입력되는 데이터 스트림의 분석을 기반으로 한다. 이러한 정보는 정규화를 위해 관련 파라미터를 효율적인 방식으로 읽을 수 있도록 통계적 방법을 사용하여 분석되고 예를 들어 히스토그램에 저장될 수 있다. 바람직하게는 3차원 장면의 구조, 분포 및 설계에 대한 추가 통계 데이터가 추가적으로 결정될 수 있다.
프레임마다 표현될 장면의 변화를 분석함으로써, 홀로그램 정규화 파라미터는 전처리 회로의 분석 모듈에 의해 추정되고, 이러한 추정된 홀로그램 정규화 파라미터를 정규화를 위해 계산된 실행 중인 홀로그램 데이터에 적용하는 적어도 하나의 홀로그램 계산 회로의 인코딩 모듈로 전송될 수 있다.
이는, 프레임마다 바람직하게는 3차원 장면의 변화를 분석함으로써 홀로그램 정규화 파라미터의 예상되는 변화가 추정될 수 있음을 의미한다. 이러한 추정은 적어도 하나의 홀로그램 계산 회로에서 인코딩 모듈로 전송되며, 이는 실행 중인 홀로그램 데이터에 정규화를 위해 추정된 파라미터를 적용한다. 본 발명에 따르면, 따라서, 홀로그램은 종래 기술에서와 같이 임시 저장되지 않고, 실행 중에 직접 추가 처리된다. 동시에, 인코딩 모듈은 바람직하게는 3차원 장면의 실행 중인 데이터를 기반으로 홀로그램 정규화 파라미터의 실제 정확한 값을 결정하고, 이 값을 프레임의 끝에서 전처리 회로의 분석 모듈로 다시 제공한다. 다른 말로 하면, 홀로그램 인코딩을 위해 실행 중인 계산된 데이터에 의해, 홀로그램 정규화 파라미터의 정확한 값은 인코딩 모듈에 의해 결정될 수 있고, 전처리 회로의 분석 모듈로 다시 전송될 수 있다. 이러한 분석 모듈은 과거 프레임의 이러한 정확한 측정된 값을 사용하여, 다음 프레임에 대한 홀로그램 정규화 파라미터의 새로운 추정을 개선하기 위해, 소위 미세 조정이라고 하는 오류 평가 및 동적 적응을 수행한다.
요약하면, 현재 바람직하게는 3차원 장면의 변화를 분석하고 장면의 마지막 프레임의 알려진 정확한 홀로그램 정규화 파라미터를 사용하여, 장면의 현재 프레임에 대한 새로운 홀로그램 정규화 파라미터의 추정이 이루어진다.
예를 들어, 홀로그램의 정규화 파라미터를 추정하기 위해 일반적으로 다음 관계 또는 규칙이 정의될 수 있다.
· 3차원 장면의 밝기가 프레임마다 평균적으로 더 밝아지거나 또는 더 어두워지면, 홀로그램의 최대 매그니튜드가 증가되거나 또는 감소되어야 하는데, 홀로그램의 매그니튜드가 평균적으로 증가되거나 또는 감소되기 때문이다.
· 그러나, 이전 컨텍스트 외에도 장면의 밝기 역학도 또한 고려되어야 한다. 예를 들어 어두운 장면을 그에 따라 어둡게 재현할 수 있도록, 홀로그램의 최대 매그니튜드를 그에 따라 높게 정의하고 설정해야 한다. 이는, 홀로그램에서 최대 매그니튜드를 선택할 때 최대 밝기에 대한 장면 밝기의 비율을 고려해야 하며, 홀로그램의 최대 매그니튜드와 설정된 최대 매그니튜드의 비율과 대략 같아야 한다는 것을 의미한다.
· 반면에 바람직하게는 3차원 장면이 더 깊거나(확장) 또는 압축되는 경우, 즉, 3차원 장면의 오브젝트 포인트가 관찰자로부터 거리를 변경하는 경우, 홀로그램의 최대 매그니튜드는 그에 따라 증가되거나 또는 감소되어야 한다.
정규화를 제어하기 위한 이러한 규칙 또는 알고리즘은 하나의 예일 뿐이다. 따라서, 이들의 임의의 변형 및 조합이 가능하고, 계산되고 정규화된 홀로그램이 인코딩되는 적어도 하나의 공간 광 변조기 장치의 유형 및 특성에 따라 정의된다.
확고하게 정의된 규칙 대신에 기계 학습 또는 인공 지능(KI) 방법을 적용하는 것도 마찬가지로 바람직한 실시예이고, 다양한 바람직하게는 3차원 참조 장면에 대한 훈련 단계의 일부로서 예상되는 동작이 지정되어 훈련되고, 이에 따라 KI가 새로운 알 수 없는 3차원 장면에 적용되는 단계에서 홀로그램 정규화를 위한 적절한 추정치가 KI에 의해 결정될 수 있다. 본 발명의 이러한 실시예에서, 특정 규칙을 작성할 필요 없이, 훈련된 KI 모델에 기초하여 추정이 수행된다.
추정된 홀로그램 정규화 파라미터를 홀로그램에 적용한 후, 추정이 얼마나 양호했는지를 결정하기 위해, 결정된 실제 홀로그램 정규화 파라미터를 사용하여 현재 프레임의 끝에서 비교가 이루어진다. 따라서, 추정된 홀로그램 정규화 파라미터 및 홀로그램 정규화 파라미터의 정확한 값은 각각의 프레임의 끝에서, 즉, 현재 계산된 홀로그램의 전체 실행 후 서로 비교된다. 바람직하게는 3차원 장면의 재현 및 표현에서 이로 인해 발생하는 가능한 밝기 편차는 조명 장치 또는 공간 광 변조기 장치 상의 광원을 통해 노광 시간을 약간 변경함으로써 보상될 수 있는데, 표현될 바람직하게는 3차원 장면에 대한 데이터가 지금까지 공간 광 변조기 장치에만 기록되었지만, 공간 광 변조기 장치에 대해 인코딩된 홀로그램의 노광은 장면을 재구성하기 위해 그 이후에만 시작되기 때문이다. 홀로그램 정규화 파라미터의 절대적으로 잘못된 추정의 경우, 조명 장치의 광원, 예를 들어 레이저는 바람직하게는 3차원 장면의 잘못된 표현을 회피하기 위해 일시적으로 켤 수도 없다. 이 경우 이러한 잘못된 프레임은 건너뛰고, 이는 관찰자에게 검은 이미지로서 작용한다. 이제 올바른 홀로그램 정규화 파라미터를 알고 있으므로, 홀로그램 정규화 파라미터의 후속 추정치는 다시 거의 정확하다. 이러한 경우는 일반적으로 수신된 바람직하게는 3차원 장면에서 매우 갑작스러운 장면 변경의 경우에만 발생할 수 있다. 공간 광 변조기 장치의 높은 프레임 속도로 인해, 재구성된 장면의 관찰자는 프레임의 누락 또는 표현되지 않음(검은색 프레임을 발생함)을 거의 인식하지 못할 것이다. 적어도 검은색 프레임은 관찰자의 인식에서, 최악의 경우 플래시처럼 보이는 잘못 정규화된 홀로그램보다 훨씬 덜 눈에 띄거나 방해가 될 것이다.
US 2016/0132021 A1에서 알 수 있고 또한 위에서 설명한 바와 같이, 재구성될 장면의 오브젝트 포인트는 각각 공간 광 변조기 장치 상의 서브 홀로그램으로 인코딩되고 중첩되어 전체 홀로그램을 형성한다. 서브 홀로그램의 인코딩을 단순화하기 위해, 본 발명에 따른 축소된 장면 포인트 설명 또는 오브젝트 포인트 설명이 사용될 수 있다. 이하에서는 이를 위해 축소된 오브젝트 포인트 설명이라는 용어가 사용된다. 본 발명에 따른 이러한 축소된 오브젝트 포인트 설명은 본 발명에 따른 전처리 회로에서 수행된다. 다른 말로 하면, 본 발명에 따른 전처리 회로는 축소된 오브젝트 포인트 설명을 실행하거나 또는 수행하도록 설계된다. 본 발명에 따른 이러한 축소된 오브젝트 포인트 설명을 위해, 전체 홀로그램의 서브 홀로그램의 위상 프로파일에 대해 다음과 같은 계산이 수행된다. 이것이 유리한 것처럼 보이면 대략적인 형태로 수행될 수 있다.
먼저, 오브젝트 포인트가 서브 홀로그램으로 인코딩되는 공간 광 변조기 장치로부터 오브젝트 포인트까지의 거리에 해당하는 초점 거리(f)가 계산되고:
여기서, z는 오브젝트 포인트에서 공간 광 변조기 장치까지의 거리이고, 여기서 z는 오브젝트 포인트가 공간 광 변조기와 관찰자 사이에 있을 때 양의 값이고, d는 관찰자에서 공간 광 변조기 장치까지의 거리이다.
그 후, 서브 홀로그램의 각각의 픽셀의 위상은 다음과 같이 계산되고:
여기서 λ는 사용된 광의 파장이고, rxy는 서브 홀로그램의 중심에서 각각의 복잡한 서브 홀로그램 픽셀의 반경이고, Φ0는 오브젝트 포인트의 위상 오프셋이고, f는 위에서 계산된 초점 거리이다.
따라서, 위상 곡선은 공간 광 변조기 장치 그리고 오브젝트 포인트 또는 장면 포인트로부터 관찰자의 실제 거리 대신에 초점 거리(f)로 설명될 수 있다. 또한, 이러한 설명과 함께 장면의 깊이 범위에 걸친 비선형성이 사라진다. 관찰자가 볼 때, 공간 광 변조기 장치의 훨씬 뒤쪽 영역에서 깊이의 서브 홀로그램의 위상 곡선에 대한 오브젝트 포인트 변위의 영향은 매우 적은 반면, 공간 광 변조기 장치의 앞쪽 영역에서 서브 홀로그램의 위상 곡선에 대한 오브젝트 포인트 변위의 영향은 크기 때문이다. 따라서, 초점 거리는 오브젝트 포인트의 위치 설명과 비교하여 디지털 형식으로 보다 효율적인 전송을 가능하게 한다.
여기서는 공간 광 변조기 장치의 복잡한 홀로그램 픽셀의 규칙적인 등거리 2차원 구조가 가정된다. 홀로그램 픽셀의 이러한 구조로, 공간 광 변조기 장치의 픽셀의 간격(px 및 py)에서 픽셀에 대해 이산 값이 계산된다. 이러한 변수가 이제 정규화되면 ― 여기서 예를 들어 p로 약칭되는 수평 픽셀 피치(px)가 사용될 수 있음 ― , 픽셀의 위상은 정규화된 반경(Rxy), 정규화된 초점 거리(F), 및 정규화된 파장(L)으로 산출된다:
다음 공식:
정규화된 반경(Rxy)은 차원이 없고, 항상 양수 값을 가지며, 서브 홀로그램 영역에 걸쳐 달라진다. 그 값은 서브 홀로그램 생성 내에서 개별 서브 홀로그램 픽셀에 영구적으로 할당될 수 있다. 이것은 또한 적어도 하나의 홀로그램 계산 회로의 대응하는 구현에 통합될 수 있어서, 적어도 하나의 홀로그램 계산 회로의 복잡성을 감소시키고, 정확한 파장 또는 정확한 픽셀 피치와 같은 변하는 개별 파라미터로 재사용성을 증가시킬 수 있다.
예를 들어 변하는 픽셀 피치(p)에도 불구하고 2 개의 홀로그래픽 디스플레이 장치 사이의 픽셀 기하학적 구조의 종횡비가 동일하여, 개별 서브 홀로그램 픽셀에 대한 정규화된 반경(Rxy)이 일정하다면, 이것은 적어도 하나의 홀로그램 계산 회로의 중요한 부분에는 영향을 미치지 않는다. 이러한 단순화는 적어도 하나의 홀로그램 계산 회로가 높은 기술적 및 경제적 효율성을 유지하면서 복수의 홀로그래픽 디스플레이 장치를 지원하도록 이용될 수 있다.
정규화된 초점 거리를 전송할 때 정규화 파라미터(px)로서 실제 픽셀 피치를 사용하는 것은 절대적으로 필요하지는 않다. 이 값이 사용되지 않으면, 전처리 회로와 적어도 하나의 홀로그램 계산 회로 사이에 보다 효율적인 전송이라는 이점이 여전히 있다. 한편, 실제 픽셀 피치가 정규화 파라미터로서 사용되거나 또는 이것이 서브 홀로그램 인코딩 전에 적어도 하나의 홀로그램 계산 회로에서 실제 픽셀 피치로 보정되면, 정규화된 반경(Rxy)에 대한 적어도 하나의 홀로그램 계산 회로의 회로 부분의 할당은 영구적으로 수행될 수 있고, 적어도 하나의 홀로그램 계산 회로는 이러한 영구적 할당에도 불구하고 복수의 홀로그래픽 디스플레이 장치를 지원할 것이다.
이러한 방식으로, 공간 광 변조기 장치의 특성과 무관하게 오브젝트 포인트의 서브 홀로그램의 픽셀에 대한 위상 값을 설명하는 3 개의 파라미터가 남겨진다. 다음 3 개의 파라미터는 서브 홀로그램의 위상 값을 결정한다:
- 정규화된 초점 거리(F),
- 정규화된 파장(L), 및
- 오브젝트 포인트의 위상 오프셋(Φ0).
값(F)으로 표시되는 정규화된 초점 거리는 무차원이지만 부호가 있다. 관찰자가 볼 때 공간 광 변조기 장치의 앞 또는 뒤에서 오브젝트 포인트가 생성되거나 또는 재구성되는지에 따라, 값(F)은 양의 부호 또는 음의 부호를 갖는다. 오브젝트 포인트의 생성은 볼록한 또는 오목한 이미징 시스템에 의한 평행 빔의 이미징과 비교될 수 있다. 이러한 렌즈 또는 광학 요소는 서브 홀로그램을 형성한다. 정규화된 초점 거리(F)는, 바람직하게는 3차원 장면이 재구성되고 관찰될 수 있는 관찰 영역에서 오브젝트 포인트의 깊이 레벨을 변화시킨다. 그러나, 특이점 F = 0은 회피된다.
값(L)으로 표시되는 정규화된 파장도 마찬가지로 무차원이지만, 항상 양수이며, 공간 광 변조기 장치의 노광 변화에 의해서만 변한다.
오브젝트 포인트의 위상 오프셋(Φ0)은 서브 홀로그램의 모든 픽셀의 위상에 추가되는 자유 파라미터이다.
일반적으로, 따라서, 본 발명의 일 실시예에서, 표현될 장면의 하나의 오브젝트 포인트가 각각 서브 홀로그램으로 인코딩되고, 여기서 오브젝트 포인트의 서브 홀로그램의 위상 값을 설명하기 위해, 다음의 파라미터가 전처리 회로에 의해 결정되고 장면의 오브젝트 포인트의 서브 홀로그램의 위상을 계산하기 위해 적어도 하나의 홀로그램 계산 회로로 전송되는 것이 제공될 수 있다:
- 관찰 영역에서 오브젝트 포인트의 깊이에 따라 달라지는 초점 거리 또는 굴절력, 및
- 오브젝트 포인트의 위상 오프셋.
유리하게는, 오브젝트 포인트의 서브 홀로그램의 픽셀의 위상값을 설명하기 위한 초점 거리는 정규화된 초점 거리 F = f/p 또는 그 역수로 정의될 수 있고, 여기서 f는 오브젝트 포인트의 초점 거리이고, p는 바람직하게는 적어도 하나의 공간 광 변조기 장치의 픽셀 피치에서 정의될 수 있는 상수이다.
실제로, 위상 계산의 복잡성을 감소시키기 위해, 오브젝트 포인트의 서브 홀로그램의 위상 프로파일을 계산하기 위한 계산 공식이 근사화("프레넬 근사화")될 수 있다. 이를 위해, 테일러 급수 전개를 사용할 수 있으며, 제1 항 이후에 중단될 때 다음과 같은 결과가 나타난다.
이제 값 
또는
가 도입될 수 있다.
값(F')은 여기에서 파장 정규화된 초점 거리로 지칭되며, 따라서 정규화된 초점 거리(F)와 같이 부호가 있는 무차원 변수이다.
유리하게는, 오브젝트 포인트의 서브 홀로그램의 픽셀의 위상 값을 설명하기 위한 초점 거리는 파장 정규화된 초점 거리 
또는 그 역수로서 시스템 독립적인 형태로 정의될 수 있고, 여기서 f는 오브젝트 포인트의 초점 거리이고, λ는 광의 파장이며, p는 바람직하게는 적어도 하나의 공간 광 변조기 장치의 픽셀 피치에서 정의될 수 있는 상수이다.
이제 파장 정규화된 초점 거리(F')는, 대략적인 계산을 사용하는 경우, 위상 오프셋(Φ0) 외에도, 오브젝트 포인트의 서브 홀로그램의 위상 곡선에 대한 완전한 설명을 허용한다.
유리하게는, 3차원 장면의 오브젝트 포인트의 서브 홀로그램의 위상은 이제 다음 공식:
을 사용하여 적어도 하나의 홀로그램 계산 회로에 의해 계산되며, 여기서 Rxy는 중앙에서 서브 홀로그램의 각각의 픽셀의 픽셀 피치 정규화된 반경이고, F'는 오브젝트 포인트의 파장 정규화된 초점 거리이며, Φ0은 오브젝트 포인트의 위상 오프셋이다.
파장 정규화된 초점 거리(F')는 이제 서브 홀로그램 내의 상대 위상 분포에 영향을 미치는 유일한 파라미터이다. 이는 상이한 홀로그래픽 디스플레이 장치에서 홀로그램 계산 회로의 동시 재사용성과 함께 적어도 하나의 홀로그램 계산 회로 내의 회로 부품 또는 계산 유닛의 추가 고정 상호연결을 허용한다. 여기서, 예를 들어 광의 파장, 오브젝트 포인트와 관찰자 사이의 거리 또는 픽셀의 크기와 같은 파라미터는 변하고, 이는 파장 정규화된 초점 거리(F')의 값만을 변경시키고, 적어도 하나의 홀로그램 계산 회로는 변경시키지 않을 수 있다.
파장 정규화된 초점 거리를 전송할 때 실제 픽셀 피치를 정규화 파라미터(px)로 사용하는 것이 반드시 필요한 것은 아니다. 이 값을 사용하지 않으면, 전처리 회로와 홀로그램 계산 회로 간에 보다 효율적인 전송이 가능하다는 이점이 있다. 한편, 실제 픽셀 피치가 정규화 파라미터로 사용되거나 또는 이것이 서브 홀로그램 인코딩 전에 홀로그램 계산 회로에서 실제 픽셀 피치로 보정되면, 홀로그램 계산 회로의 회로 부분을 정규화된 반경(Rxy)에 할당하는 것은 영구적으로 수행될 수 있으며, 하나의 홀로그램 계산 회로는 이러한 영구적 할당에도 불구하고 복수의 홀로그래픽 디스플레이 장치를 지원할 것이다.
입력 인터페이스 유닛에서 장면의 오브젝트 포인트를 설명하기 위해 위에서 설명한 감소된 파라미터, 바람직하게는 파장 정규화된 초점 거리(F')만을 사용하는 적어도 하나의 홀로그램 계산 회로의 구현은, 따라서, 공간 광 변조기 장치에 대한 실제 특정 파라미터와 독립적으로 구현되는 전자 회로로 이루어진다. 따라서, 본 발명에 따른 이러한 홀로그램 계산 회로는 상이한 파장, 상이한 거리 범위 및 상이한 픽셀 피치를 제공함으로써 상이한 유형의 공간 광 변조기 장치에 적용될 수 있다. 이러한 방식으로, 홀로그램 계산 회로는 또한 다양한 홀로그래픽 디스플레이 장치에 사용될 수도 있다.
따라서, 사용된 공간 광 변조기 장치의 특정 파라미터는 본 발명에 따른 전처리 회로에 알려지거나 또는 여기에 전송되어야 하며, 이는 표현될 바람직하게 3차원 장면의 오브젝트 포인트를 위에서 설명된 축소된 독립적인 오브젝트 포인트 설명(시스템 독립적인 포맷)으로 변환하여 적어도 하나의 홀로그램 계산 회로로 전송한다. 다른 말로 하면, 전처리 회로에 의해, 장면의 오브젝트 포인트는 축소된 오브젝트 포인트 설명으로서 생성될 수 있고, 시스템 독립적인 포맷으로 변환되고, 3차원 장면의 오브젝트 포인트의 서브 홀로그램의 위상을 계산하기 위해 적어도 하나의 홀로그램 계산 회로로 전송될 수 있다.
전처리 회로와 적어도 하나의 홀로그램 계산 회로 사이의 인터페이스에서 파장 정규화된 초점 거리(F') 또는 정규화된 초점 거리(F)를 사용하면 오브젝트 포인트의 위치 설명의 경우보다 더 효율적인 디지털 데이터 전송이 가능한데, 이 설명은 장면의 깊이 범위에 걸친 비선형성을 제거하기 때문이다.
물론, F 및 F'의 값 또는 데이터는 또한 예를 들어 상수를 곱하는 것 및/또는 역수 값(즉, 초점 거리 대신에 굴절력)의 전송에 의한 수학적으로 파생된 형태로, 그리고 다양한 디지털 데이터 포맷으로 적어도 하나의 홀로그램 계산 회로에 전송될 수 있다.
장면의 오브젝트 포인트의 서브 홀로그램의 픽셀의 위상 값이 서브 홀로그램의 중심으로부터 동일한 거리에서, 이 거리에 영구적으로 할당된 적어도 하나의 홀로그램 계산 회로의 회로 부분을 사용하여 계산되는 경우, 특히 유리할 수 있다. 이러한 방식으로, 적어도 하나의 홀로그램 계산 회로가 단순화될 수 있어, 제조 및 설계에 대한 비용 및 작동 시의 에너지를 절약할 수 있다. 또한, 동일한 홀로그램 계산 회로는 간단한 방식으로 다양한 홀로그래픽 디스플레이 장치에 사용될 수 있다.
이제 유리한 방식으로 본 발명의 교시를 구성하고 및/또는 설명된 예시적인 실시예 또는 구성을 서로 조합하기 위한 다양한 가능성이 있다. 이를 위해, 한편으로는 독립 특허 청구항에 종속된 특허 청구항을 참조하고, 다른 한편으로는 일반적으로 교시 내용의 바람직한 구성이 또한 설명되는 도면을 참조하여 본 발명의 바람직한 예시적인 실시예에 대한 아래의 설명을 참조하도록 한다. 본 발명은 여기서 원칙적으로 설명된 예시적인 실시예를 사용하여 설명되지만, 이들에 제한되어서는 안 된다.
도 1은 종래 기술에 따른 홀로그램을 계산하기 위한 장치를 그래픽 표현으로 도시한다.
도 2는 홀로그램을 계산하기 위한 본 발명에 따른 장치 또는 파이프라인을 그래픽 표현으로 도시한다.
도 3은 홀로그램 데이터를 정규화하기 위한 본 발명에 따른 방법을 그래픽 표현으로 도시한다.
도 4는 데이터를 시스템 독립적인 포맷으로 변환하기 위한 본 발명에 따른 방법을 그래픽 표현으로 도시한다.
도 5는 원칙적으로 바람직하게는 3차원 장면의 재구성을 위한 본 발명에 따른 홀로그래픽 디스플레이 장치를 도시한다.
도 2는 홀로그램을 계산하기 위한 본 발명에 따른 장치 또는 파이프라인을 그래픽 표현으로 도시한다.
도 3은 홀로그램 데이터를 정규화하기 위한 본 발명에 따른 방법을 그래픽 표현으로 도시한다.
도 4는 데이터를 시스템 독립적인 포맷으로 변환하기 위한 본 발명에 따른 방법을 그래픽 표현으로 도시한다.
도 5는 원칙적으로 바람직하게는 3차원 장면의 재구성을 위한 본 발명에 따른 홀로그래픽 디스플레이 장치를 도시한다.
도 2는 홀로그램을 계산하기 위한 본 발명에 따른 장치를 그래픽 표현으로 도시한다. 도 2의 이러한 장치는 또한 동시에 홀로그램의 실시간 계산을 위한 파이프라인을 나타낸다. 본 발명에 따른 장치 또는 파이프라인은 전처리 회로(60) 및 적어도 하나의 홀로그램 계산 회로(70)를 포함한다. 도 2에 따라 도시된 예시적인 실시예에서, 복수의 홀로그램 계산 회로(70)(여기서는 개수가 총 4 개임)가 제공되고, 여기서 홀로그램 계산 회로(70)의 개수는 홀로그램이 인코딩되는 공간 광 변조기 장치(80)(이하 SLM이라고 함)의 치수에 따라 달라질 수 있으며, 이에 대해서는 나중에 더 자세히 설명하도록 한다. 원칙적으로 홀로그램 계산 회로(70)는 하나만이 제공될 수도 있다. 전처리 회로(60)와 홀로그램 계산 회로(70)는 각각 독립적인 또는 별도의 회로로 구현된다. 이들은 따라서 독립적인 회로로 간주되고, 제조되고, 판매될 수 있다. 그러나, 전처리 회로(60) 및 홀로그램 계산 회로(70)는 둘 모두 예를 들어 배선에 의해 서로 영구적으로 연결될 수 있으며, 이러한 방식으로 도 2에 따른 홀로그램을 계산하기 위한 장치를 형성한다. 두 회로(60 및 70)는 각각 FPGA(Anwendungsfeld-programmierbare Logik-Gatter-Anordnung) 또는 ASIC(anwendungsspezifische integrierte Schaltung)로서 구현되거나 또는 설계될 수 있다. 본 예시적인 실시예에서, 회로들(60 및 70)은 각각 ASIC로서 구현된다.
전처리 회로(60)는 간단한 사용자 정의 또는 맞춤식의 인터페이스(S)를 통해 홀로그램 계산 회로(70)와 연결된다. 홀로그램을 생성 및 계산하고 그 후 SLM(80)으로 전송하여 이에 대해 인코딩하기 위해, 전처리 유닛(60)은 입력 인터페이스 유닛(61), 처리 유닛(62) 및 출력 인터페이스 유닛(63)을 포함한다. 입력 인터페이스 유닛(61)은 홀로그램으로 계산되어 인코딩될 장면의 오브젝트 포인트의 데이터(64)를 수신하고, 여기에서는 3차원 장면이 상정된다. 그러나, 2차원 장면을 표현하는 것도 또한 가능하다. 이를 위해, 입력 인터페이스 유닛(61)은 표준화된 인터페이스, 예를 들어 하나 이상의 디스플레이 포트 또는 HDMI 인터페이스, 하나 이상의 네트워크 인터페이스 또는 필요한 대역폭을 갖는 다른 임의의 인터페이스를 포함할 수 있다. 이를 위해 3차원 장면의 데이터(64)는 다양한 포맷으로 제공될 수 있다. 이들은 예를 들어 3차원 포인트 클라우드로서, 3차원 볼륨으로서, 또는 관찰 영역에서 하나 이상의 레벨의 하나 이상의 뷰의 2차원 (2D) 매트릭스 또는 래스터 이미지, 즉, 홀로그램의 투명도 또는 볼륨을 구현하기 위해, 필요한 경우, 복수의 레벨의 색상 표현 및 깊이의 이미지의 조합으로서 형성될 수 있다. 임의의 다른 포맷도 역시 가능하다. 데이터(64)의 해상도는 유동적이지만, 여기서 계산된 홀로그램이 그 후 인코딩되어야 하는 존재하는 SLM은, 필요한 경우, 3차원 장면을 렌더링하고 재구성하기 위한 특정 최대 해상도를 구현할 수 있다.
전처리 회로(60)에 의해 사용되는 데이터(64), 및 전처리 회로(60)에서 실행되는 프로그램은 외부 데이터 인터페이스를 통해 전처리 회로(60)에 암호화되어 공급된다. 이들 데이터(64) 및 프로그램은 또한 외부의 비휘발성 메모리(65)에 암호화되어 저장된다. 전처리 회로(60)는 런타임에 또는 일회성 전환 가능한 경로를 갖는 고정 로직과, 적어도 하나의 프로세서 코어를 갖는 적어도 하나의 임베디드 프로세서의 조합을 사용하고, 여기서 홀로그램의 사전 계산에 필요한 모든 작업을 수행하기 위해, 하나 이상의 프로그램(들) 및 모듈이 실행되는 복수의 프로세서 또는 프로세서 코어가 또한 사용될 수도 있다. 그러나, 프로그램 또는 프로세서를 사용하지 않고 실행하는 것도 또한 가능하다.
또한, 입력 인터페이스 유닛(61)은 수신된 3차원 장면의 데이터(64)를 처리 유닛(62)의 요구 사항에 따라 복호화 및 처리하고, 데이터(64-1)로서 처리 유닛(62)에 전달한다. 처리 유닛(62)은 계산될 홀로그램에 대한 정의된 요건에 따라 이 데이터(64-1)를 처리한다. 이는, 처리 유닛(62)이 여기에 전송된 데이터(64-1)의 다양한 전처리를 수행한다는 것을 의미한다. 여기에는 예를 들어 표현될 3차원 장면의 이미징 오류의 보정이 포함될 수 있다. 처리 유닛(62)은 또한 표현될 3차원 장면에 부정적인 영향을 주는, 홀로그래픽 디스플레이 장치에 제공된 광학 시스템의 효과가 보정될 수 있는 방식으로 설계될 수도 있다. 예를 들어, 처리 유닛(62)은, 이들 보정이 장면의 표현에서 수행되도록 데이터(64-1)를 전처리함으로써, 3차원 장면의 표현될 오브젝트 포인트의 색상 보정 및/또는 위치 보정을 수행할 수 있다. 또한, 홀로그래픽 디스플레이 장치의 광학 시스템에서 파장 의존적 효과를, 필요한 경우, 다르게 보상하기 위해, 3차원 장면의 재구성을 위해 SLM(80)을 조명하는 광의 각각의 파장(색상)에 대해 상이한 보정이 수행되는 방식으로 데이터(64-1)의 전처리를 설계하는 것도 가능하다. 또한, 처리 유닛(62)은 표현될 장면의 관찰자의 적어도 한쪽 눈의 시각 장애의 정의된 보정을 위한 전처리를 수행할 수도 있다. 눈의 시각 장애에 대한 이러한 후속 보정은 이 경우 3차원 장면의 오브젝트 포인트가 각각의 차원 또는 방향으로 개별적으로 변위되고, 회전되고, 및/또는 왜곡되는 방식으로 수행될 수 있다.
예를 들어 관찰자가 현재 어느 방향을 보고 있는지 또는 이 순간에 관찰자가 3차원 장면의 어느 부분을 조준 또는 주시하고 있는지 파악하기 위해, 실시간으로 관찰자의 시선을 추적하기 위해, 아이 트래킹 데이터를 이용하여, 소위 포비티드 렌더링이 구현될 수 있고, 여기서 표현되는 3차원 장면의 해상도는 관찰자의 눈의 현재 또는 예측된 시선 방향에 기초하여 조정된다. 이를 위해, 유리하게는 눈의 중심와의 에지 영역에서 해상도, 상세 레벨 및/또는 장면의 홀로그래픽 품질은 감소될 수 있고, 그 결과 홀로그램 계산 회로에서 장면을 계산하기 위한 전력 소비가 크게 감소된다. 따라서, 관찰자의 시야의 정의된 영역에서, 3차원 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질은 그에 따라 조정될 수 있다. 3차원 장면의 에지 영역에서 해상도, 상세 레벨 및/또는 홀로그래픽 품질을 감소시키는 것이 유리하다. 이를 위해, 관찰자의 눈의 시선 방향이 계산된다. 계산의 시작과 이후 SLM(80) 상의 홀로그램의 표현 사이의 회로(60, 70)의 지연으로 인해, 향후 지연 시간에 해당하는 관찰자의 눈의 시선 방향 이동을 예측하거나 또는 추정하는 것이 필요하다.
전처리 회로(60)는 또한 SLM(80)의 다른 컴포넌트의 제어를 수행하고, 여기서 제어는 일반적으로 SLM(80) 상의 홀로그램 출력과 동기식으로 발생한다. 마찬가지로, 전처리 회로(60)의 처리 유닛(62)은 추가 기능을 수행하거나 또는 실행할 수 있다. 여기에는 예를 들어, 2차원 (2D) 장면 데이터를 3차원 (3D) 장면 데이터로 변환, 즉, 소위 2D/3D 변환, 3차원 장면의 복수의 뷰에서 깊이 데이터의 생성, 또는 또한 홀로그래픽 시차로 인한 그림자 채우기를 위한 추가 3차원 데이터(소위 오클루전 데이터)의 생성이 포함될 수 있다. 오클루전 데이터는 특히 포인트 클라우드와 같은 3차원 장면 데이터의 도움으로 또는 투명도가 있는/없는 복수의 이미지 평면이 있는 경우 생성될 수 있다. 이 경우, 장면의 오클루전 데이터는 전처리 회로(60)로 전송된다. 전처리 회로(60)는 그 후, 전송된 오클루전 데이터로부터 장면의 오브젝트 포인트를 생성할 수 있도록 하기 위해, 이 데이터로부터 필요한 정보를 추출한다.
처리 유닛(62)이 상응하게 데이터(64-1)를 전처리하거나 또는 처리한 후, 이제 3차원 장면의 전처리되고 선택적으로 보정된 데이터(64-2)는 그 후 후속 홀로그램 계산 회로(70)에 의해 처리될 수 있는 일반화된 포맷으로 또는 시스템 독립적인 포맷으로 변환된다. 이를 위해, SLM(80)의 특정 파라미터가 또한 데이터(64-2)의 변환에 포함된다. 이러한 파라미터는 예를 들어 SLM(80)에 충돌하는 광의 사용되는 파장에 대한 정보, SLM(80)의 스크리닝, SLM(80)의 해상도, 예를 들어 관찰자의 눈과 SLM(80) 사이의 거리와 같은 간격에 대한 정보, 예를 들어 왜곡 또는 파장에 따른 수차의 특정 보정을 수행하기 위한 보정 테이블 및 보정 파라미터, 인터페이스 정보, 인터페이스 구성 및 인터페이스 파라미터이다.
변환된 데이터(64-2)는 출력 인터페이스 유닛(63)로 전송되고, 이 출력 인터페이스 유닛은 홀로그램 계산을 위해 이러한 전처리된 데이터(64-2)를 낮은 대역폭을 갖는 개별 별도의 홀로그램 계산 회로(70)로 전송한다.
도 2에서 볼 수 있는 바와 같이, 4 개의 홀로그램 계산 회로(70)가 여기에서 사용되며, 이는 별도의 전처리 회로(60)를 따른다. 전처리 회로(60)와 마찬가지로, 홀로그램 계산 회로(70)는 각각 독립적인 또는 별도의 회로로 설계되고, 여기서는 ASIC으로 구현되는 것이 바람직하다. 홀로그램 계산 회로(70)를 FPGA로 구현하는 것도 또한 가능하며, 사용되는 홀로그램 계산 회로의 개수 또는 제조되는 장치의 개수(수량)에 따라 더 비용 효율적일 수 있다. 이미 언급한 바와 같이, 하나의 개수의 홀로그램 계산 회로(70)를 사용하는 것이 아니라, 정의된 개수의 복수의 홀로그램 계산 회로(70)를 사용하는 것이 유리할 수 있다. 홀로그램 계산 회로(70)의 유리하게 사용되는 개수는 홀로그램에 필요한 연산 능력, 및 홀로그램을 SLM(80)으로 전송하는 데 필요한 대역폭에 기인한다. 연산 능력 및 대역폭은 일반적으로 또한 SLM(80)의 크기 및 치수에 따라 스케일링된다. 이는, SLM(80)의 치수가 클수록, 더 많은 개수의 홀로그램 계산 회로(70)를 사용하는 것이 더 유리하다는 것을 의미한다. 복수의 홀로그램 계산 회로(70)를 제공하는 것은 또한 홀로그램을 계산할 때 단지 하나의 홀로그램 계산 회로(70)로 하나의 큰 포인트가 아닌 복수의 작은 포인트(핫스팟)을 통해 생성되는 폐열을 보다 균일하게 소산시키는 이점을 갖는다. 도 2에서, 2 개의 홀로그램 계산 회로(70)는 각각 서로 병렬로 연결되며, 여기서 2 개의 홀로그램 계산 회로(70)는 각각 서로 직렬로 연결되거나 또는 직렬 회로를 형성한다. 물론, 서로에 대해 그리고 SLM에 대해 홀로그램 계산 회로를 배열하기 위한 다른 옵션도 또한 가능하다. 이와 같이, SLM(80)의 대향하는 2 개의 측면들에 2 개의 홀로그램 계산 회로(70)가 각각 배열되어, 전처리 회로(60)로부터 2 개의 개별 라인 또는 전송 라인(S)이 직렬로 구비된 제1 홀로그램 계산 회로(70)에 각각 연결된다. 직렬로 제공되는 제2 홀로그램 계산 회로(70)는 여기서 도 2에서 알 수 있는 바와 같이 대응하는 라인을 통해 제1 홀로그램 계산 회로(70)와 연결된다. SLM(80)의 에지 또는 공간 광 변조기 장치의 소스 드라이버(81)에 대한 홀로그램 계산 회로(70)의 근접성은 짧은 데이터 라인을 가능하게 하고, 이는 매우 높은 데이터 속도에서 전력 소비를 상당히 감소시킨다.
홀로그램 계산 회로(70)는 SLM(80)의 단자에 매우 가깝게 위치될 수 있다. 또한, 홀로그램 계산 회로를 SLM(80)의 일부로서 이에 통합시키는 것도 가능하다. 여기에서 이것은 소스 드라이버 근처에 제공될 수 있다. 현재 개발은 또한 이러한 홀로그램 계산 회로 또는 스위칭 회로가 SLM(칩 온 글라스)의 기판에 직접 적용될 수 있다는 추진력을 제공할 수 있다.
SLM(80)에 대한 인터페이스(Interface)는 여기서 유연하게 설계되어, 데이터 속도, 전송 라인의 개수, 및 사용될 프로토콜의 조정을 가능하게 할 수 있다. 이를 위해, 홀로그램 계산 회로(들)와 관련하여 SLM(80)의 생산 동안 홀로그램 계산 회로(70) 상의 대응하는 데이터 경로는 영구적으로 활성화되거나 또는 구성될 수 있다. 이것은 한편으로 홀로그램 계산 회로(70)의 초기화 동안 런타임 동안 수행될 수 있거나, 또는 구성 브리지(안티퓨즈)를 통해 영구적으로 설정될 수 있다.
홀로그램 계산의 일반화된 구현과 함께 특히 중요한 양태는 확장성이다. 이러한 홀로그램 계산 회로(70)는 도 2에 따른 장치 또는 파이프라인 내에서 여러 번 사용될 수 있고, 따라서 3차원 장면 또는 오브젝트를 표현하기 위한 홀로그래픽 디스플레이 장치에서 또한 여러 번 사용될 수 있다. 예를 들어 종횡비와 관련하여 적어도 유사하게 동일한 픽셀 피치와 같은 특정 전제 조건이 충족되는 경우, 하나의 동일한 홀로그램 계산 회로가 도 2에 따른 장치 또는 홀로그래픽 디스플레이 장치의 상이한 제품들에 사용될 수도 있다. 이는, 특히 ASICs 또는 FPGAs의 생산 비용이 막대할 수 있기 때문에, 이 생산 비용 관련해서 유리할 것이다. 따라서 동일한 유형의 ASIC 또는 FPGA가 장치에서 여러 번 사용될 수 있으면, 제품 또는 장치당 본 발명에 따른 홀로그램 계산 회로의 값비싼 개발 및 생산을 절약할 수 있다. 치수가 큰 ASIC 또는 FPGA에 비해 치수가 작은 ASICs 또는 FPGAs는 또한 생산에서 더 높은 수율을 달성할 수 있다는 상당한 이점도 갖는다. 따라서, 개발 및 테스트도 또한 덜 복잡하다.
홀로그램 계산 회로와 관련하여 전력 소비 및 단가를 감소시키기 위해, 더 작은 공정 구조를 목표로 할 수 있다. 이는 복수의 홀로그램 계산 회로의 일반화 및 제공에 의해 지원되는 대량의 홀로그램 계산 회로를 목표로 할 때 특히 가치가 있다.
원칙적으로, 독립적인 홀로그램 계산 회로, 및 직접 홀로그램 계산과 분리된 독립적인 또는 별도의 전처리 회로의 제공은, 유리하게는 홀로그램 계산 회로 설계 및 또한 전처리 회로 설계의 판매를 가능하게 할 수 있다. 이는 차례로 예를 들어 SLM 또는 홀로그래픽 디스플레이 장치의 제조업체가 자체의 프로세스 및 인터페이스에 적응시키고, 자체의 생산 방법 또는 그에 적합한 생산 방법을 사용하게 할 수 있다.
홀로그램 계산 회로(70)에 의해, 이제 전처리 회로(60)가 3차원 장면의 전처리된 데이터(64-2)를 전송한 후, 장면의 오브젝트 포인트의 계산되고 중첩된 서브 홀로그램으로부터 형성되는 장면의 요구되는 홀로그램에 대한 데이터가 계산된다. 도 2에 따라 각각 직렬로 연결된 제1 홀로그램 계산 회로(70)는 홀로그램의 계산을 위한 전송된 데이터로부터 홀로그램의 일부를 계산하는데 필요한 데이터만을 각각 추출하고, 나머지 데이터를 직렬로 제공된 제2 홀로그램 계산 회로(70)로 전송하고, 이 제2 홀로그램 계산 회로는 이 데이터를 사용하여, 전체 홀로그램 또는 홀로그램의 일부를 또한 계산한다. 데이터 스트림은 변경되지 않은 채 홀로그램 계산 회로(70)를 통해 안내되며, 여기서 각각의 홀로그램 계산 회로(70)는 홀로그램을 계산하기 위한 필요한 데이터만을 추출한다. 이를 위해, 홀로그램 계산 회로(70)는 도 2의 확대도에 따라 입력 인터페이스 유닛(71), 홀로그램 계산 유닛(72) 및 출력 인터페이스 유닛(73)을 포함한다. 입력 인터페이스 유닛(71)은 전처리 회로(60)에 의해 전처리되어 시스템 독립적인 포맷으로 존재하는 3차원 장면의 데이터(64-2)를 수신하고, 이를 홀로그램의 계산을 위해 홀로그램 계산 유닛(72)로 전송한다. 홀로그램 계산 유닛(72)에서 이 경우, 도 2에 도시된 바와 같이, 홀로그램이 계산되고, 3차원 장면의 오브젝트 포인트의 개별 서브 홀로그램을 축적하여 장면의 전체 홀로그램이 형성되고, 홀로그램이 인코딩된다. 3차원 장면의 계산된 홀로그램 또는 인코딩될 홀로그램의 계산된 데이터는 그 후 출력 인터페이스 유닛으로 전송되고, 이 출력 인터페이스 유닛은 이러한 데이터를 그 후 소스 드라이버(81)로 출력한다. 소스 드라이버(81)는 이어서 인코딩된 홀로그램의 데이터를 SLM(80)으로 전송하고, 여기에서 그 후 필요한 3차원 장면의 계산되고 인코딩된 홀로그램이 기록된다.
이를 위해 전처리 회로(60)에는 타이밍 제어기(66, TCON)가 구현될 수 있다. 이 타이밍 제어기(66)는 여기서 SLM(80) 및 소스 드라이버(71)가 클록되고 직접 제어될 수 있도록 제어 신호, 동기화 신호 및/또는 클록 신호를 생성하는 역할을 한다. 또한, 타이밍 제어기(66)는 일반 컴포넌트 및 회로를 제어하여, SLM(80)을 구동하고 데이터를 SLM(80)의 픽셀 또는 픽셀 셀로 전송할 수 있다. 홀로그램 계산 회로(70)는 이러한 SLM(80)의 제어에 따라 SLM(70)의 원활한 동작을 위해 동기화된다.
또한, 전처리 회로(60)는 SLM(80) 및 SLM(80)을 포함하는 홀로그래픽 디스플레이 장치의 컴포넌트들, 즉, 예를 들어 조명 장치의 적어도 하나의 광원 또는 광을 편향시키기 위한 장치와 같은 모든 전자 또는 제어 가능한 컴포넌트의 전반적인 제어를 수행한다. 전처리 회로(60)는 동기식 및 효율적인 작동 및 상호 작용을 목적으로 SLM(80) 또는 홀로그래픽 디스플레이 장치에서 입사 광파를 변조 및 조작하기 위한 능동 광학 요소를 제어하는 데에도 사용될 수 있다.
전처리 회로(60)는 SLM(80)의 교정, 홀로그램에 대한 보정 및 3차원 장면의 적응/업그레이드와 관련된 많은 기능이 구현되는 특정 작업만을 수행한다. 이는 SLM 제품 또는 홀로그래픽 디스플레이 장치마다, 적어도 하나의 홀로그램 계산 회로(70)를 제어하기 위한 적어도 하나의 전처리 회로(60)가 필요하기 때문이다. 전처리 회로(60)에서, 외부에서 기록될 수 있지만 내부에서만 판독 가능한, 외부에서 판독 불가능한 보호되는 데이터 영역(EEPROMs)과 같은 다양한 조치를 통해, 암호화 기술, 예를 들어 TSL 또는 SSL을 사용하여, 이들 두 회로(60 및 70) 간의 진위 검사를 위해 홀로그램 계산 회로(70) 및 전처리 회로(60)의 상호 인증을 구현하고 전송 채널을 암호화할 수 있다. 이를 위해, 외부 (또는 내부) 비휘발성 메모리(65) 상의 단말 장치 파라미터 및 프로그램을 복호화하는 데 필요한 개인 키가 전처리 회로(60)의 보호 영역에 저장될 수 있다. 전처리 회로(60) 및 홀로그램 계산 회로(들)(70)는 이러한 방식으로 그들의 진위를 증명하기 위해 상호 인증될 수 있다. 예를 들어 이러한 인증이 실패하면, 각각의 회로, 전처리 회로(60) 및/또는 홀로그램 계산 회로(70)는 특정 무효 모드로 전환될 수 있다. 이는 예를 들어 해당 정보가 SLM(80)에 표시되거나, SLM 또는 홀로그래픽 디스플레이 장치의 작동이 중단되거나, 또는 표현되는 3차원 장면이 상당히 저하된 품질로 표현되도록 작용할 수 있다. 그러나, 이것들은 단지 몇 가지 예일 뿐이고, 물론 무효 모드의 다른 옵션도 또한 가능하다.
도 3은 홀로그램을 정규화하기 위한 방법의 흐름을 도시한다. 종래 기술에 따르면, 데이터를 SLM 상의 제한된 해상도의 픽셀로 표현할 수 있도록, 인코딩 단계의 일부로서 3차원 장면의 복소수 값 데이터를 정규화하기 위해, 홀로그램을 임시 저장할 필요가 있다. 이를 위해, 이산 값에 대한 정규화가 수행될 수 있기 전에, 홀로그램 정규화 파라미터를 결정하기 위해, 완전한 데이터 세트, 즉, 전체 값 해상도의 완전한 홀로그램이 필요하다. 이를 위해, 홀로그램은 외부 메모리에 임시 저장되거나 또는 회로 자체에 저장될 수 있다. 그러나, 이러한 방법은 비용이 많이 들고 많은 전력 소모를 사용한다.
이러한 단점을 회피하기 위해, 본 발명에 따른 방법에서는 임시 메모리를 회피함으로써, 홀로그램 계산 회로(70)의 복잡성 및 전력 소모가 몇 배로 감소될 수 있다. 도 3에 따른 홀로그램을 정규화하기 위한 본 발명에 따른 방법은 따라서 완전한 데이터 세트 또는 완전한 홀로그램의 임시 저장 없이 수행된다.
본 출원의 의미 내에서 홀로그램 정규화라 함은 가장 간단한 방법, 예를 들어 홀로그램의 모든 복소수의 최대 양의 정의, 즉, 예를 들어 최대 크기/진폭으로 간주될 수 있다. 예를 들어 히스토그램을 기반으로 한 정규화와 같은 다른 정규화 방법 또는 이들의 조합도 또한 가능하다.
홀로그램 계산의 마지막 단계, 인코딩(Encoding) 단계에서 홀로그램 정규화를 구현하기 위해, 전처리 회로(60)는, 홀로그램 계산 회로(70)가 임시 메모리 또는 외부 메모리를 필요로 하지 않고, 대략 정확한 홀로그램 정규화를 가능하게 하기 위해, 특별한 분석, 즉, 3차원 장면의 데이터에 기초한 적어도 하나의 분석을 수행한다. 그러나, 홀로그램 데이터의 절대적으로 정확한 정규화는 필요하지 않은데, 작은 편차가 홀로그램의 표현되는 밝기에서 거의 인식할 수 없는 변동으로 이어질 뿐이기 때문이다. 홀로그램의 정규화를 위한 방법은 들어오는 데이터 스트림의 분석을 기반으로 한다. 이러한 분석에서는 아래에서 설명하는 3차원 장면의 특징이 관찰된다. 3차원 장면의 오브젝트 포인트의 분포는 관찰 영역에서의 깊이 및 측방향 분포와 관련하여 분석되거나 또는 평가된다. 또한, 관찰 영역에서 오브젝트 포인트의 각각의 깊이와 조합하여 오브젝트 포인트의 밝기 분포가 분석되거나 또는 평가된다. 또한, 관찰 영역에서 장면이 채워지는 정도를 결정하기 위해, 3차원 장면의 오브젝트 포인트의 총 개수가 결정된다. 이러한 정보는 각각 통계적 방법을 사용하여 분석되고 검사될 수 있다. 분석된 정보는 예를 들어 홀로그램을 정규화하기 위한 관련 파라미터를 효율적으로 읽을 수 있도록 히스토그램에 저장될 수 있다. 물론 3차원 장면의 추가 통계 데이터의 분석도 가능하다.
프레임마다 3차원 장면의 변화를 분석함으로써, 홀로그램 정규화 파라미터의 예상되는 변화가 추정될 수 있다. 전처리 회로(60)에 의한 이러한 추정된 홀로그램 정규화 파라미터는, 정규화를 위한 추정된 파라미터를 실행 중인 홀로그램 데이터에 적용하는 홀로그램 계산 회로(70)의 인코딩 모듈로 전송된다. 도 3에 따른 이러한 방법에서, 따라서, 계산된 홀로그램은 홀로그램 계산 회로(70) 또는 외부 메모리에 임시 저장되지 않고, 실행 동안 직접 추가 처리된다. 이와 동시에, 인코딩 모듈은 홀로그램의 실행 중인 데이터를 기반으로 홀로그램 정규화 파라미터의 실제 정확한 값을 결정하고, 이 값을 현재 프레임의 끝에서 전처리 회로(60)의 분석 모듈(91)로 다시 제공한다. 이러한 분석 모듈(91)은 과거 프레임의 이러한 정확하게 측정된 값을 사용하여, 다음 프레임에 대한 새로운 추정을 개선하기 위해, 홀로그램 정규화 파라미터의, 소위 미세 조정이라고 하는 오류 평가 및 동적 적응을 수행한다.
이러한 방식으로, 현재 3차원 장면의 변화를 분석하고 마지막 프레임의 알려진 정확한 홀로그램 정규화 파라미터를 사용함으로써, 현재 프레임에 대한 홀로그램에 대한 새로운 정규화 파라미터의 추정이 이루어질 수 있다.
홀로그램에 대한 정규화 파라미터를 추정하기 위해, 일반적으로 다음 관계 또는 규칙이 정의될 수 있다. 여기에는 예를 들면 다음이 포함된다:
· 3차원 장면 또는 일련의 장면이 표현 시 프레임마다 광도 측면에서 평균적으로 더 밝거나 또는 더 어두워지면, 홀로그램의 매그니튜드가 평균적으로 증가되거나 또는 감소되므로, 최대 매그니튜드는 증가되거나 또는 감소되어야 한다.
· 그러나, 추가적으로, 장면의 밝기 역학도 고려되어야 한다. 예를 들어 광도가 어두운 장면을 그에 따라 어둡게 재현할 수 있도록, 홀로그램의 최대 매그니튜드를 그에 따라 높게 정의해야 하는데, 즉, 최대 밝기에 대한 장면 밝기의 비율은 최대 매그니튜드를 선택할 때 고려되어야 하며, 홀로그램의 최대 매그니튜드와 설정된 최대 매그니튜드의 비율과 대략 같아야 한다.
· 반면에 3차원 장면이 더 깊거나(확장) 또는 압축되는 경우, 즉, 오브젝트 포인트가 관찰자로부터 거리를 변경하는 경우, 홀로그램의 최대 매그니튜드는 그에 따라 증가되거나 또는 감소되어야 한다.
그러나, 홀로그램에 대한 정규화 파라미터를 추정하기 위한 이러한 규칙 또는 또한 알고리즘은 단지 예를 형성할 뿐이며, 여기서 임의의 변형 및 조합이 가능하다. 이들은 사용된 SLM의 유형 및 특성에 따라 정의될 수 있다.
확고하게 정의된 규칙 대신에 기계 학습 또는 인공 지능(AI) 방법이 또한 사용될 수도 있다. 여기서, 다양한 3차원 참조 장면에 대한 훈련 단계의 일부로서 예상되는 동작이 지정되어 훈련되고, 이에 따라 KI가 새로운 알 수 없는 3차원 장면에 적용되는 단계에서 홀로그램 정규화를 위한 적절한 추정치가 KI에 의해 결정될 수 있다. 이러한 실시예에서, 특정 규칙을 작성할 필요 없이, 훈련된 KI 모델에 기초하여 정규화 파라미터의 추정이 수행된다.
추정된 홀로그램 정규화 파라미터를 적용한 후, 추정이 얼마나 양호했는지를 결정하기 위해, 결정된 실제 홀로그램 정규화 파라미터를 사용하여, 현재 프레임의 끝에서, 즉, 현재 계산되고 있는 홀로그램의 완전한 실행 후 이들 2 개의 파라미터 간에 비교가 이루어진다. 표현될 3차원 장면의 재현에서 이로 인해 발생하는 가능한 밝기 편차는 조명 장치의 적어도 하나의 광원을 통한 SLM의 노광 시간을 약간 변경함으로써 보상될 수 있는데, 데이터가 지금까지 SLM에만 기록되었지만, SLM에서 홀로그램의 노광은 그 후에만 이루어지기 때문이다. 홀로그램 정규화 파라미터의 절대적으로 잘못된 추정의 경우, 예를 들어 광원, 예를 들어 레이저는 3차원 장면의 잘못된 표현을 회피하기 위해 일시적으로 작동되거나 켤 수도 없다. 이러한 잘못된 프레임은 이러한 방식으로 건너뛸 수 있으므로, 이러한 프레임은 관찰자에게 검은 이미지와 같이 된다. 홀로그램 정규화 파라미터를 계산함으로써 정확한 홀로그램 정규화 파라미터를 이제 알 수 있게 되었기 때문에, 도 3에 따라 도시된 회로도에서 홀로그램 정규화 파라미터의 후속 추정치는 다시 거의 정확하다. 이러한 잘못된 표현의 경우는 일반적으로 수신된 3차원 장면에서 장면이 매우 갑작스럽게 변경되는 경우에만 발생한다. SLM의 높은 프레임 속도로 인해, 표현된 3차원 장면의 관찰자는 프레임, 즉, 검은색 프레임의 누락을 거의 인식하지 못할 것이다. 적어도 검은색 프레임은 플래시처럼 나타날 수 있는 잘못 정규화된 홀로그램보다 관찰자에게 훨씬 덜 눈에 띄거나 방해가 될 것이다.
이하에서는, 홀로그램을 정규화하는 방법의 보다 상세한 순서가 도 3을 참조하여 설명된다. 홀로그램 정규화의 주요 부분을 수행하는 전처리 회로(60)는 홀로그램의 정규화를 수행하는 분석 모듈(91)을 포함한다. 분석 모듈(91)의 좌측 상단 영역에서 볼 수 있는 바와 같이, 홀로그램을 정규화하기 위해, 제1 프레임에 대해 표현될 3차원 장면의 현재 데이터가 이제 이용 가능하다. 이 데이터로부터, 이러한 장면과 관련된 홀로그램의 정규화를 위한 정규화 파라미터의 결정에 필요한 데이터가 추출되거나 또는 얻어진다. 여기서, 분석 모듈(91)에 들어가는 데이터 스트림은 위에서 언급한 3차원 장면의 특징에 대해 분석되는데, 즉, 예를 들어 깊이, 밝기, 색상 및 관찰 영역의 측방향 분포 등과 관련하여 장면의 오브젝트 포인트를 결정함으로써 분석된다. 위에서 언급한 분석될 장면의 특징은 물론 여기에도 마찬가지로 적용되어야 하고 또한 명시되어야 하며, 여기서 다시 자세히 언급되지 않는다. 이렇게 추출된 3차원 장면의 특징 또는 추출된 데이터는 그 후 히스토그램 또는 메모리에 저장되어, 데이터의 관련 파라미터가 쉽고 효율적으로 읽혀지거나 또는 추출될 수 있다. 또한, 후속 프레임에 대한 이러한 데이터는 추가 메모리에 저장되므로, 이러한 데이터는 마지막 또는 이전 프레임의 데이터로서 후속 프레임의 장면에 대한 홀로그램 정규화 파라미터의 결정에 포함될 수 있다. 추출된 저장된 특징은 이제 3차원 장면의 홀로그램에 대한 정규화 파라미터를 추정하는 데 사용된다. 홀로그램 정규화 파라미터를 추정한 후, 도 3에 도시된 바와 같이, 하나 이상의 홀로그램 계산 회로(70)에서 인코딩 모듈(92)로 전송되는 현재 추정된 홀로그램 정규화 파라미터가 이용 가능하다. 인코딩 모듈(92)은 그 후 정규화를 위한 이러한 추정된 홀로그램 정규화 파라미터를 실행 중인 홀로그램 데이터, 즉, 임의의 위치에 저장되지 않은 홀로그램 데이터에 적용한다. 이는, 홀로그램이 임시 저장되지 않고 실행 시 직접 추가 처리된다는 것을 의미한다. 또한, 홀로그램의 실행 중에, 인코딩 모듈(92)은 실행 중인 데이터에 기초하여 홀로그램 정규화 파라미터의 실제 정확한 값을 결정한다. 프레임의 끝에서, 홀로그램 정규화 파라미터의 이러한 정확한 값은 전처리 회로(60)의 분석 모듈(91)로 다시 전송된다. 추정된 홀로그램 정규화 파라미터를 실행 중인 홀로그램에 적용한 후, 분석 모듈(91)에서, 추정된 홀로그램 정규화 파라미터 및 홀로그램 정규화 파라미터의 계산된 정확한 값이 서로 비교되어, 홀로그램 정규화 파라미터의 추정이 얼마나 양호한지가 결정된다. 3차원 장면의 재생 시 예를 들어 밝기 편차와 같은, 이로부터 생성된 편차는 그 후 미세 조정을 통해, 예를 들어 조명 장치의 광원에 의한 SLM의 노광 시간을 변경함으로써 보상되거나 또는 제거될 수 있다. 이는, 정규화된 홀로그램의 데이터가 이미 SLM에 전송되어 기록되었지만, 3차원 장면을 재구성하기 위한 노광이 아직 이루어지지 않았기 때문에, 가능하다. 또한, 편차가 너무 커서 3차원 장면이 잘못 재구성되거나 또는 표현되는 경우, SLM을 조명하기 위해 광원을 전혀 켤 수 없다.
3차원 장면의 홀로그램에 대한 정확한 정규화 파라미터가 분석 모듈(91)에 전송된 후, 3차원 장면의 이전 프레임의 이러한 홀로그램 정규화 파라미터는 다음 또는 후속 프레임에 대한 홀로그램 정규화 파라미터의 추정에 포함된다. 다음 프레임에 대한 이러한 추정에는, 마찬가지로 다시 히스토그램 또는 메모리에 저장되는, 다음 프레임에 표현될 3차원 장면의 추출된 데이터 또는 특징, 및 이전 3차원 장면의 데이터 또는 특징이 포함된다. 추정된 홀로그램 정규화 파라미터는 인코딩 모듈(92)로 다시 전송되고, 실행 중인 홀로그램 데이터에 적용된다. 이와 동시에, 인코딩 모듈(92)은 홀로그램 정규화 파라미터의 정확한 값을 결정하므로, 그 후 두 개의 값, 즉, 추정된 그리고 정확하게 계산된 값들은 서로 비교되고, 필요하다면, 미세 조정을 통해 편차가 감소되거나 또는 제거된다. 표현될 현재 3차원 장면의 변화를 분석하고 장면의 마지막 프레임의 정확한 홀로그램 정규화 파라미터를 사용하여, 이러한 방식으로 현재 프레임에 대한 새로운 홀로그램 정규화 파라미터의 추정이 수행된다.
후속 프레임 또는 표현될 3차원 장면에 대해, 홀로그램의 정규화를 수행하기 위해 설명된 바와 같다.
도 3의 홀로그램 계산 회로(70)에서 알 수 있는 바와 같이, 여기에서 홀로그램 계산이 수행되고, 이를 통해 홀로그램이 생성되거나 또는 제조된다. 이러한 홀로그램은 인코딩 모듈(92)로 전송되고, 여기에서 홀로그램 정규화 파라미터가 실행 중인 홀로그램에 적용된다. 이러한 방식으로, SLM(80)에 기록되는 인코딩되고 정규화된 홀로그램이 생성된다.
도 4에는 전처리 회로에서 처리되거나 또는 생성된 표현될 3차원 장면의 데이터가 시스템 독립적인 포맷 또는 무차원 포맷으로 변환될 수 있는 방법이 도시되어 있다.
예를 들어 US 2016/0132021 A1로부터 알려진 바와 같이, 재구성될 3차원 장면의 오브젝트 포인트는 홀로그래픽 디스플레이 장치에 의해 SLM 상의 서브 홀로그램으로 인코딩된다. 오브젝트 포인트의 개별 서브 홀로그램을 생성하기 위해, 서브 홀로그램이 인코딩되는 SLM의 각각의 픽셀에 대해, 위상 및 진폭이 계산되고, 이에 의해 3차원 장면을 포현하는 데 사용되는 광이 SLM에 의해 변조된다. 이 경우, 위상은 특히 표현될 오브젝트 포인트와 SLM의 거리 또는 간격, 파장 및 픽셀들 사이의 거리(픽셀 피치)와 같은 파라미터로부터 생성된다. 극좌표 진폭 및 위상의 계산에 이어, 계산 단계가 수행되는데, 즉, 위상 및 진폭을 실수 및 허수 값을 갖는 데카르트 공간으로 변환하는 단계가 수행된다. 이는 전체 홀로그램에서 계산된 서브 홀로그램을 다른 서브 홀로그램과 함께 축적하거나 또는 중첩시킬 수 있다.
서브 홀로그램을 사용한 홀로그램 계산의 추가 기본 사항에 대해서는 여기에서 더 이상 설명되지 않는다. 이들은 예를 들어 US 2016/0132021 A1로부터 알려져 있다.
전처리 회로에서 전처리된 데이터를 시스템 독립적인 포맷으로 변환하기 위해 축소된 오브젝트 포인트 설명이 사용된다. 이를 위해, 대략적인 형태라도 필요한 경우, 오브젝트 포인트의 서브 홀로그램의 위상 프로파일이 다음과 같이 계산된다.
SLM까지의 거리(z)로 표현될 3차원 장면의 개별 오브젝트 포인트의 데이터가 전처리 회로에서 사용 가능하게 된 후, 도 4에 따르면, 서브 홀로그램의 초점 거리(f)는 장면에서 표현될 오브젝트 포인트의 거리에 따라 계산되고:
여기서 z는 SLM과 장면의 관찰자 사이에 오브젝트 포인트의 표현 시 양수 값을 갖는 오브젝트 포인트에서 SLM까지의 거리이고, d는 관찰자에서 SLM까지의 거리이다. 따라서, 오브젝트 포인트에서 SLM까지의 거리는 도 4에 도시된 바와 같이 초점 거리(f)의 계산에 포함된다.
그 후, 서브 홀로그램의 각각의 픽셀의 위상은 다음과 같이 계산되고:
여기서 λ는 사용된 광의 파장이고, rxy는 서브 홀로그램 중심으로부터 각각의 복잡한 서브 홀로그램 픽셀의 반경이며, Φ0는 오브젝트 포인트의 위상 오프셋이다.
여기서, 초점 거리가 알려진 경우, 관찰자에서 SLM 및 오브젝트 포인트까지의 실제 거리는 오브젝트 포인트의 서브 홀로그램의 위상 곡선에 대해 관련이 없다는 것이 설정될 수 있다. 장면의 관찰자가 볼 때 SLM 훨씬 뒤에서 깊이에 있는 서브 홀로그램의 위상 곡선에 대한 오브젝트 포인트 변위의 영향은 매우 작은 반면, SLM 앞에서 서브 홀로그램의 위상 곡선에 대한 오브젝트 포인트 변위의 영향이 크다는 것을 인식하는 것과 같은, 3차원 장면이 표현될 수 있는 관찰 영역의 깊이 범위에 대한 비선형성도 또한 관련이 없다.
이제 변수가 정규화되면 ― 여기서 바람직하게는 픽셀 피치, 예를 들어 여기에서 이제 p로 약칭되는 수평 픽셀 피치(px), 또는 다른 값이 또한 사용될 수 있음 ― , 픽셀의 위상은 정규화된 반경(Rxy), 정규화된 초점 거리(F) 및 정규화된 파장(L)으로 계산된다:
다음 공식:
정규화된 반경(Rxy)은, 항상 양수이고 서브 홀로그램의 영역에 걸쳐 변하는 무차원 값이다. 이것은 서브 홀로그램의 중심으로부터 서브 홀로그램 상의 픽셀의 거리를 측정한다. 해당 값은 서브 홀로그램 생성 내에서 동일한 또는 유사한 반경을 갖는 개별 서브 홀로그램 픽셀 그룹에 영구적으로 할당될 수 있다. 값(Rxy)는 또한 고정 변수로서 적어도 하나의 홀로그램 계산 회로의 대응하는 구현으로 도입될 수 있고, 이로써 적어도 하나의 홀로그램 계산 회로의 복잡성의 감소가 가능해지고, 정확한 사용된 파장 또는 정확한 픽셀 피치와 같은 개별 파라미터가 변하는 경우에 재사용성이 증가된다.
이러한 방식으로, 사용된 SLMs의 특성과 독립적으로 3차원 장면의 오브젝트 포인트의 서브 홀로그램의 위상 곡선을 설명하는 3 개의 파라미터만이 이제 남는다. 이러한 3 개의 파라미터는 다음과 같다:
- 값이 무차원이지만 부호가 있는 정규화된 초점 거리(F). 이는, 오브젝트 포인트가 관찰자가 볼 때 SLM 앞에 또는 뒤에 생성되는지 여부에 따라 기호가 달라진다는 것을 의미하고, 예를 들어 서브 홀로그램에 볼록 또는 오목 렌즈 함수가 기록된다. 또한, 정규화된 초점 거리(F)의 값은 관찰 영역에서 오브젝트 포인트의 깊이 레벨에 따라 달라진다. 그러나, 특이점 F = 0은 회피된다.
- 정규화된 파장(L)도 마찬가지로 무차원이지만 항상 양수이다. 그러나, 정규화된 파장(L)의 값은 SLM의 노광이 변하거나 또는 변경될 때에만 변한다., 및
- 오브젝트 포인트의 위상 오프셋(Φ0).
위상의 계산에 대한 복잡도를 감소시키기 위해, 위에서 주어진 위상에 대한 계산 공식을 근사화하는 것이 유리하다. 제1 항 이후에 중단된 테일러 급수 전개는 다음과 같이 나타난다:
이제, 다음과 같이 파장 정규화된 초점 거리(F')가 도입될 수 있다:
따라서, 파장 정규화된 초점 거리(F')는 정규화된 초점 거리(F)와 같이 부호가 있는 무차원 양이다. 이것은 이제 도 4에 따르면, 3차원 장면의 개별 오브젝트 포인트의 각각의 서브 홀로그램에 대해 계산될 수 있다. 도 4에서 알 수 있는 바와 같이, 이를 위해, 사용된 광의 파장(λ), 즉, 3차원 장면이 표현되는 색상, 및 SLM의 픽셀 피치가 이 계산에 포함된다.
이들 파라미터, 즉, 3차원 장면을 표현하는 데 사용되는 파장(λ), SLM의 픽셀 피치 그리고 SLM으로부터 관찰자의 거리(d)는 그 후 적어도 하나의 홀로그램 계산 회로를 사용하는 홀로그램 인코딩에 더 이상 필요하지 않다.
파장 정규화된 초점 거리(F')는 이제, 위상의 대략적인 계산을 사용하고 위상 오프셋(Φ0)을 포함하는 경우, 오브젝트 포인트의 서브 홀로그램의 위상 곡선에 대한 완전한 설명을 허용한다.
축소된 오브젝트 포인트 설명 형태의 이러한 데이터는 이제 전처리 회로에서 시스템 독립적인 포맷으로 사용 가능하며, 홀로그램을 계산하기 위해 적어도 하나의 홀로그램 계산 회로로 전송되거나 또는 전달된다. 적어도 하나의 홀로그램 계산 회로를 사용하여, 이제 오브젝트 포인트 또는 홀로그램의 서브 홀로그램의 위상은 다음 공식을 사용하여 계산된다:
따라서, 파장 정규화된 초점 거리(F')는 서브 홀로그램 내의 상대 위상 분포에 영향을 미치는 유일한 파라미터이다. 이러한 사실은 적어도 하나의 홀로그램 계산 회로 내의 회로 부분 또는 계산 유닛을 크게 단순화시킬 수 있게 하는데, 그 이유는 반경에 대해서는 파장 정규화된 초점 거리로 나누고 위상 오프셋으로 더하는 것만이 사용되기 때문이다. 정규화된 반경(Rxy)이 적어도 하나의 홀로그램 계산 회로 내의 회로 부분 또는 계산 유닛에 영구적으로 할당되는 경우, 계수(Rxy 2)도 회로 생성 시 지정될 수 있으며, 이는 적어도 하나의 홀로그램 계산 회로의 상당한 단순화를 의미할 수 있다.
동시에, 파장 정규화된 초점 거리(F')는 예를 들어 사용되는 파장, 장면 및 SLM에서 관찰자까지의 거리, 또는 SLM의 픽셀의 종횡비와 같은 파라미터의 변화를 갖는 상이한 홀로그래픽 디스플레이 장치에서 홀로그램 계산 회로의 가능한 재사용성을 증가시킨다. 동시에, 파장 정규화된 초점 거리(F')는, 초점 거리 스케일링된 설명의 이점이 적용되기 때문에, 전송의 효율을 증가시킨다.
따라서, 파장 정규화된 초점 거리(F')는 홀로그램 계산 회로에서 동시 최적화 옵션을 사용하여 3차원 장면의 오브젝트 포인트의 서브 홀로그램의 위상 곡선의 최대 시스템 독립적인 설명을 나타낸다. 서브 홀로그램의 픽셀의 위상 값은 이제 적어도 하나의 홀로그램 계산 회로의 유사하게 설계된 많은 회로 부분을 사용하여 계산될 수 있고, 여기서 회로 부분들은 각각 서브 홀로그램의 중심으로부터 픽셀의 정규화된 반경(Rxy) 또는 정규화된 거리에 할당되고, 그 반경 또는 거리는 상수로서 효율적으로 정의될 수 있다. 이러한 개별 회로 부분은 이제 상수를 파장 정규화된 초점 거리(F')로 나누고 위상 오프셋(Φ0)으로 더하는 것만을 포함한다.
입력 인터페이스 유닛에서 시스템 독립적인 포맷의 형태로 위에서 언급된 감소된 파라미터, 특히 파장 정규화된 초점 거리(F')만을 사용하는 적어도 하나의 홀로그램 계산 회로의 구현은 따라서 전자 회로로 이루어지고, 이 전자 회로는 SLM에 대한 특정 파라미터와 독립적으로 구현될 수 있고, 따라서 상이한 파장, 장면과 관찰자와 SLM 사이의 상이한 거리 범위, 및 상이한 픽셀 피치를 갖는 상이한 유형의 SLMs에 적용될 수 있다. 이러한 방식으로, 홀로그램 계산 회로가 상이한 SLMs 및 상이한 홀로그래픽 디스플레이 장치에 사용될 수 있다.
정규화된 초점 거리를 전송할 때 정규화 파라미터(p)로서 실제 픽셀 피치를 사용하는 것이 반드시 필요하지는 않다. 이러한 값을 사용하지 않으면, 전처리 회로와 홀로그램 계산 회로 간에 보다 효율적인 전송이 가능하다는 이점이 있다. 한편, 실제 픽셀 피치가 정규화 파라미터로서 사용되거나 또는 이것이 서브 홀로그램 인코딩 전에 적어도 하나의 홀로그램 계산 회로에서 실제 픽셀 피치로 보정되면, 위에서 설명된 바와 같이 적어도 하나의 홀로그램 계산 회로의 회로 부분을 정규화된 반경(Rxy)에 영구적으로 할당하는 것이 수행될 수 있고, 적어도 하나의 홀로그램 계산 회로는 이러한 영구적인 할당에도 불구하고 복수의 홀로그래픽 디스플레이 장치를 지원할 것이다.
따라서 SLM의 특정 파라미터는 전처리 회로로 전송되기만 하면 하고, 이 전처리 회로는 3차원 장면의 오브젝트 포인트의 데이터를 설명된 축소된 독립적인 오브젝트 포인트 설명 또는 시스템 독립적인 포맷으로 변환하여 이를 적어도 하나의 홀로그램 계산 회로로 전송한다.
전처리 회로와 적어도 하나의 홀로그램 계산 회로 사이의 인터페이스에서 파장 정규화된 초점 거리(F') 또는 또한 정규화된 초점 거리(F)를 사용하면 오브젝트 포인트의 위치 설명의 경우보다 더 효율적인 디지털 데이터 전송을 가능하게 하는데, 이 설명은 장면의 깊이 범위에 걸친 비선형성을 제거하기 때문이다.
물론, F 및 F'의 값 또는 데이터는 또한 예를 들어 상수에 의한 곱셈 및/또는 초점 거리 대신에 역수, 즉, 굴절력의 전송에 의한 수학적으로 유도된 형태로, 그리고 다양한 디지털 데이터 포맷으로 적어도 하나의 홀로그램 계산 회로로 전송될 수 있다.
3차원 장면의 재구성 또는 표현을 위한 홀로그래픽 디스플레이 장치(100)가 기본적으로 도 5에 평면도로 도시되어 있다.
홀로그래픽 디스플레이 장치(100)는 본질적으로 간섭성인 광을 방출하기 위한 광원(101)을 갖는 조명 장치, 적어도 하나의 광학 요소를 포함하는 광학 시스템(102), 및 광 변조 광학 요소로서의 SLM(103)을 포함한다. 광 변조를 위해 픽셀을 포함하는 SLM(103)에서, 장치(104)에 의해 홀로그램이 인코딩된다. 본질적으로 간섭성인 광으로 SLM(103)을 조명함으로써, 광은 표현될 3차원 장면의 정보로 홀로그램에 의해 변조되어, 3차원 장면이 재구성된다.
또한, 홀로그래픽 디스플레이 장치(100)는, 위에서 설명되고 도 2 내지 도 4에 도시된 바와 같이 전처리 회로(105) 및 적어도 하나의 홀로그램 계산 회로(106)를 포함하는 장치(104)를 포함한다. 전처리 회로(105) 및 적어도 하나의 홀로그램 계산 회로(106)는 독립적인 또는 별도의 회로로서 설계되고, 따라서 조합으로서 장치(104)를 형성한다. 그러나, 이들은 함께 장치를 형성하지 않는 단독형 독립 회로로서 설계될 수도 있다. 따라서, 이들 회로(105 및 106)는 다수의 기능을 포함하고, 3차원 장면의 컴퓨터 생성 홀로그램을 계산하고 인코딩하며, 적어도 하나의 광원(101), SLM(103) 및, 이들이 조절될 수 있는 변형예에서는, 도 2 내지 도 4를 참조하여 설명된 바와 같은 광학 시스템(102)에 대한 상응하는 제어 신호를 제공하도록 설정된다. 이를 위해, 장치(104)는 통신 경로(107)를 통해 이들 컴포넌트에 연결된다.
홀로그래픽 디스플레이 장치(100)는 또한 관찰 평면(108)을 포함한다. 그러나, 이러한 관찰자 평면(108)은 물리적으로 존재하는 고정 평면이 아니다. 오히려, 이것은 가상이고, SLM(103)으로부터의 거리는 관찰자의 눈(109)이 SLM(103)으로부터 갖는 거리에 따라 변할 수 있다. 이러한 관찰자 평면(108)에서 역시 가상인 가시 영역 또는 관찰자 윈도우(110)가 정의된다. 관찰자는, 그의 눈(109)이 관찰자 윈도우(110)의 위치에 있고 이를 통해 보고 있을 때, 관찰자 평면(108)과 SLM(103) 사이에서 그리고 그 너머로 연장될 수 있는 관찰 영역에서의 생성된 재구성된 3차원 장면(111)을 관찰할 수 있다.
이러한 방식으로, 관찰 평면(108)과, 홀로그램이 인코딩되는 SLM(103) 사이의 3차원 장면(111)이 재구성될 수 있다. 그러나, 3차원 장면은 또한 관찰자 평면(108)에서 볼 때 SLM(103) 뒤에 표현되어 볼 수 있다. 3차원 장면이 전체 영역에 걸쳐, 즉, 관찰 평면(108)과 SLM(103) 사이 그리고 SLM(103) 뒤까지 연장되는 것도 가능하다.
장치(104)는 이제 위에서 설명된 바와 같이 본 발명에 따른 방법을 수행하도록 설계되거나 또는 설정되고, 이 방법에 의해, 전처리 회로에 의해 홀로그램을 계산하기 위한 전처리에서 한번만 필요한 표현될 3차원 장면의 데이터를 처리하여 컴퓨터 생성 홀로그램으로 SLM(103)의 인코딩이 수행되고 그리고 적어도 하나의 홀로그램 계산 회로에 의해 전처리 회로에 의해 제공된 데이터를 사용하는 홀로그램의 실제 계산이 수행된다. 여기서, 도 4에 따르면, 전처리 회로(105)는 전처리된 데이터를, 도 4의 방법에 의해 개시된 바와 같이, 시스템 독립적인 포맷으로 적어도 하나의 홀로그램 계산 회로(106)에 이용 가능하게 한다. 또한, 도 3에 대해 설명된 바와 같이, 전처리 회로(105)에 의해 홀로그램의 정규화가 수행된다.
본 발명은 여기에 예시된 예시적인 실시예로 제한되어서는 안 된다. 가능한 한, 예시적인 실시예의 조합도 또한 포함되어야 한다. 마지막으로, 위에서 설명된 예시적인 실시예들은 청구된 교시를 설명하기 위한 것일 뿐이며, 이것이 예시적인 실시예에 제한되어서는 안 된다는 것이 특히 지적되어야 한다.
Claims (54)
- 적어도 하나의 홀로그램 계산 회로를 위한 전처리 회로에 있어서,
표현될 장면의 데이터를 수신하기 위한 입력 인터페이스 유닛,
상기 수신된 데이터를 정의된 방식으로 처리하고, 상기 장면을 표현하는 데 필요한 특정 파라미터를 포함하여 시스템 독립적인 포맷으로 상기 데이터를 변환하기 위한 처리 유닛, 및
상기 변환된 데이터를 출력하여 적어도 하나의 홀로그램 계산 회로로 전송하기 위한 출력 인터페이스 유닛
을 포함하는 전처리 회로. - 제1항에 있어서,
상기 전처리 회로는 FPGA(Anwendungsfeld-programmierbare Logik-Gatter-Anordnung) 또는 ASIC(anwendungsspezifische integrierte Schaltung)로 구현되는 것을 특징으로 하는 전처리 회로. - 제1항 또는 제2항에 있어서,
상기 전처리 회로에 공급된 상기 데이터, 파라미터 및 프로그램은 암호화된 포맷으로 존재하는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 처리 유닛은 상기 장면의 표현에서 이미징 오류를 수정하도록 설계되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 처리 유닛은 이미징 오류를 수정하거나 또는 표현될 장면에 부정적인 영향을 미치는 홀로그래픽 디스플레이 장치에 제공된 광학 시스템의 효과를 수정하도록 설계되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 처리 유닛은, 포비티드 렌더링(Foveated Rendering)과 관련하여 아이 트래킹 데이터(Eye-Tracking-Daten)를 사용하는 경우, 상기 표현될 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질이 관찰자의 시야의 정의된 영역에서 관찰자의 눈의 시선 방향에 기초하여 적응될 수 있도록 설계되는 것을 특징으로 하는 전처리 회로 - 제6항에 있어서,
상기 처리 유닛에 의해, 상기 장면의 데이터는, 상기 장면의 상기 해상도, 상기 상세 레벨 및/또는 상기 홀로그래픽 품질이 에지 영역에서 감소되도록 처리되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 처리 유닛은 적어도 하나의 공간 광 변조기 장치 또는 홀로그래픽 디스플레이 장치의 제어 가능한 컴포넌트를 제어하도록 설계되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 처리 유닛에서, 런타임에 전환 가능한 경로 또는 런타임에 한 번 전환 가능한 경로를 갖는 고정 로직과 적어도 하나의 프로세서의 조합이 사용되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제9항 중 어느 한 항에 있어서,
제어 신호 및/또는 동기화 신호를 생성하기 위한 타이밍 제어기가 제공되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 처리 유닛은 홀로그램 정규화를 수행하기 위해 상기 표현될 장면의 데이터의 분석을 수행하도록 설계되는 것을 특징으로 하는 전처리 회로. - 제1항 내지 제11항 중 어느 한 항에 있어서,
계산 경로의 가변 활성화에 의한, 상기 적어도 하나의 공간 광 변조기 장치의 상이한 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및/또는 상기 적어도 하나의 공간 광 변조기 장치의 파라미터에 대한 상기 전처리 회로의 확장성을 특징으로 하는 전처리 회로. - 적어도 하나의 공간 광 변조기 장치를 포함하는 홀로그래픽 디스플레이 장치에 의해 장면을 표현하기 위한 홀로그램을 계산하기 위한 장치에 있어서,
제1항 내지 제12항 중 어느 한 항에 따른 전처리 회로, 및
홀로그램을 계산하고, 상기 적어도 하나의 공간 광 변조기 장치에 대해 상기 홀로그램을 인코딩하기 위한 적어도 하나의 홀로그램 계산 회로
를 포함하는 장치. - 제13항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로는 FPGA(Anwendungsfeld-programmierbare Logik-Gatter-Anordnung) 또는 ASIC(anwendungsspezifische integrierte Schaltung)로 구현되는 것을 특징으로 하는 장치. - 제13항 또는 제14항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로는:
상기 전처리 회로에 의해 처리된 데이터를 수신하기 위한 입력 인터페이스 유닛,
상기 홀로그램을 계산하고 인코딩하기 위한 홀로그램 계산 유닛, 및
상기 계산된 홀로그램의 상기 데이터를 상기 적어도 하나의 공간 광 변조기 장치로 전송하기 위한 출력 인터페이스 유닛
을 포함하는 것을 특징으로 하는 장치. - 제13항 내지 제15항 중 어느 한 항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로는 상기 적어도 하나의 공간 광 변조기 장치의 일부로서 형성되거나, 또는 상기 적어도 하나의 공간 광 변조기 장치의 기판 상에 직접 구현되는 것을 특징으로 하는 장치. - 제13항 내지 제16항 중 어느 한 항에 있어서,
서로 직렬로 연결되고 및/또는 병렬로 연결되는 적어도 2 개의 홀로그램 계산 회로가 제공되는 것을 특징으로 하는 장치. - 제13항 내지 제17항 중 어느 한 항에 있어서,
상기 전처리 회로에 의해 처리된 상기 장면의 데이터가 상기 적어도 하나의 홀로그램 계산 회로로 시스템 독립적인 포맷으로 공급되는 것이 제공되는 것을 특징으로 하는 장치. - 제18항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로는, 시스템 독립적인 포맷으로 공급된 상기 장면의 데이터가 직접 사용될 수 있고 상기 홀로그램이 계산될 수 있도록 설계되는 것을 특징으로 하는 장치. - 제13항 내지 제19항 중 어느 한 항에 있어서,
상기 전처리 회로로 데이터 및 프로그램의 암호화된 공급을 위해 외부 데이터 인터페이스 유닛이 제공되는 것을 특징으로 하는 장치. - 제20항에 있어서,
상기 전처리 회로에 공급된 상기 암호화된 데이터 및 프로그램은 비휘발성 메모리에 암호화되어 저장되는 것을 특징으로 하는 장치. - 제13항 내지 제21항 중 어느 한 항에 있어서,
상기 전처리 회로와 상기 적어도 하나의 홀로그램 계산 회로 사이에 상호 인증이 구현되는 것을 특징으로 하는 장치. - 제13항 내지 제22항 중 어느 한 항에 있어서,
계산 경로의 가변 활성화에 의한, 상기 적어도 하나의 공간 광 변조기 장치의 상이한 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및/또는 상기 적어도 하나의 공간 광 변조기 장치의 파라미터에 대한 상기 전처리 회로 및/또는 상기 적어도 하나의 홀로그램 계산 회로의 확장성을 특징으로 하는 장치. - 제13항 내지 제23항 중 어느 한 항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로는 상기 적어도 하나의 공간 광 변조기 장치의 상이한 버전 또는 구성에 대해 제공되는 것을 특징으로 하는 장치. - 홀로그래픽 디스플레이 장치에 있어서,
제1항 내지 제12항 중 어느 한 항에 따른 전처리 회로,
홀로그램을 계산하기 위한 적어도 하나의 홀로그램 계산 회로, 및
상기 계산된 홀로그램이 인코딩되는 적어도 하나의 공간 광 변조기 장치
를 포함하는 홀로그래픽 디스플레이 장치. - 제25항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로에 의해 계산된 상기 홀로그램의 데이터를 상기 적어도 하나의 공간 광 변조기 장치로 전송할 수 있는 적어도 하나의 소스 드라이버가 제공되는 것을 특징으로 하는 홀로그래픽 디스플레이 장치. - 제25항 또는 제26항에 있어서,
적어도 하나의 광원을 포함하는 조명 장치, 및 상기 적어도 하나의 공간 광 변조기 장치와 관련하여 장면을 재구성할 수 있는 광학 시스템이 제공되는 것을 특징으로 하는 홀로그래픽 디스플레이 장치. - 홀로그램의 실시간 계산을 위한 파이프라인에 있어서,
장면의 데이터를 전처리하고 적어도 하나의 공간 광 변조기 장치의 컴포넌트를 직접 제어하기 위한 전처리 회로, 및 홀로그램을 계산하기 위한 적어도 하나의 홀로그램 계산 회로를 포함하고, 상기 전처리 회로 및 상기 적어도 하나의 홀로그램 계산 회로는 각각 FPGA(Anwendungsfeld programmierbaren Logik-Gatter-Anordnung) 및/또는 ASIC(anwendungsspezifischen integrierten Schaltung)에 기초하여 구현되는 것인 파이프라인. - 제28항에 있어서,
상기 전처리 회로 및 상기 적어도 하나의 홀로그램 계산 회로는 런타임에 구성 가능한 것을 특징으로 하는 파이프라인. - 제28항 또는 제29항에 있어서,
상기 전처리 회로는 표현될 장면을 설명하기 위한 데이터를 수신하기 위한 수신 인터페이스 유닛, 상기 표현될 장면의 상기 데이터를 전처리하기 위한 처리 유닛, 및 상기 전처리된 데이터를 출력하여 상기 적어도 하나의 홀로그램 계산 회로로 전송하기 위한 출력 인터페이스 유닛을 포함하는 것을 특징으로 하는 파이프라인. - 제28항 내지 제30항 중 어느 한 항에 있어서,
상기 적어도 하나의 홀로그램 계산 회로는 상기 전처리 회로에 의해 전처리된 데이터를 수신하기 위한 입력 인터페이스 유닛, 홀로그램을 계산하고 인코딩하기 위한 홀로그램 계산 유닛, 및 상기 계산된 홀로그램의 상기 데이터를 적어도 하나의 공간 광 변조기 장치로 전송하기 위한 출력 인터페이스 유닛을 포함하는 것을 특징으로 하는 파이프라인. - 제28항 내지 제31항 중 어느 한 항에 있어서,
상기 전처리 회로 및 상기 적어도 하나의 홀로그램 계산 회로는, 상기 적어도 하나의 홀로그램 계산 회로가 상기 전처리 회로에 의해 제어될 수 있지만, 상기 전처리 회로 및 상기 적어도 하나의 홀로그램 계산 회로는 특정 공간 광 변조기 장치 및/또는 홀로그래픽 디스플레이 장치에 할당되지 않는 방식으로 서로 연결되는 별도의 회로인 것을 특징으로 하는 파이프라인. - 제28항 내지 제32항 중 어느 한 항에 있어서,
상기 계산 경로의 가변 활성화에 의한, 상기 적어도 하나의 공간 광 변조기 장치의 상이한 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및 /또는 상기 적어도 하나의 공간 광 변조기 장치의 파라미터에 대한 상기 전처리 회로 및/또는 상기 홀로그램 계산 회로의 확장성을 특징으로 하는 파이프라인. - 적어도 하나의 공간 광 변조기 장치를 포함하는 홀로그래픽 디스플레이 장치에 의해 장면을 표현하기 위한 홀로그램을 계산하는 방법에 있어서,
상기 홀로그램의 계산은 전처리 회로 및 적어도 하나의 홀로그램 계산 회로에 의해 수행되는 것인 방법. - 제34항에 있어서,
상기 전처리 회로는 상기 홀로그램을 계산하기 위한 전처리에서 단 한번만 필요한 데이터를 처리하고, 상기 적어도 하나의 홀로그램 계산 회로는 상기 전처리 회로에 의해 제공된 상기 데이터로부터, 상기 적어도 하나의 공간 광 변조기 장치에 대한 인코딩을 위해 제공되는 홀로그램을 계산하여 상기 적어도 하나의 공간 광 변조기 장치로 출력하는 것을 특징으로 하는 방법. - 제34항 또는 제35항에 있어서,
상기 전처리 회로의 입력 인터페이스 유닛은 표현될 장면의 데이터를 암호화된 포맷으로 수신하고, 이를 복호화하여, 상기 전처리 회로의 전처리 유닛으로 전송하는 것을 특징으로 하는 방법. - 제36항에 있어서,
상기 전송된 데이터는 상기 표현될 장면에 따라 상기 전처리 유닛에 의해 전처리되고, 상기 전처리된 데이터는 상기 적어도 하나의 공간 광 변조기 장치의 특정 파라미터를 고려하여 시스템 독립적인 포맷으로 변환되는 것을 특징으로 하는 방법. - 제36항 또는 제37항에 있어서,
상기 표현될 장면의 이미징 오류는 상기 전처리 유닛에 의해 보정되어, 이미징 오류가 보정된 데이터가 생성되는 것을 특징으로 하는 방법. - 제36항 내지 제38항 중 어느 한 항에 있어서,
상기 표현될 장면의 관찰자의 눈의 시각 장애는 상기 전처리 유닛에 의해 상기 장면의 가상 변위, 회전 및/또는 왜곡에 의해 보정될 수 있는 것을 특징으로 하는 방법. - 제36항 내지 제39항 중 어느 한 항에 있어서,
상기 표현될 장면의 해상도, 상세 레벨 및/또는 홀로그래픽 품질은, 상기 표현된 장면이 에지 영역에서 상기 적어도 하나의 홀로그램 계산 회로의 홀로그램 계산 유닛에 의해 감소된 해상도, 감소된 상세 레벨 및/또는 감소된 홀로그래픽 품질로 계산되도록, 상기 전처리 유닛에 의해 상기 관찰자의 눈의 시선 방향을 고려하여 적응되는 것을 특징으로 하는 방법. - 제34항 내지 제40항 중 어느 한 항에 있어서,
상기 표현될 장면의 오클루전 데이터(Okklusionsdaten)가 상기 전처리 회로로 전송되며, 상기 전처리 회로는 상기 전송된 오클루전 데이터로부터 상기 장면의 오브젝트 포인트를 생성하는 데 필요한 정보를 추출하는 것을 특징으로 하는 방법. - 제36항 내지 제41항 중 어느 한 항에 있어서,
상기 전처리 유닛에 의해 생성된 상기 데이터는 상기 적어도 하나의 공간 광 변조기 장치의 특정 파라미터를 고려하여 시스템 독립적인 포맷으로 변환되며, 상기 표현될 장면의 홀로그램을 계산하기 위해 상기 전처리 회로의 출력 인터페이스 유닛을 통해 상기 적어도 하나의 홀로그램 계산 회로로 전송되는 것을 특징으로 하는 방법. - 제34항 내지 제42항 중 어느 한 항에 있어서,
상기 장면을 표현하기 위한 홀로그래픽 디스플레이 장치의 제어 가능한 컴포넌트는 상기 전처리 회로에 의해 제어되며, 상기 컴포넌트의 상기 제어는 상기 적어도 하나의 공간 광 변조기 장치로의 상기 계산된 홀로그램의 출력과 동기식으로 수행되는 것을 특징으로 하는 방법. - 제34항 내지 제43항 중 어느 한 항에 있어서,
상기 적어도 하나의 공간 광 변조기 장치의 상기 특정 파라미터, 상기 표현될 장면을 전처리하기 위한 데이터 및 프로그램은 비휘발성 메모리에 암호화되어 저장되고, 상기 데이터는 암호화되어 상기 전처리 회로에 전송되는 것을 특징으로 하는 방법. - 제34항 내지 제44항 중 어느 한 항에 있어서,
상기 적어도 하나의 공간 광 변조기 장치 및 상기 적어도 하나의 공간 광 변조기 장치를 구동하기 위한 적어도 하나의 소스 드라이버는 상기 전처리 회로의 타이밍 제어기를 통해 클록되고 제어되는 것을 특징으로 하는 방법. - 제34항 내지 제45항 중 어느 한 항에 있어서,
상기 전처리 회로 내에서, 홀로그램 정규화를 위해 상기 표현될 장면의 상기 데이터에 대한 적어도 하나의 분석이 수행되는 것을 특징으로 하는 방법. - 제46항에 있어서,
홀로그램 정규화를 위한 홀로그램 정규화 파라미터를 결정하기 위해, 상기 입력 인터페이스 유닛으로 전송된 상기 데이터에 대한 분석은:
관찰 영역에서 깊이 및 측방향 분포에 대해 상기 장면의 오브젝트 포인트의 분포를 분석하는 단계,
관찰 영역에서 상기 오브젝트 포인트의 상기 각각의 깊이와 조합된 상기 오브젝트 포인트의 밝기 분포를 분석하는 단계, 및
상기 오브젝트 포인트의 총 개수를 결정하는 단계
를 통해 수행되는 것을 특징으로 하는 방법. - 제47항에 있어서,
프레임마다 상기 표현될 장면의 변화를 분석함으로써, 홀로그램 정규화 파라미터가 상기 전처리 회로의 분석 모듈에 의해 추정되고, 상기 추정된 홀로그램 정규화 파라미터를 정규화를 위해 상기 계산된 실행 중인 홀로그램 데이터에 적용하는 상기 적어도 하나의 홀로그램 계산 회로의 인코딩 모듈로 전송되는 것을 특징으로 하는 방법. - 제48항에 있어서,
홀로그램 인코딩을 위해 상기 계산된 실행 중인 데이터를 사용하여, 상기 홀로그램 정규화 파라미터의 정확한 값이 상기 인코딩 모듈에 의해 결정되고, 상기 전처리 회로의 상기 분석 모듈로 다시 전송되는 것을 특징으로 하는 방법. - 제48항 또는 제49항에 있어서,
상기 추정된 홀로그램 정규화 파라미터 및 상기 홀로그램 정규화 파라미터의 상기 정확한 값은 각각의 프레임의 끝에서 비교되는 것을 특징으로 하는 방법. - 제34항 내지 제50항 중 어느 한 항에 있어서,
상기 표현될 장면의 오브젝트 포인트는 각각 서브 홀로그램으로 인코딩되고, 상기 전처리 회로에 의해 오브젝트 포인트의 상기 서브 홀로그램의 픽셀의 위상 값을 설명하기 위해 다음 파라미터:
관찰 영역에서 상기 오브젝트 포인트의 깊이에 따라 달라지는 초점 거리 또는 굴절력, 및
상기 오브젝트 포인트의 위상 오프셋
이 결정되고,
상기 장면의 상기 오브젝트 포인트의 상기 서브 홀로그램의 상기 위상을 계산하기 위해 상기 적어도 하나의 홀로그램 계산 회로로 전송되는 것을 특징으로 하는 방법. - 제51항에 있어서,
오브젝트 포인트의 상기 서브 홀로그램의 상기 픽셀의 상기 위상값을 설명하기 위한 상기 초점 거리는 정규화된 초점 거리또는 그 역수로 정의되고, 여기서 f는 상기 오브젝트 포인트의 상기 초점 거리이고, p는 바람직하게는 상기 적어도 하나의 공간 광 변조기 장치의 픽셀 피치에서 정의되는 상수인 것을 특징으로 하는 방법.
- 제51항에 있어서,
오브젝트 포인트의 상기 서브 홀로그램의 상기 픽셀의 상기 위상값을 설명하기 위한 상기 초점 거리는 시스템 독립적인 포맷으로 파장 정규화된 초점 거리또는 그 역수로 정의되고, 여기서 f는 상기 오브젝트 포인트의 상기 초점 거리이고, λ는 광의 파장이고, p는 바람직하게는 상기 적어도 하나의 공간 광 변조기 장치의 픽셀 피치에서 정의되는 상수인 것을 특징으로 하는 방법.
- 제51항 내지 제53항 중 어느 한 항에 있어서,
상기 서브 홀로그램의 중심으로부터 동일한 거리에 있는 상기 장면의 상기 오브젝트 포인트의 상기 서브 홀로그램의 상기 픽셀의 상기 위상 값은 상기 거리에 영구적으로 할당된 상기 적어도 하나의 홀로그램 계산 회로의 회로 부분에 의해 계산되는 것을 특징으로 하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20190266 | 2020-08-10 | ||
| EP20190266.5 | 2020-08-10 | ||
| PCT/EP2021/072109 WO2022033996A2 (de) | 2020-08-10 | 2021-08-06 | Vorrichtung und verfahren zur berechnung von hologrammdaten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230050404A true KR20230050404A (ko) | 2023-04-14 |
Family
ID=77398559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237008392A KR20230050404A (ko) | 2020-08-10 | 2021-08-06 | 홀로그램 데이터 계산을 위한 장치 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230315014A1 (ko) |
| KR (1) | KR20230050404A (ko) |
| CN (1) | CN116113890A (ko) |
| DE (1) | DE112021004254A5 (ko) |
| TW (1) | TW202209026A (ko) |
| WO (1) | WO2022033996A2 (ko) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100915431B1 (ko) | 2002-11-13 | 2009-09-03 | 씨리얼 테크놀로지스 게엠베하 | 삼차원 장면 재구성 장치, 홀로그래픽 재구성 생성 방법, 홀로그램 베어링 매체 및 컴퓨터 디바이스 |
| DE102004063838A1 (de) | 2004-12-23 | 2006-07-06 | Seereal Technologies Gmbh | Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme |
| DE102007023737B4 (de) | 2007-05-16 | 2009-01-02 | Seereal Technologies S.A. | Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline |
| DE102007023739B4 (de) * | 2007-05-16 | 2018-01-04 | Seereal Technologies S.A. | Verfahren zum Rendern und Generieren von Farbvideohologrammen in Echtzeit und holographische Wiedergabeeinrichtung |
| GB2466023A (en) * | 2008-12-08 | 2010-06-09 | Light Blue Optics Ltd | Holographic Image Projection Systems |
| TWI599861B (zh) | 2010-04-01 | 2017-09-21 | 喜瑞爾工業公司 | 在全像系統中編碼包括透明物體三維場景之方法及裝置 |
| KR102248266B1 (ko) * | 2013-06-06 | 2021-05-04 | 시리얼 테크놀로지즈 에스.에이. | 홀로그램 데이터를 계산하기 위한 장치 및 방법 |
-
2021
- 2021-08-06 CN CN202180055305.0A patent/CN116113890A/zh active Pending
- 2021-08-06 DE DE112021004254.8T patent/DE112021004254A5/de active Pending
- 2021-08-06 WO PCT/EP2021/072109 patent/WO2022033996A2/de active Application Filing
- 2021-08-06 US US18/020,791 patent/US20230315014A1/en active Pending
- 2021-08-06 KR KR1020237008392A patent/KR20230050404A/ko active Search and Examination
- 2021-08-10 TW TW110129465A patent/TW202209026A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20230315014A1 (en) | 2023-10-05 |
| CN116113890A (zh) | 2023-05-12 |
| TW202209026A (zh) | 2022-03-01 |
| DE112021004254A5 (de) | 2023-06-01 |
| WO2022033996A2 (de) | 2022-02-17 |
| WO2022033996A3 (de) | 2022-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chakravarthula et al. | Learned hardware-in-the-loop phase retrieval for holographic near-eye displays | |
| Shi et al. | End-to-end learning of 3d phase-only holograms for holographic display | |
| JP6770429B2 (ja) | 通信を行うホログラフィック・ディスプレイ | |
| Chakravarthula et al. | Wirtinger holography for near-eye displays | |
| US9939781B2 (en) | Image phase retrieval | |
| Blinder et al. | The state-of-the-art in computer generated holography for 3D display | |
| US20230259071A1 (en) | Device and method for calculating holographic data | |
| US9891586B2 (en) | Near-eye device | |
| US20230205133A1 (en) | Real-time Photorealistic 3D Holography With Deep Neural Networks | |
| KR20080058407A (ko) | 홀로그램을 이용한 이미지 디스플레이 방법 및 장치 | |
| US20180267463A1 (en) | Addressing method of spatial light modulator, holographic display device and control method thereof | |
| KR102464363B1 (ko) | 푸리에 변환을 수행하는 방법 및 장치 | |
| CN108762033B (zh) | 成像方法和光学系统及其存储介质、芯片与组合 | |
| Kazempourradi et al. | Full-color computational holographic near-eye display | |
| US8368743B2 (en) | Interface and circuit arrangement, in particular for holographic encoding units or holographic reproduction devices | |
| KR20230050404A (ko) | 홀로그램 데이터 계산을 위한 장치 및 방법 | |
| KR100926281B1 (ko) | 3차원 이미지 생성 및 디스플레이 방법과 그 장치 | |
| KR20220146169A (ko) | 자유형상 곡면을 포함하는 홀로그래픽 디스플레이 장치 및 그 동작 방법 | |
| US11378916B2 (en) | Holographic display method and holographic display device | |
| KR102496376B1 (ko) | 영상 데이터 처리 방법 및 장치 | |
| KR20140071638A (ko) | 영상 기반 디지털 홀로그래픽 기록 시스템(dhp) 광학 렌즈 왜곡 보정 방법 및 장치 | |
| US20220137556A1 (en) | Operation method for digital hologram implementation device | |
| WO2022212189A1 (en) | Data-efficient photorealistic 3d holography | |
| Zhan et al. | AutoColor: learned light power control for multi-color holograms | |
| Yang | Advanced algorithmic approaches for improving image quality in 2D and 3D holographic displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |