TW202209026A - 全息資料計算裝置及方法 - Google Patents
全息資料計算裝置及方法 Download PDFInfo
- Publication number
- TW202209026A TW202209026A TW110129465A TW110129465A TW202209026A TW 202209026 A TW202209026 A TW 202209026A TW 110129465 A TW110129465 A TW 110129465A TW 110129465 A TW110129465 A TW 110129465A TW 202209026 A TW202209026 A TW 202209026A
- Authority
- TW
- Taiwan
- Prior art keywords
- hologram
- circuit
- scene
- data
- preprocessing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000007781 pre-processing Methods 0.000 claims abstract description 285
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000004364 calculation method Methods 0.000 claims description 333
- 238000010606 normalization Methods 0.000 claims description 100
- 230000006870 function Effects 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 14
- 230000004075 alteration Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 239000012491 analyte Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 2
- 238000004148 unit process Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 31
- 239000011295 pitch Substances 0.000 description 26
- 238000004519 manufacturing process Methods 0.000 description 24
- 230000008901 benefit Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000010363 phase shift Effects 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000011425 standardization method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000005355 lead glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 150000003376 silicon Chemical class 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000002918 waste heat Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0891—Processes or apparatus adapted to convert digital holographic data into a hologram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
- G03H2001/2236—Details of the viewing window
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/30—3D object
- G03H2210/36—Occluded features resolved due to parallax selectivity
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/05—Means for tracking the observer
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2240/00—Hologram nature or properties
- G03H2240/20—Details of physical variations exhibited in the hologram
- G03H2240/40—Dynamic of the variations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
Abstract
本發明涉及至少一個全息圖計算電路的預處理電路,以及計算全息圖的裝置及方法。預處理電路具有一個輸入介面、一個處理單元、以及一個輸出介面,其中輸入介面的任務是接收待顯示之場景的資料,處理單元的任務是對接收到的資料進行特定處理,並計入顯示場景所需的特殊參數將資料轉換成與系統無關的格式,輸出介面的任務是將經過轉換的資料輸出及傳輸到至少一個全息圖計算電路。
Description
本發明涉及一種具有全息圖計算晶片結構的裝置,特別是一種用於至少一個全息圖計算電路的預處理電路。
此外,本發明還涉及一種計算全息圖的裝置,其中全息圖是用於顯示較佳是三維(3D)場景或物件。此外,本發明還涉及一種用於實時計算全息圖的資料通道,以及一種計算與編碼全息圖的方法,例如可以利用全息顯示裝置或顯示器顯示三維場景及物件。
本發明揭示及描述一種晶片結構及其不同的應用,包括在一空間光調制裝置進行內容預處理、全息圖計算、以及輸出計算出的全息圖。這種晶片結構可應用於顯示三維資料(例如場景或物件)用的全息顯示裝置或顯示器,但是其應用範圍並非僅限於此類顯示裝置。
例如,WO 2004/044659 A2、WO 2006/066919 A1、WO 2008/138979、或WO 2011/121130 A9都有描述全息顯示裝置或顯示器及全息資料或全息圖的計算方法,其中這些文獻的內容都應完整的被納入。這些文獻詳細的描述了全息圖與子全息圖的概念及其重要性,因此以下的說明將援引這些文獻的內容。總全息圖(或僅稱為全息圖)是由特定數量的子全息圖構成,這些子全息圖彼此重疊,以產生待顯示之三維場景或物件的全息圖。
例如,先前技術的考量是充分利用對稱(特別是鏡像對稱)進行全息圖計算及/或子全息圖計算,也就是說只需要計算二維(2D)子全息圖的一個象限(也就是四分之一)的全息圖值即可。無需詳細計算其他3個象限的值,而是利用計算出的二維子全息圖的第一象限的值確定另外3個象限的值,其作法是透過第一象限的值沿著二維子全息圖之主軸的相應的鏡像形成,產生或複製二維子全息圖的第一象限的計算結果的值。此處可以將所謂的鏡像對稱理解為至少是一個軸對稱及/或點對稱,其中點對稱特別是指子全息圖的中心點。
但儘管如此,以這種方式計算子全息圖仍難是一件非常繁瑣的事。因此發明人提出一種能夠減少計算量並充分利用對稱的方法,以有效率的計算子全息圖。以下將簡短描述這種在US 2016/0132021 A1揭示的計算二維子全息圖的方法,其中US 2016/0132021 A1的內容應被完整的納入。
US 2016/0132021 A1揭示計算子全息圖或總全息圖的一種裝置及一種方法。一個顯示三維場景之物點用的全息顯示裝置具有一含有像素矩陣的空間光調制裝置。一個像素也可以含有複數個底層像素或子像素。在這種情況下,像素相當於一個巨像素。要計算的二維子全息圖含有複數值,像素可以被分配到空間光調制裝置,並具有旋轉對稱性,因為僅成像三維場景的一個物點。此處所謂的複數值是指數學上的複數。計算顯示三維場景之物點用的二維子全息圖的裝置的特徵為:沿著一個穿過二維子全息圖的斷面,從二維子全息圖的開端到二維子全息圖的一個最大半徑,二維子全息圖沿含有半個一維子全息圖,其中每一個像素的半徑都是確定的,而且二維子全息圖的每一個像素被一個電路固定分派到具有相同或近似半徑的半個一維子全息圖的至少一個像素。其中最大半徑是指將二維子全息圖環繞住的圓的半徑。因此二維子全息圖的像素的振幅值及相位值與這個二維子全息圖的開端的距離是一樣的,也就是說,所有像素的半徑都是一樣大的。因此只需計算一個這樣的像素,就可以將這些數值應用於具有相同半徑的其他像素。為了有效的減少計算由這種二維子全息圖疊加而成的全息圖所需的計算時間及計算程序,可以透過一個電路將具有相同或近似半徑的像素分派到具有相同半徑的半個一維子全息圖的一個像素,其中這半個一維子全息具有前面描述的從二維子全息圖的開端到一個最大半徑 的位置,而且是二維子全息圖的一部分,這樣就只需計算這半個一維子全息圖的一個像素。由於是利用電路進行固定分派,因此無需另外增加計算其他像素的半徑、為其他像素另外定址、或是利用尋找表進行計算等步驟。可以透過數位電路實現這種電路。但是也可以使用類比電路。有一種裝置能夠利用電路將二維子全息圖的每一個像素固定分派到半個一維子全息圖的至少一個像素,其分派方式是二維子全息圖的像素的半徑等於半個一維子全息圖的一個像素的半徑乘上一個依方向而定的伸展係數。
可以用固定佈線的矩陣形電路實現所需的電路。例如將電路佈置為現場可程式化邏輯閘陳列(FPGA),也就是一種可程式化的電路及/或特殊應用積體電路(ASIC)。
如前面所述,在二維子全息圖的旋轉對稱中,二維子全息圖的像素的振幅值及相位值與這個二維子全息圖的開端的距離是一樣的,也就是說,所有像素的半徑都是一樣大的。將像素以矩陣形式配置在空間光調制裝置內,而且這些像素具有特定的尺寸及特定的間隔,因此需要為半個一維子全息圖的像素的具體的半徑值的振幅值及相位值,但是物點的二維子全息圖的一系列像素的半徑值不同於半個一維子全息圖的像素的半徑值。如果半徑值相差不大,則仍然可以使用半個一維子全息圖計算出的數值計算。如果二維子全息圖的像素的半徑與半個一維子全息圖具體的像素的半徑差異較大,則一種有利的方式是利用半個一維子全息圖的兩個或多個像素,其中這些像素的半徑近似於所涉及之二維子全息圖的像素的半徑,測定所需的振幅值及相位值。原則上這可以用線性形式進行,但是也可以用非線性、平方、或指數等形式進行。以指數形式進行是合理的,因為當到達二維子全息圖的邊緣(也就是說到較大的半徑),量化誤差會變大。
因此這種裝置的電路含有連結半個一維子全息圖的兩個或多個像素以產生中間值的元件,以及將二維子全息圖的相應像素分派到這些中間值的元件。
為了產生待顯示的整個三維場景的全息圖,US 2016/0132021 A1提出的全息圖計算裝置具有上述計算這個三維場景之物點的二維子全息圖的裝置。此外,這種全息圖計算裝置還具有將二維子全息圖計算裝置產生的二維子全息圖從極座標轉換成笛卡兒座標(以及從笛卡兒座標轉換成極座標)的元件、根據三維場景之物點的位置及這個場景之觀察者的位置將二維子全息圖定位在空間光調制裝置的元件、以及將待顯示之三維場景的不同物點的各個二維子全息圖疊加在一起的元件,其中這個疊加是將相同的像素的實數部分及虛數部部加總而實現。
此外,US 2016/0132021 A1還描述了一種以硬體為基礎利用子全息圖實時計算全息圖的資料通道。這種資料通道是以可程式電路的形式被實現,以便於日後更改功能單元或加上新的功能單元。資料通道具有計算子全息圖的元件,以及直接控制空間光調制裝置用的元件。資料通道是以可程式化邏輯閘陳列(FPGA)及/或特殊應用積體電路(ASIC)為基礎被實現。
這種資料通道含有彼此以電接通的功能單元。圖1中的方塊圖顯示一典型全息圖計算-資料通道10的結構,其具有一特殊應用積體電路(ASIC)11,例如這個積體電路亦可應用於US 2016/0132021 A1。在這個單一的ASIC 11含有計算全息圖所使用或所需的所有功能單元。從圖1可以看出,待顯示的訊息的資料12(特別是場景的物點的資料)是經由介面13被輸入ASIC 11,其中ASIC 11是經由輸入處理模組14接收並處理描述待重建之場景的物點的資料12。接著由ASIC 11內的預處理模組15處理待顯示之三維場景的這些資料,並經由一個由使用者定義的簡單的介面16傳輸到ASIC 11內的全息圖計算模組17,以便全息圖計算模組利用這些資料計算全息圖。全息圖計算模組17負責全息圖的組合、累加、以及編碼。然後計算出的全息圖經由輸出介面18被輸出,然後從ASIC 11經由一簡單且頻寬很大的介面19傳輸到一個顯示用的空間光調制裝置(SLM)20。這些功能單元是固定整合在ASIC 11或電路內。從圖1的虛線框住的範圍可以看出,單一的ASIC 11含有輸入處理模組14、預處理模組15、全息圖計算模組17、以及輸出介面18。
一般而言,為了編碼到空間光調制裝置進行的全息圖計算需執行大量的計算工作,因此必須開發及製造出規模很大且複雜的電路,例如圖1的ASIC。此外,以電路進行計算會產生很多必須排出的廢熱。由於所使用的資料流的頻寬很大,如圖1所示,主要是在ASIC的輸出介面及空間光調制裝置之間,由於資料傳輸造成的耗電量佔總耗電量的絕大部分,因此使用長度較短的資料導線是最理想的。長度短的資料導線有更多的可能性可以降低耗電量。空間光調制裝置通常是從多個面(也就是說左/右邊緣或上/下邊緣)與導線電連接,以傳輸資料流。因此空間光調制裝置的規模愈大,資料導線長度就愈長。一個單一的電路(例如圖1的ASIC)也代表這個電路是專門為單一個空間光調制裝置設計及製作的電路,而且通常很難用於其他的空間光調制裝置或全息顯示裝置,這主要是因為不同的全息圖所需的計算能力有很大的差異,或是介面處的頻寬變化很大。
本發明的目的是進一步改良前面提及的計算全息圖的裝置及方法,以克服或排除先前技術的缺點。特別是要使耗電量及/或電費低於先前技術的裝置及方法,而且一直保持很低的耗電量及/或電費。此外,本發明還要進一步降低這種裝置的製造成本及簡化製造方式。
此處也可以將二維及/或三維場景的顯示理解為二維及/或三維場景的重建。
採用具有申請專利範圍請求項1之特徵的預處理電路即可達到上述目的。
本發明的預處理電路用於至少一個全息圖計算電路。預處理電路具有一個輸入介面、一個處理單元、以及一個輸出介面,其中輸入介面的任務是接收待顯示之場景(較佳是二維場景)的資料,處理單元的任務是對接收到的資料進行特定處理,並計入顯示場景所需的特殊參數將資料轉換成與系統無關的格式,輸出介面的任務是將經過轉換的資料輸出及傳輸到至少一個全息圖計算電路。
為了繞過及避免前面提及的缺點及問題,本發明的作法是將先前技術的全息圖計算電路的各個功能拆解成複數個分離的電路或單元。這表示本發明使用至少兩個電路進行全息圖計算,這些電路取代先前技術的單個電路,或是說先前技術的單個全息圖計算電路被拆解成至少兩個電路。本發明的預處理電路是用於處理或預處理要計算之全息圖的資料,而且是在這些資料被輸送到至少一個全息圖計算電路直接計算全息圖之前,先對這些資料進行處理或預處理。但是在由預處理電路及全息圖計算電路組成的總計算系統中,預處理電路的處理功能僅需執行一次,也就是對場景的資料進行預處理。這個預處理功能僅執行一次。原則上在全息圖計算電路直接計算全息圖時,並不會執行這個預處理功能,因此最好是將資料的預處理與直接計算全息圖的資料分開進行,也就是打散到至少兩個獨立或彼此分開的電路進行。因此本發明提出一個預處理電路及至少一個全息圖計算電路,這兩種電路都是獨立或彼此分開運轉的電路。
因此本發明的預處理電路僅具有為全息圖預處理資料的單元或模組。預處理電路並非用於直接計算全息圖。為了實現資料的預處理,預處理電路具有一個輸入介面單元、一個處理單元、以及一個輸出介面單元。輸入介面單元的任務是接收待顯示之較佳是三維場景的資料。處理單元的任務是對接收到的資料進行特定處理,並計入顯示較佳是三維場景所需的特殊參數將資料轉換成與系統無關的格式。因此處理單元是按照特定的要求處理資料,然後將預處理過的待顯示三維場景資料轉換成標準化可供至少一個空間光調制裝置使用的格式。這表示預處理過的資料並非僅供某一特定的空間光調制裝置使用。處理單元是利用空間光調制裝置的特定的特殊參數將預處理過的資料轉換成與系統無關的格式。例如,這些參數可能是關於所使用波長的資料、所使用掃描空間光調制裝置的資料、要求達到或現有的分辨率的資料、距離的資料(例如觀察者與空間光調制裝置的距離)、以及為執行特定的修正(例如修正失真或與波長有關的像差)所需的修正表及修正參數、介面資料、介面配置、或一般介面參數。
輸出介面的任務是將經過轉換的資料輸出及傳輸到至少一個全息圖計算電路。因此經過預處理電路預處理的資料會被傳輸到至少一個全息圖計算電路,以供全息圖計算電路計算全息圖。
由於配備至少兩個獨立的電路,因此最好是不要僅使用一個全息圖計算電路(雖然原則上是可以只使用一個全息圖計算電路),而是至少使用兩個僅用於計算全息圖的全息圖計算電路,至於全息圖計算電路如何與將計算出的全息圖編碼的空間光調制裝置形成完美的搭配,將在本文後面詳細說明。
透過將僅需執行一次的資料預處理的功能移到預處理電路進行,可以大幅降低全息圖計算電路的尺寸(規模)及製造成本。由於預處理電路主要是執行簡單的圖形處理,其需要的計算能力小於全息圖計算電路,因此預處理電路的耗電量很小,也比較不重要。因此一種有利的方式是使用比較大、價格也比較便宜的結構寬度(所謂的技術節點),以降低開發費用及製造成本。可以將預處理電路設計成可重複使用。由於這種預處理電路的開發及製造成本遠低於全息圖計算電路,因此修改或檢查不同的空間光調制裝置是可想像和可能的,包括在預處理電路的輸入端改換不同的介面及格式,以及加入新的功能。
預處理電路是一個獨立或分離的電路。它是獨立於全息圖計算電路工作。這有助於降低耗電量及製造成本,因為作為獨立電路的預處理電路的功能在整個計算過程中僅需被執行一次,因此接下來的至少一個同樣也是獨立或分離的全息圖計算電路只需根據來自預處理電路的資料計算全息圖即可。透過這種方式,可以使全息圖計算電路計算全息圖所需的耗電量保持在很低的水準。
本發明的其他有利的實施方式及改良方式記載於本發明的附屬專利申請項目中。
根據一種有利的實施方式,預處理電路是一種現場可程式化邏輯閘陳列(FPGA)或特殊應用積體電路(ASIC)。
預處理電路經由輸入介面單元接收待顯示之較佳是三維場景的資料、參數及程式,這個輸入介面單元是一種所謂的標準化介面。例如,輸入介面單元可以是DisplayPort、HDMI(高畫質多媒體介面)、一或複數個網路介面、或任何一種具有必需頻寬的其他介面。
根據一種有利的實施方式,輸入預處理電路的資料、參數及程式都是使用加密格式。
較佳是三維場景的資料能夠以不同的格式被傳輸或產生,例如三維點雲、三維容量、或是源自一或複數個平面的一或複數個觀點的掃描圖形或二維矩陣的組合,也就是由顏色及景深特徵構成的圖形,必要時可以在複數個平面實現全息圖內的透明性及容量。當然也可以是任何一種其他格式。資料的分辨率具有彈性,但是所實現的空間光調制裝置產品必要時應達到一特定的最大分辨率,以實現內容的重現。一個特點是接收及處理為全息顯示被預處理或加值的一般二維資料的可能性。
預處理電路能夠執行不同的預處理。具有預處理電路的處理單元執行這些預處理。例如,處理單元可以個別為每一個波長(顏色)及所顯示的較佳是三維場景的物點的每一個觀點執行顏色修正、亮度修正、及/或位置修正。一般而言,可以將處理單元設計成用於修正所顯示之景的像差。但是也可以將處理單元設計成用於加值、改良、調整、及/或一般性的改變接收到的資料。
例如,在預處理電路內由處理單元對資料進行這些的預處理也可以用於修正光學系統的不同的效應,特別是設置在所使用的全息顯示裝置內的光學系統。因此在本發明中,處理單元是用於修正像差,或用於修正設置在全息顯示裝置內的光學系統對待顯示的場景造成的負面效應。
也可以利用預處理電路或預處理電路的處理單元對顯示較佳是三維場景所使用的每一個光波長(顏色)進行不同的修正,以便必要時能夠對所使用之全息顯示裝置的光學系統與波長有關的效應作不同的補償。
根據本發明的一種有利的實施方式,處理單元可以對待顯示之場景的觀察者至少一個眼睛的視差進行特定的修正。預處理電路的處理單元也可以對待顯示之場景的觀察者的一或兩個眼睛的視差進行有限的事後修正。為此處理單元可以處理要計算的全息圖的資料,以便對要利用全息圖顯示的每一個尺寸/方向的場景的物點進行個別移動、轉動、及/或扭曲等處理。
根據本發明的一種有利的實施方式,在使用眼睛追蹤資料並使用注視點渲染技術的情況下,處理單元可以根據觀察者眼睛的視線方向,在觀察者視野的特定區域調整待顯示的場景的分辨率、詳細程度及/或全息品質。
在使用眼睛追蹤資料實時追蹤觀察者的眼睛的情況下,可以使用所謂的注視點渲染技術,以根據當下或前面提及的觀察者眼睛的視線方向調整待顯示的較佳是三維場景的分辨率、詳細程度及/或全息品質。預處理單元可以處理接收到的資料,以調整場景的分辨率、詳細程度及/或全息品質,以便在觀察者觀察三維場景時,降低觀察者眼睛中央窩的邊緣區的場景的分辨率、詳細程度及/或全息品質。反之,在觀察者眼睛的視線方向,顯示的場景具有很高的分辨率、很高的詳細程度及/或很高的全息品質,但未被觀察者直接注視或凝視的場景邊緣區的分辨率、詳細程度及/或全息品質都比較低。這樣也可以減少光波長(顏色)的數量。這表示,處理單元可以處理場景的資料,以降低場景邊緣區的分辨率、詳細程度及/或全息品質。接著再將經過預處理的資料傳輸到至少一個全計算電路計算全息圖。透過這種方式可以降低至少一個全息圖計算電路計算待顯示的較佳是三維場景的全息圖的耗電量。也可以經由這樣的預處理規定那些光波長必須被顯示在觀察者的外圍視野,以便進一步節約至少一個全息圖計算電路的耗電量。
此外,一種有利的方式是,將預處理單元設計成可以控制至少一個空間光調制裝置或全息顯示裝置之可控制元件。
此外,處理單元還可以負責至少一個空間光調制裝置或全息顯示裝置的全部控制工作。這表示處理單元或一般而言的預處理電路可以控制或定義至少一個空間光調制裝置或全息顯示裝置的所有電氣或可控制元件。例如,這種可控制元件或系統可以是一個具有至少一個光源(例如雷射或LED)的照明裝置,或是一個移動或追蹤虛擬可視範圍/觀察者視窗的裝置。同樣的,也可以利用處理單元或預處理電路控制至少一個空間光調制裝置內調制或操縱入射光波之主動光學元件,以達到同步且有效率的操作與相互協調的目的。
根據本發明的一種有利的實施方式,可以將一個由具有運轉期間可切換之通路或運轉期間可切換一次之通路的固定邏輯器與至少一個處理器構成的組合設置在預處理電路的處理單元內。預處理電路在其處理單元中使用由具有運轉期間可切換之通路或運轉期間可切換一次之通路的固定邏輯器與至少一個具有一個處理器核的埋入式處理器構成的組合,其中較佳是能夠使用複數個處理器或處理器核,必要的程式及模組(程式及模組的數量由要解決的問題、要計算資料量及平行計算通路的數量決定)在這些處理器或處理器核上運轉,以解決所有的問題。當然,僅有一個處理器核的情況也是可想像或可實現的。
預處理電路的第二個功能是執行時序控制器的功能,以直接定時及控制至少一個為計算出的全息圖編碼的空間光調制裝置,以及執行源極驅動器或一般元件及電路的功能,以驅動至少一個空間光調制裝置,以及將全息圖的計算資料傳輸到至少一個空間光調制裝置的像素或像素胞。如果在預處理電路之後有複數個(也就是至少兩個)獨立的全息圖計算電路,這些全息圖計算電路也會按照前面提及的控制至少一個空間光調制裝置的方式被同步,以利用預處理電路達到順利的運轉。換句話說,可以在預處理電路內設置一個產生控制訊號及/或同步訊號的時序控制器。
此外,從先前技術可以得知,通常需使用中間儲存,目的是在一編碼步驟(編碼)將複數值的資料標準化,以便能夠將資料示在至少一個空間光調制裝置分辨率受限的像素上。例如,每一個(子)像素規定的位元數為8位元,但是實際上視應用情況而定,位元數可以是任意一個值。
可以將所謂的全息圖的標準化理解為找出全息圖中所有複數值中的最大值的最簡單的方法,也就是最大量級或振幅。這個量級之後可用於將全息圖內所有的值擴縮在可使用的值範圍(相當於位元數)。當然也可以使用其他的標準化方法,例如以直方圖為基礎將全息圖標準化。
先前技術典型的全息圖標準化需要完整的資料組,才能夠將整個全息圖以完整的值分辨率標準化,這通常是利用浮點或位分辨率很高(例如≧16位元)的不連續值來決定標準化參數,而且是在標準化到不連續的值(也就是所使用的空間光調制裝置的位元數)之前決定標準化參數值。因此必須將全息圖暫存到一個外部記憶體,或是在所使用的電路(例如ASIC)內計算。但是一個具有相應的大記憶容量的ASIC的規模可能會變得很大(晶片尺寸),而且製造成本也很高。反之,利用外部記憶體會使耗電量增加到另一個數量級,而且構造會變複雜。從成本及耗電電量來看,適當的外部記憶體非常昂貴,這是因為需要額外增加數量很多的高速資料線、昂貴的高功率記憶體電路、以及需要相關的使用許可。這些因素導致這種電路或ASIC變得無利可圖或無效率,也就是說這種空間光調制裝置幾乎不可能成為有競爭力的產品。因此這兩個可能性都無法提供有利可圖的解決方案。
根據本發明的一種有利的實施方式,處理單元可以分析待顯示的場景的資料,以實施或執行全息圖的標準化或全息圖標準化。
為了在全息圖計算的最後一個步驟(編碼步驟)實現全息圖的標準化或全息圖標準化,本發明的預處理電路的處理單元對待顯示的較佳是三維場景的資料進行特定的分析,以實現近似正確的全息圖標準化。以這種方式可以不必使用儲存整個全息圖的暫存記憶體,因此接下來的全息圖計算電路不需要暫存記憶體。原則上絕對精確的全息圖標準化並不是必要的,因為微小的偏差通常只會造成全息圖或顯示的較佳是三維場景的亮度出現幾乎不會被感覺到的變化。無需在全息圖計算電路設置暫存記憶體可以大幅降低(好幾個數量級)全息圖計算電路的複雜性及耗電量。
根據一種有利的實施方式,透過改變計算通路的啟動狀態,預處理電路對不同尺寸的至少一個光調制裝置及/或全息圖分辨率及/或場景分辨率及/或至少一個空間光調制裝置的參數具有可擴縮性。
此外,為達到本發明的目的,本發明還提出一種具有申請專利範圍請求項13之特徵的裝置。
本發明提出裝置是用於計算全息圖,以供具有至少一個空間光調制裝置之全息顯示裝置顯示場景。本發明的全息圖計算裝置具有一個前面描述的本發明的預處理電路,以及至少一個全息圖計算電路,其中全息圖計算電路係用於計算全息圖及為至少一個空間光調制裝置編碼全息圖。
這種裝置具有前面詳細描述的本發明的預處理電路,以及至少一個(較佳是至少兩個)全息圖計算電路,因此能將計算全息圖所需的各個功能拆解成複數個單元,也就是複數個獨立或分離的電路。這樣就可以將該至少一個全息圖計算電路製作成獨立的電路,或是說該至少一個全息圖計算電路可以獨立於預處理電路之外。
相較於先前技術的單晶片方案或單一電路,採用前面描述的本發明的結構可以解決以下的技術障礙。預處理電路及至少一個全息圖計算電路可以重複使用作為空間光調制裝置的不同產品的元件。雖然ASIC型電路的開發費用通常比較高,但是用於大量製造產品時價格會變得相當划算。因此本發明的這種電路的可重複使用性可以提高生產量,進而降低生產成本。此外,本發明提出的預處理電路有助於本發明的全息圖計算電路的設計更加符合市場需求。這個事實也讓製造能夠配合空間光調制裝置的介面進行適當的設計,以及選擇對自身合適的製程。透過設置至少兩個電路,也就是預處理電路及至少一個全息圖計算電路,可以最佳化各個電路的晶片尺寸。這表示每一個晶片或每一個電路都僅執行必要的功能,所以不會有較大的死角(未佔用)或關閉的區域。由於具有可擴縮性,因此相較於先前技術之單晶片型的電路(例如圖1的電路)具有一個重要且具決定性的優點,那就是最佳化空間光調制裝置及全息顯示裝置在運轉時的耗電量及發熱,以及減少空間需求、降低整合密度和降低製造成本,因為全息圖計算電路可以應用於空間光調制裝置的不同變數。換句話說,至少一個全息圖計算電路可以應用於至少一個不同實施方式或配置方式的空間光調制裝置。
和預處理電路一樣,至少一個全息圖計算電路也可以是一種現場可程式化邏輯閘陳列(FPGA)或特殊應用積體電路(ASIC)。
根據本發明,至少一個全息圖計算電路可以具有一個輸入介面單元、一個全息圖計算單元、以及一個輸出介面單元,其中輸入介面單元的任務是接收預處理電路處理過的資料,全息圖計算單元的任務是計算及編碼全息圖,輸出介面單元的任務是將計算出的全息圖資料傳輸到至少一個空間光調制裝置。
至少一個全息圖計算電路的輸入介面單元接收在預處理電路處理過或預處理過的資料,此等資料已被轉換成與系統無關的格式,或是已被標準化為全息圖計算電路可以處理的格式。換句話說,經過預處理電路處理的場景資料是以與系統無關的格式輸入到至少一個全息圖計算電路。一種有利的方式是使至少一個全息圖計算電路能夠直接利用以與系統無關的格式輸入的場景資料,並用以計算全息圖。但也存在一種可能的特殊情況,那就是輸入的場景資料使用的並非與系統無關的格式,因此仍必須在至少一個全息圖計算電路內被處理。但無論如何都不需要執行如預處理電路那樣完整的處理。
接著至少一個全息圖計算電路的全息圖計算單元從這些輸入的資料計算出全息圖,並為一個空間光調制裝置將全息圖編碼。此外,至少一個全息圖計算電路還具有一個輸出介面單元,其任務是將計算出的全息圖資料傳輸到空間光調制裝置。
至少一個全息圖計算電路可以高度整合,並作為至少一個空間光調制裝置的元件。為此可以將至少一個全息圖計算電路設置在所謂的源極驅動器的附近。目前的發展已為此打下基礎,使這種全息圖計算電路和本發明的預處理電路一樣,可以被直接設置在至少一個空間光調制裝置的基板上(覆晶玻璃)。換句話說,至少一個全息圖計算電路可以作為至少一個空間光調制裝置的元件,或是直接被設置在至少一個空間光調制裝置的基板上。
此外,一種有利的方式是設置至少兩個彼此串聯及/或並聯全息圖計算電路。
一種特別有利的情況是設置複數個全息圖計算裝置,例如ASIC。例如,這至少兩個全息圖計算裝置可以設置在空間光調制裝置的接口或源極驅動器附近。例如可以將全息圖計算裝置串聯,並設置在空間光調制裝置的側面區域上。另一種可能性是將全息圖計算裝置並聯,並設置在空間光調制裝置的側面區域上。此外,一種有利的方式是將全息圖計算裝置配置成串聯電路及並聯電路的組合,特別是在使用很多個全息圖計算電路的情況下。拆解成複數個全息圖計算電路的作法還有一個很大的優點,那就是可以經由多個小點(熱點)均勻散熱,而不是像先前技術的電路僅經由一個大點散熱。可以根據需要的計算能力及對空間光調制裝置需要的頻寬決定應使用的全息圖計算電路的數量。這兩個考量通常也與空間光調制裝置的尺寸有關,也就是說,空間光調制裝置的面積愈大,應使用的全息圖計算電路的數量就愈多。由於全息圖計算裝置位於空間光調制裝置的邊緣附近或空間光調制裝置的源極驅動器附近,因此只需使用長度較短的資料線,這對於降低資料傳輸速率很高的情況下的耗電量是很有利的。
一個(或每一個)全息圖計算電路通往空間光調制裝置的介面或輸出介面單元可以是彈性配置的,因此能夠與資料傳輸速率、傳輸線的數量、以及所使用的通訊協定配合。為此在製造或生產空間光調制裝置時,可以將相應的資料通路固定啟動或配置在全息圖計算電路上。在運轉期間這可以在初始化全息圖計算電路時進行,也可以經由全息圖計算電路內的配置橋(反熔絲)牢固的裝好。
一種有利的方式是將一個加密輸入資料及程式用的外部資料介面單元加到在預處理電路。這個外部資料介面單元的任務是將預處理電路使用的資料及預處理電路執行的程式加密輸入預處理電路。
為此可以將加密輸入預處理電路的資料及程式儲存在一個非揮發性記憶體中。這個非揮發性記憶體可以是外部或內部記憶體,也就是說可以設置在預處理電路之外或之內。以這種方式可以避免存取動作造成損壞。
根據一種有利的實施方式,在預處理電路及至少一個全息圖計算電路之間可以相互執行身份驗證或實時檢驗。
這是一種實時檢驗措施,目的是防止預處理電路或至少一個全息圖計算電路被非法複製。
這樣做的優點是使本發明由預處理電路及至少一個全息圖計算電路的裝置,以及本發明由獨立或分離的電路、預處理電路及全息圖計算電路構成的裝置,能夠以獨立的產品被銷售。也就是可以將電路設計(也就是所謂的”原始碼”或RTL設計)以加密的矽智財的方式銷售。因此只有FPGA或ASIC的電子設計自動化工具能夠讀取及處理這個矽智財。
預處理電路專門執行在空間光調制裝置的校正、全息圖的修正、以及較佳是三維場景的調整/加值等方面有許多know-how的工作。空間光調制裝置或全息顯示裝置的每一種產品都需要至少一個預處理電路,以控制至少一個全息圖計算電路。透過適當的措施,例如預處理電路內受保護無法從外部讀取的資料區(電子抺除式可複寫唯讀記憶體EEPROM,可由外部寫入,但只能內部讀取),可以使用加密技術,在預處理電路及至少一個全息圖計算電路之間相互執行身份驗證,以達到實時檢驗的目的,以及將傳輸通道加密。以通用或目前已知的加密方法為基礎,例如TLS或SSL,可以將解碼儲存在外部(或內部)非揮發性記憶體的終端裝置參數及程式所需的私人密碼儲存在預處理電路的受保護區域。因此預處理電路及至少一個全息圖計算電路也可以相互執行身份驗證,以檢驗及證實其實時性。例如,如果這個檢驗失敗,表示某一個電路、預處理電路及/或全息圖計算電路可能處於一特定的無效模式。這種情況可能造成的影響是多方面的,例如空間光調制裝置或全息顯示裝置上相應的資料淡入、全息顯示裝置的運轉受到調整、較佳是三維場景的顯示品質明顯變差或其他類似影響。
此外,本發明的裝置的一個很大的優點是,透過改變計算通路的啟動狀態,預處理電路及/或至少一個全息圖計算電路對不同尺寸的至少一個空間光調制裝置及/或全息圖分辨率及/或場景分辨率及/或至少一個空間光調制裝置的參數具有可擴縮性。
因此全息圖計算電路可以多次被設置或應用於空間光調制裝置。如果符合特定的先決條件,例如以長寬比為準至少有近似的像素間距,則同一個全息圖計算電路也可以被設置於空間光調制裝置的不同產品,這樣就不必花費很高的成本為空間光調制裝置的每一種產品個別開發及製造計算全息圖用的電路。此外,相較於一個大尺寸的電路(例如一個ASIC),拆解成多個小型電路(例如多個ASIC)的優點是可以達到比較高的生產量,而且開發及驗證的工作也比較簡單。此外,使用較小的程序結構可以降低耗電量。如果需要設置相當多數量的全息圖計算電路,這樣做是值得的,也就是透過標準化及拆解成複數個或至少兩個全息圖計算電路。原則上設置至少兩個全息圖計算電路亦有助於全息圖計算電路的設計的市場化。
此外,為達到本發明的目的,本發明還提出一種具有申請專利範圍請求項25之特徵的全息顯示裝置。
本發明的全息顯示裝置具有以下特徵:
• 一個如前面描述的本發明的預處理電路,
• 至少一個如前面描述的本發明的用於計算全息圖的全息圖計算電路,以及
• 計算出的全息圖為其編碼的至少一個空間光調制裝置。
相較於先前技術的全顯示裝置,本發明的全息顯示裝置具有耗電量低很多、顯示裝置運轉發熱較少、製造成本較低、以及最佳化的全息圖計算電路等優點。此外還具有前面關於顯示裝置的各個元件(特別是預處理電路及全息圖計算電路)描述的優點。
至少一個全息圖計算電路計算出的全息圖資料可以經由至少一個源極驅動器被傳輸到至少一個空間光調制裝置。換句話說,可以設置至少一個源極驅動器,使至少一個全息圖計算電路計算出的全息圖資料能夠被傳輸到至少一個空間光調制裝置。
此外,本發明的全息顯示裝置還可以具有一個包含至少一個光源的照明裝置及一個光學系統,此照明裝置及光學系統搭配至少一個空間光調制裝置可以重建一個場景。
此外,為達到本發明的目的,本發明還提出一種具有申請專利範圍請求項28之特徵的全息圖實時計算資料通道。
本發明全息圖實時計算資料通道具有一個如前面描述的本發明的預處理電路,以及至少一個如前面述的本發明的全息圖計算電路,其中預處理電路的任務是預處理場景資料及直接控制至少一個空間光調制裝置的元件,全息圖計算電路的任務是計算全息圖,其中預處理電路及至少一個全息圖計算電路是現場可程式化邏輯閘陳列(FPGA)及/或特殊應用積體電路(ASIC)。
計算及輸出顯示於空間光調制裝置的全息圖,特別是以前面描述的裝置及接下來將描述的使用電路的方法為基礎計算及輸出全息圖。以下將描述以資料通道進行以硬體為基礎借助子全息圖及直接控制至少一個空間光調制裝置的實時計算全息圖。本發明的資料通道的特徵是具有一個預處理電路及至少一個全息圖計算電路,且二者都是獨立或分離的電路。
本發明的用於實時計算全息圖的資料通道具有一個預處理電路,以及至少一個全息圖計算電路,其中預處理電路的任務是預處理較佳是三維場景的資料及直接控制至少一個空間光調制裝置的元件,全息圖計算電路的任務是計算全息圖。此外,資料通道的另一個特徵是,預處理電路及至少一個全息圖計算電路是現場可程式化邏輯閘陳列(FPGA)及/或特殊應用積體電路(ASIC)。
特別是這種資料通道可以具有本發明的用於計算全息圖(特別是子全息圖)以顯示一較佳是三維場景或物點構成的場景的裝置。
根據一種有利的實施方式,預處理電路及至少一個全息圖計算電路在運轉期間可以進行配置。
製作成現場可程式化邏輯閘陳列(FPGA)及/或特殊應用積體電路(ASIC)的預處理電路及至少一個全息圖計算電路可以追加配置,也就是說,可以在運轉期間追加配置。
本發明的資料通道的預處理電路及至少一個全息圖計算電路彼此電接通,其中預處理電路執行以下的基本功能:
• 經由輸入介面單元接收資料,例如描述待重建及顯示之場景的物點資料,
• 以處理單元對接收到的待顯示之場景的資料進行預處理,特別是特定的處理,並計入顯示場景所需的特殊參數將資料轉換成與系統無關的格式,以及
• 經由輸出介面單元將經過預處理及轉換的資料輸出及傳輸到至少一個全息圖計算電路,
其中全息圖計算電路執行以下的基本功能:
• 經由輸入介面單元接收經過預處理電路預處理的資料,
• 以全息圖計算單元計算及編碼全息圖,以及
• 經由輸出介面單元將計算出的全息圖傳輸到至少一個空間光調制裝置。
預處理電路及至少一個全息圖計算電路被整合在一個總電路中,但是在運轉期間可以進行配置,也就是說,預處理電路及至少一個全息圖計算電路並非配屬於任何一種特定的空間光調制裝置。換句話說,預處理電路及至少一個全息圖計算電路專供某一特定類型的空間光調制裝置使用或是為某一特定類型的空間光調制裝置而開發,而是在開始使用時可以透過相應的配置與其所處環境(例如空間光調制裝置的類型)配合。如果有需要,當然可以重新配置預處理電路及至少一個全息圖計算電路。這樣做的優點是可以使資料通道能夠實時計算一維及二維全息圖,並將其出,以及支援不同的配置方式及輸出模式。
一般而言,預處理電路及至少一個全息圖計算電路是獨立或分離的電路,且二者彼此連接的方式使至少一個全息圖計算電路能夠經由預處理電路被控制,但是預處理電路及至少一個全息圖計算電路並非配屬於任何一種特定的空間光調制裝置及/或全息顯示裝置。
此外,由於能夠以很高的平行性處理資料,因此本發明的資料通道能夠在很低的時鐘頻率下確保很高的計算能力。這對於降低耗電量是非常重要的。
另一個優點是,資料通道可以改變計算通路的啟動狀態,對不同尺寸的至少一個光調制裝置及/或全息圖分辨率及/或場景分辨率及/或至少一個空間光調制裝置的參數具有可擴縮性。這是因為資料通道含有可以啟動及去啟動的計算通路。
結合本發明的標準化執行全息圖計算的另一個重要優點是具有可擴縮性。全息圖計算電路可以多次被設置或應用於空間光調制裝置。如果符合特定的先決條件,例如以長寬比為準至少有近似的像素間距,則同一個全息圖計算電路也可以被設置於空間光調制裝置的不同產品。目前製造ASIC型的已知電路的這個重大成本因素可說具有決定性的作用。如果相同類型的電路能夠多次被應用於一種產品或不同的產品,就可以避免為空間光調制裝置的每一種產品都要付出昂貴的開發及製造全息圖計算電路的成本。此外,相較於一個大尺寸的電路(例如一個ASIC),拆解成多個小型電路(例如多個ASIC)的優點是可以達到比較高的生產量,而且開發及驗證的工作也比較簡單。
從成本的角度來看,為了降低本發明之全息圖計算電路的耗電量及單件成本,可以致力於使用較小的程序結構。即使預期全息圖計算電路的件數很多,這樣做也是值得的,也就是透過標準化及拆解成複數個或至少兩個全息圖計算電路來降低耗電量及製造成本。
原則上設置至少一個全息圖計算電路亦有助於全息圖計算電路的設計的市場化。例如,這使得空間光調制裝置的製造商可以配合自己的程序及介面,以及使用自己的或對他合適的製造方法。
特別是應從全息圖計算電路的功能結合US 2016/0132021 A1及後面提出的全息圖標準化的方法來看,應將其內容全部納入,而且其提出的計算全息圖的方法(如本文開頭簡短描述的方法)要能夠被本發明的全息圖計算電路執行。
此外,為達到本發明的目的,本發明還提出一種具有申請專利範圍請求項34之特徵的計算全息圖的方法。
本發明的方法是用於計算以全息顯示裝置顯示場景用的全息圖,其中全息顯示裝置具有至少一個空間光調制裝置,其中全息圖的計算是由一個預處理電路及至少一個全息圖計算電路完成。
本發明的方法應用兩個(或更多個)獨立或分離的電路計算待顯示的較佳是三維場景的全息圖。
根據一種有利的實施方式,預處理電路處理在全息圖計算的預處理中只需使用一次的資料,同時至少一個全息圖計算電路從預處理電路提供的資料計算出為至少一個空間光調制裝置編碼所需的全息圖,並將計出的全息圖輸出到至少一個空間光調制裝置。
因此在全息圖計算的預處理中僅被需要一次的功能僅被執行一次。所以這個功能是在分離的預處理電路被執行。預處理電路主要是執行簡單的圖形處理,例如前面描述過的修改及改良資料、使資料與全息顯示裝置的光學系統適配、修正像差等處理,因此預處理電路需要的計算能力小於負責計算全息圖的至少一個全息圖計算電路。
根據一種有利的實施方式,預處理電路的輸入介面單元能夠接收使用加密格式(例如在數位版權管理的範圍)的待顯示的場景的資料,並將這些資料解碼,然後傳輸到預處理電路的預處理單元。
預處理電路經由輸入介面單元接收待顯示的較佳是三維場景的資料,例如場景的物點資料,並將這些加密的資料解碼。輸入介面單元可以是一種標準化介面,例如DisplayPort、HDMI、一或複數個網路介面、或任何一種具有必需頻寬的其他介面。場景的資料能夠以不同的格式被傳輸,例如三維點雲、三維容量、或是源自一或複數個平面的一或複數個觀點的掃描圖形或二維矩陣的組合,也就是由顏色及景深特徵構成的圖形,必要時可以在複數個平面實現全息圖內的透明性及容量。當然也可以是任何一種其他格式,特別是典型的二維格式或立體格式,然後再由預處理電路將其轉換成三維格式。場景的資料的分辨率具有彈性,但是所實現的空間光調制裝置或全息顯示裝置的產品必要時應達到一特定的最大分辨率,以實現較佳是三維場景之內容的重現。
接著預處理電路的預處理單元根據待顯示的場景對接收到的資料進行預處理,並計入至少一個空間光調制裝置的特殊參數將預處理過的資料轉換成與系統無關的格式。
預處理單元根據特定的參數及規定對接收到的資料進行預處理,然後應用至少一個空間光調制裝置的特殊參數,將這些待顯示的場景的預處理過的資料轉換成可以被之後的至少一個全息圖計算電路處理的標準化格式,以供計算全息圖之用。例如,這些特殊參數可能是關於波長的資料、掃描空間光調制裝置的資料、場景或全息圖分辨率的資料、間隔(例如觀察者與空間光調制裝置的距離)的資料、以及為執行特定的修正(例如修正失真或與波長有關的像差)所需的修正表及修正參數的資料、介面資料、介面配置、或介面參數。
預處理電路的預處理單元可以執行不同的預處理。例如對待顯示的場景的物對行顏色修正及位置修正的預處理。對資料的預處理也可能包括修正全息顯示裝置之光學系統的不同的效應。預處理單元也可以對資料中的每一個(顏色)波長進行不同的修正,以便在必要的情況下,對光學系統內與波長有關的效應作不同的補償。因此預處理單元可以修正待顯示之場景的像差,以產生像差經過修正的資料。
此外,可以透過場景的虛擬移動、轉動及/或扭曲,以預處理單元修正待顯示之場景的觀察者眼睛的視差。
另一個可能性是,以預處理電路的預處理單元對所顯示之場景的觀察者眼睛的視差進行事後修正。為此預處理單元可以對資料進行處理,將每一個尺寸/方向的場景的物點進行個別移動、轉動、及/或扭曲等處理。
一種特別有利的方式是,預處理單元考量觀察者眼睛的視線方向,調整待顯示之場景的分辨率、詳細程度及/或全息品質,使經過至少一個空間光調制裝置之全息圖計算單元之計算所顯示的場景在邊緣區域具有較低的分辨率、較低的詳細程度及/或較低的全息品質。
這種處理方式的一種特別有利的情況是,在使用眼睛追蹤資料的情況下,也就是實時追蹤觀察者至少一個眼睛的情況下,使用所謂的注視點渲染技術。這樣就可以根據當下及/或前面提及的觀察者眼睛的視線方向調整待顯示的較佳是三維場景的分辨率、詳細程度及/或全息品質。由於可以降低觀察者眼睛中央窩的邊緣區或所顯示之場景的邊緣區的分辨率、詳細程度及/或全息品質,因此可以影響並降低計算場景之全息圖的至少一個全息圖計算電路的耗電量。這個過程會計算觀察者眼睛的視線方向。由於系統內的初步計算、計算及輸出全息圖,因此開始計算全息圖與在至少一個空間光調制裝置顯示全息圖之間會有時間延遲,因此可以根據未來的延遲時間,預測或估計場景觀察者眼睛視線方向的移動。
根據一種有利的實施方式,可以將待顯示之場景的閉塞資料傳輸到預處理電路,讓預處理電路從接收到的閉塞資料找出將場景的物點標準化所需的資料。
預處理單元或預處理電路的其他功能還包括控制至少一個空間光調制裝置及/或全息顯示裝置的其他元件,而且通常是與將計算出的全息圖輸出到至少一個空間光調制裝置同步進行控制。換句話說,可以經由預整理電路控制顯示場景用的全息顯示裝置的可控制元件,其中元件的控制與將計算出的全息圖輸出到至少一個空間光調制裝置是同步進行的。
這些控制還包括控制照明方向,特別是至少一個光源或背光的方向、如前面所述的處理眼睛追蹤資料並將這些資料輸入相關元件、控制元件,以偏轉光線或追蹤至少一個可視範圍/觀察者視窗、控制主動光學元件,以調制及操作空間光調制裝置內的光波。
此外,預處理電路還可以執行以下的功能,例如預處理電路能夠將場景的二維(2D)資料轉換成三維(3D)資料,也就是所謂的2D/3D轉換。也可以將來自三維場景的複數個觀點的景深資料標準化。此外,也可以將額外的三維資料標準化,以填滿場景中因全息視差形成的陰影,也就是產生前面提及的閉塞資料。特別是可以借助三維場景的點雲狀資料進行這個標準化,或是在複數個有/沒有透明性的圖面的情況下進行這個標準化。
預處理電路的另一個任務是將待顯示之較佳是三維場景的要計算的資料分配到一或複數個全息圖計算電路。個分配工作是由資料介面單元負責。經過預處理電路之預處理單元標準化的資料計入至少一個空間光調制裝置的特殊參數被轉換成與系統無關的格式,並經由預處理電路的輸出介面單元傳輸到至少一個全息圖計算電路,以供計算待顯示之場景的全息圖。
可以用加密方式將接收到及待顯示之場景的至少一個空間光調制裝置的特殊參數、資料及程式傳輸到預處理電路進行預處理,在此之前可以先將這些資料、參數及程式加密儲存在一個非揮發性記憶體中。這個非揮發性記憶體可以是外部記憶體或內部記憶體,也就是設置在預處理電路之外或之內的記憶體。以這種方式可以防止外人或未經授權者存取這些資料、參數及程式。
可以將時序控制器設置安裝在預處理電路中,以產生特定的訊號。這樣就可以經由預處理電路的時序控制器定時及控制至少一個空間光調制裝置及用於驅動該至少一個空間光調制裝置的源極驅動器。設置時序控制器的另一個目的是控制其他的元件及電路。例如以時序控制器控制計算出的待顯示的較佳是三維場景的資料傳輸到空間光調制裝置的素或像素胞。如果有複數個全息圖計算電路,則這些全息圖計算電路可以根據時序控制器對空間光調制裝置的控制順暢且高效率的同步運轉。
根據一種有利的實施方式,在預處理電路內對待顯示的場景的資料執行至少一個(也就是一或複數個)全息圖標準化的分析。
一種有利的方式是將預處理電路設計成可以執行全息圖標準化,而且較佳是在全息圖計算電路內執行。以這種方式,全息圖的標準化不是在計算全息圖的電路(也就是全息圖計算電路)計算全息圖的步驟中執行,而是以一個不負責直接計算全息圖的分離的電路(在此處為預處理電路)執行全息圖標準化。這樣做具有非常大的優點,那就是計算全息圖用的電路(此處為棄發明的全息圖計算電路)不再需要很大的記憶容量,因為其無需暫存全息圖完整的資料組。也就是說本發明無需使用中間儲存或暫存記憶體即可執行全息圖的標準化。
在全息圖計算電路內的全息圖計算的最後一個步驟(編碼或解碼),與至少一個全息圖計算電路分離的預處理電路根據實現全息圖標準化待顯示的較佳是三維場景的資料執行特殊及特定的分析,以實現近似正確的全息圖標準化。由於至少一個全息圖計算電路無需暫存記憶體,因此本發明的全息圖計算電路成本較低,尺寸也比較小,也就是更具成本效益。
根據一種有利的實施方式,可以對被傳輸到預處理電路之輸入介面單元的資料進行分析,以得出全息圖標準化所需的全息圖標準化參數。分析步驟如下:
• 分析場景的物點在一觀察區的景深分佈及橫向分佈,
• 結合物點的景深分析物點在一觀察區的亮度分佈,以及
• 計算出物點的總數。
因此全息圖標準化是以分析進入預處理電路的資料流為基礎,分析的內容包括觀察及計算物點在觀察區的分佈特徵、物點在觀察區的亮度分佈特徵、以及計算場景填充度的物點總數。可以用統計方法分析這些資料並儲存於直方圖,以便能夠有效率的方式讀取標準化的相關參數。另外還可以得出關於較佳是三維場景的結構、分佈及配置等其他統計資料。
透過分析待顯示之場景從訊框到訊框的變化,可以利用預處理電路內的分析模組估計全息圖標準化參數,並傳輸到至少一個全息圖計算電路內的編碼模組,以供編碼模組將這些估計的全息圖標準化參數應用於連續計算出的全息圖資料,以執行全息圖的標準化。
這表示透過分析待顯示之場景從訊框到訊框的變化,可以估計全息圖標準化參數預期發生的變化。這個估計會被傳輸到至少一個全息圖計算電路內的編碼模組,以供編碼模組將這些估計的參數應用於通過的全息圖資料,以執行全息圖的標準化。因此本發明不像先前技術需要將全息圖暫存,而是直接連續處理。同時編碼模組根據較佳是三維場景的通過的資料計算出全息圖標準化參數真正正確的值,並在訊框結束時將這些參數值傳輸回預處理電路內的分析模組。換句話說,以連續計算出的資料進行全息圖編碼,可以透過編碼模組得出全息圖標準化參數的正確值,並傳輸回預處理電路內的分析模組。分析模組應用上一個訊框的這些正確的值進行錯誤評估及動態調整,也就是所謂的微調,以便為下一個訊框重新改善對全息圖標準化參數的估計。總體而言,透過分析當下較佳是三維場景的變化,以及利用場景的上一個訊框已知正確的全息圖標準化參數,可以為場景當下的訊框估計出新的全息圖標準化參數。
例如,可以為全息圖標準化參數的估計定義以下的關係或規則:
• 如果三維場景從訊框到訊框在斷面的亮度變亮或變暗,則必須升高或降低全息圖的最大量級,這是因為全息圖平均的量級升高或降低,
• 但是與之前的關係必須另外考慮場景的亮度動力。例如,為了能夠相應的重現一個陰暗的場景,必須相應的定義及規定全息圖的最大量級。這表示在選擇全息圖的最大量級時,必須將場景亮度與最大亮度的關係考慮進去,而且應該計入全息圖的最大量級與調整過的最大量級的關係,以及
• 反之,如果較佳是三維場景變深(膨脹)或變緊密,也就是說,如果三維場景的物點與觀察者的距離改變,則應該或必須相應的升高或降低全息圖的最大量級。
這些控制標準化的規則或演算法只是一個例子。這些規則及演算法的任意的變體及組合都是可能的,而且是由至少一個空間光調制裝置的種類及特性決定,其中被計算出並標準化的全息圖是用於該至少一個空間光調制裝置的編碼。
以機器學習或人工智慧的方法取代固定的規則同樣也是一種很好的實施方式,其作法是在以不同的較佳是三維參考場景執行的訓練步驟中規定預期的行為並以之進行訓練,以便在人工智慧的應用階段能夠對新的未知的三維場景以人工智慧得出全息圖標準化的好的估計值。本發明的這種實施方式是以經過訓練的人工智慧模組為基礎進行估計,因此無需制訂固定的規則。
在將估計的全息圖標準化參數應用於全息圖後,接著在當下的訊框結束時,將得出的真正的全息圖標準化參數與估計的全息圖標準化參數作一比較,以評價估計值是否夠好。因此在每一個訊框結束時都會將估計的全息圖標準化參數與全息圖標準化參數的正確值作一比較,也就是說在當下計算出的全息圖整個通過後作一比較。然後就可以微調照明裝置或光源對空間光調制裝置的曝光時間,以補償在重現及顯示較佳是三維場景中可能產生的亮度偏差,這是因為到目前為止,待顯示的較佳是三維場景的資料僅被寫入空間光調制裝置,但是為空間光調制裝置編碼的全息圖的曝光是在這之後才啟動,以重建場景。如果全息圖標準化參數的估計完全錯誤,可以暫時不打開照明裝置的光源(例如雷射),以避免錯誤顯示較佳是三維場景。然後跳過這個錯誤的訊框,這對觀察者造成的作用就如同一張黑色的圖像。由於現在已經知道正確的全息圖標準化參數,因此接下來對全息圖標準化參數的估計會回復到近似正確的程度。通常只有在接收到的較佳是三維場景非常突然的出現場景變換才會發生這樣的情況。由於空間光調制裝置的訊框率很高,即使刪除或未顯示一個訊框(產生一個黑色訊框),觀看重建場景的觀察者也幾乎不會察覺。至少在觀察者看來,一個黑色訊框的醒目程度或干擾程度遠低於一個標準化錯誤的全息圖,在最糟糕的情況下,一個標準化錯誤的全息圖就像突然出現的一道閃光。
如同從US 2016/0132021 A1得知的情況和前面描述的一樣,待重建的場景的物點被編碼到空間光調制裝置的子全息圖,然後疊加成一個總全息圖。為了簡化子全息圖的編碼,可以利用本發明的簡化的場景點描述或物點描述。在以下的說明一律使用簡化的物點描述一詞。本發明的簡化的物點描述被應用在本發明的預處理電路。換句話說,本發明的預處理電路的設計是為了執行或進行簡化的物點描述。為本發明的這種簡化的物點描述,對總全息圖的一個子全息圖的相剖面執行以下的計算。如果有利的話,可以用近似方式進行這個計算。
首先根據物點與空間光調制裝置的距離,按照下式計算焦距f,其中物點應被編碼成該空間光調制裝置的子全息圖:,
其中z代表物點與空間光調制裝置的距離,當物點位於空間光調制裝置與一位觀察者之間,則z是一個正數,其中d代表觀察者與空間光調制裝置的距離。
接著就可以用焦距f描述相位曲線,而不必用觀察者與空間光調制裝置的真正距離及觀察者與物點或場景點的正距離來描述。此外,場景的景深範圍的非線性也因為這個描述而消失。因為從觀察者所在位置看出去,在空間光調制裝置後方很遠的區域,物點偏移對子全息圖內深處區域的相位曲線的影響非常小,但是物點偏移對子全息圖內空間光調制裝置之前區域的相位曲線的影響相當大。因此相較於對物點的位置描述,焦距能夠以數位形式更有效率的傳輸。
假設在空間光調制裝置內是一個完整的全息圖像素的正常的等距離二維結構。全息圖像素的這種結構是計算空間光調制裝置的像素px
與py
的距離的不連續值。如果將這些變數標準化,例如如果能夠使用水平像素間距px
(縮寫為p),就可以用標準化半徑Rxy
、標準化焦距F、以及標準化波長L計算出像素的相位:
按照下式計算:。
標準化半徑Rxy
是一個無因次量,而且一定是正值,並且會在子全息的面上改變大小。可以在子全息圖標準化內部將Rxy
的值固定分派給一個不連續的子全息圖像素。這個值也可以在至少一個全息圖計算電路執行相應的工作時固定流入全息圖計算電路,這有助於降低全息圖計算電路的複雜性,以及提高變動的單一參數的可重複使用性,例如準確的波長或準確的像素間距。
例如,雖然像素間距p是變動的,但如果兩個全息顯示裝置之間的像素形狀的長寬比完全相同,則一個不連續子全息圖像素的標準化半徑Rxy
是固定不變的,因此這不會對至少一個全息圖計算電路的大部分電路造成影響。這種簡化方式可以被充分利用,因此至少一個全息圖計算電路可以支援複數個全息顯示裝置,以同時達到很高的技術及經濟效益。
在傳輸標準化焦距時,並非一定要使用真實的像素間距作為標準化參數px
。即使不使用這個值,仍然具有在預處理電路及至少一個全息圖計算電路之間進行高效率傳輸的優點。反之,如果以真實的像素間距作為標準化參數,或是在子全息圖編碼之前在至少一個全息圖計算電路內將這個值修正為真實的像素間距,則可以將至少一個全息圖計算電路的電路部分固定分派到標準化半徑Rxy
,而且即使是固定分派,至少一個全息圖計算電路仍然能夠支援複數個全息顯示裝置。
以這種方式會剩下3個參數,這3個參數可以描述物點的子全息圖像素的相位值,而且不受空間光調制裝置的特性影響。也就是說以下3個參數決定子全息圖的相位值:
• 標準化焦距F,
• 標準化波長L,以及
• 物點的相位偏移Φ0
。
標準化焦距(稱為F值)是一個無因次量,但是帶有正負號。視物點是形成或重建於空間光調制裝置的前面或後面而定(從觀察者所在位置看出去),F值的符號是正或負。物點的形成可以與平行光束通過凸面成像系統或凹面成像系統的成像相比。這種透鏡或光學元件形成子全息圖。標準化焦距F改變觀察區內物點的景深平面,其中這個觀察區是指一個能夠重建及觀察較佳是三維場景的觀察區。但是應避開奇異點F=0。
標準化波(稱為L值)也是一個無因次量,但一定是正值,而且只有在空間光調制裝置的曝光改變時才會跟著改變。
物點的相位偏移Φ0
是一個自由參數,這個參數被加到子全息圖所有像素的相位上。
根據本發明的一種實施方式,待顯示的場景的物點在子全息圖內被編碼,其中為了描述物點之子全息圖的相位值,預處理電路測定以下的參數,並將這些參數傳輸到至少一個全息圖計算電路,以計算場景之物點的子全息圖的相位:
• 焦距或折射率,這個參數會跟著觀察區內物點的景深而改變,以及
• 物點的相位偏移。
F‘在此處應稱為波長-標準化焦距,因此和標準化焦距F一樣,也是一個帶有正負號的無因次量。
一種有利的方式是將描述物點之子全息圖的像素的相位值用的焦距以與系統無關的格式規定為波長-標準化焦距或是其倒數值,其中f代表物點的焦距,λ代表光線的波長,p是一個常數,而且這個常數較佳是能夠被固定在至少一個空間光調制裝置的像素間距上。
在使用近似計算的情況下,波長-標準化焦距F‘納入相位偏移Φ0
就可以完整的描述子全息圖的相位曲線。
一種有利的方式是利用至少一個全息圖電路按照下式計算三維場景之物點的子全息圖的相位:,
其中Rxy
代表子全息圖在其中心的每一個像素的像素間距上標準化的半徑,F‘代表物點的波長-標準化焦距,Φ0
代表物點的相位偏移。
波長-標準化焦距F‘是影響子全息圖內相對相位分佈的唯一參數。這使得至少一個全息圖計算電路內的電路部分或計算單元可以進一步長期連接,同時又使全息圖計算電路在不同的全息顯示裝置內具有可重複使用性。在這種情況下,光線的波長、物點與觀察者的距離、或像素的尺寸等參數都可以改變,但這只會變變波長-標準化焦距F‘的值,不會改變至少一個全息圖計算電路。
在傳輸標準化焦距時,並非一定要使用真實的像素間距作為標準化參數px
。即使不使用這個值,仍然具有在預處理電路及至少一個全息圖計算電路之間進行高效率傳輸的優點。反之,如果以真實的像素間距作為標準化參數,或是在子全息圖編碼之前在至少一個全息圖計算電路內將這個值修正為真實的像素間距,則可以將至少一個全息圖計算電路的電路部分固定分派到標準化半徑Rxy
,而且即使是固定分派,至少一個全息圖計算電路仍然能夠支援複數個全息顯示裝置。
這種與空間光調制裝置之真實的特定參數無關的電路能夠使至少一個全息圖計算電路僅使用前面提及的簡化參數(較佳是波長-標準化焦距F‘)描述鄰近其輸入介面單元之場景的物點。因此本發明的全息圖計算電路可以應用於不同類型的空間光調制裝置,也就是預定的波長、距離範圍及像素間距均不同的空間光調制裝置。以這種方式全息圖計算電路也可以應用於不同的全息顯示裝置。
因此所使用的空間光調制裝置的特定的參數僅必須被本發明的預處理電路得知或是被傳輸到本發明的預處理電路即可,本發明的預處理電路將待顯示的較佳是三維場景的物點轉換成前述簡化且與物點描述無關(與系統無關的格式)的參數,並傳輸到至少一個全息圖計算電路。換句話說,預處理電路能夠將場景的一個物點轉換為與系統無關的格式的標準化簡化的物點描述,並傳輸到至少一個全息圖計算電路,以用於計算三維場景之物點的子全息圖的相位。
將波長-標準化焦距F‘或標準化焦距F應用於預處理電路及至少一個全息圖計算電路之間的介面,可以達到比使用物點的位置描述更高的數位傳輸效率,這是因為這種描述會使場景的景深範圍的非線性消失。
當然,也可以用數學導出的形式,例如與常數相乘及/或傳輸倒數值(也就是說以折射率取代焦距),以及不同的數位化資料形式,將F及F‘的值或資料傳輸到至少一個全息圖計算電路。
一種特別有利的方式是以固定分派到與子全息圖中心相同距離的至少一個全息圖計算電路的電路部分計算與子全息圖的中心相同距離的場景之物點的子全息圖的像素的相位值。以這種方式可以將至少一個全息圖計算電路簡化,以降低製造及設計成本,以及節省運轉時的耗電量。此外,另一個優點是能夠以簡單的方式將同一個全息圖計算電路應用於不同的全息顯示裝置。
因此有不同的可能性以有利的實施方式實現本發明的理論,及/或將本文描述的實施例或配置方式以各種方式組合在一起。這些實施方式及可能性一方面可參見附屬申利專利項目主張的申請請求,另一方面可參見以下配合圖式對本發明的有利的實施例的解說,這些解說也包括對本發明之理論的有利的實施方式的說明。以下僅是以實施例本發明作原則性的說明,但是本發明的範圍不受這些實施例的任何限制。
圖2顯示本發明的全息圖計算裝置。圖2的裝置同時還顯示一個實時計算全息圖的資料通道。本發明的裝置或資料通道具有一個預處理電路60及至少一個全息圖計算電路70。圖2的實施例有複數個全息圖計算電路70(共有4個),其中全息圖計算電路70的數量可以視空間光調制裝置80(以下稱為SLM)的規模而定,關於這點將在後面詳細說明,但是當然也可以只設置一個全息圖計算電路70。預處理電路60及全息圖計算電路70都是獨立或分離的電路。也就是說可以將預處理電路60及全息圖計算電路70視為獨立電路,其製造及運轉亦同。但是預處理電路60及全息圖計算電路70可以彼此固定連接,例如配線連接,並以這種方式構成一個如圖1的全息圖計算裝置。兩個電路60、70都可以是現場可程式化邏輯閘陳列(FPGA)或特殊應用積體電路(ASIC)。在本實施例中,兩個電路60、70都是ASIC。
預處理電路60經由一個使用者定義或客戶指定的介面S與全息圖計算電路70連接。為了產生及計算全息圖,然後傳輸到SLM 80並為SLM 80編碼,預處理電路60具有一個輸入介面單元61、一個處理單元62、以及一個輸出介面單元63。輸入介面單元61接收要在全息圖內計算及編碼的場景的物點的資料64,其中此處提及的場景是一個三維場景。當然待顯示的也可以是二維場景。輸入介面單元61可以具有一種標準化介面,例如一或複數個DisplayPort、HDMI(高畫質多媒體介面)、一或複數個網路介面、或任何一種具有必需頻寬的其他介面。可以用不同的格式描述三維場景的資料64。例如,三維點雲、三維容量、或是源自一或複數個平面的一或複數個觀點的掃描圖形或二維矩陣的組合,也就是由顏色及景深特徵構成的圖形,必要時可以在複數個平面實現全息圖內的透明性及容量。當然也可以是任何一種其他格式。資料64的分辨率具有彈性,但是此處的SLM(也就是計算出的全息圖應為其編碼的SLM)必要時應達到一特定的最大分辨率,以實現三維場景的重建及重建。
預處理電路60使用的資料64,以及在預處理電路60執行的程式,都是經由一個外部資料介面以加密方式被輸入預處理電路60。此外,資料64及程式是以加密方式被儲存在 一個外部非揮發性記憶體65。預處理電路60使用一個由具有運轉期間可切換之通路或運轉期間可切換一次之通路的固定邏輯器與至少一個具有一個處理器核的埋入式處理器構成的組合,其中也可以使用複數個處理器或處理器核,一或複數個程式及模組在這些處理器或處理器核上運轉,以完成計算全息圖的所有工作。當然,不使用程式或處理器核的實施方式也是可能的。
輸入介面單元61根據處理單元62的要求解碼及處理接收到的三維場景的資料64,並將其以資料64-1傳輸到處理單元62。處理單元62按照對要計算的全息圖的特定要求處理資料64-1。這表示處理單元62對其接收到的資料64-1執行不同的預處理。例如修正待顯示之三維場景的像差。也可以將處理單元62設計成能夠修正設置在全息顯示裝置內的光學系統對待顯示的三維場景造成的負面效應。例如,可以用處理單元62對待顯示之三維場景的物點進行顏色修正及/或位置修正,也就是將資料64-1預處理成能夠在場景中顯示修正的結果。也可以對資料64-1進行預處理,以便對SLM 80重建三維場景所使用的每一個光波長(顏色)進行不同的修正,以便必要時能夠對所使用之全息顯示裝置的光學系統與波長有關的效應作不同的補償。此外,處理單元62也可以對待顯示之場景的觀察者至少一個眼睛的視差的特定修正進行預處理。可以透過對每一個尺寸/方向的三維場景的物點進行個別移動、轉動、及/或扭曲等處理,以便對眼睛視差進行這種事後修正。
在使用眼睛追蹤資料的情況下,也就是實時追蹤觀察者眼睛的情況下,例如為了得知觀察者當下注視的方向或觀察者當下觀察或注視三維場景的那個部分,可以使用所謂的注視點渲染技術,這樣就可以根據當下及/或前面提及的觀察者的眼睛的視線方向調整待顯示的三維場景的分辨率。由於可以降低觀察者眼睛中央窩的邊緣區或所顯示之場景的邊緣區的分辨率、詳細程度及/或全息品質,因此可以大幅降低全息圖計算電路用於計算場景的耗電量。因此可以在觀察者視野的特定區域調整待顯示的場景的分辨率、詳細程度及/或全息品質。一種有利的方式是降低三維場景邊緣區的分辨率、詳細程度及/或全息品質。這個過程會計算觀察者眼睛的視線方向。由於電路60、70在開始計算全息圖與在SLM 80顯示全息圖之間會有時間延遲,因此有必要根據未來的延遲時間,預測或估計場景觀察者眼睛視線方向的移動。
預處理電路60的另一個功能是控制SLM 80 的其他元件,其中這個控制通常是與全息圖輸出到SLM 80同步進行。同樣的,處理單元62也可以承擔或執行預處理電路的其他功能。例如將二維(2D)場景轉換成三維(3D)場景,也就是所謂的2D/3D轉換、將來自三維場景的複數個觀點的景深資料標準化、或是將額外的三維資料標準化,以填滿場景中因全息視差(所謂的閉塞資料)形成的陰影。特別是可以借助點雲狀的三維場景產生閉塞資料,或是在複數個有/沒有透明性的圖面的情況下產生閉塞資料。為此場景的閉塞資料被傳輸到預處理電路60。接著預處理電路60從這些資料找出需要的資料,以便能夠將場景的物點從傳輸的閉塞資料標準化。
在預處理單元62完成對資料64-1的預處理或處理後,接著將這些經過預處理及選擇性修正的三維場景的資料64-2轉換為標準化且可以被後面的全息圖計算電路70處理的格式,或轉換為與系統無關的格式。在轉換將資料64-2的過程中也會計入SLM 80的特殊參數。例如,這些參數包括關於入射到SLM 80的光線使用的波長資料、SLM 80的掃描、SLM 80的分辨率、距離的資料(例如觀察者眼睛與SLM 80之間的距離)、以及為執行特定的修正(例如修正失真或與波長有關的像差)所需的修正表及修正參數、介面資料、介面配置及介面參數。
經過轉換的資料64-2被傳輸到輸出介面單元63,然後由輸出介面單元63將經過預處理的資料64-2以低頻寬傳輸到各個分離的全息圖計算電路70,以供計算全息圖之用。
從圖2可以看出,本實施例使用4個全息圖計算電路70,這4個全息圖計算電路70都位於分離的預處理電路60 之後。和預處理電路60一樣,全息圖計算電路70也是獨立或分離的電路,而且最好是ASIC。也可以將全息圖計算電路70製作成FPGA,而且視所使用的全息圖計算電路的數量或要製造的裝置的數量(件數)而定,這樣做成本有可能更低。如前面所述,一種有利的方式是不僅使用一個全息圖計算電路70,而是使用特定數量的複數個全息圖計算電路70。可以從計算全息圖需要的計算能力,以及將全息圖傳輸到SLM 80需要的頻寬,計算出較佳應使用多少數量的全息圖計算電路70。計算能力及頻寬通常也會隨著SLM 80的尺寸或規模擴縮。也就是說,SLM 80的尺寸愈大使用較多數量的全息圖計算電路70就愈有利。使用複數個全息圖計算電路70的另一個優點是可以從更多的小點(熱點)更均勻的散熱,而不是像只用一個全息圖計算電路70計算全息圖只能從一個大點散熱。在圖2的實施例中,各組全息圖計算電路70彼此並聯,每一組的兩個全息圖計算電路70則彼此串聯或構成串聯電路。當然除此之外,全息圖計算電路彼此及全息圖計算電路與SLM還有其他可能的配置方式。這種配置方式在SLM 80的兩個相對而立的邊上各有兩個全息圖計算電路70,因此從預處理電路60有兩條彼此分離的管線或傳輸線S分別與各組第一個串聯的全息圖計算電路70連接。從圖2可以看出,第2個串聯的全息圖計算電路70經由一條相應的管線與第一個串聯的全息圖計算電路70連接。由於全息圖計算電路70很靠近SLM 80或空間光調制裝置的源極驅動器81的邊緣,因此資料線的長度很短,這對於降低資料傳輸速率很高的情況下的耗電量是很有利的。
全息圖計算電路70可以跟SLM 80的接口靠的非常近。另一種可能性是將全息圖計算電路整合到SLM 80,也就是成為SLM 80的一部分。在這種情況下可以將全息圖計算電路設置在源極驅動器附近。目前的另一個發展趨勢是將這種全息圖計算電路或電路直接設置在SLM的基板上(覆晶玻璃)。
與SLM 80的介面可以彈性配置,因此能夠與資料傳輸速率、傳輸線的數量、以及所使用的通訊協定配合。為此在製造SLM 80時,可以將相應的資料通路固定啟動或配置在全息圖計算電路70上。在運轉期間這可以在初始化全息圖計算電路70時進行,也可以經由配置橋(反熔絲)牢固的裝好。
結合標準化執行全息圖計算的另一個重要優點是具有可擴縮性。這種全息圖計算電路70可以多次被應用於圖2的裝置或資料通道,因此也可以多次被應用在顯示三維場景或物件用的全息顯示裝置。如果符合特定的先決條件,例如以長寬比為準至少有近似的像素間距,則同一個全息圖計算電路也可以被設置於圖2之裝置或全息顯示裝置的不同產品。這對於降低ASIC或FPGA的製造成本可能會有很大的幫助。如果可以將相同類型的ASIC型或FPGA多次設置在一個裝置內,就可以避免為每一種產品或裝置都要付出昂貴的開發及製造本發明之全息圖計算電路的成本。此外,相較於一個大尺寸的ASIC或FPGA,拆解成多個較小的ASIC或FPGA的優點是可以達到比較高的生產量,而且開發及驗證的工作也比較簡單。
為了降低全息圖計算電路的耗電量及單件成本,可以致力於使用較小的程序結構。即使預期全息圖計算電路的件數很多,這樣做也是值得的,也就是透過標準化及設置複數個全息圖計算電路來降低斷電量及製造成本。
原則上設置一個獨立的全息圖計算電路及一個與直接計算全息圖分開的獨立或分離的預處理電路有助於全息圖計算電路的設計及預處理電路設計的市場化。例如,這使得SLM或全息顯示裝置的製造商可以配合自己的程序及介面,以及使用自己的或對他合適的製造方法。
在預處理電路60預處理過的三維場景的資料64-2被傳輸到全息圖計算電路70後,全息圖計算電路70將其計算成場景所需要的全息圖的資料,其中這個全圖是由計算出的場景的物點的子全息圖疊加而成。圖2中第一個串聯的全息圖計算電路70僅從被傳輸過來的資料取出計算一部分全息圖需要的資料計算全息圖,並將剩下的資料傳輸到第二個串聯的全息圖計算電路70,然後由第二個串聯的全息圖計算電路70用這些資料計算出一部分總全息圖或全息圖。資料流以不變的方式通過全息圖計算電路70,在此過程中每一個全息圖計算電路70僅取出其計算全息圖所需的資料。從圖2中的放大部部分可以看出,全息圖計算電路70具有一個輸入介面單元71、一個全息圖計算單元72、以及一個輸出介面單元73。輸入介面單元71的任務是接收預處理電路60預處理過且具有與系統無關的格式的三維場景的資料64-2,並將其傳輸到全息圖計算單元72進行全息圖計算。如圖2所示,在全息圖計算單元72內進行全息圖計算及全息圖編碼,其中三維場景的物點的各個子全息圖被累加成場景的總全息圖。接著計算出的三維場景的全息圖或計算出的要編碼的全息圖的資料被傳輸到輸出介面單元,然後由輸出介面單元將這些資料輸出到源極驅動器81。源極驅動器81再將這些編碼全息圖的資料傳輸到SLM 80,以便將所要求的三維場景的計算出及編碼的全息圖寫入SLM 80。
可以在預處理電路60中設置一個時序控制器66(TCON)。時序控制器66能夠產生控制訊號、同步訊號及/或定時器訊號,因此可以直接定時及控制SLM 80及源極驅動器71。此外,時序控制器66還可以控制一般元件及電路,以驅動SLM 80,並將資料傳輸到SLM 80的像素或像素胞。全息圖計算電路70可以根據使SLM 80順暢運轉的控制與SLM 80同步運轉。
此外,預處理電路60還負責SLM 80及具有SLM 80之全息顯示裝置的元件的綜合控制,也就是所有的電氣元件或可控制元件,例如照明裝置的至少一個光源或光線偏轉裝置。此外還可以控制主動光學元件,以調制及操作SLM 80或全息顯示裝置內的入射光波,以經由預處理電路60達到同步且有效率的操作與相互協調的目的。
預處理電路60僅執行特定的任務,包括與SLM 80的校正、全息圖的修正、以及三維場景的調整/改良有關的許多功能。因為每一個SLM或全息顯示裝置的產品都需要至少一個預處理電路60,以控制至少一個全息圖計算電路70。透過不同的措施,例如受保護無法從外部讀取的資料區(電子抹除式可複寫唯讀記憶體EEPROM),也就是雖然可以從外部寫入,但是只能內部讀取的資料區,可以在預處理電路60內使用加密技術,例如TSL或SSL,以使全息圖計算電路70及預處理電路60相互執行身份驗證,目的是實現這兩個電路60、70之間的實時檢驗,以及將傳輸通道加密。可以將解碼儲存在外部(或內部)非揮發性記憶體65的終端裝置參數及程式所需的私人密碼儲存在預處理電路60的受保護區域。因此預處理電路60及至少一個全息圖計算電路70能夠以這種方式相互執行身份驗證,以證實其實時性。例如,如果這個檢驗失敗,表示某一個電路、預處理電路60及/或全息圖計算電路70可能處於一特定的無效模式。這可能造成如下的影響,例如SLM 80上相應的資料淡入、調整SLM或全息顯示裝置的運轉、三維場景的顯示品質明顯變差。這些只是幾個例子,無效模式當然還可能造成其他的影響。
圖3顯示將全息圖標準化的方法的流程。先前技術需要將全息圖暫存,以便在修正步驟將三維場景的複數值資料標準化,目的是能夠將資料顯示在SLM的分辨率有限的像素上。為此在標準化成不連續值能夠被執行之前,需取得完整的資料組(也就是整個全息圖全部值分解),以確定全息圖標準化參數。為此可以將全息圖存在一個外部暫存記憶體,或是儲存在電路本身。但是這兩個方法的成本都很高,而且耗電量也很高。
為了避開上述缺點,本發明的方法不使用暫存記憶體,因此可以大幅降低全息圖計算電路70的複雜性及耗電量。如圖3所示,本發明的方法無需暫存完整的資料組或整個全息圖,就可執行全息圖的標準化。
可以將本發明所稱的全息圖標準化視為一種確定全息圖內所有複數的最大值的最簡單的方法,例如確定最大量級/振幅。當然也可以使用其他的標準化方法或不同標準化方法的組合,例如以直方圖為基礎將全息圖標準化
為了在全息圖計算的最後一個步驟(編碼步驟)實現全息圖標準化,預處理電路60要執行特殊的分析,也就是根據三維場景的資料執行至少一個分析,以便在全息圖計算電路70無需使用暫存記憶體或外部記憶的情況下,實現近似正確的全息圖標準化。原則上絕對精確的全息圖資料的標準化並不是必要的,因為微小的偏差通常只會造成全息圖顯示的亮度出現幾乎不會被感覺到的變化。全息通標準化的方法是以對資料流的分析為基礎。這個分析觀察以下描述的三維場景的特徵。首先是分析或估算三維場景的物點在一觀察區的景深分佈及橫向分佈。接著是結合物點的景深分析或估算物點在一觀察區的亮度分佈。此外還要計算出三維場景的物點總數,以確定場景在觀察區的填滿度。可以利用統計方法分析及研究這些資料。例如,可以將分析出的資料儲存在直方圖中,以便能夠高效率的讀取全息圖標準化的相關參數。除此之外,當然也可以分析三維場景的其他統計資料。
透過分析三維場景從訊框到訊框的變化,可以估計全息圖標準化參數預期發生的變化。這個估計的全息圖標準化參數被預處理電路60傳輸到全息圖計算電路內的編碼模組,以供編碼模組將這些估計的參數應用於通過的全息圖資料,以執行全息圖的標準化。因此圖3的方法無需要將計算出的全息圖暫存在全息圖計算電路70或外部記憶體,而是直接連續處理。同時編碼模組根據三維場景的通過的資料計算出全息圖標準化參數真正正確的值,並在訊框結束時將這些參數值傳輸回預處理電路60內的分析模組91。分析模組91應用上一個訊框的這些正確的值全息圖標準化參數進行錯誤評估及動態調整,也就是所謂的微調,以便為下一個訊框重新改善對全息圖標準化參數的估計。
透過分析當下三維場景的變化,以及利用上一個訊框已知正確的全息圖標準化參數,可以為場景當下的訊框估計出新的全息圖標準化參數。
可以為全息圖標準化參數的估計定義以下的關係或規則。例如:
• 如果三維場景或場景順序的顯示從訊框到訊框在斷面的亮度變亮或變暗,則必須升高或降低全息圖的最大量級,這是因為全息圖平均的量級升高或降低。
• 但是必須另外考慮場景的亮度動力。例如,為了能夠相應的重現一個陰暗的場景,必須相應的定義及規定全息圖的最大量級,這表示在選擇全息圖的最大量級時,必須將場景亮度與最大亮度的關係考慮進去,而且應該計入全息圖的最大量級與調整過的最大量級的關係。
• 反之,如果較佳是三維場景變深(膨脹)或變緊密,也就是說,如果三維場景的物點與觀察者的距離改變,則應該相應的升高或降低全息圖的最大量級。
這些控制全息圖標準化的規則或演算法只是一個例子。這些規則及演算法的任意的變體及組合都是可能的,而且是由所使用的SLM的種類及特性決定。
也可以用機器學習或人工智慧的方法取代固定的規則,其作法是在以不同的三維參考場景執行的訓練步驟中,規定預期的行為並以之進行訓練,以便在人工智慧的應用階段能夠對新的未知的三維場景以人工智慧得出全息圖標準化的好的估計值。本發明的這種實施方式是以經過訓練的人工智慧模組為基礎估計標準化參數,因此無需制訂固定的規則。
在應用過估計的全息圖標準化參數後,接著在當下的訊框結束時,也就是當下計算出的全息圖完整的通過後,將得出的真正的全息圖標準化參數與估計的全息圖標準化參數作一比較,以評價估計值是否夠好。然後就可以微調照明裝置的至少一個光源對SLM的曝光時間,以補償在重現待顯示的三維場景中可能產生的亮度偏差,這是因為到目前為止,資料僅被寫入SLM,但是對SLM內的全息圖的曝光是在這之後才啟動。如果全息圖標準化參數的估計完全錯誤,可以暫時不打開照明裝置的光源(例如雷射),以避免錯誤顯示三維場景。可以用這種方式跳過這個錯誤的訊框,這對觀察者造成的作用就如同一張黑色的圖像。經過對全息圖標準化參數的計算後,現在已經知道正確的全息圖標準化參數,因此接下來按照圖3顯示的方式估計的全息圖標準化參數會回復到近似正確的程度。通常只有在接收到的三維場景非常突然的出現場景變換才會發生這樣的錯誤情況。由於SLM的訊框率很高,即使刪除一個訊框(一個黑色訊框),觀看重建場景的觀察者也幾乎不會察覺。至少在觀察者看來,一個黑色訊框的醒目程度或干擾程度遠低於一個標準化錯誤的全息圖,一個標準化錯誤的全息圖就像突然出現的一道閃光。
以下將根據圖3詳細說明全息圖的標準化方法的流程。負責全息圖的標準化大部分工作的預處理電路60具有一個執行全息圖的標準化的分析模組91。從分析模組91左上方的區域可以看出,對全息圖的標準化而言,此時已經有待顯示的三維場景的第一個訊框當下的資料。為確定屬於這個場景的全息圖之標準化的標準化參數所需的資料會從這些數中被找出或讀出。此處是對進入分析模組91的資料流分析前面提及的三維場景的特徵,例如分析場景的物點在觀察區的景深、亮度、顏色及橫向分佈等。前面提及的要分析的場景的特徵當然亦適用於此處的說明,因此無需在此處再次詳細舉出。接著將這些找出的三維場景的特徵或找出的資料儲存到直方圖或記憶體,以便能夠簡單、有效率的讀取或找出這些資料的相關參數。接著將這些資料為下一個訊框儲存到另一個記憶體,這樣這些資料就可以作為上一個或之前一個訊框的資料參與確定下一個訊框的場景的全息圖標準化參數。接著就可以找出儲存的特徵,以用於估計三維場景的全息圖標準化參數。估計完全息圖標準化參數後,就可以得到當下估計的全息圖標準化參數,並將此參數傳輸到一或複數個全息圖計算電路70內的編碼模組92,如圖3所示。編碼模組92使用這些估計的全息圖標準化參數應用於通過(也就是未被儲存在任何一個地方)的全息圖資料的標準化。這表示全息圖不會被暫存,而是直接在通過時被繼續處理。此外,編碼模組92在全息圖通過時會根據通過的資料計算出真正正確的全息圖標準化參數的值。在訊框結束時,這個正確的會被傳輸回預處理電路60內的分析模組91。在將估計的全息圖標準化參數應用於通過的全息圖後,分析模組91會將估計的全息圖標準化參數與計算出的全息圖標準化參數的正確值,以評價全息圖標準化參數的估計值是否夠好。然後就可以透過微調,例如改變照明裝置的光源對SLM的曝光時間,以補償在重現三維場景時可能產生的偏差,例如亮度偏差。偏差可能發生的,因為經過標準化的全息圖的資料雖然已經被傳輸到SLM,並被寫入,但是尚未進行重建三維場景的曝光。如果偏差大到三維場景被錯誤的重建錯或顯示,原因可能是照明SLM用的光源根本就還沒有被打開。
在三維場景的正確的全息圖標準化參數被傳輸到分析模組91後,這些上一個訊框的三維場景的全息圖標準化參數被用於估計下一個或接下來的訊框的全息圖標準化參數。同樣的,從儲存在直方圖或記憶體的下一個訊框待顯示的三維場景找出的資料或特徵,以及上一個三維場景的資料和特徵,也都被用於在估計下一個訊框的全息圖標準化參數。接著估計的全息圖標準化參數再度被傳輸到編碼模組92,並被應用在通過的全息圖資料。同時編碼模組92計算出全息圖標準化參數的正確值,然後將兩個值作一比較,也就是將估計值和正確值作一比較,得出比較結果後,如果必要可以經由微調減輕或去除偏差。透過分析當下待顯示的三維場景的變化,以及利用場景的上一個訊框已知正確的全息圖標準化參數,可以為場景當下的訊框估計出新的全息圖標準化參數。
接著對下一個訊框或待顯示的三維場景採取如前述的處理方式,以進行新的全息圖標準化。
從圖3的全息圖計算電路70可以看出,在這個電路中,首先是經由全息圖計算形成或產生一個全息圖。接著這個全息圖被傳輸到編碼單元92,其中編碼單元92將全息圖標準化參數應用在這個通過的全息圖。以這種方式產生一個被寫入SLM的編碼的標準化全息圖。
圖4顯示的方法能夠將預處理電路處理過或產生的待顯示之三維場景的資料轉換成與系統無關的格式或無因次格式。
例如,從US 2016/0132021 A1可以得知,一個待重建之三維場景的物點會被全息顯示裝置編碼到SLM上的子全息圖。為了形成物點的各個子全息圖,需計算出SLM的每一個像素(也就是子全息圖被編碼其內的像素)的相位及振幅,以便SLM調制顯示三維場景的光線。計算相位使用的參數包括一個待顯示之物點與SLM的距離或間隔、波長、以及像素之間的距離(像素間距)。接著執行一個計算步驟,將以極座標表示的振幅和相位轉換成在迪卡兒座標系中具有實數值與虛數值的振幅和相位。這樣就可以將計算出的子全息圖與總全息圖中的其他子全息圖累加或疊加。
此處不再繼續討論以子全息圖進行全息圖計算的其他基礎。因為這在US 2016/0132021 A1已有說明。
使用一種簡化的物點描述將預處電路中的預處理資料轉換成與系統無關的格式。為一個物點的子全息圖的相剖面執行以下的計算,必要時可以用近似方式計算。
在得知待顯示之三維場景的各個物點的資料與預處理電路之SLM的距離z之後,按照圖4的方式根據一個子全息圖待顯示的物點在場景中的距離,計算這個子全息圖的焦距f:,
其中z代表物點與SLM的距離,當物點位於SLM與場景的一位觀察者之間,則z是一個正數,其中d代表觀察者與SLM的距離。這樣就可以將物點與SLM的距離納入焦距f的計算,如圖4所示。
此處可以發現,如果焦距為已知,那麼觀察者與SLM及物點的真實距離對物點的子全息圖的相位曲線是無關緊要的。同樣的,觀察區(也就是能夠顯示三維場景的區域)的景深範圍的非線性也變得無關緊要,這是因為從場景的觀察者所在位置看出去,在SLM後方很遠的區域,物點偏移對子全息圖內深處區域的相位曲線的影響非常小,但是物點偏移對子全息圖內SLM之前區域的相位曲線的影響相當大。
如果將這些變數標準化,其中較佳是像素間距,例如水平像素間距px
(縮寫為p),或是也能夠使用另外一個值,就可以用標準化半徑Rxy
、標準化焦距F、以及標準化波長L計算出像素的相位:
按照下式計算:。
標準化半徑Rxy
是一個無因次量,而且一定是正值,並且會在子全息的面上改變大小。標準化半徑Rxy
量測的是子全息圖上的一個像素與子全息圖中心的距離。可以在子全息圖標準化內部將Rxy
的值固定分派給一群具有相同或類似半徑的不連續的子全息圖像素。Rxy
的值也可以在至少一個全息圖計算電路執行相應的工作時作為固定值流入全息圖計算電路,這有助於降低至少一個全息圖計算電路的複雜性,以及提高變動的單一參數的可重複使用性,例如準確的波長或準確的像素間距。
以這種方式只剩下3個參數,這3個參數可以描述三維場景的物點的子全息圖的相位曲線,而且不受所使用的SLM的特性影響。這3個參數是:
• 標準化焦距F,是一個無因次量,但是帶有正負號。這表示這個正負號是取決於物點是形成於SLM的前面或後面(從觀察者所在位置看出去),例如取決於被寫入子全息圖的是凸透鏡函數或凹透鏡函數。此外,標準化焦距F的值會隨著觀察區內物點的景深平面而改變。但是應避開奇異點F=0。
• 標準化波長L,同樣是一個無因次量,但一定是正值。只有在SLM的曝光改變時,標準化波長L的值才會跟著改變,以及
• 物點的相位偏移Φ0
。
波長-標準化焦距F‘和標準化焦距F一樣,也是一個帶有正負號的無因次量。接著可以按照圖4的方式計算出三維場景的各個物點的每一個子全息圖的波長-標準化焦距。從圖4可以看出,所使用的光線的波長λ(也就是應用於顯示三維場景的顏色)及SLM的像素間距均被納入計算。
因此以至少一個全息圖計算電路進行全息圖編碼時,不再需要這些參數,也就是顯示三維場景用的波長λ、SLM的像素間距、以及觀察者與SLM的距離d。
在使用近似計算的情況下,波長-標準化焦距F‘納入相位偏移Φ0
就可以完整的描述子全息圖的相位曲線。
因此波長-標準化焦距F‘是影響子全息圖內相對相位分佈的唯一參數。因此可以大幅簡化至少一個全息圖計算電路內的電路部分或計算單元,因此對一個半徑而言,只需除以波長-標準化焦距,然後再加上相位偏移即可。如果一個標準化半徑Rxy
被固定分派到至少一個全息圖計算電路內的電路部分或計算單元,就可以在製作電路時來定係數Rxy 2
,這表示可以大幅簡化至少一個全息圖計算電路。
同時當參教改變時,例如所使用的波長、場景及SLM與觀察者的距離、或是SLM內像素的長寬比等參數改變時,波長-標準化焦距F‘還可以提高全息圖計算電路在不同的全息顯示裝置內的可重複使用性。同時波長-標準化焦距F‘還可以提高傳輸效率,因為其亦具有焦距擴縮描述的優點。
因此波長-標準化焦距F‘可以提供一個對三維場的物點的子全息圖的相位曲線最大的與系統無關的描述,同時在全息圖計算電路達到最佳化可能性。這樣就可以利用至少一個全息圖計算電路的許多個類似構造的電路部分計算出子全息圖的像素的相位值,其中每一個電路部分都被分派到一個標準化半徑Rxy
或像素與子全息圖中心的標準化距離,而且其半徑或距離能夠被來定為常數。因此這些電路部分僅包含將一個常數除以波長-標準化焦距,以及加上相位偏移Φ0
。
這種與SLM之真實的特定參數無關的電路能夠使至少一個全息圖計算電路僅將前面提及的格式與系統無關的簡化參數(較佳是波長-標準化焦距F‘)應用於自身的輸入介面單元,因此本發明的全息圖計算電路可以應用於具有不同波長、且場景、觀察者及SLM之間有不同的距離範圍、以及不同的像素間距的不同類型的SLM。以這種方式全息圖計算電路可以應用於不同的SLM及不同的全息顯示裝置。
在傳輸標準化焦距時,並非一定要使用真實的像素間距作為標準化參數p。即使不使用這個值,仍然具有在預處理電路及全息圖計算電路之間進行高效率傳輸的優點。反之,如果以真實的像素間距作為標準化參數,或是在子全息圖編碼之前在至少一個全息圖計算電路內將這個值修正為真實的像素間距,則可以將至少一個全息圖計算電路的電路部分固定分派到標準化半徑Rxy
,而且即使是固定分派,至少一個全息圖計算電路仍然能夠支援複數個全息顯示裝置。
因此僅需要將SLM的特定參數傳輸到預處理電路,並由預處理電路將三維場景的物點的資料轉換成前面描述的簡化的獨立物點描述或與系統無關的格式,並傳輸到至少一個全息圖計算電路。
將波長-標準化焦距F‘或標準化焦距F應用於預處理電路與至少一個全息圖標準化電路之間的介面可以達到比物點的位置描述更高效率的數位化資料傳輸,這是因為場景的景深範圍的非線性會因為這種描述而消失。
當然,也可以用數學導出的形式,例如與常數相乘及/或傳輸倒數值(也就是以折射率取代焦距),以及不同的數位化資料形式,將F及F‘的值或資料傳輸到至少一個全息圖計算電路。
圖5顯示一個用於重建或顯示三維場景的全息顯示裝置100的俯視圖。
全息顯示裝置100具有一個照明裝置及一個作為調制光學元件的SLM 103,其中照明裝置具有一個發出基本上相干的光線的光源101及一個具有至少一個光學元件的光學系統102。全息圖在具有光調制像素的SLM 103內被裝置104編碼。透過SLM 103發出的基本上相干的光線的照明,帶有待顯示之三維場景資料的光線被全息圖調制,因而重建一個三維場景。
此外,全息顯示裝置100具有裝置104,其中該裝置104具有一個預處理電路105及至少一個如前面描述及圖2至圖4顯示的全息圖計算電路106。預處理電路105及至少一個全息圖計算電路106都是獨立或分離的電路,並共同組成裝置104。但是預處理電路105及至少一個全息圖計算電路106也都可以作為完全獨立的電路,也就是說未組合成裝置104。電路105及106具有一系列的功能,這些功能都是用於計算及編碼電腦產生的三維場景全息圖及產生相應的控制訊號,其中這些控制訊號是用於控制至少一個光源102、SLM 103、以及在一種變體中的光源系統102,如圖2至圖4描述的光學系統。裝置104經由通訊路徑107與這些元件連接。
此外,全息顯示裝置100還具有一個觀察者平面108。觀察者平面108不是一個固定的物理性平面,而是一個虛擬平面,而且觀察者平面108與SLM 103的距離可以隨著觀察者的眼睛109與SLM 103的距離改變。在觀察者平面108內有一個可視範圍或觀察者視窗110,這個可視範圍或觀察者視窗110也是虛擬的。當觀察者的眼睛109位於觀察者視窗110的位置,觀察者就可以透過觀察者視窗110觀察在觀察範圍內重建的三維場景111,其中觀察範圍位於觀察者平面108及SLM 103之間,而且可以向外延伸。
三維場景111可以在觀察者平面108及全息圖為其被編碼的SLM 103之間被重建。但是從觀察者視窗108向外看出去,三維場景被顯示於SLM 103之後,而且是可以被看到的。另一種可能性是,三維場景延伸到整個範圍,也就是觀察者平面108及SLM 103之間,以及SLM 103之後。
裝置104是用於執行前面描述的本發明的方法,這種方法是以電腦產生的全息圖編碼SLM 103,其中全息圖的產生是由預處理電路處理在全息圖計算的預處理中只需使用一次的三維場景的資料,然後由至少一個全息圖計算電路從預處理電路提供的資料計算出全息圖。從圖4可以看出,圖4提出的方法是由預處理電路105將預處理過的資料以與系統無關的格式提供給至少一個全息圖計算電路106。此外,如圖3的描述,預處理電路105還執行全息圖的標準化。
本發明的範圍不受以上描述的實施例的限制。各實施例之間的各種可能的組合均屬於本發明的範圍。最後還要特別指出的是,以上描述的實施例僅用於闡明本專利申請主張的原理,但是並不對本發明構成任何限制。
10:全息圖計算-資料通道
11:特殊應用積體電路(ASIC)
12、64、64-1、64-2:資料
13、16、19、S:介面
14:輸入處理模組
15:預處理模組
17:全息圖計算模組
18:輸出介面
20、80、103:空間光調制裝置(SLM)
60、105:預處理電路
61、71:輸入介面單元
62:處理單元
63、73:輸出介面單元
65:外部非揮發性記憶體
66:時序控制器(TCON)
70、106:全息圖計算電路
72:全息圖計算單元
81:源極驅動器
91:分析模組
92:編碼模組
100:全息顯示裝置
101:光源
102:光學系統
104:裝置
107:通訊路徑
108:觀察者平面
109:觀察者的眼睛
110:可視範圍或觀察者視窗
111:三維場景
關於圖式的簡短說明:
圖1:先前技術的一個全息圖計算裝置的圖示。
圖2:本發明的計算全息圖的裝置或資料通道的圖示。
圖3:本發明的將全息圖資料標準化的方法的圖示。
圖4:本發明的將資料轉換成與系統無關的格式的方法的圖示。
圖5:本發明的重建較佳是三維場景的全息顯示裝置的圖示。
60:預處理電路
61、71:輸入介面單元
62:處理單元
63、73:輸出介面單元
64、64-1、64-2:資料
65:外部非揮發性記憶體
66:時序控制器(TCON)
70:全息圖計算電路
72:全息圖計算單元
80:空間光調制裝置(SLM)
81:源極驅動器
S:介面
Claims (54)
- 至少一個全息圖計算電路的預處理電路,具有: – 一個輸入介面單元,其任務是接收待顯示之三維場景的資料; – 一個處理單元,其任務是對接收到的資料進行特定處理,並計入顯示三維場景所需的特殊參數將資料轉換成與系統無關的格式; – 一個輸出介面單元,其任務是將經過轉換的資料輸出及傳輸到至少一個全息圖計算電路。
- 如請求項1所述的預處理電路,其中:預處理電路是一個現場可程式化邏輯閘陳列(FPGA)或特殊應用積體電路(ASIC)。
- 如請求項1或請求項2所述的預處理電路,其中:輸入預處理電路的資料、參數及程式都是使用加密格式。
- 如前述請求項中任一項所述的預處理電路,其中:處理單元是用於修正所顯示之場景的像差。
- 如前述請求項中任一項所述的預處理電路,其中:處理單元用於修正像差,或用於修正設置在全息顯示裝置內的光學系統對待顯示的場景造成的負面效應。
- 如前述請求項中任一項所述的預處理電路,其中:在使用眼睛追蹤資料並使用注視點渲染技術的情況下,處理單元可以根據觀察者眼睛的視線方向,在觀察者視野的特定區域調整待顯示的場景的分辨率、詳細程度及/或全息品質。
- 如請求項6所述的預處理電路,其中:處理單元處理場景的資料,以降低場景邊緣區的分辨率、詳細程度及/或全息品質。
- 如前述請求項中任一項所述的預處理電路,其中:利用預處理單元控制至少一個空間光調制裝置或全息顯示裝置之可控制元件。
- 如前述請求項中任一項所述的預處理電路,其中:處理單元內有一個由具有運轉期間可切換之通路或運轉期間可切換一次之通路的固定邏輯器與至少一個處理器構成的組合。
- 如前述請求項中任一項所述的預處理電路,其中:在預處理電路內設置一個產生控制訊號及/或同步訊號的時序控制。
- 如前述請求項中任一項所述的預處理電路,其中:處理單元對待顯示的場景的資料進行分析,以執行全息圖標準化。
- 如前述請求項中任一項所述的預處理電路,其中:透過改變計算通路的啟動狀態,預處理電路對不同尺寸的至少一個光調制裝置及/或全息圖分辨率及/或場景分辨率及/或至少一個空間光調制裝置的參數具有可擴縮性。
- 一種裝置,用於計算全息圖,以供具有至少一個空間光調制裝置之全息顯示裝置顯示場景,此種裝置具有: – 一個如請求項1至請求項12中任一項所述的預處理電路,以及 – 至少一個全息圖計算電路,用於計算全息圖及為至少一個空間光調制裝置對全息圖進行編碼。
- 如請求項13所述的裝置,其中:至少一個全息圖計算電路是一種現場可程式化邏輯閘陳列(FPGA)或特殊應用積體電路(ASIC)。
- 如請求項13或請求項14所述的裝置,其中:至少一個全息圖計算電路具有: – 一個輸入介面單元,其任務是接收預處理電路處理過的資料, – 一個全息圖計算單元,其任務是計算及編碼全息圖,以及 – 一個輸出介面單元,其任務是將計算出的全息圖資料傳輸到至少一個空間光調制裝置。
- 如請求項13至請求項15中任一項所述的裝置,其中:至少一個全息圖計算電路可以作為至少一個空間光調制裝置的元件,或是直接被設置在至少一個空間光調制裝置的基板上。
- 如請求項13至請求項16中任一項所述的裝置,其中:具有至少兩個彼此串聯及/或並聯全息圖計算電路。
- 如請求項13至請求項17中任一項所述的裝置,其中:經過預處理電路處理的場景資料是以與系統無關的格式輸入到至少一個全息圖計算電路。
- 如請求項18所述的裝置,其中:至少一個全息圖計算電路能夠直接利用以與系統無關的格式輸入的場景資料,並用以計算全息圖。
- 如請求項13至請求項19中任一項所述的裝置,其中:將一個加密輸入資料及程式用的外部資料介面單元加到在預處理電路。
- 如請求項20所述的裝置,其中:將加密輸入預處理電路的資料及程式加密儲存在一個非揮發性記憶體中。
- 如請求項13至請求項21中任一項所述的裝置,其中:在預處理電路及至少一個全息圖計算電路之間可以相互執行身份驗證或實時檢驗。
- 如請求項13至請求項22中任一項所述的裝置,其中:透過改變計算通路的啟動狀態,預處理電路及/或至少一個全息圖計算電路對不同尺寸的至少一個光調制裝置及/或全息圖分辨率及/或場景分辨率及/或至少一個空間光調制裝置的參數具有可擴縮性。
- 如請求項13至請求項23中任一項所述的裝置,其中:將至少一個全息圖計算電路應用於至少一個光調制裝置的不同實施方式或佈置方式。
- 一種全息顯示裝置,具有: – 一個如請求項1至請求項12中任一項所述的預處理電路, – 至少一個用於計算全息圖的全息圖計算電路,以及 – 計算出的全息圖為其編碼的至少一個空間光調制裝置。
- 如請求項25所述的全息顯示裝置,其中:至少設置一個源極驅動器,使至少一個全息圖計算電路計算出的全息圖資料能夠被傳輸到至少一個空間光調制裝置。
- 如請求項25或請求項26所述的全息顯示裝置,其中:具有一個包含至少一個光源的照明裝置及一個光學系統,此照明裝置及光學系統搭配至少一個空間光調制裝置可以重建一個場景。
- 一種資料通道,用於全息圖的實時計算,具有一個預處理電路,以及至少一個全息圖計算電路,其中預處理電路的任務是預處理場景資料及直接控制至少一個空間光調制裝置的元件,全息圖計算電路的任務是計算全息圖,其中預處理電路及至少一個全息圖計算電路是現場可程式化邏輯閘陳列(FPGA)及/或特殊應用積體電路(ASIC)。
- 如請求項28所述的資料通道,其中:預處理電路及至少一個全息圖計算電路在運轉期間可以進行配置。
- 如請求項28或請求項29所述的資料通道,其中:預處理具有一個輸入介面單元、一個處理單元、以及一個輸出介面單元,其中輸入介面單元的功能是接收描述待顯示之場景的資料,處理單元的功能是對待顯示之場景的資料進行預處理,輸出介面單元的功能是將經過預處理的資料輸出及傳輸到至少一個全息圖計算電路。
- 如請求項28至請求項30中任一項所述的資料通道,其中:至少一個全息圖計算電路具有一個輸入介面單元、一個全息圖計算單元、以及一個輸出介面單元,其中輸入介面單元的功能是接收經過預處理電路預處理的資料,全息圖計算單元的功能是計算及編碼全息圖,輸出介面單元的功能是將計算出的全息圖傳輸到至少一個空間光調制裝置。
- 如請求項28至請求項31中任一項所述的資料通道,其中:預處理電路及至少一個全息圖計算電路是分離的電路,且二者彼此連接的方式使至少一個全息圖計算電路能夠經由預處理電路被控制,但是預處理電路及至少一個全息圖計算電路並非配屬於任何一種特定的空間光調制裝置及/或全息顯示裝置。
- 如請求項28至請求項32中任一項所述的資料通道,其中:透過改變計算通路的啟動狀態,預處理電路及/或全息圖計算電路對不同尺寸的至少一個光調制裝置及/或全息圖分辨率及/或場景分辨率及/或至少一個空間光調制裝置的參數具有可擴縮性。
- 一種方法,用於計算以全息顯示裝置顯示場景用的全息圖,其中全息顯示裝置具有至少一個空間光調制裝置,其中全息圖的計算是由一個預處理電路及至少一個全息圖計算電路完成。
- 如請求項34所述的方法,其中:預處理電路處理在全息圖計算的預處理中只需使用一次的資料,同時至少一個全息圖計算電路從預處理電路提供的資料計算出為至少一個空間光調制裝置編碼所需的全息圖,並將計出的全息圖輸出到至少一個空間光調制裝置。
- 如請求項34或請求項35所述的方法,其中:預處理電路的輸入介面單元能夠接收使用加密格式的待顯示的場景的資料,並將這些資料解碼,然後傳輸到預處理電路的預處理單元。
- 如請求項36所述的方法,其中:預處理單元根據待顯示的場景對接收到的資料進行預處理,並計入至少一個空間光調制裝置的特殊參數將預處理過的資料轉換成與系統無關的格式。
- 如請求項36至請求項37所述的方法,其中:預處理單元修正待顯示之場景的像差,以產生像差經過修正的資料。
- 如請求項36至請求項38中任一項所述的方法,其中:透過場景的虛擬移動、轉動及/或扭曲,以預處理單元修正待顯示之場景的觀察者眼睛的視差。
- 如請求項36至請求項39中任一項所述的方法,其中:預處理單元考量觀察者眼睛的視線方向,調整待顯示之場景的分辨率、詳細程度及/或全息品質,使經過至少一個空間光調制裝置之全息圖計算單元之計算所顯示的場景在邊緣區域具有較低的分辨率、較低的詳細程度及/或較低的全息品質。
- 如請求項36至請求項40中任一項所述的方法,其中:將待顯示之場景的閉塞資料傳輸到預處理電路,讓預處理電路從接收到的閉塞資料找出將場景的物點標準化所需的資料。
- 如請求項36至請求項41中任一項所述的方法,其中:經過預處理單元標準化的資料計入至少一個空間光調制裝置的特殊參數被轉換成與系統無關的格式,並經由預處理電路的輸出介面單元傳輸到至少一個全息圖計算電路,以供計算待顯示之場景的全息圖。
- 如請求項36至請求項42中任一項所述的方法,其中:以預處理電路用於控制顯示場景之全息顯示裝置的可控制元件,其中對這些可控制元件的控制是與將計算出的全息圖輸出到至少一個空間光調制裝置同步進行控制。
- 如請求項36至請求項43中任一項所述的方法,其中:用於預處理待顯示之場景的至少一個空間光調制裝置的特殊參數、資料及程式被加密儲存在一個非揮發性記憶體中,並以加密方式被傳輸到預處理電路。
- 如請求項36至請求項44中任一項所述的方法,其中:經由預處理電路的時序控制器定時及控制至少一個空間光調制裝置及用於驅動該至少一個空間光調制裝置的源極驅動器。
- 如請求項36至請求項45中任一項所述的方法,其中:在預處理電路內對待顯示的場景的資料執行至少一個全息圖標準化的分析。
- 如請求項46所述的方法,其中:對被傳輸到預處理電路之輸入介面單元的資料進行分析,以得出全息圖標準化所需的全息圖標準化參數,步驟如下: – 分析場景的物點在一觀察區的景深分佈及橫向分佈, – 結合物點的景深分析物點在一觀察區的亮度分佈,以及 – 計算出物點的總數。
- 如請求項47所述的方法,其中:透過分析待顯示之場景從訊框到訊框的變化,以預處理電路內的分析模組估計全息圖標準化參數,並傳輸到至少一個全息圖計算電路內的編碼模組,以供編碼模組將這些估計的全息圖標準化參數應用於連續計算出的全息圖資料,以執行全息圖的標準化。
- 如請求項48所述的方法,其中:以連續計算出的資料進行全息圖編碼,透過編碼模組得出全息圖標準化參數的正確值,並傳輸回預處理電路內的分析模組。
- 如請求項48或請求項49所述的方法,其中:在每一個訊框結束時將估計的全息圖標準化參數與正確的全息圖標準化參數作一比較。
- 如請求項36至請求項50中任一項所述的方法,其中:待顯示的場景的物點在子全息圖內被編碼,其中為了描述物點之子全息圖的相位值,預處理電路測定以下的參數,並將這些參數傳輸到至少一個全息圖計算電路,以計算場景之物點的子全息圖的相位: – 焦距或折射率,這個參數會跟著觀察區內物點的景深而改變,以及 – 物點的相位偏移。
- 如請求項51至請求項53中任一項所述的方法,其中:以固定分派到與子全息圖中心相同距離的至少一個全息圖計算電路的電路部分計算與子全息圖的中心相同距離的場景之物點的子全息圖的像素的相位值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20190266.5 | 2020-08-10 | ||
EP20190266 | 2020-08-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202209026A true TW202209026A (zh) | 2022-03-01 |
Family
ID=77398559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110129465A TW202209026A (zh) | 2020-08-10 | 2021-08-10 | 全息資料計算裝置及方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230315014A1 (zh) |
KR (1) | KR20230050404A (zh) |
CN (1) | CN116113890A (zh) |
DE (1) | DE112021004254A5 (zh) |
TW (1) | TW202209026A (zh) |
WO (1) | WO2022033996A2 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE50311875D1 (de) | 2002-11-13 | 2009-10-15 | Seereal Technologies Gmbh | Einrichtung zur rekonstruktion von videohologrammen |
DE102004063838A1 (de) | 2004-12-23 | 2006-07-06 | Seereal Technologies Gmbh | Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme |
DE102007023737B4 (de) | 2007-05-16 | 2009-01-02 | Seereal Technologies S.A. | Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline |
DE102007023739B4 (de) * | 2007-05-16 | 2018-01-04 | Seereal Technologies S.A. | Verfahren zum Rendern und Generieren von Farbvideohologrammen in Echtzeit und holographische Wiedergabeeinrichtung |
GB2466023A (en) * | 2008-12-08 | 2010-06-09 | Light Blue Optics Ltd | Holographic Image Projection Systems |
EP2553531B1 (en) | 2010-04-01 | 2019-10-16 | SeeReal Technologies S.A. | Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system |
CN105264443B (zh) * | 2013-06-06 | 2019-05-31 | 视瑞尔技术公司 | 用于计算全息图的数据的装置和方法 |
-
2021
- 2021-08-06 US US18/020,791 patent/US20230315014A1/en active Pending
- 2021-08-06 KR KR1020237008392A patent/KR20230050404A/ko active Search and Examination
- 2021-08-06 CN CN202180055305.0A patent/CN116113890A/zh active Pending
- 2021-08-06 WO PCT/EP2021/072109 patent/WO2022033996A2/de active Application Filing
- 2021-08-06 DE DE112021004254.8T patent/DE112021004254A5/de active Pending
- 2021-08-10 TW TW110129465A patent/TW202209026A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
KR20230050404A (ko) | 2023-04-14 |
DE112021004254A5 (de) | 2023-06-01 |
WO2022033996A3 (de) | 2022-08-11 |
CN116113890A (zh) | 2023-05-12 |
US20230315014A1 (en) | 2023-10-05 |
WO2022033996A2 (de) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11336888B2 (en) | Multi-view collimated display | |
US11961431B2 (en) | Display processing circuitry | |
US10520889B2 (en) | Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system | |
Blinder et al. | The state-of-the-art in computer generated holography for 3D display | |
CN107390379B (zh) | 一种近眼全息三维显示系统和显示方法 | |
AU2017205338A1 (en) | Dynamic fresnel projector | |
CN101689037A (zh) | 为扩展3d渲染图形管道实时生成视频全息图的方法 | |
TW202208938A (zh) | 顯示不均勻性的校正 | |
Yoo et al. | Volumetric head-mounted display with locally adaptive focal blocks | |
Alexiou et al. | Subjective and objective quality assessment for volumetric video | |
US20130148179A1 (en) | Holographic display | |
KR20180069622A (ko) | 홀로그램 실감 콘텐츠 제작 방법 및 장치 | |
EP3633989B1 (en) | Hologram imaging method, and data generation method and device | |
TW202209026A (zh) | 全息資料計算裝置及方法 | |
US10867538B1 (en) | Systems and methods for transferring an image to an array of emissive sub pixels | |
CN107610240A (zh) | 头像替换方法、装置和移动终端 | |
CN110930877B (zh) | 显示设备 | |
US11378916B2 (en) | Holographic display method and holographic display device | |
CN105573095A (zh) | 电子设备及其显示处理方法 | |
Kavaklı et al. | Multi-color Holograms Improve Brightness in Holographic Displays | |
TWI842191B (zh) | 支援多個視圖的顯示器以及用於該顯示器的方法 | |
Damberg | Computational projection display: towards efficient high brightness projection in cinema | |
Yang | Advanced algorithmic approaches for improving image quality in 2D and 3D holographic displays | |
KR20240045059A (ko) | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 | |
Shi et al. | Multi-color Holograms Improve Brightness in Holographic Displays |