TWI599861B - 在全像系統中編碼包括透明物體三維場景之方法及裝置 - Google Patents

在全像系統中編碼包括透明物體三維場景之方法及裝置 Download PDF

Info

Publication number
TWI599861B
TWI599861B TW105126660A TW105126660A TWI599861B TW I599861 B TWI599861 B TW I599861B TW 105126660 A TW105126660 A TW 105126660A TW 105126660 A TW105126660 A TW 105126660A TW I599861 B TWI599861 B TW I599861B
Authority
TW
Taiwan
Prior art keywords
object point
virtual
scene
light
point
Prior art date
Application number
TW105126660A
Other languages
English (en)
Other versions
TW201706734A (zh
Inventor
恩里科 茲裘
尼爾斯 飛佛
Original Assignee
喜瑞爾工業公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 喜瑞爾工業公司 filed Critical 喜瑞爾工業公司
Publication of TW201706734A publication Critical patent/TW201706734A/zh
Application granted granted Critical
Publication of TWI599861B publication Critical patent/TWI599861B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G03H2001/2242—Multiple viewing windows
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2625—Nature of the sub-holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/10—Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/12—Phase modulating object, e.g. living cell
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G03H2210/36—Occluded features resolved due to parallax selectivity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/452—Representation of the decomposed object into points
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/63—Environment affecting the recording, e.g. underwater
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/51—Intensity, power or luminance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/56—Resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

在全像系統中編碼包括透明物體三維場景之方法及裝置
本發明與用於計算三維場景之物點編碼值的方法有關，該三維場景包括透光物體，其更與在其中實施此方法的計算單元有關。
該方法可應用於計算全像顯示系統之電腦產生的全像，或應用於全像(硬複製)的製作。其可進一步與其他的三維顯示系統使用，其中物點可在空間中以交錯的方式分開地顯示，例如立體顯示。
一般而言，本發明也可用於該可見光譜範圍之外的其他波長範圍。與天線陣列結合，其中總有至少兩個天線發出相干輻射，以至於所發出的電磁波可彼此干涉，其可用於模擬以及重建電磁光譜，例如由無線電望遠鏡所接收之宇宙輻射的空間分析內容。用於這種模擬或重建的光譜範圍不一定需要與將被分析的光譜範圍相對應，但可藉由轉換的方式而反映於前者上。
本發明可進一步應用至該電磁譜之外的其他媒體，例如聲波。與聲音產生裝置陣列結合，其中總是可控制至少兩個聲音產生裝置以發出相干波，以至於所發出的聲波可彼此干涉，其可用於模擬以及重建三 維聲場，其中此發明不應限於可感知聲音頻率範圍。該聲場包含三維場景的空間以及時間變化聲音值，該三維場景包括具有吸收聲音特性的物體。該方法以及計算裝置也可用以產生，不只在小地方也可在大環境中，用於降低噪音的反相聲音。
該方法也可用於其他空間分佈的顯示以及分析，也可為非光學性質的。物理以及其他參數的三維分佈被反映至透光值、三維物體以及光源(假色攝像)。較佳的可能為，例如顯現或分析各種斷層射影方法、3D超音波檢查或工作部件中機械應力的分佈。
根據此專利申請案的全像顯示系統(在下文中也簡單地指稱為全像系統)是用於三維物體資料的顯示裝置，其中將呈現之場景的三維物體資料以將被重建之場景繞射圖案的形式被編碼。特別是該繞射圖案的計算將在本文中被提及為編碼，且許多此類的編碼方法為已知的。
該編碼可藉由產生所有物點資訊的聚集全像而達成，然而，該物點可輕易地導致很大的計算負載，特別是高解析顯示系統。
根據進一步的方法，為了最小化該計算負載，該全像被劃分成相同大小的個別鄰接區域(hogel)。每個區域因此與所使用之空間光調變器(SLM)的相同數量胞元相對應。每個hogel在許多物點以及在許多繞射角(hogel向量)上攜帶資訊。當計算該hogel時，因為預先計算的繞射圖案可從對照表(LUT)檢索，該簡化被達成。
或者，該計算可以亞全像的形式對於個別的物點分開地實行。每個亞全像只被寫入至用於該重建之該光學光調變器(或空間光調變器，SLM)表面的子區域。取決於該物點的位置，該個別的亞全像可部分地或整個重疊在該調變器表面上。此方法可被特別且較佳地應用，如果該全像只對一個小的可見區域編碼，其中至少一裝置被提供用於追蹤一個或多個可見區域，該可見區域被指派至觀察者眼睛，可追蹤一或多個觀察者之觀察者眼睛的移動。這種全像顯示裝置，舉例來說，已被該申請人在文件 DE 103 53 439 B4中以及在文件WO 2006/066919 A1中描述。該亞全像相對應於繞射透鏡，該繞射透鏡在距離該調變器表面的要求距離以要求的亮度或以要求的亮度與顏色而聚焦所要求的物點。凸透鏡的功能是用以在該調變器表面之前產生物點。凹透鏡的功能是用以在該調變器表面之後產生虛擬的物點。位在該調變器表面的物點被直接地產生。該透鏡功能可再次被預先計算並儲存於對照表中。當編碼該繞射圖案時，可考慮額外的參數，其可考慮例如該光學路徑中之SLM、光源以及其他光學元件所使用之調變器區域的轉移函數。這也包括針對減少斑點的技術。
由於在大部分的顯示器中，個別的像素被呈現在平面的SLM表面上，像素化的2D影像或立體的3D影像呈現，其包含至少兩個不同2D影像(3D顯示)，可被直接地顯示在那些顯示器上，而不需太多適應方面的努力。必要的適應主要關於縮放將要呈現的區域以符合該顯示面板的解析度以及亮度與色彩適應以符合該顯示面板的層次。在3D顯示器中，取決於所使用的方法，立體呈現的多重視野必須及時地及/或空間地在該調變器表面上被編碼。2D向量圖形影像必須在它們可被顯示之前被轉換成光柵圖形影像。
在三維場景可被呈現在2D顯示器或3D顯示器上之前，或在其可被編碼用於全像顯示中的重建之前，視野必須從該三維資料記錄產生，該三維資料記錄描述了具有它們性質之場景的物體。此過程也被提及為影像合成或繪製。已知許多用於這種在場景描述、該視野的要求品質以及這些視野被實際產生的方式之類型不同的方法。
例如，3D CAD模型包含該物體的幾何描述，其包括在三維坐標系統中。此外，許多進一步的物理性質可被定義，以描述該物體的材料，包括光學性質，例如不透光物體的反射率以及放射率，以及另外，透光物體的折射率以及吸收性。使用均質的物體，這些參數只被定義用於該邊界表面是足夠的。一般而言，這些性質可不只顯示空間梯度，且它們可 取決於一或多個其他參數，例如波長以及偏振。
該資料也可以體積像素資料的形式存在。舉例而言，這通常是屬於醫學應用的情況。當其被產生時，該3D場景已被劃分成個別的空間點或小空間區域(三維像素)。
其也可能，例如，從與深度圖像結合的像素化2D資料產生3D場景。每個像素至參考平面的距離被儲存在該深度圖像中。這種資料格式，例如，被用於應呈現在2D監視器以及另外在各種3D顯示裝置上的錄影資料。其幫助產生一個場景的多個視野。然而，必須提供額外的資料才能夠考慮隱藏的物體。
在該影像合成的開始，必須選擇將在該三維坐標系統中產生之每個視野的位置，而該三維坐標系統可用以描述該場景中物體的位置，所述位置相應於相機的位置，該場景的視野可使用該相機記錄(虛擬相機)。此外，必須定義用於產生影像之該SLM主動調變器表面場景中的虛擬位置以及虛擬大小。例如如果使用掃瞄配置或投射配置，該主動調變器表面的虛擬大小可不同於其實際大小。該虛擬相機的位置定義了一位置，觀察者的眼睛將從該位置以及該位置的方向而感知該場景。此位置也可位於物體之間或在物體中。該虛擬相機的性質，例如焦距以及視角，確定了以哪一個虛擬倍率顯示哪一個區段。該視角是由該SLM的虛擬區域以及其關於該虛擬相機的位置而確定。源自該虛擬相機位置並穿過該SLM虛擬區域之邊緣的光束定義了代表該可見區域的空間。部分位在此角錐外的場景不能被顯示。在2D顯示器中，對於每個觀察者眼睛產生了相同的視野，以至於只有遠景視野是可能的。藉由同步移動對於每個觀察者眼睛的虛擬相機，該觀察者可在影像序列期間虛擬地移動穿過場景，同時該觀察者不需要實際上在該顯示器前移動。如果該顯示器前之該觀察者眼睛的移動被感測器偵測，該虛擬相機的移動也可基於此資訊而被控制。進一步的成像裝置可被配置於該虛擬調變器表面以及該觀察者眼睛之間。這些成像裝置可被包括 於該虛擬調變器表面的區域中及/或在該虛擬相機的性質中被考慮。
在全像顯示器中，真實的深度資訊可藉由繞射圖案的幫助而產生。這提供了觀察者在該重建場景(適應)之不同深度平面處聚焦的可能性，而不需改變該重建。因此，在全像顯示的內容中，其與其關於虛擬觀察者位置更甚於虛擬相機。
在影像合成的該進一步過程中，確定了該場景的哪個部分位在該可見區域內，以及哪個部分為實際上可見的，例如，未隱藏在該場景的其他部分之後的部份。這可為多階段的程序，其中該場景越複合或所要求的呈現越逼真，要付出的努力越大。取決於該材料性質以及該場景中該光源的位置，其可能考慮反射、繞射、折射以及散射，接下來可進一步引起可見的虛擬物體、表面或點，其由可見的、隱藏的及/或位在該可見區域外的部分場景產生。
該場景中表面的外觀可考慮該物體的材料性質(明暗)而計算。這包括例如該物體表面材質的成像(材質映射)。因為該影像合成是非常複雜的過程，物體、表面以及個別的影像點的外觀可在該影像合成期間改變數次。
如果該場景包括結構性光源，則它們的影響(照度、明暗)可藉由適應表面的外觀而考慮，其中為了最小化該計算負載，常使用簡化的光照模型。該表面的反射率常使用雙向反射分佈函數(BRDF)計算。
遞歸的射線追蹤方法常用以產生該場景的實際視野。此意指由顯示像素以及該虛擬相機位置定義之個別光線的路徑被往回追溯。首先，該射線穿過所碰觸物體之非隱藏表面上的所有點被確定，並藉由它們與該虛擬相機的距離而分類。然後，考慮涉及的所有可見的點之外觀，產生組合資料以描述將在該相應的顯示像素位置處呈現的視野點。當產生此組合資料時，透光所有涉及之透光點以及不透光點(如果有的話)的透光性質被一個接一個地考慮。可例如考慮該材料性質而確定該透光性質，該材料 性質確定該透光度以及該光學路徑長度，該光學路徑長度由在該材料中的光線涵蓋。也可考慮這些材料性質的光譜以及空間分佈。
這種方法被描述於US 7,030,887 B2中。使用多個其中儲存了深度資料的深度緩衝，互相疊置的該透光像素以深度分類。這使其可能找到變成最接近不透光像素的像素。然後關於此像素的該不透光像素的透光效果被計算。之後，發現是否有鄰接於前一個透光像素的透光像素。現在可以相對於一個已計算出之透光效果計算此像素之透光效果。重覆此過程，直到考慮到所有的疊置透光像素。此方法存在對於每個所牽涉的射線只確定一個亮度值或一個亮度值與一個顏色值的缺點，該每個所牽涉的射線相應於該顯示面板上的像素。
類似的問題也存在於當考慮其聽覺以及幾何特性(聽覺模擬)時在室所模擬之聲場。這種模擬用以在幾何模型中規避大量的測量。可因此測試不同位置、移動、指向性以及響度之聲源的相互關係以及室內聲學。除了具有特定的位置以及形式，空間中個別的物體或該聽覺場景的物體也顯示了波長特異性的吸收以及漫射。房間的聽覺特性在多階段程序中被發現，其中也使用遞歸射線追蹤方法。再次的，其可能考慮虛擬聲源，亦即由反射、漫射以及偏轉所造成之虛擬聲源。所計算出的聽覺感知傳統地經由立體音響耳機而在該虛擬聽者的位置提供，其中該頭部相關轉移函數(HRTF)必須考慮到實際的聽覺感知。這裡的缺點是，其只是透過該耳機提供組合訊號。當再計算在該聽者改變位置的聽覺感知時，虛擬房間中的環程旅行仍是可能的，但在頭部移動之後不再計算該聲音訊號而有實際的聽覺感知是不可能的。
當在全像顯示或立體顯示中呈現包括透光物體的三維場景時所具有的缺點可根據本發明申請專利範圍第1項中所申請保護的該方法特徵而克服。至於聲學的領域，該缺點可根據本發明申請專利範圍第8項中所申請保護的該方法特徵而克服。
根據本發明，該創新的方法可在計算單元中實施，該計算單元包含申請專利範圍第10項中所申請保護的特徵。
本發明的進一步較佳具體實施例以及改進，被定義於該附屬申請專利範圍中。
根據本發明的該方法可特別用於計算三維場景重建的全像系統之光學光調變器(SLM)的全像編碼值，其包括具有透光性質的物體，用於至少一觀察者眼睛。該方法包含下列步驟：
a)該三維場景被劃分成個別的物點，且確定這些物點的坐標。以這些坐標，可根據方法步驟d)實施分類，或該物點的坐標可用於該全像編碼值之計算中的其他用途。
b)確定虛擬觀察者位置，其相應於所選之觀察者眼睛的位置，其中該三維場景被明顯地感知。
c)如同從該虛擬觀察者位置看到的，沒有被其他物點涵蓋的所有物點被確定以及被編碼。
d)從該虛擬觀察者位置在相同角度被看見的所有可見的物點被編碼而以它們距該虛擬觀察者位置的距離做分類。
e)如果可能在那些物點的位置以它們從該虛擬觀察者位置被看見的角度，考慮該場景所有真實與虛擬光源的位置以及強度，則可確定每個可看見物點的實際亮度，其中該物體的物理性質，包括該真實以及虛擬光源皆可被考慮。
f)對於每個將被編碼的可看見物點，考慮在其實際位置的其實際亮度、到該虛擬觀察者位置的距離以及位在那個可看見物點與該虛擬觀察者位置之間所有物體或物點的透光性質，以確定該物點在該虛擬觀察者位置被感知的視在亮度值。
g)每個物點依其各自的亮度值而分開地被編碼，使其在該全像系統中距離具有該亮度值的位置盡可能遠處重建，以至於不透光以及透 光物點可在它們各自的位置被分開地感知。
要注意的是，該全像編碼值也稱為全像資料或簡單稱為該全像。
假使該全像顯示器使用或被配置成用以使用小的虛擬觀察者視窗，例如如同WO 2006/066919 A1中所描述的全像系統，其中一個虛擬觀察者視窗可用於該觀察者的每個眼睛，應至少對於每個該虛擬觀察者視窗實行該全像編碼值的計算，且該觀察者的眼睛位在該虛擬觀察者視窗。假使該全像系統包含關於該觀察者眼睛實際位置的該虛擬觀察者視窗的追蹤功能性，如果該虛擬觀察者視窗之場景或位置的內容已改變，物點的實際與視在亮度值只需要被再次計算。然而，如果該全像編碼值的編碼被適應成該虛擬觀察者視窗的新位置，追蹤裝置及/或成像裝置的缺陷以及用於對於該眼睛新位置之該物點編碼的光學光調變器特徵可被考慮。
關於如上所述之該虛擬觀察者視窗，其也可稱為虛擬觀看視窗，要注意的是，沒有牽涉物理孔徑或物理框架或其他的光學元件。根據本發明的虛擬觀察者視窗更確切地是區域，其中由該全像系統重建的三維場景可被看見。因此，觀察者的眼睛可位在或接近或虛擬觀察者視窗。
假設該全像系統包含大的虛擬觀察者視窗，對於每個物點之實際與視在亮度值的計算可對於該虛擬觀察者視窗內視野的單一方向分開地實行。通常，如果該觀看視窗具有圓形形狀，該觀察者視窗具有約10至20mm直徑的大小。如果該觀看視窗具有矩形形狀，該虛擬觀察者視窗的大小通常是10至20mm的矩形邊緣長度。然而，如果該虛擬觀察者視窗具有比通常尺寸更大的尺寸，該更大的虛擬觀察者視窗可在單一角片段中掃瞄。該全像編碼值對於每個單一角片段的計算在這種例子中被實行。如果需要的話，在中間的值或內插值可使用已知的內插方法計算。一旦已實行對於每個角片段的計算，該編碼值的編碼可分開地實行。虛擬觀察者視窗的最大尺寸由該光學光調變器的特徵確定，該光學光調變器包含最大的可 能繞射角。依據該最大的虛擬觀察者視窗尺寸，產生必要增加的結果。造成與該光學光調變器交互作用之光繞射的有效結構特徵取決於編碼的種類(例如Burkhardt編碼、二相位編碼)以及來自該光學光調變器的類型。多個調變器胞元或該光學光調變器的像素用於複合編碼值之振輻以及相位值的編碼。然後，這些多個調變器胞元定義該光學光調變器的有效結構大小以及往那方面的繞射。例如，實行該二相位編碼，使得相位值被編碼成可被具體實施成相位調變器之光學光調變器的兩個鄰近像素。然後那些兩個被編碼的相位值編碼複合編碼值。如果使用沒有光柵或一般繞射結構的光學光調變器，例如光學尋址空間光調變器(OASLM)，該最小的有效結構大小取決於寫入的程式化單元。
根據本發明的方法，也可應用於立體顯示裝置。如果觀察由該立體顯示器顯示之三維場景，當觀察者位置改變時，同時以追蹤裝置追蹤該觀察者的實際位置，這特別是適用的。以這種顯示裝置而言，其不可能以不同的方向編碼不同的亮度值，就像這不可能使用於全像系統或全像顯示裝置中，其中一個物點可對於視野的不同或單一方向以不同的繞射圖案編碼。
因為對於單一物點的繞射圖案可用於在區域內或在該光學光調變器的有限區域內或在全像系統中該光調變器之完整區域的物點被產生，可使用該光學光調變器的有效光柵或繞射圖案之外的其他光柵或繞射圖案。
根據本發明的方法，可應用於例如產生以及視覺化以及分析三維放射線照片(電腦斷層攝影，CRT)，其中材料的透光性以及吸收特徵，特別是用於X光的生物材料，被研究並顯示診斷的用途。
在許多應用中，該三維場景不只由亮度值或強度值描述，但該三維場景的外觀也取決於該三維場景內單一元件或物體的發射、吸收及/或反射性質。
在較佳具體實施例中，除了該視在亮度值之外，對於將被編碼的每個物點，考慮在其位置的實際顏色值以及所有物體或物點的透光性質，以確定該視顏色值，具有該視顏色值的該物點在該虛擬觀察者位置被感知，該所有物體或物點位於那個可見物點以及該虛擬觀察者位置之間。每個物點以其各自的顏色值分開地編碼，使得其在該全像系統中具有此顏色值的盡可能遠的真實或虛擬位置重建，以至於不透光以及透光物點可在它們各自的位置被分開地感知。
根據此具體實施例的方法，可適應於所應用的顏色模型以及所應用的顏色深度，其中將被重建的場景可被編碼。常使用的顏色模型是，例如添加紅、綠、藍的模型(RGB顏色模型)，其可於此處適應地非常好。以此顏色模型，該顏色以一個紅、一個綠以及一個藍的次像素的三重組合而產生，其可發出或傳輸光。物點的亮度值以及該顏色值被儲存於三個灰值通道中，分別代表該顏色紅、綠以及藍。灰值的最大可能數確定了可能的顏色深度。物點的透光特徵通常儲存在另外的通道中，其也稱為a通道。其他的顏色模型使用，例如對於每個顏色(色相、飽和度以及值，HSV模型，或色相、飽和度以及亮度，HSB模型)的顏色值、顏色飽和度以及亮度值。此外，也存在了用於特定顯示裝置或格式的適應顏色模型，例如該YUV-模型，用於電視格式NTSC或PAL。特別是在印刷技術或在反射模式中作用的光調變器，使用了減色色彩模型。因此範例為青色、洋紅色、黃色模型(CMY)或該青色、洋紅色、黃色、關鍵色(CMYK)，其中關鍵色代表黑色部分。這種模型適合用於產生應用印刷技術的硬複製全像。
由於反射、發射或散射而虛擬產生的額外虛擬物點被計算，該反射、發射或散射因為至少一虛擬或真實光源的光以及將被重建之該三維場景的物體物點之間的交互作用而造成。可考慮該物體以及虛擬或真實光源的光譜性質。對於像是真實物點之虛擬物點，計算在該虛擬觀察者位置的視在亮度值或視在亮度以及視在顏色值。它們以其各自的值分開地編 碼。
真實光源是將被重建之三維場景中明顯產生直接光的光源。虛擬光源可藉由例如光的反射而應用，該光在物體表面由真實光源產生。這種虛擬光源可產生進一步的虛擬光源，例如藉由多重反射，當應用該方法於計算全像編碼值時也可考慮。這種多重反射通常需要該影像合成的多重階段程序。
在較佳具體實施例中，關於該虛擬觀察者位置的物點位置校正-如果需要的話-由光學性質，例如在物體或物點的反射、折射或繞射，該物體或物點位在該虛擬觀察者位置以及將被校正之物點之間。計算對於被校正位置的該視在亮度值或該視在亮度以及視在顏色值。該物點可以各自的值分開地編碼。
此可應用至包含具有反射表面之物體的三維場景，例如反射鏡，用於複合物體，例如水族館，其中為了在這種水族館中顯現物體的正確位置，例如魚或石頭，必須應用該折射定律。
對於本領域的技術人員而言，關於虛擬觀察者位置的位置校正可在不包含透光物體的三維場景中實行是顯而易見的。因此，根據本發明的方法可以這種方式修飾，以忽略關於此透光物體的方法步驟-在此特定的例子中-該透光物體不存在於將被重建的三維場景中。
藉由考慮該物體或物點的空間透光分佈，計算在該虛擬觀察者位置之物點的該視在亮度值或該視在亮度以及視在顏色值，該物體或物點位在該物點以及該虛擬觀察者位置之間。可考慮它們的光譜相互依賴性。
三維場景的物體可包含一元相對透光值τ。此透光值τ是來自該材料的透光度T以及厚度D的商數。物體的透光度因此取決於該光學路徑的長度，光沿著該長度在此物體中傳播。一般而言，物體的透光值τ可為來自該位置(亮度函數)的函數或該亮度以及該顏色(顏色函數)的函數。該透光度T可沿著光在該物體內傳播的光學路徑，藉由對該相對透光值分 佈τ之空間依賴性的積分而計算。如果物體包含折射率的空間分佈，這種光學路徑可為非線性的。
假使透光物體包含散射特徵，例如漫射光屏幕或毛玻璃，只有直接穿過此散射物體的光決定該物點的視在亮度或視在亮度以及視在顏色，該物點位在最前面物點的後面。散射光提供這種物體的視在亮度。這種物體也稱為半透光物體。
較佳地，在該虛擬觀察者位置之物點的視在亮度值或視在亮度以及視在顏色值在隨機法，以及該透光及/或反射及/或漫射及/或繞射及/或折射物體或物點之吸收、漫射、反射以及繞射的機率的幫助下計算，該物體或物點位在該物點以及該虛擬觀察者位置之間。可考慮它們的光譜相互依賴性。
如果進一步該影像合成的部分以隨機法的幫助實行，例如Monte-Carlo方法，這是特別有幫助的。當應用隨機法時，物理效應，像是例如吸收、反射、繞射或散射，不藉由係數描述，而藉由衍生自這種物理效應的機率描述。例如，穿過三維場景之多個單一光子的光學路徑可被追蹤或考慮。當考慮發射這種光子的機率時，這些光子可藉由真實光源產生。隨機的數字可決定這種光源的發射特徵，例如發出光子的位置、發射光的方向、波長，以及如果需要的話，被發出的光的偏極化以及其他的光子或光波發射的相位關係，假使需要考慮這些參數時。其可由每個光學界面在平均分佈的隨機數的幫助下決定，無論光子是否被反射、折射、繞射、散射或吸收。該平均分佈的隨機數通常以0以及1之間的間隔排列。可基於關於吸收、透射、散射、反射及或繞射的機率而做出這種決定，其中可考慮來自物理參數的依賴性，像是波長或偏極化。例如可考慮偏極化的效果，該偏極化的發生與雙折射材料或材料之波長所依賴的透光分佈有關。可計算所有的光子，其從物點藉發射而直接產生，或在物體表面經由漫射反射送出而朝向該虛擬觀察者視窗方向的光子，且這決定了-在關於所有產生光 子的總量實行適當的縮放之後-物點的實際亮度或實際亮度以及顏色。到達該虛擬觀察者視窗之這些光子的數量也被計數，且在縮放此物點的視在亮度之後，確定此數量。
透射的等級或該透射率T，舉例而言，可被理解為透射機率，該透射率T為穿過媒介的強度與進入強度的比例，或在簡化的模型中，為只穿過物體表面之強度與進入強度的比例。當進入的光子進入該媒介或該物體時，產生了標準化的隨機數Z。如果Z小於或等於T，則該光子穿過該媒介或穿過該物體的表面。假使Z大於T，光子被吸收，且不提供視在亮度。
其可能應用更精密的模型，例如可能考慮在物體表面上的反射。如果光子入射至表面或光學界面上，新的隨機數被產生，且發生或不發生反射R的機率，取決於此隨機數。假使發生反射，根據反射定律，該光子改變其傳播方向。在漫射或散射反射的例子中，光子的新傳播方向可在其他隨機數的一集合的幫助下決定。例如，光子偏轉的機率可從物體反射的分佈確定。假使沒有發生反射，可確定被指派至吸收光子機率的其他隨機數，且進一步的取決於此隨機數，該光子由該媒介或該物體而被吸收，或該光子繼續傳播至該物體的出口界面上。在該物體的該出口界面，其可被檢驗，是否在該出口表面/光學界面上發生反射，或是否該光子穿過。在這種例子中，直接反射光產生虛擬物點，該虛擬物點的位置可藉由回溯該反射方向或考慮該原始入射方向而決定。只有那些虛擬物點需要被考慮，光子可從那些虛擬物點傳播至該虛擬觀察者視窗，即，其視在亮度值不是0或其位置不在該重建體積之外。假使這種位置位在該重建體積之外，其可能虛擬物點在穿過將被重建之該重建體積邊緣的延伸射線交叉口點的區域內產生，然而，其可能導致透視變形。當然，真實物點位在該重建體積之外也是可能的。這些物點因此被投射或成像至該重建體積的背景中。假使光子在他們的傳播路徑上被折射，這導致該相應物點的位置明顯不同。該 物點的新位置也可藉由回溯該折射光束或該光子所傳播的路徑而決定。通常，只有藉由從物點朝向該虛擬觀察者位置方向發射而產生的光子(透光光源)或在媒介或物體表面以散射方式朝向該虛擬觀察者位置方向反射的光子被考慮為物點的實際亮度。如果沒有其他的物體或媒介位在這種物點以及該虛擬觀察者位置之間，接近該虛擬觀察者位置的光子數量代表這種物點的視在亮度。
其可能，透光物點可以以如同不透光物點的相同方式而產生虛擬物點。
透光物體的視在亮度也可在物體處被光的散射或繞射影響。當考慮透光物體時，這些影響較佳地以如同使用依據本發明之方法的類似方式而考慮。
可能有例子是，其中這種隨機法的應用需要高計算時間以及許多電腦記憶體，特別是如果將被重建之三維場景包含高解析度以及必須計算許多光子時。這種隨機法因此不能夠即時地實行。然而，即使具有複雜或複合場景，可應用簡單的演算法，且可藉由平行處理而實行該光子的計算。因此，如果必須實行靜態的場景或全像錄影，可特別應用這種方法。對於產生硬複製或因此而產生的原版影片也一樣的。
在較佳具體實施例中，為了增強或減少該點的可見度，位在物點以及該虛擬觀察者位置之間的至少一單一物體的至少一透光值，在以個別物點的視在亮度值或該視在亮度與視在顏色值之計算中以簡化或減弱的形式被考慮。
可能的是，相較於該場景之區域或此區域的自然外觀，區域或場景區域被重建且包含不同的視在亮度及/或不同的視在顏色。因此可能的是，這種區域的可見度可被放大或減弱或抑制，及/或可改變它們的外觀。因此，可以根據本發明的方法實施演算法，根據本發明的方法使它們的外觀被改變或操縱場景區域使能夠被暫時儲存(例如在電腦記憶體中)，使得只 改變該場景中被改變的區域，而完全不需再計算該場景。假使根據本發明的方法應用亞全像於該全像編碼值的計算，舉例而言，如同在WO2006/066919 A1中所揭露的，在該操縱之前，當產生該亞全像的組合時，該場景中各自區域之物點的亞全像可被扣除，且在該操縱之後，被改變物點的亞全像可被加至該亞全像的組合上。該操縱的控制，例如，可由於與至少一觀察者的交互作用而實行。在醫學應用中，為了強調器官內視覺化的病理區域，可藉由改變場景，例如單一物體或區域的透明透光特徵而改變將被重建之三維場景單一區域的外觀操縱。
在本發明的另一方面，該創新的方法可應用於計算將被使用於與聲音複製系統有關的編碼值。該聲音複製系統包含至少兩個聲音產生裝置，以及將該聲音複製系統用於三維聲場的重建，該三維聲場包含該三維場景的空間以及時間變化的聲音值。該三維場景包含具有聲音吸收特性的物體。做出被至少一聽者耳朵感知之該三維聲場的重建。該方法包含下列步驟：
h)該三維場景被劃分成個別的物點。該個別的物點能夠影響該聲音。使這些物點的坐標被確定。
i)確定與所選的聽者耳朵位置對應的虛擬聽者位置，其中該三維場景可明顯地在聽覺上被感知。
j)確定所有的物點，其不完全在該虛擬聽者位置方向中被其他聲音吸收物點完全涵蓋。
k)位在來自該虛擬聽者位置方向的所有物點，由它們距該虛擬聽者位置的距離而分類。
l)如果可能在那些物點的位置，以它們從該虛擬聽者位置被感知的角度考慮該場景所有真實與虛擬聽覺來源的位置以及強度，在能夠影響該聲音之每個物點位置處的實際響度、音高以及聲音傳輸時間可被確定，該物體的物理性質，可考慮包括該真實以及虛擬聽覺來源。
m)對於每個能夠影響該聲音的物點，考慮在能夠影響該聲音之物點位置的實際響度、音高以及聲音傳輸時間、到該虛擬聽者位置的距離以及位在該物點與該虛擬聽者位置之間所有物體或物點的吸收特性，可確定在該虛擬聽者位置被感知的表面響度、音高以及聲音傳輸時間。
n)包含此響度、音高以及聲音傳輸時間的每個聲音值被分開地編碼，使得使用該聲音複製系統的重建可在具有此表面響度值、音高以及聲音傳輸時間的該虛擬聽者位置的所在處被感知。
位在該聲源以及該聽者耳朵之間之場景的吸收物體減低了該聲音的響度，導致在該觀察者耳朵的位置所感知的比實際的該聲源或聽覺來源安靜。聲音反射表面或物體可產生額外的虛擬聲源。相較於該聽者耳朵處在直接到達的這種聲源的聲音(即，沒有反射)，這種被反射的聲音可較晚到達(即，在不同的相位或不同的聲音傳輸時間或方向下)，因此導致霍爾或回聲效應。該聲音或該聲音傳輸時間的相位延遲被聲音吸收媒介中的聲音傳播速率影響。能夠振盪或振動的場景物體可藉由入射聲音而被誘導振盪或振動，因此導致虛擬聲源。
對於該聲音的實際感覺，根據本發明的較佳具體實施例中，實行對於觀察者左耳以及右耳之部分聲音的分開計算以及編碼。
對於三維場景之被編碼後聲音分佈的重建，實行可在個別的聲音產生裝置之聲場的輔助下實行，其中此聲場包含相當高的解析度，且其中該單一聲音產生裝置，關於它們的相位關係應為可同步控制的。此外，關於其可產生的聲音，該聲音產生裝置應包含相當高的頻譜。當實行該聲音產生裝置之編碼值的計算時，可分開考慮每個或至少一聲音產生裝置的聲音產生特徵以及其中產生該聲音之聲音複製系統的聽覺特徵以及該響度。
因此，特別而較佳的方式是結合關於該光學感知之三維場景的計算以及編碼以及重建，即該三維場景的視在亮度或視在亮度以及視在 顏色值，此如同於例如在申請專利範圍第1至7項中所描述的。除此之外，這種三維場景聲音的重建在相同的時間被計算、編碼及/或重建。換言之，除了如申請專利範圍第1至7項中之任一項所述，計算以及編碼視在亮度或視在亮度以及視在顏色值之外，亦如申請專利範圍第8項而計算以及編碼該虛擬響度、音高以及聲音傳輸時間。
在此使用了全像系統，例如全像投影機裝置，以及聲音產生裝置的聲場或配置。舉例而言，有可能在觀察者能在其中移動的體積中產生虛擬場景。根據他在此體積內的移動而追蹤該重建，或對於該觀察者的整個移動空間做計算以及重建該場景，以至於該觀察者可從此體積內的每個位置實際地看見以及聽見該三維重建的場景。
當確定該實際或視在亮度值或該實際或視顏色值及/或該實際或表面響度值、音高以及聲音傳輸時間時，根據本發明的方法，不限於射線追蹤或射線的計算。用於實行此方法的分析，也可包含考慮光波特性的方法或有限元素法(FEM)。以有限元素法的方法可有利地，例如以模擬三維物理過程而應用，例如溫度分佈或機械張力或機械應力的分佈，其中三維分佈的重建在偽色視覺化中實行。
為了實行如申請專利範圍第1至9項中任一項所述的方法，計算單元可適用於以最理想的方式實行該單一方法步驟。因此，根據本發明，提供了用於重建三維場景，用以分別計算全像系統及/或聲音複製系統之光學光調變器(SLM)及/或聲音產生裝置之編碼值的計算單元。該三維場景包括具有透光光學性質及/或聲音吸收性質的物體，且針對至少一觀察者眼睛及/或至少一聽者耳朵被重建。該計算單元實行該申請專利範圍第1至9項中至少一項所述的方法。
這種計算單元可包含至少一可程式化處理器核心及/或任何類型的至少一可程式化邏輯裝置(PLD)及/或至少一專用積體電路(ASIC)及/或至少一數位訊號處理器(DSP)。至少兩個這些裝置可結合於一個積體電路 中。
該計算單元更包含一些元件，像是例如用於儲存程式碼及/或資料的裝置、電源、用於控制以及視覺化操作狀態及/或計算結果的裝置。
此計算單元可為用於三維場景重建之顯示器的系統控制器，例如全像顯示器、全像3D電視裝置、3D遊戲裝置、用於全像資料視覺化/重建的行動裝置及/或用於重建三維聲音分佈/聲場的裝置。該計算單元可被提供為連接在電子計算裝置或用於接收及/或用於產生及/或用於儲存3D場景以及全像顯示裝置及/或用於重放三維聲場之系統之間的分開的單元。
此計算單元可為一般計算系統的一部分，該計算系統可用於計算三維場景。
該計算單元可包含不同技術的部分，例如以光學方法(例如量子電腦以及基於於電子實行計算的電腦單元)操作的計算單元。如果這種計算單元包含高量的可被操作平行處理裝置的計算單元，其為特別有利的。
為了完全了解本發明的物體、技術以及結構，應參照下述細節的描述以及伴隨的圖式，其中：圖式示意性呈現出包含不透光以及透光物體的簡單三維場景圖。
以全像系統或全像顯示裝置(未示出)重建之三維場景包含不透光物體200以及透光物體300。該兩個物體200以及300可被劃分成多個個別的物點(未示出於圖式中)。漫射白光源(未示出)從所有方向均勻地照亮該三維場景。在圖式中示意性地示出了該光源的光線101至110。該三維場景被重建於觀察者的眼睛400。在該場景內的該位置被確定為該虛擬觀察者位置，該觀察者的眼睛400從該位置明顯地感知該三維場景，該虛擬觀察者位置也被標示為元件符號400。相對於該虛擬觀察者位置400，位在該物體200背面的物點(即如同從該虛擬觀察者位置400所看見的為該物體 200的背面)不促成該物體200的視覺化，因此不需要被計算或編碼。如圖式中所示出的此簡單場景，不包含具有反射表面的物體，且此場景也不包含具有方向性發射光特徵的光源。因此，在該場景中沒有發生虛擬物體或虛擬光源。因為使用白光之三維場景的漫射照明，該物體200、300位在它們的實際位置並且根據它們顏色值而被該觀察者感知，它們的顏色值與該物體200、300的材料特徵有關。在圖式範例中的物體200包含黃色。該白光之光強度的藍色部分被該物體200吸收。該白光的紅與綠光在所有的方向中被完全傳送。如果該透光物體300不存在於該三維場景中，該不透光物體200的可見物點將在該虛擬觀察者位置400以其實際的強度510而被感知，其實際的強度510為IAo=IAo_r+IAo_gr黃色。IAo_r以及IAo_gr為來自該不透光物體200物點至該虛擬觀察者位置400之直接光的視在強度或實際顏色值。對於藍色IAo_b的強度部分或顏色值等於0。該實際強度的絕對值也由該漫射照明的亮度確定。存在於圖式之該三維場景中的該透光物體300對於紅光以及藍光分別包含Tr=0,5以及Tb=0,5的透光度。綠光的強度部分被該透光物體300完全吸收，即對於綠光的透光度是Tgr=0。50%的藍光以及50%的紅光被該透光物體300吸收，以及50%的該藍光以及紅光被傳送。該視在強度ISo520因此為：ISo=Tr*IAo_r+Tgr*IAo_gr+Tb*IAo_b=0,5*IAo_r，在該視在強度之下，在該虛擬觀察者位置400的位置的該不透光物體200的物點被感知。在圖式之範例中，該不透光物體200的被觀察物點在該虛擬位置400以該紅色部分強度的一半強度以紅色被感知。在該三維場景的全像重建期間，這種物點以此強度值被計算以及編碼。
如同從該虛擬觀察者位置400的方向可看見的，該透光物體300的物點包含紫色。該實際的強度IAt 530可使用該漫射白光源的紅、綠以及藍光的三個強度部分Ir、Igr以及Ib計算而成：IAt=0,5*Ir+0,0*Igr+0,5*Ib。沒有更多的透光物體位在該透光物體300以及該虛 擬觀察者位置400之間(IAt=ISt)。因此，該透光物體300的實際亮度也為該視在亮度。在重建該三維場景的同時，該透光物體300的物點使用這些亮度值計算以及編碼。在此根據圖式的簡單範例中，沒有考慮在該物體光學界面上的反射。此外，亦已被忽略取決於媒介內之光學路徑的透光度變異。
要注意的是，不透光物點也影響透光物點的實際以及視在亮度及/或實際以及視在顏色，該透光物點位在朝向虛擬觀察者位置的方向，因為這種不透光物體可遮蔽或遮蓋該場景中光源的光。
在實行該影像合成的同時，可考慮更確切的物理效應，則可產生更逼真的該三維場景視野。
特別是為了能夠三維地感知將被重建之該三維場景，產生了對於觀察者所有眼睛的不同視野。假使重建的全像在相切的時間在大視角下被觀看，例如硬複製，多個這種用於不同的虛擬觀察者位置的視野被計算，其中其可能從鄰近視野的視野對於中間位置插入視野。在做這件事時，可能該3D尺寸場景的內容可使用該虛擬觀察者位置而改變(多重全像)。該單一視野的計算可以連續及/或較佳以平行的方式實行。假使該觀察者位置改變，對於觀察者單一眼睛的該虛擬觀察者位置可被適應於觀察者的移動。
因為該不透光物體200以及該透光物體300的可見物點被分開地編碼，其可能，觀察者可使用他的眼睛個別地聚焦在每個單一物體200、300上，並因此觀察重建的三維場景幾乎不會讓眼睛疲勞，因為當看著該三維場景的物體時，在眼睛的輻輳與眼睛的調節之間沒有不協調。因此可能地，觀察者可使用他本身的眼睛移動觀察該重建的三維場景而不變形。
在實行根據本發明的三維場景計算時，可用已知的程式庫於這種場景的計算。這種程式庫為，例如，OpenGL、Direct3D或XNA-Framework。可能使用已知的數學方法，例如，以存取對照表(LUT)的預先計算值或插入中間值。
雖然已描述了本發明並結合特定的具體實施例，要了解的是，按照前述的描述，許多替代方案、修飾以及變異對於本領域之技術人員而言為顯而易見的。因此，本發明欲包含落在附帶之申請專利範圍的範圍內的所有這種替代方案、修飾以及變異。
附錄
提供下述揭露內容用以揭露關於上述的本發明的進一步資訊。要強調的是-即使只在附錄中而未在上面描述中提供資訊-該附錄仍構成本申請案的一部分。
在全像顯示器即時的內容產生、編碼以及呈現
藉由使用與現成硬體結合之SeeReal的亞全像技術以用於驅動具有即時互動或錄影內容編碼之全像顯示器的解決方案已被討論。呈現了從內容方面以及全像攝影方面正確產生複合內容的指導方針，該複合內容包括關於全像中的透光度。討論了用以產生電腦產生全像的傳統方法與我們使用亞全像的解決方案的比較，以快速地減少計算功率。最後，將呈現我們20英吋直接視野的全像原型的計算平台以及說明書。
1.導論
因為傳統方法計算功率的大消耗量，產生CGH(電腦產生全像)的傳統方法並非非常適合用於互動式應用。所以藉由使用它們，只實施了靜止影像或預先計算的錄影。為了實現3D全像攝影的關鍵優勢，相較於3D立體電影、互動內容是必要的-此提供了用以結合專業設計之傳統傳統3D應用、3D遊戲或3D電視並具有3D全像攝影的觀看舒適度的準則。因此，需要用於即時全像計算並且不需要高效能計算硬體的解決方案。
此文獻將呈現一些產生動人的互動全像應用的背景。此外，將討論我們創新的亞全像技術的適應性，以有效地使用圖像處理單元或現場可程式化閘陣列，其能夠實行即時的全像計算。
2.即時全像攝影
此章節給出了關於全像攝影的概述，且特別比較傳統方法與來自SeeReal的創新亞全像技術，其為即時計算大型全像的基礎。
2.1為什麼是全像攝影？
相較於3D立體電影，全像攝影克服了深度聚焦以及輻輳之間的深度線索不協調問題。此所謂的調節-輻輳不協調可導致疲勞或頭痛，甚至可能發生定向的短暫喪失，所以使用3D立體電影，必定只實現小的深度範圍，且連續使用3D立體電影而不休息的時間也應非常有限2。
相反地，全像攝影像是自然的3D視野，其允許非常大的深度範圍，沒有負面效果，因為眼睛可聚焦並聚合在所看見的物體上。當看著全像時，聚焦的物體看起來很銳利，而在不同距離的其他物體將看起來模糊，就像是在真實生活中。在3D立體電影中，眼睛聚合在物體上，但聚焦在顯示器本身-不協調發生，使其導致上面已描述的效果(見第1a圖)。
這是為什麼全像攝影將是現在3D立體電影快速發展市場的下一個大跨步的原因，因為其對於許多領域的應用，即專業3D設計、3D遊戲以及3D電視，為較佳的選擇。
下一個小節比較了用以產生全像的傳統方法以及SeeReal的創新解決方案，即所謂的亞全像。亞全像的使用能夠即時計算大且深的全像，其允許使用現成的硬體元件而在全像顯示器上實現互動內容。
第1圖：(a)3D立體電影以及自然視野/全像攝影之間的差異：對於3D立體電影，兩個眼睛以深度聚合在該物體上，但聚焦在該顯示平面上，對於自然視野以及全像攝影，聚焦以及輻輳都是相同的。(b)傳統全像攝影的原理：當由相干光源照亮時，多個大的重疊繞射圖案重建多個場景點-該重建可在定義的視野區中看見。
2.2該傳統方法相對於亞全像
一般而言，全像是複合繞射圖案。當由相干光源照亮時，由場景點構成的3D場景被重建，其可在空間中的定義區域處被看見(見第1b 圖)。
用計算電腦產生全像(CGH)的傳統方法通常基於下述方案：全像中的每個像素促成每個重建的場景點。那代表，對於場景的每個場景點，必須計算具有完整全像大小的繞射圖案。這些個別的全像全被一起加起來-藉由複合的重疊-以產生代表完整場景的全像。
第2圖：(a)當使用該傳統方法時，產生了大的視野區，但只有小部分在該觀察者的眼睛位置的是真的需要的-所以大部分的計算資訊被浪費。(b)當使用亞全像時，只計算必要的資訊。此外，該全像顯示器的解析度遠低許多，且充分地在現今製造能力內。
這些傳統的全像一方面提供了非常大的視野區，但另一方面需要非常小的像素點距(即大約1μm)以被重建(見第2a圖)。因為全像攝影基本原理，繞射光的干涉，使該視野區的大小被該像素點距直接定義。當該視野區夠大時，兩個眼睛自動地感覺不同的透視，所以它們可聚焦並聚合在相同的點，即使多個使用者亦可獨立地看著該3D場景的重建。
在傳統的全像中，對於每個場景點用以計算的像素量十分大。除了缺乏在使用的顯示大小提供小點距的顯示技術之外，其將需要驚人的計算功率。此外，處理這種大量資料將導致更多關於資料傳輸速率、記憶體等等的問題。這就是為什麼使用傳統方法的即時全像攝影似乎在可預見未來並非商業上可行的主要原因。因為這些技術的限制，直到現在仍只有像是硬複製或化學膠卷的靜物攝影可在大小適於桌面或類似電視應用及可縮放技術中實現。
當看著見第2b圖時，可看到的是，在傳統全像中大部分被計算的資訊是無用的，因為只有眼睛可實際看見的資訊才真正需要。所以代替計算該完全的視野區，只需計算該全像中需要用到的部分，此即是在該觀察者眼睛位置重建特定3D場景點的原因-亞全像(SH)。此減小的視野區也是所謂的觀察視窗(VW)(見第3圖)。
此視野區大小的減小是藉由增加該像素點距而完成的-該像素點距與其他的參數定義了該視野區的大小。藉由重疊(加入或重疊)不同的場景點的SH，具有密集場景點的全像3D場景被重建，並可在該VW的位置看見(見第3圖)。
另一方面，該增加的像素點距導致急劇減少的像素計數，允許使用目前的顯示技術作為其他的使用方式。但是小VW的使用也暗示著需要快速、可靠且非常精確的眼睛追蹤系統，以根據該觀察者的眼睛移動而平移該VW。這種眼睛追蹤系統已被發展，但目前SeeReal乃使用整合入全像原型中的其自己的眼睛追蹤解決方案，已由SeeReal在像是SID、FPD Yokohama以及Finetec的公開事件中展示。
第3圖：只有該全像的小部分-亞全像-需要在減小的視野區中重建一個單一場景點-該觀察視窗。藉由重疊多個亞全像，代表該整個場景的全像被產生，並在空間中的該觀察視窗之位置重建。
為了給出有多龐大的計算功率被節省的範例，使用一般地示範性的情況比較兩個方法。
假設具有40英吋的SLM(800mm x 600mm)，一個觀察者從2公尺遠的距離看著該顯示器，該視野區在水平以及垂直方向將為+或-10°，該內容被放在該全像前面1m以及該全像後無限距離的範圍內，該全像以HDTV解析度(1920x1080個場景點)重建場景，且該波長為500nm，然後必須管理表1中所具體說明的情況。
這裡對於該傳統方法，該計算是基於傅立葉轉換1，以應用最有效的方法於這種大的全像，對此假設具有256階用於該場景點的深度量子化。對於該SH方法，需要計算兩個獨立的全像，每個眼睛一個。
在該底線，對於個別的觀察者位置，兩個方法都提供了相同的結果，但是可清楚地看見關於該光調變器的解析度、畫面大小以及計算功率的顯著差異。
為了進一步減少該計算功率，可使用所謂的單一視差全像，其中SH的大小以及全像視差被減小成一維尺寸。這可能用於垂直或水平方向-所謂的只有水平視差(HPO)或只有垂直視差(VPO)的全像3。藉由混合對於每個眼睛具有不同視野的半視差SH，例如垂直全像視差、與水平立體視差、具有低計算需求的即時錄影全像可被產生8。如果詳細了解並併入於全像內容中，單一視差重建的感知限制對於觀察者是不可見的。
但是即使提供全視差SH的全像，可用現今的現有技術，像是現場可程式化閘陣列(FPGA)以及圖像處理單元(GPU)-其提供了足夠的計算功率，而以SeeReal的演算法處理。這在下述小節中討論。
3. SEEREAL的全像處理管道
接下來的四個小節提供了藉由使用如上所解釋的亞全像而在全像3D顯示器上顯示即時3D內容之重要步驟的概述。
第4圖：我們的全像處理管道的一般概述。
第4圖中所示的步驟定義了我們的全像軟體管道，其分離成下述模組：以該內容產生為開始，由該內容產生器產生的資料將被送交至該全像合成，其中該複合值的全像被計算。然後該全像編碼將該複合值的全像轉換成相容於該所使用的空間光調變器(SLM)，由該全像顯示器呈現。最後，該後處理器混合用於三個色彩元件的不同全像以及取決於顯示器類 型的二個或更多的視野，以至於在最後可在該SLM上呈現所產生的畫面。
4.步驟I：內容產生
對於全像顯示器，兩個主要類型的內容可被區別。一開始有即時的電腦產生的(CG)3D內容，像是3D遊戲以及3D應用。其次有真實生活或現場活動錄影內容，其可為來自3D相機、3D電視廣播頻道、3D錄影檔案、藍光或其他媒體的現場錄影。
對於大部分的即時CG內容，像是3D遊戲或3D應用，目前使用圖像處理單元(GPU)的3D渲染API是方便的。最重要的是微軟的Direct3D以及OpenGL-API。
當產生以及繪製場景時，對於每個視野，產生了具有像素的2D地圖(3D渲染API方面的材質)，其中每個像素與2D位置一起提供了顏色。每個像素也可被看成該相應3D場景的場景點。這是為什麼兩種API一般都非常適合用於產生由SeeReal的全像處理管道處理之內容的原因。
4.1視野、顏色以及深度資訊
在SeeReal的方法中，對於每個觀察者產生了兩個視野，每個眼睛一個視野。與3D立體電影之間的差異是對於每個視野額外需要確切的深度資訊-通常在與色彩地圖有關的所謂深度地圖或z地圖中供應。對於每個觀察者的該兩個視野，提供每個眼睛期望看到的適當透視視野是必需的。它們一起提供該輻輳資訊。以每個視野的深度地圖所提供的該深度資訊用以在適合的深度重建場景點，以至於每個3D場景點將在空間中的確切位置被產生，因此提供使用者眼睛正確的自然3D場景之聚焦資訊。該視野被獨立地重建，並根據使用者位置以及不同VW內的3D場景，其接著被放在每個觀察者的該眼睛位置。
所提供的深度資訊必須非常精確，因為在該深度地圖中所提供的場景點深度以及由該兩個視野的視差所提供的其深度資訊必須相關。這對於在該全像顯示器之觀察體積中的正確位置重建場景點是必要的，以 至於聚焦以及輻輳將相配。該深度資訊之後用以產生正確的繞射圖案，該亞全像，其允許眼睛正好聚焦在該輻輳點。
4.2虛擬相機
也應用至3D立體電影，但常被內容創造者低估的另一個重點，是正確的3D相機設置(用於即時3D內容的真實相機或虛擬相機)，兩個眼睛的視野都從該3D相機設置獲得。
第5圖：相機設置的視野示意圖以及所產生的重建。如果兩個FOV(視野)以及CD(相機距離)與CPD(輻輳-平面距離)之間的關係幾乎等於該設置ED/OD(眼睛距離/觀察者距離)，該全像顯示器提供了，一個可被1：1達成的重建。
當該觀察者以他們的眼睛感覺時，該(虛擬)相機，該輻輳資訊由該相機記錄，理想地應具有相同的設置。那意指，該相機應位在該顯示平面處具有輻輳的眼睛位置。則原始的場景可被記錄，且會被1：1重建。一般而言，用於該相機設置之參數的關係應與該全像顯示器提供的該設置幾乎相同-CD/CPD應接近ED/OD(見第5圖)。該相機的視野應提供幾乎相同的角區域，其從該顯示平面橫跨至該觀察者的眼睛。只有藉由考慮這些限制，場景可被重建並見到「如同其在真的那裡」。否則，該場景會看起來相似，但有一點修飾的透視或大小，其取決於哪個參數不理想。如果該參數與傳統的的幾何學太過於不同，可能發生強烈的透視不協調。
對於電腦產生的即時3D內容可輕易地考慮這些限制，因為在那裡，該虛擬相機可在該虛擬空間中被放置並自由地做出模型。這種虛擬相機傳統地藉由所謂3D渲染API的觀察與投射矩陣所呈現。對於真實世界(3D相機)離線的電腦產生內容(即電腦繪製電影)，應牢記上述提及的限制，因為一旦獲得該影像，該相機設置在之後不可被改變。可能的折衷方法為從一個中心透視點自動產生所有需要的視野，包含顏色以及深度資訊，從其產生所有的其他透視10。但必須考慮品質的喪失，主要是因為遺失 封閉資訊。由於只有一個透視點是可得的，重要的透視資訊，因物體被封閉在該中心視野中，在其他的透視中是不可得的。但是，具體實施例可能包括封閉資料作為該資料流的一部分。
對於即時電腦產生的3D內容，在具有使用者追蹤之全像顯示器前面的該實際觀察者位置可用該虛擬相機適當的定位。在只有在觀看視窗內具有資訊的SeeReal全像3D顯示器中，對眼睛坐標的掌握也可用於定位相應於該觀察者位置以及移動的該虛擬相機，這樣提供了自然場景的全視野範圍(「環顧」效果)。那意指，當環顧不動的物體時，該場景似乎像是本質上被固定在相同的地方。除了提供所有用於做舒適的長時間3D觀察的自然深度線索之外，此亦產生了同樣大的視野區，這是傳統的超高解析度全像本質上會提供的。此外，此特徵被用以根據該觀察者的眼睛距離而適當地設定該虛擬相機的距離，以使該虛擬相機設置變完美。該環顧效果是一種自發性(切換開/關)特徵，將不是所有3D內容想要的。
4.3透光度
一個有趣的效果，其為SeeReal全像處理管道的獨特特徵，是包括(半)透光物體之場景的重建。在自然中的透光物體，像是玻璃或煙霧，在關於強度、方向或波長方面影響了來自光源的光。本質上，眼睛可聚焦在透光物體以及其後的物體上，該物體本身也可為透光物體。
可使用SeeReal對全像攝影的解決方案達成這種重建，且這種重建已在顯示器展示中以下述方式實現：沿著眼睛顯示射線放置在不同深度中的多個場景點，可被同時重建。此意指在該全像中的相同位置，重疊具有不同深度以及顏色之3D場景點的多個SH，並允許眼睛以它們的個別深度聚焦在不同的場景點上(見第6a圖)。在焦距中的場景點對於該觀察者眼睛而言看起來是銳利的，而其他在後或在前的場景點將是模糊的。不幸的是，重建的3D場景點不能實現透光物體本質上可實行的光波穿透的物理行為。所以此行為必須藉由相應地操縱該場景點的顏色來模擬，以實現 像是顏色過濾或減輻的效果。
由內容產生方面，除了現有的顏色以及深度值之外，此透光效果可藉由將alpha值加入至每個場景點而控制。如果場景點具有0.0的alpha值(完全透光)，其將不被重建，而不會產生SH。1.0的alpha值意指該場景點是完全不透光的，對此，單一的SH將被產生-之後所有的場景點將為不可見的，且將沒有SH會因它們而產生。在0.0以及1.0之間的值意指該場景點是部分透光的，而該alpha值代表其透光程度，所以對於該透光場景點以及之後或之前的場景點，將產生亞全像。
目前的即時3D渲染API，像是Direct3D以及OpenGL，每個像素只提供一個深度值，因為在相同的時間傳統地只有使用一個色彩地圖以及一個深度地圖以儲存繪製的場景。當繪製透光效果時，對照其他已繪製入該色彩地圖的透光物體，傳統地藉由以它們的深度順序混合所有的透光物體而完成多重通過。對於這些混合通過，傳統上地丟棄產生的深度值。該深度地圖中每個像素的最終深度值一般相應於所有透光物體之後的像素。因此由SeeReal發展出了解決方案，以一方面使用現有技術的3D渲染API，並另一方面產生用於所有透光物體的深度值。
在該全像平面中於相同位置但不同深度產生多個3D場景點的SeeReal原理是基於多個內容資料層(見第6b圖)的使用。每個層包含具有個別顏色、深度以及alpha資訊的場景點。這些層可被看為有條理的深度層，其中每個層包含一或更多透光或不透光的物體。所需的層總數相應於在3D場景中重疊透光3D場景點的最大數。此方案與產生用於2D以及立體3D顯示器之透光效用的方法相容。一方面的差異是將該混合通過的結果指示至適當層的色彩地圖，而非覆蓋現存的顏色。另一方面，所產生的深度值被儲存在該層的深度地圖中，而非丟棄它們。
第6圖：(a)沿著單一眼睛顯示射線的多個場景點被連續地重建，且可用以能夠達成透光效果。(b)具有一個額外層以處理透光場景點 的示範場景(更多層是可能的)。透光場景點被儲存在第一層中，該背景物體存在於該背景層中。
最後，該層必須被預處理，以根據它們所給定的alpha值以及來自後面其他場景點的影響而轉變所有場景點的顏色。如同範例，有兩個物體，一個在背景中100%紅色且不透光，一個在前景中100%白色且半透光(50%透光，alpha=0.5)，其只減輻該光50%。在處理之後，該背景物體被減輻-其新顏色是50%紅色，該前景物體只有50%不透光，所以其最終顏色將為50%白色。當看著這種重建時，該背景物體將更深，當被前景中的半透光白色物體阻擋時，兩者可被看見且聚焦。
所以最後在處理該alpha值之後，送交至該全像合成的資料包含具有多層的多個視野，每個包含只有顏色以及深度值的場景點。之後，SH將只對有效的場景點產生-只處理該透光層活躍使用的部分。
換言之，透光物體的重建可以下述方式實現：沒有直接可能計算來自包含透光物體之電腦產生場景的全像。透光物體可為，例如玻璃、水、霧、灰塵顆粒或諸如此類。通常沒有產生用於透光物體的深度值，但只有用於不透光物體的深度值，該不透光物體位在一或多個透光物體後面。如果物體必須使用全像而重建，需要具有該物體的深度值。
如果產生二個或更多物體的全像，其中這些物體-至少部分地-如同由一個觀察者所見，位在彼此之後，而這些物體將在它們的各自距離(或深度坐標)中被重建，且全為可見的。位在其他物體前面的物體不影響位在此物體之後的其他物體的外觀。然而，這對於位在其他物體前面的透光物體則是不同的。例如，只有從位在紅色透光玻璃板後面的物體傳播之光的紅色部分可穿過該玻璃板。
在本發明的一個具體實施例中，該方法包含多個階段。在第一階段，將被重建之完整三維場景的深度值被產生而沒有該三維場景的透 光物體。在第二階段，該三維場景所有透光物體的深度值被分開地產生。該全像(或將被編碼入該全像顯示器/SLM[空間光調變器]的全像資料)也在多個階段中產生。首先，藉由產生該亞全像並將它們加起來處理該不透光物體或不透光物點。其次，藉由產生該亞全像並將它們加起來處理該透光物體或透光物點。
被透光物體操縱或影響之不透光物體的顏色值，以下述方式處理而用於實際的呈現或重建：並非操縱在不透光物體至該觀察者眼睛路徑上傳播的光波長，來自該不透光物體的光波長或顏色被操縱或改變-在該不透光物體的位置-根據位在該不透光物體前之該透光物體的特徵。這些被操縱的顏色值可使用電腦製圖的方法產生。
在多階段程序中將該全像與具有被操縱顏色/波長資料之該不透光物體的物點的資訊/資料(如果位在透光物體之後的話)以及該透光物體的物點放在一起。所有的物體-透光及/或不透光物體-在正確的深度並以正確的顏色重建。
相對於使用普通二維顯示器或使用立體顯示器之三維場景的視覺化，對於全像重建，可在空間中產生額外的場景點，其中該額外的場景點可具有相同的x-y坐標(橫向位置)但不同的z坐標(深度)。或者，可產生額外的場景點，例如，以藉由深度而實現密集的體積，像是霧或水。那些在觀看方向上位於單一線上的額外場景點(沿著該單一線具有不同的深度值)或具有橫向位置的額外場景點，對其而言，沒有已被計算的物點。這是因為對於該額外的物點只需要產生一個額外的亞全像，且此亞全像需要被加至所有的其他亞全像，用以產生額外的物點至重建的三維場景。
該方法非常有效率，且可只使用較少的額外計算功率實現。其可在現在的製圖板上即時或近乎即時地實現，包括該全像的計算。
第10圖顯示出在真實生活/自然中不透光物體以及透光物體的情況。第11圖顯示出用於計算/產生根據本發明所產生之三維場景重建的 情況。
4.4 A全像錄影格式
有兩種方式用以播放全像錄影：藉由直接載入並呈現已計算好的全像，或藉由載入未加工的場景點並即時計算該全像。
該第一個選擇具有一個大缺點：該全像畫面的資料必定不可由壓縮方法操縱，像是video-codec的方法，只有無損耗的方法是適合的。藉由全像資料非常隨機的特性，無損耗的壓縮技術在顯著減少該資料體積以達成來自硬碟或光學媒體的串流中並不有效，更別提是IP網路上的串流。
為了克服此問題，SeeReal提議使用如上所述儲存在不同的視野/層內的原始場景點。與SeeReal即時全像計算的結合，能夠使用現有錄影壓縮技術，像是H.264或MPEG-4，而取決於使用位元率，其或多或少有所耗損，但可提供極佳的壓縮率。該耗損必須被嚴格地控制，特別是關於該深度資訊，因其直接影響重建的品質。儘管如此，但當選擇高比特率時，一個具有大約最少1：10的壓縮率但卻非常可被接受的耗損仍是可能的。
SeeReal發展了並使用儲存所有重要資料的簡單錄影畫面格式以在全像顯示器上重建包括顏色以及透光度的錄影畫面。此靈活的格式在每個視野包含所有需要的視野以及層，以儲存顏色、alpha值以及深度值，作為放在該錄影畫面(見第7圖)中的子畫面。儲存在xml文件或嵌入於該錄影容器中的額外詮釋資料，包含了該全像錄影播放器所需要用以產生適當全像之該錄影畫面的佈局以及參數。此資訊，例如描述了哪個類型的子畫面被嵌入、它們的位置以及該原始的相機設置，特別是解釋如何用於將它們匯入該全像顯示器之3D坐標系統地圖的儲存深度值。
第7圖：傳統的錄影畫面範例佈局。子畫面可被自由地放在該錄影畫面中-分開的詮釋資料記錄提供了該資訊、哪個子畫面被嵌入以及它們在錄影畫面中的位置。
此方法讓SeeReal能夠在全像顯示器上即時重建具有透光效 果的3D彩色錄影。該詮釋資料提供了該播放器需要產生全像的所有參數。其也確保該錄影與該相機設置相容，並確認該3D場景資訊的完整(即深度必為可用的)。
5.步驟2：全像合成
該全像合成實行將多個場景點轉成全像的轉換，其中每個場景點的特徵在於顏色、橫向位置以及深度。對於每個視野以及色彩元件，此過程被獨立地完成，同時於所有可用的層重複-對於每個視野以及每個色彩元件，計算分開的全像。
對於該可用層內的每個場景點，亞全像SH被計算並累積至該全像H上，其構成了每個全像像素的複合值-所謂的全像胞元或胞元。只有具有強度/亮度b為b>0的可見場景點被轉換，這節省了計算時間，特別是對於常只部分填滿的該透光層。
假定該SLM提供該水平/垂直點距px/py，該全像平面以及該觀察者之間的觀察者距離是od，以及每個場景點提供了該層中的位置(ox,oy)(其也是該全像中的亞全像位置)、其深度d以及該波長λ的亮度b(根據目前處理的色彩元件)。
首先計算該顯示平面(該全像平面)的亞全像大小 然後對於該SH內在分離胞元位置(x,y)的每個胞元SH(x,y)，計算複合值SH(x,y)=Ae -jφ(x,y)相位φ(x,y)以及給定振輻A為 以及 這種SH描述了具有焦距 的全像透鏡，以在所編碼的距離d重建所給定的場景點。該符號φ0(0≦φ0≦2π)是每個場景點獨特的初始相位，傳統上是隨機的。被計算出的SH最後被加總至全像H中，在全像H中的SH位置(ox,oy)上。該位置(ox,oy)是全像H中亞全像SH的中心位置，其由穿過該全像/顯示平面的射線定義，由VW開始並穿過空間中場景點的位置，並相應至該層中場景點的2D位置。現在H代表將重建我們的3D場景的波前。
在下一個步驟中，複合值轉換至可顯示值，該全像編碼，必須被實行，以能夠將該全像寫入該SLM。
6.步驟3：全像編碼
編碼是用來製備將寫入至SLM(全像顯示器)之全像的過程。SLM一般不能直接顯示複合值，這意指它們不能同時在一個單一像素中調變以及相移光波。但藉由結合振輻調變以及相位調變顯示器，可實現相干光波的調變。每個SLM像素的調變是由全像中的該複合值(胞元)控制。藉由以相干光照亮該SLM，合成場景的波前在該全像平面產生，其然後傳播至VW中，以重建該場景。
不同類型的SLM皆可用於產生全像，一些範例是：使用具有純振輻調變(迂迴相位調變)的SLM，即三個振輻值以產生一個複合值4，藉由結合具有純相位調變的SLM，即結合兩個相位5或結合振輻以及相位調變的SLM，即藉由結合一個振輻像素以及一個相位像素。後者可藉由相位以及振輻-面板的三明治結構而實現6。
所以，依據該SLM類型，需要我們的全像的相位振輻、純相位或純振輻來呈現。全像中的每個胞元必須被轉換成適當的景象呈現。在將所轉換的全像寫入SLM後，每個SLM像素藉由其相位以及振輻來調 變穿過的光波。
7.步驟4：後處理
在該處理鏈中的最後步驟實行了對於該色彩元件以及視野之不同全像的混合，並呈現該全像畫面給該觀察者。有不同的方法可以在全像顯示器上呈現顏色以及視野。
一個方式是完整的時間連續呈現(全時間多工處理)。即使對於在多使用者系統中的不同觀察者，這裡所有的顏色以及視野被一個接一個地呈現。藉由以目前呈現的視野在正確的位置同步地控制該VW的取代，以及根據目前顯示對於λ編碼的全像，藉由在正確時間切換用於λ的適當光源，所有的觀察者能夠見到該3D場景的重建。另一個方式是以兩個不同的SLM獨立呈現該視野以及顏色的時間多工處理，這種系統已由SeeReal在2007年於SID Long Beach示出7。
有兩個更進一步的方法在我們目前的原型中實施，是基於在一個單一畫面中混合顏色以及視野，或基於在單一畫面中混合視野，並連續地呈現顏色8。對於兩者，皆使用了垂直方向(VPO)中的單一視差全像，而在水平方向中，則使用垂直交錯而多工處理該不同的視野(以及顏色)。
對所有觀察者，有許多其他的方式以及方法用以呈現顏色以及視野。一般而言，該後處理負責格式化將呈現至該觀察者的全像畫面。
8.實施
上面描述的所有處理步驟已被實施，如同SeeReal全像參考軟體系統內的一般軟體模組一般。對於不同的原型，所需的編碼路徑已被最佳化而將用於在現有的PC硬體以及在SeeReal的專用FPGA平台上執行的GPU以及FPGA計算。兩種平台在下面呈現，但首先將給出我們的20英吋直接視野全像原型的說明。
8.1 SeeReal的直接視野全像原型
SeeReal的20英吋直接視野原型是使用1D垂直編碼(VPO) 的全彩全像3D顯示器。其提供了藉由使用整合準確與快速眼睛追蹤系統以追蹤觀察視窗，該眼睛追蹤系統以+或-2.5mm的準確度，每秒60次傳送至四個觀察者的3D眼睛位置。但是現在的全像原型是設計只用於一個觀察者。該眼睛追蹤軟體在標準PC上執行，或完全整合至使用嵌入DSP/FPGA解決方案的顯示器中。
該全像面板具有2048x7680個振輻調變像素的解析度，且以60Hz執行。由於(對於全像攝影)現有LCD相對粗糙的像素點距，該觀察者距離目前設定約在2m。藉由使用迂迴相位編碼4，對於一個複合像素(胞元)的點距是156x156μm-此導致垂直方向中8mm的相應VW。在水平方向中，用於兩眼的全像在空間上是分開的。固定的光學系統對於每個眼睛產生32.5mm寬的水平最佳點，其根據該觀察者的移動而在水平方向中平移。所有觀察者可在水平以及垂直方向自由地移動頭部，而不喪失全像視野。對於左眼以及右眼的全像，在空間上多工處理形成所顯示的畫面，而顏色被連續地呈現。對於每個色彩元件(紅、綠、藍)，顯示出對於適當波長的不同畫面。
每層可能重建512x2560個場景點，但在2m的觀察者距離，人眼不能在20英吋的顯示器上解析512x2560的3D場景。因此，該3D場景解析度被武斷地限制於每層512x640個場景點-這也提供了更一般的格式(3：4)。對於較大的LCD，該3D場景解析度可輕易地縮放至全HD或更高。3D場景的深度範圍通常在該全像顯示器前的約1公尺開始，且可達到該顯示器後的無限處。
8.2 PC上的即時全像攝影
使用PC驅動全像顯示器的動機有很多：可使用標準製圖板以驅動使用DVI的SLM，其需要的大解析度支援。此外各種現成的元件是可得的，其以快速的步調持續地被改進。使用在微軟Windows平台廣泛建立的3D渲染API OpenGL and Direct3D，容易處理即時3D內容的產生。此 外，有用的SDK以及提供用於3D模型與錄影的格式與codec’s的軟體庫被提供，且為可輕易存取的。
當使用PC於大量的全像計算時，主要的處理器大部分不夠有力。即使是最新的CPU，仍不夠快速地實行高解析度即時3D全像的計算，即便Intel Core i7達到大約50 GFlop/s9。所以明顯地，需使用更強力的元併-最有趣的是圖像處理單元(GPU)，因為它們有龐大記憶體頻寬以及極佳的處理能力，儘管他們有一些經常費用與缺乏靈活性。它們的優勢為，可程式化、靈活性以及已在過去幾年中被清楚地改進的處理能力。
8.3使用GPU的即時全像攝影
基於微軟的Direct3D 9，如上所呈現的完整全像處理管道已與動人的互動應用一起實施。每件事在該PC上以一個NVIDIA GeForce 285 GTX執行，驅動我們的20吋全像3D直接視野原型。幾乎所有的計算在該圖像處理單元(GPU)上完成，該CPU只用以控制程序流，並提供用於計算的參數。對於大部分的步驟，特別的像素以及頂點著色引擎程式(vertex-shader-programs)11已被實施，其從一步驟切換至一步驟，以實行適當的演算法。著色程序是寫在類似C語言中的小片段(當使用Direct3D時即為HLSL)。當遵從並上傳至GPU用以執行時，它們在該GPU的著色核心內平行地執行，以處理該製圖路線內的頂點或片段/像素。現代化的GPU典型地具有多於200個著色核心，每個能夠以約1GHz的高頻率實行典型的4維向量操作。
對於其他的GPGPU技術(在圖像處理單元上的一般用途計算13)像是CUDA12，選擇直接使用Direct3D的原因是有較大的彈性以使用GPU提供的任何特徵，以及對於該應用模組即時產生之直接3D內容的直接界面使用。
我們的解決方案，使用該GPU是非常彈性且參數化的。視窗SDK已由提供簡單API的SeeReal發展出來，該API壓縮了各面的全像 計算，所以任何應用設計者只需專注於其內容上。關於用於特定全像顯示器之虛擬相機、全像合成、全像編碼以及後處理的所有事被隱藏，並自動地由該軟體系統處理。第8圖給出了以該GPU為基礎之處理管道的概述。
用於SeeReal之20吋直接視野原型的GPU解決方案如下述而作用：在該第一模組，內容產生-全像應用的一部分-兩個視野被產生，每個由四層之多構成，每層儲存512x640個場景點以及每個場景點皆提供顏色、深度以及alpha資訊。該全像應用可使用Direct3D-API提供的所有函數以及特徵，例如其自身的著色程式。該資料產生-在GPU記憶體中多達16個材質，每層兩個提供深度以及具有alpha的顏色-被送交至下一個實施例中。這是應用設計者必須創造以及實施的唯一模組，所有其他的部分由該SDK提供。
第8圖：我們GPU解決方案中之資料流的概述。
下一個模組，全像合成，處理每個層以應用由該alpha值給定的透光效果，並對於不同層之間的深度未被該應用分類的情況實行一些深度分類。然後對於每層中的每個3D場景點，使用頂點著色程式產生以及定位亞全像。每個亞全像由像素著色程式處理，該像素著色程式如上所描述而實行對於每個全像胞元(複合值)之相位以及振幅的計算。然後，每個計算的胞元被累積至所產生的複合值全像上。使用GPU記憶體中的兩個浮點材質實施此複合值全像，一個用於實數部分，一個用於虛數部分。
在2007年於SID呈現之我們的第一個原型版本中，使用了對照表方法，其中標準化的亞全像已被預先計算用於每個256個分離深度步驟。這被完成以克服此時該GPU的有限處理能力-即該NVIDIA 7900 GTX。直到現在，雖然圖像處理單元已被快速地改進，但在計算功率方面多於在記憶體頻寬方面。現在改進的GPU以及最佳化SeeReal演算法的結合能夠以更好的品質、彈性以及效率而直接計算亞全像-動態亞全像大小以及直接計算將導致更有效率的計算，現在由該GPU(典型為24位元)所提供 之接近無限的深度解析度被用以在該重建中提供更精細的深度解析度(特別是用於大深度範圍)，且記憶體頻寬不再限制該計算。
在第三個步驟全像編碼中，該複合值被編碼，以使用迂迴相位調變而產生該最終的SLM相容呈現4，其也使用其他的像素著色程式集合而完成。
最後六個全像，兩個視野中的每一個具有三個全像(對於該色彩元件)，被多工處理，用於呈現在該SLM上。三個SLM畫面，每個色彩元件一個，藉由使用垂直交錯而將每個色彩元件的兩個視野多工處理至一個畫面中而產生。然後這三個畫面被連續地顯示。
8.4使用FPGA的即時全像攝影
在全像3D解決方案的SeeReal發展中的其他步驟，最佳化了用於傳輸至現場可程式化閘陣列(FPGA)的軟體。該動機是用以實現整合入任何顯示器的自主系統。對於此，使用來自Altera之Stratix III FPGA的客戶FPGA板已被設計。FPGA相較於CPU或GPU的優勢是兩全其美的混合-比在CPU中好很多的平行處理，結合了比在GPU中更好的程式化彈性。但是，相較於PC為基礎的發展，FPGA解決方案的複合程式化模型導致更長的發展週期。
在應用方面，兩種解決方案都使用PC以產生該內容，使用像是上面已描述的內容產生模組。但為了此解決方案，藉由將兩個視野的顏色以及深度資訊封存入一個單一DVI畫面內，所產生的資料使用DVI-畫面而非GPU記憶體內的材質而被轉移至FPGA板。所以機上盒或遊戲機也適合使用作為內容來源。處理多於一個透光層將藉由將該DVI畫面大小擴張，以包括該資訊多達四層的類似於上述所提出錄影畫面格式。
第9圖：我們FPGA解決方案中資料流的概述。
用於計算亞全像、累積與編碼以及後處理的模組已使用VHDL而被實施。除了對於層的未定支援之外，現今此解決方案提供了與 SeeReal的GPU版本相同的功能性。該FPGA板使用用於呈現畫面的LVDS界面而直接地驅動SLM(見第9圖)。
8.5應用
使用那些可用於GPU以及FPGA的解決方案，SeeReal能夠顯示實況編碼之具有60Hz全顯示畫面率的高解析度實景真人3D錄影，使用標準MPEG-4 codec用於錄影解碼，由來自PC硬碟的畫面串流畫面。每個畫面包含用於兩個視野以及4層的未處理顏色、深度以及alpha資訊-背景加上3個透光層-其被繁重地使用。多於80%的所有可用場景點被使用於該透光層中，有意圖的用於負載比較。
此外，即時應用已被發展，並基於標準格式以及複合互動3D場景而示範顯示電腦產生的3D模型，該複合互動3D場景由在具細節的3D環境中的多個模型構成。為了增強使用者經驗以及為了簡化該互動，而選擇現代化人類-機械界面，像是3D空間滑鼠以及任天堂Wii控制器已被整合。
9.結果
基於SeeReal對於全像3D顯示以及相應的專有演算法的原理，兩種解決方案，GPU以及FPGA都能夠使用空間視野以及連續色彩的多工處理而驅動具有60Hz全SLM頻率之SeeReal的20英吋全像3D直接視野原型。此外且現在已經，該解決方案能夠驅動放大至具有相應增加像素量的顯示硬體(較高的SLM解析度，較大的大小)。
該高解析度、全畫面率GPU-解決方案在具有單一NVIDIA GTX 285的PC上執行，SeeReal的FPGA解決方案使用一個Altera Stratix III以實行所有的全像計算。在複合3D場景以及3D錄影內的透光效果被支援。即使對於使用所有四層之複合的高解析3D內容，該畫面率固定在60Hz以上。內容可由PC提供，且特別對於該FPGA解決方案是機上盒、遊戲機或諸如此類提供-其像是驅動正常的2D或3D顯示。
兩種解決方案具有非常可縮放性的設計，以已併入用於更多以及更大亞全像的能力，特別是用於在兩方面(全視差全像攝影)中散佈的亞全像。即使使用目前的解決方案，全視差彩色全像的即時計算是可達成的，且已被內部地測試。依照3D場景複雜度，根據可用的計算功率，對於較小的深度範圍可能有一些限制。現在已經，藉由使用多個GPU(NVIDIA SLI或AMD CrossFire)或鏈結多個FPGA，該計算效能可輕易地充分增加。作為範例，NVIDIAs SLI已被應用以連接兩個GeForce 285 GTX GPU，其藉由1.9的係數而增加該全像計算畫面率，提供此解決方案的好的可縮放性。
這些解決方案讓SeeReal能夠顯示複合3D錄影以及複合互動3D場景，其全是運作中的全像編碼。現在允許更注重聚焦全像內容的發展以及與適當格式一起用於串流、遊戲或全像TV的應用，而勝於注重該技術本身。
10.結論以及進一步的發展
此論文使用新的亞全像方法而呈現了我們的解決方案，當適應用於驅動顯示複合與互動3D內容之全像顯示器的GPU或FPGA硬體時，其允許即時的全像計算。
進一步的發展將專注於GPU領域中的新技術，像是具有新引進的Compute-Shaders以及OpenGL 3/4並與OpenCL結合的Direct3D 11，以改進SeeReal的GPU解決方案的效率以及彈性。SeeReal的FPGA解決方案將在2010年被完成，包括對於多個透光層的支援。此外，該VHDL設計將被最佳化而用於專用的全像ASIC的發展。
用於串流全像錄影(3D電視)以及3D內容的發展或適應，與將SeeReal的技術整合至現有遊戲或應用引擎，將會是其他的焦點。
參考文獻
[1]Goodman, J.W., [Introduction to Fourier Optics], 2nd edn, McGraw-Hill, New York (1996).
[2]Hoffman, D. M., Girshick, A. R., Akeley, K. & Banks, M. S., “Vergence-accommodation conflicts hinder visual performance and cause visual fatigue,” J. Vis. 8(3), 1-30 (2008).
http://journalofvision.org/8/3/33/
[3]St-Hilaire, P., Benton, S. A., Lucente, M. E., Sutter, J. D. & Plesniak, W. J., “Advances in holographic video,” Proc. SPIE 1914, pp. 188-196 (1993).
http://link.aip.org/link/‘？PSI/1914/188/1
[4]Burckhardt, C. B., “A Simplification of Lee’s Method of Generating Holograms by Computer,” Appl. Opt. 9(8), 1949-1949 (1970).
http://ao.osa.org/abstract.cfm？URI=ao-9-8-1949
[5]Hsueh, C. K. & Sawchuk, A. A., “Computer-generated double-phase holograms,” Appl. Opt. 17(24), 3874-3883 (1978).
http://ao.osa.org/abstract.cfm‘？URI=ao-17-24-3874
[6]Gregory, D. A., Kirsch, J. C. & Tam, E. C., “Full complex modulation using liquidcrystal televisions,” Appl. Opt. 31(2), 163-165 (1992).
http://ao.osa.org/abstract.cfm？URI=ao-31-2-163
[7]N. Leister, A. Schwerdtner, G. Fütterer, S. Buschbeck, J.-C. Olaya and S. Flon, "Full-color interactive holographic projection system for large 3D scene reconstruction," Proc. SPIE 6911, 69110V (2008).
http://dx.doi.org/10.1117/12.761713
[8]Häussler, R., Reichelt, S., Leister, N., Zschau, E., Missbach, R. & Schwerdtner, A., “Large real-time holographic displays: from prototypes to a consumer product,” Proc. SPIE 7237, p. 72370S (2009).
http://link.aip.org/link/？PSI/7237/72370S/1
[9]http://www.intel.com/support/processors/sb/cs-023143.htm
[10]http://wwwbusiness-sites.philips.com/3dsolutions/home/in dex.page
[11]http://en.wikipedia.org/wiki/Shader
[12]http://www.nvidia.com/object/cuda_home_new.html
[13]http://gpgpu.org/about
101、102、103、104、105、106、107、108、109、110‧‧‧光線
200‧‧‧不透光物體
300‧‧‧透光物體
400‧‧‧眼睛
510‧‧‧強度
520‧‧‧強度ISo
530‧‧‧強度IAt
第1圖示意性呈現出包含不透光以及透光物體的簡單三維場景圖。
第1圖(a)顯示3D立體電影以及自然視野/全像攝影之間的差異。
第1圖(b)顯示傳統全像攝影的原理。
第2圖(a)顯示傳統方法產生的大視野區。
第2圖(b)顯示使用亞全像產生的虛擬視窗。
第3圖顯示單一場景點的重建。
第4圖顯示全像處理管道的一般概述。
第5圖顯示相機設置的視野示意圖以及所產生的重建。
第6圖(a)顯示沿著單一眼睛顯示射線的多個場景被連續地重建。
第6圖(b)顯示處理透光場景的示範場景。
第7圖顯示傳統的錄影畫面範例佈局。
第8圖為GPU解決方案中之資料流的概述。
第9圖為FPGA解決方案中資料流的概述。
第10圖顯示出在真實生活/自然中不透光物體以及透光物體 的情況。
第11圖顯示出用於計算/產生根據本發明所產生之三維場景重建的情況。
101、102、103、104、105、106、107、108、109、110‧‧‧光線
200‧‧‧不透光物體
300‧‧‧透光物體
400‧‧‧眼睛
510‧‧‧強度
520‧‧‧強度ISo
530‧‧‧強度IAt

Claims (12)

  1. 一種用於計算用於一全像系統的一光學光調變器的複數全像編碼值以用於針對至少一觀察者眼睛的三維場景的重建的方法，該三維場景包括具有一透光性質的一物體，包括：將該三維場景劃分成多個個別的物點以及確定該些物點的一坐標，確定一虛擬觀察者位置，該虛擬觀察者位置與一選定觀察者眼睛的一位置對應，其中該三維場景被明顯地感知，確定將被編碼的所有物點中哪些物點不被從該虛擬觀察者位置看見的其他物點完全涵蓋，將被編碼的所有可看見的物點以它們至該虛擬觀察者位置的一距離進行分類，該所有的可看見物點從該虛擬觀察者位置以一相同角度被看見，如果可能在該些物點的位置以它們從該虛擬觀察者位置被看見的該角度考慮該場景的所有真實以及虛擬光源的位置以及強度，則確定每個可看見物點的一實際亮度，其中包括該真實以及虛擬光源的該物體的一物理性質可被考慮，對於將被編碼的每個可看見物點，考慮在其實際位置的其實際亮度、到該虛擬觀察者位置的該距離以及位於該可看見物點以及該虛擬觀察者位置之間的所有物體或物點的該透光性質，決定該物點在該虛擬觀察者位置被感知的一視在亮度值，對於將被編碼的每個可看見物點，決定至少一視在亮度值，該至少一視在亮度值取決於該物點在該虛擬觀察者位置處被感知的至少一波長，以每個物點各自的視在亮度值而分開地編碼每個物點，使得該物點在該全像系統中如在對應於該全像系統的一重建體積內的一可看見 點、具有該視在亮度值的一位置一樣遠的被重建，從而一不透光物點以及一透光物點可在它們各自的位置被分開地感知，以及取決於該虛擬觀察者位置，改變從該三維場景決定的至少一物點，使得該三維場景的不同視野針對至少一觀察者而產生。
  2. 如申請專利範圍第1項所述的方法，其中，在該三維場景的該至少一物點已經改變，該至少一物點的該實際亮度值與該視在亮度值即被重新計算。
  3. 如申請專利範圍第1項所述的方法，其中，考慮在該物點的位置處的該物點的實際顏色值以及位於該可看見物點以及該虛擬觀察者位置之間的所有物體或物點的該透光性質，取決於該至少一波長的該至少一視在亮度值被決定為該物點在該虛擬觀察者位置處被感知的一視在顏色值。
  4. 如申請專利範圍第1項所述的方法，其中，計算由於反射、發射或散射而虛擬產生的多個額外虛擬物點，該反射、發射或散射由於至少一虛擬或真實光源的光以及將被重建的該場景的該三維物體的物點之間的一交互作用而造成，其中該物體以及該虛擬或真實光源的一光譜性質可被考慮，以及，對於像可看見真實物點的該些可見虛擬物點，該物點在該虛擬觀察者位置被感知的該視在亮度值被計算，以及它們的編碼值以其各自的視在值被分開地計算為一亞全像。
  5. 如申請專利範圍第1項所述的方法，其中，由於在物體或物點處的反射、折射或繞射的光學性質，相對於該虛擬觀察者位置，對該物點的該位置進行校正，該物體或物點位於該虛擬觀察者位置以及將被校正的一物點之間，以及，針對該些被校正的位置，計算該視在亮度值，以及對於該些可見物點的該複數編碼值，以該各自的視在值分開地計算。
  6. 如申請專利範圍第1項所述的方法，其中，藉由考慮位於該物點以及該虛擬觀察者位置之間的該物體或物點的空間透光分佈，該物點在該虛擬 觀察者位置被感知的一可見物點的該視在亮度值被計算，其中它們的光譜相互依賴性被考慮。
  7. 如申請專利範圍第1項所述的方法，其中該物體在該虛擬觀察者位置被感知的一可見物點的該視在亮度值在一隨機法以及該透光及反射及漫射及繞射及折射的物體或物點的至少其中之一的一吸收機率、一漫射機率、一反射機率以及一繞射機率的幫助下進行計算，該透光及反射及漫射及繞射及折射的物體或物點位於該物點以及該虛擬觀察者位置之間，其中它們的光譜相互依賴性被考慮。
  8. 如申請專利範圍第1項所述的方法，其中，在可見個別物點的該視在亮度值的計算中，以一增輻或變弱的形式考慮位於一物點以及該虛擬觀察者位置之間的至少一單一物體的至少一透光特性，以提高或減少該物點的可見度。
  9. 一種用於計算用於一全像系統的一光學光調變器或者一聲音產生裝置的複數編碼值以用於針對至少一觀察者眼睛或至少一聽者耳朵重建多個三維場景的計算裝置，該多個三維場景包括具有多個透光性質的多個物體，其中該計算裝置包括被配置以執行申請專利範圍第1項的方法的至少一可程式化處理器核心。
  10. 如申請專利範圍第9項所述的計算裝置，更包括以下至少其中之一：任一類型的至少一可程式化邏輯裝置以及至少一專用積體電路及至少一數位訊號處理器，其中該些裝置中的至少兩個裝置結合在一個積體電路中。
  11. 如申請專利範圍第9項所述的計算裝置，其中，該計算裝置是用於三維場景呈現的一顯示器的一系統控制器的部分。
  12. 如申請專利範圍第9項所述的計算裝置，其中，該計算裝置是一一般計算系統的部分，該一般計算系統用於三維場景的計算。
TW105126660A 2010-04-01 2011-04-01 在全像系統中編碼包括透明物體三維場景之方法及裝置 TWI599861B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP10158996 2010-04-01

Publications (2)

Publication Number Publication Date
TW201706734A TW201706734A (zh) 2017-02-16
TWI599861B true TWI599861B (zh) 2017-09-21

Family

ID=44222664

Family Applications (3)

Application Number Title Priority Date Filing Date
TW106126145A TWI640850B (zh) 2010-04-01 2011-04-01 在全像系統中編碼包括透明物體三維場景之方法及裝置
TW105126660A TWI599861B (zh) 2010-04-01 2011-04-01 在全像系統中編碼包括透明物體三維場景之方法及裝置
TW100111705A TWI561941B (en) 2010-04-01 2011-04-01 Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW106126145A TWI640850B (zh) 2010-04-01 2011-04-01 在全像系統中編碼包括透明物體三維場景之方法及裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW100111705A TWI561941B (en) 2010-04-01 2011-04-01 Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system

Country Status (7)

Country Link
US (2) US9448532B2 (zh)
EP (1) EP2553531B1 (zh)
JP (1) JP6001526B2 (zh)
KR (3) KR101929836B1 (zh)
CN (2) CN102918466B (zh)
TW (3) TWI640850B (zh)
WO (1) WO2011121130A2 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201011829D0 (en) 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
US9179134B2 (en) * 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2499579B (en) 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
FR2986874A1 (fr) * 2012-02-15 2013-08-16 France Telecom Procede de codage de motif holographique, dispositif de codage et programme d'ordinateur correspondants
US8704070B2 (en) * 2012-03-04 2014-04-22 John Beaty System and method for mapping and displaying audio source locations
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
DE102012217800A1 (de) * 2012-09-28 2014-04-03 Carl Zeiss Smt Gmbh Diffraktives optisches Element sowie Messverfahren
TWI456985B (zh) * 2012-10-17 2014-10-11 Vivotek Inc 多攝影機的整合處理系統及其方法
CN104685423B (zh) * 2012-10-23 2017-07-28 李阳 动态立体与全息显示器
GB2509180B (en) 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
KR101996655B1 (ko) * 2012-12-26 2019-07-05 엘지디스플레이 주식회사 홀로그램 표시 장치
KR20140090838A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 홀로그램 영상 표시 장치 및 방법
KR102041425B1 (ko) * 2013-02-05 2019-11-06 엘지전자 주식회사 디스플레이 장치 및 그 동작 방법
DE112014002704A5 (de) 2013-06-06 2016-03-03 Seereal Technologies S.A. Vorrichtung und Verfahren zur Berechnung von Hologrammdaten
KR102188636B1 (ko) 2013-11-28 2020-12-08 삼성전자주식회사 홀로그램 디스플레이를 위한 서브-홀로그램 생성 방법 및 장치
EP3074823B1 (en) * 2013-11-29 2020-11-04 Hewlett-Packard Development Company, L.P. Hologram for alignment
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
CN104869524B (zh) 2014-02-26 2018-02-16 腾讯科技（深圳）有限公司 三维虚拟场景中的声音处理方法及装置
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
US9465361B2 (en) * 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
NZ727361A (en) * 2014-05-30 2020-05-29 Magic Leap Inc Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2015194773A1 (ko) * 2014-06-20 2015-12-23 엘지전자(주) 디스플레이 장치 및 그 구동 방법
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
CN104238996B (zh) * 2014-09-04 2017-08-11 清华大学 源无关量子随机数的产生方法及装置
KR102262214B1 (ko) * 2014-09-23 2021-06-08 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
KR102310994B1 (ko) 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
KR102276252B1 (ko) * 2014-12-29 2021-07-12 엘지디스플레이 주식회사 3d 필터의 부착오차가 보정된 입체영상표시장치 및 부착오차 보정방법
CA2975234C (en) 2015-01-26 2023-07-25 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures
EP3274770A4 (en) * 2015-03-26 2018-10-31 Otoy, Inc. Relightable holograms
US10031479B2 (en) 2015-03-26 2018-07-24 Otoy, Inc. Recording holographic data on reflective surfaces
US10031478B2 (en) 2015-03-26 2018-07-24 Otoy, Inc. Applying holographic effects to prints
KR20170139560A (ko) * 2015-04-23 2017-12-19 오스텐도 테크놀로지스 인코포레이티드 완전 시차 광 필드 디스플레이 시스템들을 위한 방법들 및 장치들
CN104883550B (zh) * 2015-05-04 2017-11-28 联想(北京)有限公司 一种信息处理方法及电子设备
US9736440B2 (en) * 2015-05-26 2017-08-15 Chunghwa Picture Tubes, Ltd. Holographic projection device capable of forming a holographic image without misalignment
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
JP6416408B2 (ja) * 2015-09-28 2018-11-07 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
GB2545226A (en) * 2015-12-09 2017-06-14 Samsung Electronics Co Ltd Determining lighting in a 3D virtual scene
KR102571080B1 (ko) 2016-02-12 2023-08-25 삼성전자주식회사 홀로그래픽 이미지를 처리하는 방법 및 장치
US10310335B2 (en) 2016-02-29 2019-06-04 Microsoft Technology Licensing, Llc Reducing orders of diffraction patterns
US9754376B1 (en) * 2016-03-18 2017-09-05 Chenyang Ge Method and apparatus for generating a structured light speckle encoded pattern
CN109073819A (zh) 2016-04-07 2018-12-21 奇跃公司 用于增强现实的系统和方法
US20170294135A1 (en) * 2016-04-11 2017-10-12 The Boeing Company Real-time, in-flight simulation of a target
EP3443735B1 (en) * 2016-04-12 2024-09-18 Quidient, LLC Quotidian scene reconstruction engine
EP3485322A4 (en) * 2016-07-15 2020-08-19 Light Field Lab, Inc. SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS
US11460572B2 (en) 2016-08-12 2022-10-04 University Of Washington Millimeter wave imaging systems and methods using direct conversion receivers and/or modulation techniques
US10254542B2 (en) 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display
US11555916B2 (en) 2016-12-08 2023-01-17 University Of Washington Millimeter wave and/or microwave imaging systems and methods including examples of partitioned inverse and enhanced resolution modes and imaging devices
US11022939B2 (en) 2017-01-03 2021-06-01 Microsoft Technology Licensing, Llc Reduced bandwidth holographic near-eye display
US10303118B2 (en) * 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
JP7124715B2 (ja) * 2017-01-18 2022-08-24 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
FI3358321T3 (fi) * 2017-02-03 2024-10-04 Wooptix S L Menetelmä ja optinen järjestelmä sähkömagneettisten kenttien aaltorintamien tomografisen jakauman hankkimiseksi
CN106898039B (zh) * 2017-02-23 2020-08-21 京东方科技集团股份有限公司 用于生成计算全息图的方法和系统
CN106990406B (zh) * 2017-03-01 2019-06-25 浙江大学 一种基于嵌入式处理器的三维声学成像实时信号处理装置
US10573056B2 (en) 2017-03-06 2020-02-25 3D Patents, Llc Multi-view processing unit systems and methods
US11510630B2 (en) * 2017-05-11 2022-11-29 Canon Kabushiki Kaisha Display control apparatus, image display method, and non-transitory computer-readable medium
US10712567B2 (en) 2017-06-15 2020-07-14 Microsoft Technology Licensing, Llc Holographic display system
CN107193386B (zh) * 2017-06-29 2020-10-27 联想(北京)有限公司 音频信号处理方法及电子设备
WO2019122295A2 (de) * 2017-12-21 2019-06-27 Seereal Technologies S.A. Anzeigevorrichtung und verfahren zur nachführung eines virtuellen sichtbarkeitsbereichs
EP3740735A4 (en) 2018-01-16 2021-11-24 Pacific Light&Hologram, Inc. THREE DIMENSIONAL DISPLAYS USING ELECTROMAGNETIC FIELDS CALCULATIONS
EP3531213B1 (en) * 2018-02-22 2022-11-16 IMEC vzw An optical device, a system and a method for forming a distribution of a three-dimensional light field
JP7188900B2 (ja) * 2018-03-30 2022-12-13 東京ガスｉネット株式会社 情報処理システム及びプログラム
JP2019179541A (ja) * 2018-03-30 2019-10-17 東京ガスｉネット株式会社 情報処理システム及びプログラム
US10739726B2 (en) * 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
US11796959B2 (en) 2019-01-25 2023-10-24 International Business Machines Corporation Augmented image viewing with three dimensional objects
US10867538B1 (en) * 2019-03-05 2020-12-15 Facebook Technologies, Llc Systems and methods for transferring an image to an array of emissive sub pixels
KR20220045166A (ko) * 2019-08-09 2022-04-12 라이트 필드 랩 인코포레이티드 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템
CN112489667B (zh) * 2019-08-22 2024-09-06 北京声智科技有限公司 音频信号的处理方法和装置
CA3148439A1 (en) * 2019-09-13 2021-03-18 Jonathan Sean KARAFIN Light field display system for adult applications
EP3886046A1 (en) 2020-03-26 2021-09-29 Sony Group Corporation Multi-view positioning using reflections
CN111812956B (zh) * 2020-06-12 2021-07-06 北京邮电大学 基于体数据的计算全息图生成方法、装置和电子设备
WO2022033996A2 (de) 2020-08-10 2022-02-17 Seereal Technologies S.A. Vorrichtung und verfahren zur berechnung von hologrammdaten
US11360429B2 (en) 2020-09-17 2022-06-14 Pacific Light & Hologram, Inc. Reconstructing objects with display zero order light suppression
KR102453237B1 (ko) * 2021-09-24 2022-10-11 (주)멀틱스 증강 현실 홀로그램 가상 수족관 시스템
CN114679549B (zh) * 2022-05-27 2022-09-02 潍坊幻视软件科技有限公司 一种跨平台视频通信方法
CN116165864B (zh) * 2023-04-25 2023-07-18 北京至格科技有限公司 一种用于增强现实的二值层析三维场景实现方法及系统
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10288938A (ja) 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> 計算機ホログラム生成方法並びに装置
TW409230B (en) * 1998-01-16 2000-10-21 Ind Tech Res Inst Hologram false-preventing recognition structure and the method thereof
GB0223119D0 (en) * 2002-10-05 2002-11-13 Holographic Imaging Llc Reconfigurable spatial light modulators
CN101349889B (zh) * 2002-11-13 2012-04-25 希瑞尔技术有限公司 视频全息图和用于重构大物体的视频全息图的装置
TWI231076B (en) 2003-04-29 2005-04-11 Univ Nat Chiao Tung Evanescent-field optical amplifiers and lasers
US7030887B2 (en) 2003-09-12 2006-04-18 Microsoft Corporation Methods and systems for transparent depth sorting
JP2005300697A (ja) * 2004-04-08 2005-10-27 Sumitomo Chemical Co Ltd 計算機合成ホログラムを用いた光学素子、導光板、バックライト及び液晶表示装置
DE102004044111B4 (de) * 2004-09-08 2015-05-07 Seereal Technologies Gmbh Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
US7337168B1 (en) * 2005-09-12 2008-02-26 Storgae Technology Corporation Holographic correlator for data and metadata search
US7461092B1 (en) * 2005-09-12 2008-12-02 Storage Technology Corporation Content organization and storage method for storing holographic search database
JP4675805B2 (ja) 2006-03-15 2011-04-27 大日本印刷株式会社 ホログラム記録媒体の作成方法
US20100073744A1 (en) * 2006-09-01 2010-03-25 Seereal Technologies S.A. Method for Generating Video Holograms in Real Time by Means of Subholograms
WO2008025841A1 (de) * 2006-09-01 2008-03-06 Seereal Technologies S.A. Holografische kodiereinheit zum generieren von videohologrammen
DE102006042467A1 (de) * 2006-09-09 2008-03-27 Seereal Technologies S.A. Verfahren und Vorrichtung zur Kodierung von computergenerierten Hologrammen in pixelierten Lichtmodulatoren
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
DE102007005822A1 (de) * 2007-01-31 2008-08-07 Seereal Technologies S.A. Holographisches Rekonstruktionssystem mit optischer Wellennachführung
CN101226325B (zh) * 2008-02-03 2010-06-02 李志扬 基于随机相长干涉的三维显示方法及装置
US8243970B2 (en) * 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
DE102008046511A1 (de) * 2008-09-10 2010-03-11 Giesecke & Devrient Gmbh Darstellungsanordnung

Also Published As

Publication number Publication date
WO2011121130A2 (en) 2011-10-06
TW201809929A (zh) 2018-03-16
CN106933082A (zh) 2017-07-07
KR20130085941A (ko) 2013-07-30
TWI561941B (en) 2016-12-11
US20130022222A1 (en) 2013-01-24
TWI640850B (zh) 2018-11-11
US10520889B2 (en) 2019-12-31
JP6001526B2 (ja) 2016-10-05
WO2011121130A9 (en) 2012-02-02
CN106933082B (zh) 2021-03-12
KR20180133950A (ko) 2018-12-17
TW201706734A (zh) 2017-02-16
KR101993573B1 (ko) 2019-06-26
KR101929836B1 (ko) 2018-12-18
KR101812302B1 (ko) 2017-12-27
KR20170143014A (ko) 2017-12-28
EP2553531B1 (en) 2019-10-16
CN102918466B (zh) 2016-11-16
JP2013524270A (ja) 2013-06-17
US9448532B2 (en) 2016-09-20
US20170038728A1 (en) 2017-02-09
CN102918466A (zh) 2013-02-06
TW201205211A (en) 2012-02-01
WO2011121130A3 (en) 2011-12-08
EP2553531A2 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
TWI599861B (zh) 在全像系統中編碼包括透明物體三維場景之方法及裝置
Blinder et al. Signal processing challenges for digital holographic video display systems
Hong et al. Three-dimensional display technologies of recent interest: principles, status, and issues
US7513623B2 (en) System and methods for angular slice true 3-D display
US8075138B2 (en) System and methods for angular slice true 3-D display
Yang et al. See in 3D: state of the art of 3D display technologies
TWI390369B (zh) 減少光斑的方法和裝置
US20070081207A1 (en) Method and arrangement for combining holograms with computer graphics
Agus et al. GPU accelerated direct volume rendering on an interactive light field display
Zschau et al. Generation, encoding, and presentation of content on holographic displays in real time
KR20120118622A (ko) 디지털 홀로그램 콘텐츠 서비스 방법 및 장치
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
Barabas Holographic television: measuring visual performance with holographic and other 3D television technologies
CN107976888B (zh) 能够表示再现像遮挡关系的计算全息三维显示方法及系统
Yang Advanced algorithmic approaches for improving image quality in 2D and 3D holographic displays
Chatterjee et al. Autostereoscopic, partial pixel, spatially multiplexed, and other 3D display technologies
KR20120123221A (ko) 홀로그래픽 재생 장치 및 방법
KR20230081263A (ko) 플로팅 라이트필드 기반의 5g 네트워크 연동 멀티 레이어 홀로그램 영상 재생 시스템
Agus et al. Recent results in rendering massive models on horizontal parallax-only light field displays
Zschau Generation, encoding and presentation of co Page 1 Citation: Enrico Zschau, Robert Missbach, Alexander Schwerdtner, Hagen Stolle
Yaroslavsky How Computer-Generated Holograms Can Contribute To 3-D Imaging?