TWI797581B - 顯示裝置和系統 - Google Patents

顯示裝置和系統 Download PDF

Info

Publication number
TWI797581B
TWI797581B TW110110226A TW110110226A TWI797581B TW I797581 B TWI797581 B TW I797581B TW 110110226 A TW110110226 A TW 110110226A TW 110110226 A TW110110226 A TW 110110226A TW I797581 B TWI797581 B TW I797581B
Authority
TW
Taiwan
Prior art keywords
core
image
data stream
values
pixel values
Prior art date
Application number
TW110110226A
Other languages
English (en)
Other versions
TW202147046A (zh
Inventor
史提格 麥卡 歌林
Original Assignee
英商恩維世科斯有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英商恩維世科斯有限公司 filed Critical 英商恩維世科斯有限公司
Publication of TW202147046A publication Critical patent/TW202147046A/zh
Application granted granted Critical
Publication of TWI797581B publication Critical patent/TWI797581B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/0252—Laminate comprising a hologram layer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/365—Image reproducers using digital micromirror devices [DMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32—Systems for obtaining speckle elimination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2223—Particular relationship between light source, hologram and observer
    • G03H2001/2231—Reflection reconstruction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/20—Nature, e.g. e-beam addressed
    • G03H2225/22—Electrically addressed SLM [EA-SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/52—Reflective modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/62—Sampling aspect applied to sensor or display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2250/00—Laminate comprising a hologram layer
    • G03H2250/38—Liquid crystal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本發明揭示一種影像處理引擎及使用資料串流傳輸形成用於投影之目標影像之全像圖的方法。使用核心對輸入或初級影像進行次取樣，且輸出之次級影像用於產生該目標影像之全像圖。一種使用複數個兩個或多於兩個資料串流進行核心次取樣之技術提供效率改良，包括減少之資料儲存要求及增加之處理速度。

Description

顯示裝置和系統
本發明係關於一種影像處理器及用於處理影像以供全像投影之方法。本發明進一步係關於一種全像投影器、一種全像投影系統、一種全像投影影像之方法及一種全像投影視訊影像之方法。一些具體實例係關於一種抬頭顯示器(head-up display)以及一種光偵測及測距系統。
自物件散射之光含有振幅及相位資訊兩者。可藉由熟知之干涉技術在例如感光板上捕獲此振幅及相位資訊，以形成包含干涉條紋之全像記錄或「全像圖」。可藉由用合適的光進行照明來重建構全像圖，以形成表示原始物件之二維或三維全像重建構或重播影像。
電腦產生之全像術可在數值上模擬干涉程序。可藉由基於諸如菲涅爾(Fresnel)或傅立葉(Fourier)變換之數學變換的技術來計算電腦產生之全像圖。此等類型之全像圖可被稱作菲涅爾/傅立葉變換全像圖或簡稱為菲涅爾/傅立葉全像圖。傅立葉全像圖可被視為物件之傅立葉域/平面表示或物件之頻域/平面表示。亦可藉由例如相干射線追蹤或點雲技術來計算電腦產生之全像圖。
可在經配置以調變入射光之振幅及/或相位的空間光調變器上編碼電腦產生之全像圖。舉例而言，光調變可使用電可定址液晶、光學可定址液晶或微鏡來達成。
空間光調變器典型地包含複數個可個別定址像素，其亦可被稱作 胞元或元件。光調變方案可為二元的、多層級的或連續的。替代地，裝置可為連續的(亦即不包含像素)，且因此跨越該裝置之光調變可為連續的。空間光調變器可為反射的，此意謂調變光以反射方式輸出。空間光調變器同樣可為透射的，此意謂調變光以透射方式輸出。
可使用本文中描述之系統提供全像投影器。此類投影器可應用於例如抬頭顯示器「HUD」及頭戴式顯示器「HMD」，包括近眼裝置。
移動的漫射器可用以改良諸如全像投射器的使用相干光之裝置中的影像品質。
本發明之態樣在隨附獨立申請專利範圍中加以定義。
本發明揭示一種影像處理引擎及使用資料串流傳輸形成用於投影之目標影像之全像圖的方法。特定言之，如下文更詳細地描述，可使用核心對輸入或初級影像(其可為目標影像之按比例擴大及/或經修改版本)進行次取樣，且次級影像可經輸出且用於產生目標影像之全像圖。如本文中所描述，使用複數個兩個或多於兩個資料串流進行核心次取樣之技術提供效率改良，包括減少之資料儲存要求(例如，記憶體及/或緩衝器容量)及增加之處理速度。
習知地，儲存核心次取樣之整個初級影像資料需要較大資料儲存區域。需要隨機記憶體存取來存取每一預期核心操作所需的所有像素之初級影像資料。此外，視訊速度處理需要緩衝影像資料之至少一部分，特定言之，至少緩衝開始處理以及其後之每一處理階段處所必需的資料輸入項(影像像素值)。所需緩衝容量因此取決於輸入資料(初級影像)之大小，而非輸出資料(次級影像)之大小。
對於全像影像投影，為了達成影像(全像重建構)之所要解析度， 可「按比例放大(upscaled)」用於投影之目標影像以形成具有像素數目增加的源影像。另外，源影像可經修改以形成中間影像(例如，所謂的「翹曲影像」)以便校正如此項技術中已知的由投影器之光學重播系統之光學組件引起的影像失真(翹曲)。按比例擴大之源影像或自其導出之中間影像可做為用於核心次取樣之初級影像使用。因此，初級影像之大小(解析度/像素數目)且因此資料的量可為次級影像之大小的多倍。因此，對初級影像進行核心次取樣以產生次級影像需要大量資料儲存及緩衝容量。
根據本發明，使用資料串流傳輸來減少用以使用核心對初級影像進行次取樣以判定用於全像圖計算之輸出影像的資料儲存及緩衝容量之量。
初級影像的像素值之第一資料串流可與核心的核心值之第二資料串流同步，使得每一像素值與複數個核心取樣位置處的核心操作之對應核心值配對。在第二資料串流內針對每一核心取樣位置重複核心值。因此，第一資料串流中的初級影像之像素值與第二資料串流之核心值之間存在一對多相關性。另外，第二資料串流中的核心之每一列核心值與第一資料串流中的初級影像之複數列影像像素配對。
在一些具體實例中，一種資料串流傳輸引擎經組態以執行資料串流傳輸程序。特定言之，資料串流傳輸引擎可藉由逐列讀取初級影像的像素之像素值來形成第一資料串流。舉例而言，像素值可以光柵掃描次序逐像素讀取。同時，資料串流傳輸引擎可使用以下步驟形成具有m列的核心之核心值之第二資料串流：(i)重複地讀取核心的第一列之核心值複數次；(ii)重複地讀取核心的下一列之核心值複數次；(iii)迭代地重複步驟(ii)(m-2)次；(iv)返回至步驟(i)；及(v)當第一資料串流中不再存在像素值時，停止步驟(i)至(iv)。時鐘計數器可用於使第一資料串流及第二資料串流中之值同步。
在一些具體實例中，影像處理引擎經組態以執行核心操作及緩衝 程序。特定言之，核心操作在複數個核心取樣位置處執行。對於初級影像的每一列像素，核心操作處理與核心取樣位置相關聯的第一資料串流及第二資料串流的值的同步對，以導出用於輸出至緩衝器的各別累加(部分)像素值。藉由將累加(部分)像素值儲存於緩衝器中之連續位置中來執行緩衝程序。自處理初級影像的一列像素輸出至緩衝器的累加(部分)像素值可形成第三資料串流，所述第三資料串流經提供為用於處理初級影像的下一列像素以導出經更新累加(部分)像素值的回饋。可逐列重複反饋程序，直至已針對相同複數個核心取樣位置(亦即，在核心取樣位置之同一列或線中)處理初級影像之最後一列像素為止。輸出至緩衝器的累加像素值隨後為次級影像的列的全或全部像素值。因此，可逐列產生及輸出次級影像之像素列。有利地，次級影像之像素列可即時地串流傳輸至全像圖引擎以用於計算對應於次級影像之全像圖。因此，有可能在已導出次級影像之所有像素之前開始全像圖計算。
在一些實例中，具有m列及n行之核心在光柵掃描路徑中移動，其中在x方向上之步幅為n個像素且在y方向上之步幅為m個像素。因此，核心窗口對初級影像之相鄰m×n像素陣列進行次取樣。在此等實例中，第一資料串流可藉由按光柵掃描次序逐像素讀取初級影像像素之像素值而形成。此簡化用於形成第一資料串流的資料串流傳輸程序。
在實施中，資料串流可允許自初級影像判定次級影像且判定同時執行之對應全像圖，進而提高處理速度。特定言之，經判定用於次級影像之像素值可即時串流傳輸至全像圖引擎，如下文進一步描述。提高之處理速度使得有可能在視訊串流中顯示影像之更大數目的全像圖(亦即，使用更大數目的次級影像或子圖框)。藉由在人眼之整合時間內顯示更大數目的影像，觀看者所見之全像重建構(全像影像)之品質得以改良。
在一些實施中，可藉由使用不同次取樣方案對同一源影像進行次 取樣來判定多個次級影像。舉例而言，複數個不同核心及/或核心取樣位置可用於判定複數個不同次級影像。該複數個不同次級影像可用於產生用於投影該目標影像之對應複數個全像圖。舉例而言，在人眼之整合時間內，複數個不同全像圖可依序顯示於空間光調變器上，且空間光調變器可經照明以在用於投影及觀看之重放平面處形成一連串全像重建構。發現表示用於投影之同一目標影像之多個不同全像圖的顯示可導致觀看者所見之影像的品質改良。
術語「全像圖」用以指含有關於物件之振幅資訊或相位資訊或其某一組合的記錄。術語「全像重建構」用以指藉由照明全像圖形成的物件之光學重建構。本文中所揭示之系統被描述為「全像投影器」，此係因為全像重建構係真實影像且與全像圖在空間上分離。術語「重播場」用以指在其內形成且完全聚焦全像重建構的2D區域。若在包含像素之空間光調變器上顯示全像圖，則重播場將以複數個繞射階之形式重複，其中每一繞射階係零階重播場之複本。零階重播場通常對應於較佳或主要重播場，此係因為其係最亮的重播場。除非另外明確陳述，否則術語「重播場」應被視為係指零階重播場。術語「重播平面」用以指含有所有重播場之空間中之平面。術語「影像」、「重播影像」及「影像區」係指由全像重建構之光照明的重播場之區域。在一些具體實例中，「影像」可包含離散光點，其可被稱作「影像光點」或僅出於方便起見被稱作「影像像素」。
術語「編碼」、「寫入」或「定址」用以描述向SLM之複數個像素提供分別判定每一像素之調變位準的各別複數個控制值的程序。可稱SLM之像素經組態以回應於接收到複數個控制值而「顯示」光調變分佈。因此，可稱SLM「顯示」全像圖，且該全像圖可被視為光調變值或位準之陣列。
已發現，具有可接受品質之全像重建構可由僅含有與原始物件之傅立葉變換相關之相位資訊的「全像圖」形成。此類全像記錄可被稱作純相位全像圖。具體實例係關於純相位全像圖，但本發明同樣適用於純振幅全像術。
本發明亦同樣適用於使用與原始物件之傅立葉變換相關之振幅及相位資訊來形成全像重建構。在一些具體實例中，此係藉由使用含有與原始物件相關之振幅及相位資訊兩者之所謂的全複全像圖之複合調變來達成。此類全像圖可被稱作全複全像圖，此係因為指派給全像圖之每一像素的值(灰階)具有振幅及相位分量。指派給每一像素的值(灰階)可表示為具有振幅及相位分量兩者之複數。在一些具體實例中，計算全複的電腦產生之全像圖。
可參考相位值、相位分量、相位資訊或簡單地將電腦產生之全像圖或空間光調變器之像素的相位作為「相位延遲」的簡寫。亦即，所描述之任何相位值實際上為表示藉由那個像素提供的相位延遲之量的數目(例如在0至2π範圍內)。舉例而言，描述為具有π/2之相位值的空間光調變器之像素將延遲所接收光之相位π/2弧度。在一些具體實例中，空間光調變器之每一像素可以複數個可能調變值(例如相位延遲值)中之一者操作。術語「灰階」可用以指複數個可用調變位準。舉例而言，為方便起見，術語「灰階」可用以指代純相位調變器中之複數個可用相位位準，儘管不同相位位準並不提供不同灰度級。為方便起見，術語「灰階」亦可用以指代複合調變器中之複數個可用複合調變位準。
全像圖因此包含灰階之陣列，亦即光調變值之陣列，諸如相位延遲值或複合調變值之陣列。全像圖亦被視為繞射圖案，此係因為其為當顯示於空間光調變器上且用波長與空間光調變器之像素間距相當(通常小於該像素間距)之光照明時引起繞射的圖案。本文中對組合全像圖與其他繞射圖案(諸如充當透鏡或光柵之繞射圖案)進行參考。舉例而言，充當光柵之繞射圖案可與全像圖組合以在重播平面上平移重播場，或充當透鏡之繞射圖案可與全像圖組合以將全像重建構聚焦於近場中之重播平面上。
術語「目標影像」在本文中用以指代用於投影之所要影像。亦即，目標影像為全像系統需要投影至全像重播平面上之影像。目標影像可為靜態影 像或諸如影像之視訊速率序列的一連串影像中之一個影像(或影像圖框)。
術語「源影像」在本文中用以指代自目標影像導出之影像。源影像可與目標影像相同，或源影像可為目標影像之高解析度版本或按比例擴大版本。特定言之，源影像可為目標影像之按比例擴大版本，以便增加其解析度(就像素之數目而言)。亦即，源影像可包含比目標影像更多的像素。可採用任何按比例放大技術。在一些具體實例中，按比例擴大包含重複目標影像之像素值，如實施方式中所描述。在此等具體實例中，用於按比例擴大目標影像之運算引擎可使用簡單映射方案來表示重複。
另外，源影像可經修改例如以考慮由全像投影器之光學組件引起的失真。在此情況下，源影像為自源影像導出之「中間影像」。在具體實例之描述中，術語「中間影像」在本文中用以指例如根據翹曲映射而自源影像導出之影像。
術語「初級影像」在本文中用以指如本文所描述經次取樣之影像。初級影像可為(1)源影像或(2)自源影像導出之中間影像。
術語「次級影像」在本文中用以指代自初級影像導出之影像。如本文中所描述，可自個別初級影像導出複數個次級影像。各次級影像係藉由對初級影像進行次取樣(亦稱作「下取樣」)而形成。每一次級影像包含比源影像更少的像素。可視情況使用如實施方式中所描述之加權技術，自初級影像之若干像素值(例如，像素群或陣列)計算次級影像之每一像素值。值得注意的是，用以自目標影像形成源影像之按比例擴大程序不同於用以自初級影像形成各次級影像之次取樣技術。次級影像各自不同於初級影像，但視情況其可具有相同數目的像素。計算對應於每一次級影像之全像圖。
術語「輸出影像」在本文中亦用以指藉由對初級影像進行次取樣而導出之「次級影像」，此係因為其係自影像處理引擎輸出至全像圖引擎以供使 用如本文中所描述之適當演算法來計算全像圖。除非另外說明，否則術語「目標影像」、「初級影像」、「源影像」、「中間影像」及「次級/輸出影像」在本文中用以指包含表示各別影像之像素值(或其類似者)的影像資料(作為其簡寫)。
儘管不同具體實例及具體實例之群可在以下實施方式中單獨地揭示，但任何具體實例或具體實例之群的任何特徵可與任何具體實例或具體實例之群的任何其他特徵或特徵之組合進行組合。亦即，設想本發明中所揭示之特徵之所有可能組合及排列。
90:第一資料串流
92:第二資料串流
94:基本核心程序
96:輸出緩衝器
98:第三資料串流
110:光源
111:準直透鏡
112:出射波前
120:傅立葉變換透鏡
122:輸出串流
124:反資料串流
125:螢幕
126:除法單元
140:空間光調變器
202A:資料形成步驟
202B:資料形成步驟
210:輸入影像
211:幅度值分佈
211A:幅度值分佈
211B:新幅度值分佈
213A:相位值分佈
230:隨機相位分佈
250:第一處理區塊
253:第二處理區塊
256:第三處理區塊
258:處理區塊
259:第四處理區塊
280A:全像圖
280B:第二迭代全像圖
301:電極
301a:間隙
302:基板
302a:電路
303:對準層
304:液晶層
305:第二對準層
306:透明層
307:透明電極
308:相位調變元件
910:光源
920:影像源
925:重播平面
930:控制器
940:空間光調變器
950:影像處理引擎
952:資料串流傳輸引擎
955:次級影像產生器
960:全像圖引擎
970:拼接引擎
980:資料圖框產生器
990:顯示引擎
992:全像圖提取器
994:軟體光學件
1100:方法
1105:步驟
1106:步驟
1108:步驟
1110:步驟
1112:步驟
1120:步驟
1130:步驟
1140:步驟
1156:步驟
1158:步驟
1160:步驟
1162:步驟
1170:步驟
1180:步驟
1185:步驟
1190:步驟
1195:步驟
1200:方法
1205:步驟
1210:步驟
1220:步驟
1222:步驟
1224:步驟
1230:步驟
1232:步驟
1240:步驟
1250:步驟
1252:步驟
1260:步驟
1270:步驟
1272:步驟
1274:步驟
1280:步驟
1285:步驟
僅作為實例參考下圖描述特定具體實例：[圖1]為示出在螢幕上產生全像重建構之反射SLM的示意圖；[圖2A]示出實例戈爾柏格-沙克斯頓(Gerchberg-Saxton)類型演算法之第一迭代；[圖2B]示出實例戈爾柏格-沙克斯頓類型演算法之第二及後續迭代；[圖2C]示出實例戈爾柏格-沙克斯頓類型演算法之替代性第二及後續迭代；[圖3]為反射LCOS SLM之示意圖；[圖4A及圖4B]示出根據具體實例之使用在兩個連續取樣位置處操作之4×4核心對初級影像進行次取樣以導出輸出影像的實例技術；[圖5A]示出用於圖4A及圖4B之技術的通用核心，且圖5B示出具有核心值或權重之實例核心；[圖6]示意地示出根據具體實例之對初級影像之像素資料進行資料串流傳輸以供使用核心進行次取樣的方法；[圖7]示出根據具體實例之對初級影像之第一列的影像像素資料之輸入資料串流執行的圖6之核心次取樣程序及提供至緩衝器的值之輸出資料串流； [圖8]示意地示出根據具體實例之圖7中所示出的值之輸出資料串流如何用作作為回饋提供至核心次取樣程序的部分像素值；[圖9]示出根據具體實例之對初級影像之第二列的影像像素資料之輸入資料串流(其接收作為回饋的圖7之程序之輸出資料值)執行的核心次取樣程序及提供至緩衝器的值之輸出資料串流；[圖10]示出根據具體實例之對初級影像之最後一列的影像像素資料之輸入資料串流(其接收作為回饋的對初級影像之前一列的像素值執行的程序之輸出資料值)執行的核心次取樣程序及對應於次級影像的完全(或完整)像素值之串流之輸出；[圖11]示出根據具體實例之用於核心次取樣程序之資料串流傳輸程序的流程圖，其中像素值之資料串流與核心值之資料串流同步；[圖12]示出根據具體實例之核心操作及緩衝程序的流程圖，該核心操作及緩衝程序包含藉助於像素值及核心值之資料串流逐列地將值輸入至核心次取樣程序，其中每一列之次取樣程序的輸出值經緩衝為部分像素值且作為回饋提供至用於下一列之次取樣程序，且[圖13]為示出根據具體實例之全像投影器之示意圖。
通篇圖式將使用相同元件符號指代相同或類似部件。
本發明並不限於下文描述之具體實例，而是擴展至所附申請專利範圍之完整範圍。亦即，本發明可以不同形式具體實現，且不應被解釋為限於為了說明之目的而陳述的所描述具體實例。
除非另外規定，否則單數形式之術語可包括複數形式。
描述為形成於另一結構之上部部分/下部部分處或其他結構上/下 的結構應視為包括其中這些結構彼此接觸的情況，及此外其中第三結構安置在其之間的情況。
在描述時間關係時，例如，當事件之時間順序描述為「之後」、「後續」、「接下來」、「之前」或諸如此類時，除非另外規定，否則本發明應被視為包括連續及非連續事件。舉例而言，本說明書應被視為包括不連續之情況，除非使用諸如「剛剛」、「立即」或「直接」之措辭。
儘管術語「第一」、「第二」等可在本文中用以描述各種元件，但此等元件並不受此等術語限制。此等術語僅用以將一個元件與另一元件區分開來。舉例而言，在不脫離所附申請專利範圍之範圍的情況下，可將第一元件稱為第二元件，且類似地，可將第二元件稱為第一元件。
不同具體實例之特徵可部分或整體彼此耦接或組合，且可以不同方式彼此互相操作。一些具體實例可彼此獨立地進行，或可以相互依賴關係一起進行。
光學組態
圖1示出其中在單一空間光調變器上編碼電腦產生之全像圖的具體實例。電腦產生之全像圖係用於重建構之物件的傅立葉變換。因此可稱全像圖為物件之傅立葉域或頻域或光譜域表示。在此具體實例中，空間光調變器為反射矽上液晶「liquid crystal on silicon，LCOS」裝置。全像圖經編碼於空間光調變器上且全像重建構形成於重播場，例如諸如螢幕或漫射器之光接收表面處。
光源110(例如雷射器或雷射二極體)經安置以經由準直透鏡111照明SLM 140。準直透鏡使光之大體上平面波前入射於SLM上。在圖1中，波前之方向係偏離法線(例如偏離真正正交於透明層之平面的方向二或三度)。然而，在其他具體實例中，大體上平面波前係以垂直入射提供且光束分光器配置用以分開輸入及輸出光學路徑。在圖1中所示出之具體實例中，配置係使得來自光源 之光自SLM之鏡像後表面反射且與光調變層相互作用以形成出射波前112。出射波前112施加至包括傅立葉變換透鏡120之光學件，其聚焦處於螢幕125處。更特定言之，傅立葉變換透鏡120自SLM 140接收調變光之光束並執行頻率-空間變換以在螢幕125處產生全像重建構。
值得注意的是，在此類型之全像術中，全像圖之每一像素促成整個重建構。在重播場上之特定點(或影像像素)與特定光調變元件(或全像圖像素)之間不存在一對一相關性。換言之，射出光調變層之調變光跨越重播場分佈。
在此等具體實例中，全像重建構在空間中之位置係由傅立葉變換透鏡之屈光(聚焦)功率確定。在圖1中所示之具體實例中，傅立葉變換透鏡為實體透鏡。亦即，傅立葉變換透鏡為光學傅立葉變換透鏡且以光學方式執行傅立葉變換。任何透鏡皆可充當傅立葉變換透鏡，但透鏡之效能將限制其執行的傅立葉變換之準確度。所屬領域中具通常知識者理解如何使用透鏡來執行光學傅立葉變換。
全像圖計算
在一些具體實例中，電腦產生之全像圖為傅立葉變換全像圖，或簡稱傅立葉全像圖或基於傅立葉之全像圖，其中藉由利用正透鏡之傅立葉變換性質而在遠場中重建構影像。藉由將重播平面中之所要光場傅立葉變換回透鏡平面來計算傅立葉全像圖。可使用傅立葉變換來計算電腦產生之傅立葉全像圖。
可使用諸如戈爾柏格-沙克斯頓(Gerchberg-Saxton)演算法之演算法來計算傅立葉變換全像圖。此外，戈爾柏格-沙克斯頓演算法可用以根據空間域中之純振幅資訊(諸如相片)計算傅立葉域中之全像圖(亦即傅立葉變換全像圖)。自空間域中之純振幅資訊有效地「擷取」與物件相關之相位資訊。在一些具體實例中，使用戈爾柏格-沙克斯頓演算法或其變體自純振幅資訊計算電腦產生之全像圖。
戈爾柏格-沙克斯頓演算法考慮當分別在平面A及B中之光束之強度橫截面IA(x,y)及IB(x,y)係已知的且IA(x,y)及IB(x,y)藉由單一傅立葉變換相關時的情形。在給定強度橫截面情況下，分別發現平面A及B中之相位分佈的近似值ψA(x,y)及ψB(x,y)。戈爾柏格-沙克斯頓演算法藉由遵循迭代程序發現此問題之解決方案。更特定言之，戈爾柏格-沙克斯頓演算法迭代地應用空間及光譜約束，同時在空間域與傅立葉(光譜或頻率)域之間重複地傳送表示IA(x,y)及IB(x,y)之資料集合(振幅及相位)。經由演算法之至少一次迭代獲得光譜域中之對應的電腦產生之全像圖。演算法係收斂的且經配置以產生表示輸入影像之全像圖。全像圖可為純振幅全像圖、純相位全像圖或全複全像圖。
在一些具體實例中，使用基於諸如英國專利2,498,170或2,501,112中所描述的戈爾柏格-沙克斯頓演算法之演算法來計算純相位全像圖，這些專利之全文特此係以引用方式併入。然而，僅作為實例，本文所揭示之具體實例描述計算純相位全像圖。在此等具體實例中，戈爾柏格-沙克斯頓演算法擷取產生已知振幅資訊T[x,y]的資料集合之傅立葉變換之相位資訊ψ[u,v]，其中振幅資訊T[x,y]表示目標影像(例如相片)。由於幅度及相位固有地組合於傅立葉變換中，因此所變換量值及相位含有關於所計算資料集合之準確度的適用資訊。因此，可運用對振幅及相位資訊兩者之回饋迭代地使用演算法。然而，在此等具體實例中，僅相位資訊ψ[u,v]用作全像圖，以形成影像平面處之目標影像之全像表示。全像圖為相位值之資料集合(例如2D陣列)。
在其他具體實例中，基於戈爾柏格-沙克斯頓演算法之演算法用以計算全複全像圖。全複全像圖為具有幅度分量及相位分量之全像圖。全像圖為包含複合資料值之陣列的資料集合(例如2D陣列)，其中每一複合資料值包含幅度分量及相位分量。
在一些具體實例中，演算法處理複合資料且傅立葉變換為複合傅 立葉變換。複合資料可被視為包含(i)實分量及虛分量或(ii)幅度分量及相位分量。在一些具體實例中，在演算法之各個階段以不同方式處理複合資料之兩個分量。
圖2A示出用於計算純相位全像圖的根據一些具體實例之演算法的第一迭代。演算法之輸入為包含像素或資料值之2D陣列的輸入影像210，其中每一像素或資料值為幅度或振幅值。亦即，輸入影像210的每一像素或資料值不具有相位分量。輸入影像210因此可被視為純幅度或純振幅或純強度分佈。此輸入影像210之實例為相片或包含圖框之時間序列的視訊之一個圖框。演算法之第一迭代開始於資料形成步驟202A，該步驟包含使用隨機相位分佈(或隨機相位種子)230將隨機相位值指派給輸入影像之每一像素以形成起始複合資料集合，其中集合之每一資料元素包含幅度及相位。可稱起始複合資料集合表示空間域中之輸入影像。
第一處理區塊250接收起始複合資料集合並執行複合傅立葉變換以形成傅立葉變換之複合資料集合。第二處理區塊253接收傅立葉變換之複合資料集合並輸出全像圖280A。在一些具體實例中，全像圖280A為純相位全像圖。在此等具體實例中，第二處理區塊253量化每一相位值且將每一振幅值設定為一以便形成全像圖280A。每一相位值根據相位位準進行量化，這些相位位準可在將用以「顯示」純相位全像圖之空間光調變器之像素上表示。舉例而言，若空間光調變器之每一像素提供256個不同相位位準，則將全像圖之每一相位值量化成256個可能相位位準中之一個相位位準。全像圖280A為表示輸入影像之純相位傅立葉全像圖。在其他具體實例中，全像圖280A為全複全像圖，其包含自所接收的傅立葉變換之複合資料集合導出的複合資料值(各自包括振幅分量及相位分量)之陣列。在一些具體實例中，第二處理區塊253將每一複合資料值限制於複數個可允許複合調變位準中之一者以形成全像圖280A。限制步驟可包括將每一 複合資料值設定成複合平面中之最接近可允許複合調變位準。可稱全像圖280A表示光譜域或傅立葉域或頻域中之輸入影像。在一些具體實例中，演算法此時停止。
然而，在其他具體實例中，演算法如圖2A中之虛線箭頭所表示繼續。換言之，遵循圖2A中之虛線箭頭的步驟係視情況存在的(亦即並非所有具體實例所必需的)。
第三處理區塊256自第二處理區塊253接收經修改複合資料集合並執行反傅立葉變換以形成反傅立葉變換之複合資料集合。可稱反傅立葉變換之複合資料集合表示空間域中之輸入影像。
第四處理區塊259接收反傅立葉變換之複合資料集合並提取幅度值分佈211A及相位值分佈213A。視情況，第四處理區塊259評估幅度值分佈211A。特定言之，第四處理區塊259可將反傅立葉變換之複合資料集合之幅度值分佈211A與輸入影像510進行比較，該輸入影像自身當然為幅度值分佈。若幅度值分佈211A與輸入影像210之間的差值足夠小，則第四處理區塊259可判定全像圖280A係可接受的。亦即，若幅度值分佈211A與輸入影像210之間的差值足夠小，則第四處理區塊259可判定全像圖280A足夠準確表示輸入影像210。在一些具體實例中，反傅立葉變換之複合資料集合之相位值分佈213A出於比較之目的而忽略。應瞭解，可使用用於比較幅度值分佈211A與輸入影像210的任意數量的不同方法，且本發明不限於任何特定方法。在一些具體實例中，計算均方差，且若均方差小於臨限值，則全像圖280A視為可接受。若第四處理區塊259判定全像圖280A為不可接受的，則可執行演算法之另一迭代。然而，此比較步驟並非必需的，且在其他具體實例中，所執行演算法之迭代的數目經預定或預設或使用者定義。
圖2B表示演算法之第二迭代及演算法之任何其他迭代。經由演 算法之處理區塊回饋前一迭代之相位值分佈213A。幅度值分佈211A被拒絕，以促進輸入影像210之幅度值分佈。在第一迭代中，資料形成步驟202A藉由組合輸入影像210之幅度值分佈與隨機相位分佈230而形成第一複合資料集合。然而，在第二及後續迭代中，資料形成步驟202B包含藉由組合(i)來自演算法之前一迭代的相位值分佈213A與(ii)輸入影像210之幅度值分佈而形成複合資料集合。
接著以與參考圖2A描述之相同方式處理藉由圖2B之資料形成步驟202B形成的複合資料集合以形成第二迭代全像圖280B。因此，此處不重複對過程之解釋。演算法可在已計算第二迭代全像圖280B時停止。然而，可執行演算法之任何數量的其他迭代。應理解，若需要第四處理區塊259或需要另一迭代，則僅需要第三處理區塊256。輸出全像圖280B通常隨著每一迭代而變得更佳。然而，在實踐中通常達到以下要點：未觀測到可量測改良或執行另一迭代之正面益處比額外處理時間之負面效應更重要。因此，演算法被描述為迭代及收斂的。
圖2C表示第二及後續迭代之替代性具體實例。經由演算法之處理區塊回饋前一迭代之相位值分佈213A。幅度值分佈211A被拒絕，以促進替代性幅度值分佈。在此替代性具體實例中，替代性幅度值分佈係自前一迭代之幅度值分佈211導出。特定言之，處理區塊258自前一迭代之幅度值分佈211減去輸入影像210之幅度值分佈，以增益因數α按比例調整那個差值，且自輸入影像210減去該按比例調整之差值。此在數學上藉由以下方程式表示，其中下標文字及數字指示迭代數目：R n+1[x,y]=F'{exp(iψ n [u,v])}ψ n [u,v]=∠F{η．exp(i∠R n [x,y])}η=T[x,y]-α(｜R n [x,y]｜-T[x,y])
其中：F'為反傅立葉變換；F為正傅立葉變換； R[x,y]為由第三處理區塊256輸出之複合資料集合；T[x,y]為輸入或目標影像；∠為相位分量；ψ為純相位全像圖280B；η為新幅度值分佈211B；且α為增益因數。
增益因數α可為固定或可變的。在一些具體實例中，增益因數α係基於傳入目標影像資料之大小及速率而確定。在一些具體實例中，增益因數α取決於迭代數目。在一些具體實例中，增益因數α僅隨迭代數目而變。
圖2C之具體實例在所有其他方面與圖2A及圖2B之具體實例相同。可稱純相位全像圖ψ(u,v)包含頻域或傅立葉域中之相位分佈。
在一些具體實例中，使用空間光調變器來執行傅立葉變換。特定言之，全像圖資料與提供光功率之第二資料組合。亦即，寫入至空間光調變之資料包含表示物件之全像圖資料及表示透鏡之透鏡資料。當顯示於空間光調變器上並用光照明時，透鏡資料仿真實體透鏡，亦即，其以與相應實體光學件相同的方式將光引至焦點。因此，透鏡資料提供光學或聚焦功率。在此等具體實例中，可省略圖1之實體傅立葉變換透鏡120。如何計算表示透鏡之資料係已知的。表示透鏡之資料可被稱作軟體透鏡。舉例而言，純相位透鏡可藉由計算由透鏡之每一點由於其折射率及空間上變化之光學路徑長度所引起的相位延遲而形成。舉例而言，凸透鏡之中心處的光學路徑長度大於透鏡之邊緣處的光學路徑長度。純振幅透鏡可藉由菲涅爾區板形成。在電腦產生之全像術技術領域中亦已知如何組合表示透鏡之資料與全像圖，使得可在無需實體傅立葉透鏡之情況下執行全像圖之傅立葉變換。在一些具體實例中，透鏡資料藉由諸如簡單向量加法之簡單加法與全像圖組合。在一些具體實例中，實體透鏡與軟體透鏡結合使用以執行傅立 葉變換。替代地，在其他具體實例中，完全省略傅立葉變換透鏡，使得全像重建構發生在遠場中。在其他具體實例中，全像圖可以相同方式與光柵資料組合，光柵資料亦即經配置以執行光柵之功能(諸如影像轉向)的資料。同樣，在領域中已知如何計算此類資料。舉例而言，可藉由模型化由炫耀(blazed)光柵之表面上的每一點所引起的相位延遲而形成純相位光柵。純振幅光柵可簡單地與純振幅全像圖疊加以提供全像重建構之角度轉向。提供透鏡化及/或轉向之第二資料可被稱作光處理功能或光處理圖案，以與可被稱作影像形成功能或影像形成圖案之全像圖資料區分開。
在一些具體實例中，傅立葉變換由實體傅立葉變換透鏡及軟體透鏡聯合地執行。亦即，促成傅立葉變換的一些光功率由軟體透鏡提供，且促成傅立葉變換的光功率的其餘部分由一或多個實體光學件提供。
在一些具體實例中，提供一種經配置以接收影像資料且使用演算法即時計算全像圖的即時引擎。在一些具體實例中，影像資料為包含影像圖框序列之視訊。在其他具體實例中，全像圖經預計算、儲存於電腦記憶體中且根據需要被重新召用以顯示於SLM上。亦即，在一些具體實例中，提供預定全像圖之儲存庫。
僅作為實例，具體實例係關於傅立葉全像術及戈爾柏格-沙克斯頓類型演算法。本發明同樣適用於可藉由類似方法計算的菲涅爾全像術及菲涅爾全像圖。本發明亦適用於藉由其他技術計算之全像圖，這些技術諸如基於點雲方法之那些技術。
光調變
空間光調變器可用於顯示包括電腦產生之全像圖的繞射圖案。若全像圖為純相位全像圖，則需要調變相位之空間光調變器。若全像圖為全複全像圖，則可使用調變相位及振幅之空間光調變器或可使用調變相位之第一空間光 調變器及調變振幅之第二空間光調變器。
在一些具體實例中，空間光調變器之光調變元件(亦即像素)為含有液晶之胞元。亦即，在一些具體實例中，空間光調變器為其中光學主動組件為液晶的液晶裝置。每一液晶胞元經組態以選擇性地提供複數個光調變位準。亦即，每一液晶胞元在任一時間經組態以在選自複數個可能光調變位準之一個光調變位準下進行操作。每一液晶胞元可動態地重新組態至與該複數個光調變位準不同的光調變位準。在一些具體實例中，空間光調變器為反射矽上液晶(LCOS)空間光調變器，但本發明並不限於此類型之空間光調變器。
LCOS裝置在小孔徑(例如寬度為幾公分)內提供光調變元件或像素之密集陣列。像素典型地為大致10微米或更小，這產生為若干度之繞射角，此意謂光學系統可為緊湊的。與其他液晶裝置之較大孔徑相比，更易於充分照明LCOS SLM之小孔徑。LCOS裝置典型地係反射的，此意謂驅動LCOS SLM之像素的電路可埋於反射表面下。這導致孔徑比較高。換言之，像素緊密堆積，此意謂在這些像素之間存在極少的無效空間(dead space)。此係有利的，因為這減少了重播場中之光學雜訊。LCOS SLM使用具有像素在光學上係平坦之優點的矽底板。此對於相位調變裝置特別重要。
僅作為實例，在下文參考圖3描述合適之LCOS SLM。使用單晶體矽基板302形成LCOS裝置。其具有由間隙301a間隔開，佈置於基板之上部表面上的正方形平面鋁電極301之2D陣列。電極301中之每一者可經由埋於基板302中之電路302a定址。電極中之每一者形成各別平面鏡面。對準層303安置於電極之陣列上，且液晶層304安置於對準層303上。第二對準層305安置於例如玻璃之平面透明層306上。例如ITO之單個透明電極307安置於透明層306與第二對準層305之間。
正方形電極301中之每一者與透明電極307之上覆區及介入之液 晶材料一起界定可控制相位調變元件308，其常常被稱作像素。考慮到像素之間的空間或間隙301a，有效像素區域或填充因數為具有光學活性的總像素之百分比。藉由控制相對於透明電極307施加至每一電極301之電壓，各別相位調變元件之液晶材料之性質可變化，從而為入射於其上之光提供可變延遲。效應為向波前提供純相位調變，亦即不發生振幅效應。
所描述LCOS SLM以反射方式輸出空間上之調變光。反射式LCOS SLM具有信號線、閘極線及電晶體在成鏡像表面下方之優點，此產生高填充因數(通常大於90%)及高解析度。使用反射式LCOS空間光調變器之另一優點在於與在使用透射裝置之情況下所需的厚度相比，液晶層可為該厚度的一半。此極大地提高了液晶之切換速度(移動視訊影像之投影的關鍵優點)。然而，本發明之教示內容可同樣使用透射LCOS SLM來實施。
使用核心之次取樣
圖4A、圖4B示出使用如圖5A及圖5中所示出之「核心」自初級影像導出次級影像的技術。核心可被視為移動的「取樣窗口」或「虛擬孔徑」。核心對落入取樣窗口內的影像之一組像素進行操作以導出表示其的單一輸出(次取樣)像素值。因此，核心用於對高解析度初級影像(例如源影像或中間影像)之像素進行「下取樣」或「次取樣」以導出一或多個次級影像(亦即，輸出影像)，使得每一次級影像包含比初級影像更少的像素。
圖5A示出包含4×4核心值(亦被稱為「核心像素」或「權重」)之通用核心，且圖5B示出包含4×4核心值之實例核心。每一核心值定義在取樣窗口內之對應位置處的初級影像之像素值的加權因數或權重。如圖5A中所示出，核心值表示為Wx,y，其中x及y為在形成該核心之4×4陣列內該核心值之各別座標。在圖5B之實例核心中，向取樣窗口之中心處的像素值給予較高權重(亦即，核心值=3)，且向取樣窗口之邊緣及拐角處的像素值給予較低權重(亦即，核心 值=1)。在所示出的具體實例中，在每一取樣位置處，核心藉由以下方式操作：(i)將落入取樣窗口內的初級影像之4×4像素陣列之每一像素值與其對應的核心值或權重相乘，及(ii)判定經加權像素值之正規化(亦即未加權)平均值(例如，藉由用經加權像素值之總和除以核心值之總和(亦即，總核心權重)計算的平均值)，以導出表示初級影像之4×4像素陣列的單一輸出值。在示出之實例中，總核心權重=24。因此，步驟(ii)可藉由對取樣窗口內之像素的經加權像素值求和且除以24而執行。
圖5B示出簡單實例核心，其定義核心權重使得初級影像之4×4像素陣列的經內部取樣像素(亦即，在取樣窗口之中心處的像素)之像素值相較於初級影像之經外部取樣像素之像素值具有更高權重。如具有通常知識者將瞭解，核心權重之值的許多變化根據應用要求係可能的。另外，可根據應用要求選擇對應於取樣窗口或虛擬孔徑之任何核心形狀及大小(排列、縱橫比及核心值/權重之數目)。舉例而言，可選擇核心權重以達成最佳抗混淆結果。
根據實例技術，4×4核心在初級影像上遞增地移動至一系列取樣位置(亦即，初級影像上之取樣窗口之位置或「取樣窗口位置」)，以便對初級影像之一系列相鄰(亦即鄰近且非重疊的)4×4像素陣列進行次取樣。定義複數個取樣位置，使得初級影像之實質上所有像素經次取樣以導出對應於整個初級影像之經次取樣像素值的輸出值。在具體實例中，取樣位置在初級影像上在x及y方向上以規則像素間隔或「步幅」隔開地定義。可稱核心在x及y方向上以像素間隔或步幅遞增地橫越初級影像。
圖4A及圖4B中示出初級影像上之核心的兩個連續取樣位置。特定言之，圖4A中示出初始(或第一)取樣位置或「起始位置」。取樣位置可定義為對應於核心之左上角的初級影像之像素座標。在圖4A中所示出之實例中，第一取樣位置係在初級影像之像素座標(0,0)處。核心根據步幅自左至右遞增地在 初級影像上移動。
在實例技術中，步幅為在x方向上之4個像素及在y方向上之4個像素，使得在每一取樣位置處形成之取樣窗口彼此相鄰，且因此彼此不重疊。因此，第二取樣位置在初級影像之像素座標(0,4)處，對應於在x方向上4個像素之步幅距離，如圖4B中所示。如具有通常知識者將瞭解，後續取樣位置將在像素座標(0,8)、(0,12)等處，直至其到達初級影像之前4列中的最後像素值為止。當核心在光柵掃描路徑中移動時，核心返回至像素座標(4,0)處之取樣位置，其對應於y方向上4個像素之步幅距離。接著，核心繼續以x方向上4個像素及y方向上4個像素之步幅橫越初級影像，以便使用相鄰取樣窗口對初級影像之相鄰4×4像素陣列進行次取樣，直至初級影像之所有像素都已被次取樣為止。在每一取樣位置處判定之輸出值經提供作為經次取樣之輸出影像之像素值。因此，輸出次級影像為初級影像之下取樣或次取樣版本，其具有減少數目的像素。
如具有通常知識者將瞭解，在以上實例中，初級影像之像素的數目在次級影像中減少了16倍，此係由於初級影像之16個像素的4×4陣列由次級影像之1(一)個像素表示。因此初級影像中之像素的數目具有比藉由全像投影器投影之影像之所要解析度(全像重建構)更高的解析度。舉例而言，初級影像可具有最小2×所要解析度，諸如4×或8×所要解析度。以此方式，自次級影像計算全像圖形成具有所要解析度之全像重建構，儘管解析度與高解析度初級影像相比降低。在一些具體實例中，目標影像「經過度取樣」或「按比例擴大」以形成初級影像，以便達成影像之所要解析度(全像重建構)。
用於使用核心對初級影像進行次取樣以導出圖4A及圖4B中示出的次級影像之取樣方案可藉由改變以下各者中之一或多者而變化：一系列取樣位置；在x方向及/或y方向上之步幅距離，及核心尺寸及/或權重。因此，有可能自同一初級影像判定複數個次級影像。對應於複數個次級影像之全像圖可經計 算且作為對應於初級影像之影像圖框(目標影像)的子圖框依次顯示於空間光調變器上。
舉例而言，圖5B中所示出之核心可用於使用在x方向上具有4個像素之步幅且在y方向上具有4個像素之步幅的一系列取樣位置導出第一次級影像，如上文參考圖4A及圖4B所描述。相同核心可用於使用在x方向及y方向上具有4個像素之相同步幅但具有不同初始(或第一)取樣位置或「開始位置」(諸如座標(1,1))的一系列取樣位置來導出第二次級影像。在其他實例中，可改變x方向及/或y方向上之步幅。
在又其他實例中，圖5B中所示出之核心可用於使用在x方向上具有4個像素之步幅且在y方向上具有4個像素之步幅的一系列取樣位置導出第一次級影像，如上文參考圖4A及圖4B所描述。不同核心，例如具有不同核心值或權重之4×4核心，可用於使用相同的一系列取樣位置來導出第二次級影像。在其他實例中，可改變核心的大小以及核心值或權重(例如，類似或不同權重之5×5核心)。
以上實例取樣方案之任何合適組合可用於自同一初級影像導出複數個次級影像。如具有通常知識者將瞭解，自同一初級影像導出之每一次級影像之像素的總數目可變化。特定言之，每一次級影像之像素的數目對應於在所使用之各別次取樣方案中使用的取樣位置的數目。因此，具有較少取樣位置之方案將產生具有較少像素之次級影像。在一些實例中，自同一初級影像判定之每一次級影像具有相同數目的像素。
因此，表示用於投影之之影像的複數個次級影像可藉由使用取樣方案(包含核心值之4×4陣列的核心)對初級影像進行次取樣而產生。每一次級影像包含比初級影像更少的像素。針對複數個次級影像中之每一者判定全像圖，且每一全像圖依次顯示於顯示裝置上以形成對應於重放平面上之每一次級影像 的全像重建構。在具體實例中，對應於次級影像之複數個全像圖中之每一者在人眼之整合時間內依次顯示於顯示裝置上，使得其在重放平面上之全像重建構顯現為目標影像之單一高品質重建構。
資料串流傳輸
如上文所描述，為了使用核心對初級影像進行次取樣，有必要儲存對應於初級影像之像素之二維陣列的像素資料，且在對應時間點處緩衝特定取樣位置(例如，4×4像素陣列資料)處之核心操作所需的初級影像之至少像素資料鍵入(亦即像素值)。因此，系統需要大量資料儲存及/或容量來容納相對高解析度之初級影像的像素資料。
因此，本發明提議一種用以藉助於一系列取樣位置處之核心實施初級影像之次取樣以判定次級影像的新穎方案。新穎方案允許減小儲存及/或緩衝容量要求。在一些實施中，用於判定對應於次級影像之全像圖的處理速度增加。
新穎方案係基於資料串流傳輸。特定言之，方案涉及形成初級影像之像素值的第一資料串流及核心之核心值的第二資料串流。逐列(亦即，影像/核心像素之逐像素)執行資料串流傳輸。特定言之，首先串流傳輸初級影像之第一列像素的像素值，接著串流傳輸初級影像之第二列像素的像素值等直至初級影像之最後一列像素的像素值，在此階段處，第一資料串流結束。另外，首先串流傳輸核心之第一列的核心值，接著串流傳輸核心之第二列的核心值等直至核心之最後一列的核心值；隨後藉由串流傳輸核心之第一列的的核心值接著串流傳輸核心之第二列的像素值等來迭代地重複資料串流傳輸序列。第一資料串流之像素值的數目對應於第二資料串流之核心值的數目。特定言之，第一資料串流之每一像素值與第二資料串流之對應核心值配對，以使得能夠判定對應經加權像素值。此藉由使第一資料串流中之初級影像之像素的像素值與第二資料串 流中之核心的對應核心值同步來達成。如具有通常知識者將瞭解，在所示出的實例中，核心自左至右(亦即，在x方向上)橫越初級影像，此係由於核心在光柵掃描路徑中移動。因此，對於初級影像之像素的特定列，核心值的同一列用以對對應像素值進行加權，其中針對每一取樣位置重複該列核心值。藉由以逐列方式依序串流傳輸初級影像之像素的像素值以及核心的對應核心值或權重，可對對應於像素之一維陣列的像素值的單一資料串流而非如先前技術中之像素之二維陣列的像素值執行處理。圖6示意性示出形成輸入至所謂的「基線串流傳輸圖框核心」(或簡稱「圖框核心」)以用於執行如下文所描述之核心操作的像素值之第一資料串流及核心值或權重的第二資料串流之此程序。
圖11為示出根據一些具體實例的用於使用核心對初級影像進行次取樣之資料串流傳輸的方法1100之流程圖。方法1100接收對應於初級影像之包含初級影像的像素陣列之像素資料的輸入影像以供次取樣以判定如本文中所描述之次級影像。方法1100進一步接收包含如本文中所描述之核心值或權重之陣列的核心。在所示出的實例中，核心包含核心值之M列及N行之陣列，且因此形成M×N像素陣列的取樣窗口。另外，定義核心之一系列取樣位置。在所示出的實例中，在x方向上之步幅為N個像素且在y方向上之步幅為M個像素，使得一系列取樣位置對初級影像之相鄰M×N像素陣列進行次取樣，如在上文所描述的圖4A及圖4B之實例中。此具有以下優勢：初級影像之像素值中之每一者僅次取樣一次，意謂初級影像之像素資料可以光柵掃描次序經串流傳輸，如下文所描述。如具有通常知識者將瞭解，有可能根據應用要求改變在x方向及y方向中之每一者上的步幅，以便改變一系列取樣位置。舉例而言，步幅可在x方向上為N/2且在y方向上為M/2。
圖11之方法1100形成像素值之第一資料串流及核心值之第二資料串流，其中第一資料串流及第二資料串流同時形成，使得第一資料串流中之每 一像素值與第二資料串流中之對應核心值在時間上同步，且因此配對。
根據具體實例，方法回應於接收到初級影像及核心資訊以供使用核心對初級影像進行次取樣而在步驟1105處開始。
步驟1106將影像之列計數器設定為0(零)，且步驟1108將影像之行計數器設定為0(零)。步驟1110讀取在由影像列及行計數器指示之列及行位置處的對應於初始取樣位置之初級影像的像素值(亦即，座標(0,0)處之像素值)。步驟1112使影像行計數器遞增1。在「A」處輸出在步驟1110中讀取之像素值作為第一資料串流之第一(下一)像素值。另外，步驟1156將核心之列計數器設定為0(零)，且步驟1158將核心之行計數器設定為0(零)。步驟1160讀取在由核心列及行計數器指示之列及行位置處的核心的核心值(亦即，座標(0,0)處之核心值)，且步驟1162使核心行計數器遞增1。在「A」處輸出在步驟1160中讀取之核心值作為第二資料串流之第一(下一)核心值。步驟1106、1108及1110與步驟1156、1158及1160同時執行，且在「A」處的資料值至第一資料串流及第二資料串流的輸出同步。特定言之，同時(亦即，在同一時脈循環中)在「A」處輸出像素值及對應核心值。因此，第一資料串流中之像素值及第二資料串流中之對應核心值經配對以用於核心處理，如下文進一步描述。
步驟1120針對當前迭代判定在步驟1110處讀取之像素值是否為初級影像之當前列中的最後像素值。由於方法接收初級影像作為輸入，因此影像依據像素之列及行的數目的大小為已知的。因此，若在步驟1112處在影像行計數器中設定之值大於像素之行的數目，則在迭代中讀取之像素值為影像列中之最後像素，且下一像素應自下一影像列讀取。若步驟1120判定在步驟1110處讀取之像素值並非當前影像列中之最後像素值，則方法返回至步驟1110，其讀取當前列中之下一像素值(亦即，在由影像列及行計數器指示之列及行位置處)。方法接著繼續循環步驟1110、1112及1120，直至步驟1120判定在步驟1110處讀取之像素 值為當前列中之最後像素值為止。當步驟1120判定該像素值為當前列中之最後像素值時，方法進行至步驟1130。另外，可在「C」處輸出判定之指示(例如，「影像列之末端」信號)。
步驟1130判定當前影像列是否為初級影像之最後像素列。特定言之，若影像列計數器中設定之當前值等於初級影像之像素列的總數目，則當前影像列為最後像素列。若步驟1130判定當前影像列並非初級影像之最後像素列，則方法進行至使影像列計數器遞增1之步驟1140。方法接著返回至將影像行計數器(重新)設定為0之步驟1108。方法接著藉由串流傳輸下一影像列之像素直至1130判定當前影像列為初級影像之最後像素列為止而繼續步驟1110至1120。當步驟1130判定當前影像列為初級影像之最後像素時，方法在步驟1195處結束。同時，可在「E」處輸出判定之指示(例如，「影像之末端」信號)。因此，由圖11之方法1100形成之第一資料串流包含以光柵掃描次序逐像素及逐線讀取的初級影像之像素之像素值的串流。
步驟1170針對當前迭代判定在步驟1160處讀取之核心值是否為核心之當前列中的最後核心值。由於方法接收核心作為輸入，因此其依據核心值或權重之列M及行N的數目的大小為已知的。因此，若在步驟1162處在核心行計數器中設定之值大於核心值之行N的數目，則前一核心值為列中之最後核心值，且下一核心值應自核心之下一列讀取。若步驟1170判定在步驟1160處讀取之核心值並非當前核心列中之最後核心值，則方法返回至步驟1160，其讀取當前列中之下一核心值(亦即，在由核心列及行計數器指示之列及行位置處)。方法接著繼續循環1160、1162及1170，直至步驟1170判定在步驟1160處讀取之核心值為當前列中之最後核心值為止。當步驟1170判定該核心值為當前列中之最後核心值時，方法進行至步驟1180。另外，可在「B」處輸出判定之指示(例如，「核心列之末端」信號)。
步驟1180針對當前迭代判定在步驟1110處讀取之像素值是否為初級影像之當前列中的最後像素值。步驟1180可藉由判定是否在「C」處自步驟1120輸出「影像列之末端」信號而執行，或可關於步驟1120為單獨或聯合操作。若步驟1180判定像素值並非初級影像之當前列中的最後像素值，則方法返回至將核心計數器行(重新)設定為0之步驟1158。如具有通常知識者將瞭解，此對應於藉由核心按在x方向上的步幅進行之移位而移動至下一取樣位置，在所示出的實例中，該步幅等於核心之行的數目N。方法接著藉由重複地按次序讀取當前列中之核心值來繼續步驟1160至1180，直至步驟1180判定已達到初級影像之影像列的末端(例如，藉由接收到「影像列之末端」信號)為止。當步驟1180判定在步驟1110處讀取之像素值為初級影像之當前列中的最後像素值時，方法進行至步驟1185。
步驟1185判定當前核心列是否為核心之核心值的最後列。特定言之，若在核心列計數器中設定之當前值等於核心列的數目M，則當前列為核心值之最後列。若步驟1185判定當前核心列並非核心值之最後列，則方法進行至使核心列計數器遞增1之步驟1190。方法接著返回至將核心行計數器(重新)設定為0之步驟1158。方法接著藉由按次序重複地串流傳輸下一核心列之核心值來繼續步驟1160至1180，直至1185判定當前核心列為核心值之最後列為止。當步驟1185判定當前核心列為核心值之最後列時，方法返回至將核心列計數器(重新)設定為0之步驟1156。如具有通常知識者將瞭解，此對應於藉由核心按在y方向上的步幅進行之移位而移動至下一取樣位置，在所示出的實例中，該步幅等於核心之列的數目M。同時，可在「D」處輸出判定之指示(例如，「核心之末端」信號)。因此，由圖11之方法1100形成之第二資料串流包含在逐列基礎上按次序讀取(且針對每一取樣位置重複)之核心的核心值或權重的串流。特定言之，提供第二資料串流之核心值，使得第二資料串流中之每一位置/時間點處的核心值對應於第 一資料串流中之初級影像之像素的像素值，且因此與其配對/同步。
如具有通常知識者將瞭解，可對圖11之方法進行各種修改以導出用於初級影像之核心次取樣的經同步第一及第二資料串流。舉例而言，圖11之方法按光柵掃描次序提供初級影像之像素值的串流，此係由於實例核心程序具有在x方向上與核心中之行數目相同之步幅(及在y方向上與核心中之列數目相同之步幅)，以便對初級影像之相鄰像素陣列進行取樣。然而，在其他實例中，在x方向上之步幅可小於或大於核心中之行的數目，以便分別對在x方向上之初級影像的像素的重疊或分離陣列進行取樣。因此，在x方向上之步幅小於核心中之行的數目的情況下，每一連續取樣窗口將與先前取樣窗口重疊一或多個像素。在此情況下，重疊之像素值可按自初級影像之每一列讀取的像素值之序列重複以形成第一資料串流。相反，在x方向上之步幅大於核心中之行的數目的情況下，每一連續取樣窗口將在x方向上與先前取樣窗口間隔開一或多個像素。在此情況下，可自讀取自初級影像之每一列的像素值之序列省略取樣窗口之間的空間中之像素值以形成第一資料串流。在此等實例中，可需要類似修改以修改形成核心值之第二資料串流的程序，使得正確的對應核心值根據像素值在各別移動取樣窗口內之位置而與這些像素值同步。同樣地，在其他實例中，在y方向上之步幅可小於或大於核心中之列的數目，以便分別對在y方向上之初級影像的像素的重疊或分離陣列進行取樣。在此等實例中，初級影像之一或多個像素列的像素值可在第一資料串流中重複或自其省略，且因此，對應核心值在第二資料串流中同步。
核心操作及緩衝
如本文中所描述，對初級影像進行次取樣以判定次級影像之程序可藉助於一系列取樣位置處之核心操作而執行。根據本發明，使用資料串流來執行基於核心之次取樣程序，以便減小儲存及/或緩衝容量要求。
圖7示出使用第二資料串流之對應核心值或權重對初級影像的第一列之像素值的第一資料串流執行的核心次取樣程序之實例，其中第一資料串流及第二資料串流如上文所描述形成。圖7進一步示出提供至緩衝器之經累加值(所謂的「部分像素值」)之輸出資料串流。圖7可被稱作第一迭代，此係由於其使用核心之第一列的對應核心值或權重對初級影像之一列像素執行核心操作。由於逐列處理初級影像之像素值，因此影像像素之每一列的處理可被視為迭代。
在圖7中所示出的實例中，核心為核心值之4×4陣列，且核心迭代地移動至一系列取樣位置，使得初級影像之相鄰4×4像素陣列含於取樣窗口內。特定言之，在x方向上之步幅為4個像素，且在y方向上之步幅為4個像素。為了易於說明，初級影像具有一列20個像素(亦即，20行像素)。如具有通常知識者將瞭解，實際上，初級影像之像素的數目顯著更大。
如圖7中所示，第一資料串流90包含分別在資料鍵入位置19、18、17、16、15、14、13、12、11、10、9、8、7、6、5、4、3、2、1及0處的初級影像之第一列(列0)之像素的20個像素值T、S、R、Q、P、O、N、M、L、K、J、I、H、G、F、E、D、C、B及A之有序序列。另外，第二資料串流92包含20個核心值之有序序列，其中第二資料串流中之每一資料鍵入位置處的核心值對應於第一資料串流中之同一資料鍵入位置處的像素值。如具有通常知識者將瞭解，用以對第一列影像像素中之像素進行取樣的核心值對應於核心之第一列核心值。如在圖5A之通用核心中，每一核心值為由符號Wx,y表示之權重，其中(x,y)對應於核心之核心值或權重的4×4陣列之座標。
基本核心程序94接收第一資料串流90之每一像素值及第二資料串流92之經同步對應權重Wx,y且判定對應經加權像素值。特定言之，經加權像素值為像素值及對應權重之乘積。基本核心程序94繼而將每一核心取樣位置之經加權像素值相加在一起，以判定對應的(經加權)部分像素值。因此，對應於第 一取樣位置(核心位置0)的第一資料串流中之第一列像素的前四個像素值之經加權像素值為T*W0,0、S*W1,0、R*W2,0及Q*W3,0。第一取樣位置處之四個經加權像素值之總和由值I表示，該值被寫入至輸出緩衝器96之第一位置(緩衝器位置0)。如圖7中所示出，隨後基本核心程序依序判定分別對應於第二至第五取樣位置(核心位置1至4)的第一資料串流中之第一列像素中之四個像素值的每一集合的經加權像素值。基本核心程序64進一步判定表示為II、III、IV及V之四個經加權像素值中之每一者的總和，這些總和分別依序寫入至輸出緩衝器之第二至第五位置(緩衝器位置1至4)。在一些具體實例中，基本核心程序64可實施「乘法累加」或MAC程序。對於自第一資料串流及第二資料串流接收的每一對像素及核心值，程序將像素值及權重相乘在一起以判定經加權像素值，且藉由將經加權像素值相加至同一核心取樣位置的先前經判定加權像素值的總和而累積經加權像素值。因此，基於四個經加權像素值(對應於核心的行的數目且因此「步幅」)的累加和為對應核心取樣位置的部分(經次取樣及加權)像素值。此等部分像素值儲存於輸出緩衝器96中且形成第三資料串流，該第三資料串流作為回饋提供至核心基本程序94。圖8示意性示出第三資料串流98之部分像素值至基本核心程序94的回饋，其自處理初級影像之第一列像素輸出且針對每一取樣位置依序儲存於輸出緩衝器96中。第三資料串流98之反饋係與第一資料串流90及第二資料串流92同時提供，使得部分像素值與第一資料串流90中之初級影像之下一列像素的像素值及第二資料串流92中之對應核心值同步。
圖9示出圖7之核心次取樣程序之實例的第二迭代。在圖9中，使用第二資料串流之核心的第二列之對應核心值來對初級影像之第二列的影像像素值之第一資料串流執行程序。圖9進一步示出部分像素值之第三資料串流之使用，這些部分像素值係自在第一迭代中對初級影像之第一列之像素進行次取樣而輸出，且作為來自輸出緩衝器之回饋而提供。最後，圖9示出依序提供至輸出 緩衝器之經更新部分像素值的輸出資料串流。
如圖9中所示，第一資料串流90包含分別在資料鍵入位置19、18、17、16、15、14、13、12、11、10、9、8、7、6、5、4、3、2、1及0處的初級影像之第二列(列1)之像素的20個像素值T、Σ、P、Θ、Π、O、N、M、Λ、K、θ、I、H、Γ、Φ、E、△、X、B及A之有序序列。另外，第二資料串流92包含20個核心值之有序序列，其中第二資料串流中之每一資料鍵入位置處的核心值對應於第一資料串流中之同一資料鍵入位置處的像素值。如具有通常知識者將瞭解，核心值對應於核心之下一(第二)列。
基本核心程序94接收第一資料串流90之初級影像的第二列像素之每一像素值及第二資料串流92之經同步對應權重Wx,y，且判定對應的經加權像素值。基本核心程序94繼而將每一核心取樣位置之經加權像素值相加在一起，以判定對應的(經加權)部分像素值。因此，對應於第一取樣位置(核心位置0)的第一資料串流中之第二列像素的前四個像素值之經加權像素值為T*W0,1、Σ*W1,1、P*W2,1及Θ*W3,1。將第一取樣位置處之四個經加權像素值之總和添加至第三資料串流98中對應於同一取樣位置處之經加權像素值之累加總和的第一部分像素值。經加權像素值之更新後累加總和由值N表示，該值被寫入至輸出緩衝器96之第一位置(緩衝器位置0)。如圖9中所示，隨後基本核心程序以相同方式依序判定第二至第五取樣位置(核心位置1至4)中之每一者的經加權像素值之累加總和，這些累加總和分別作為部分像素值P、Q、R、Z依序寫入至輸出緩衝器之第二至第五位置(緩衝器位置1至4)。
如具有通常知識者將瞭解，圖9中所示出之基本核心程序94使用第一資料串流中用於初級影像之每一後續影像列的像素值且使用來自核心之對應列的核心值迭代地重複，直至最後核心列為止。一旦已針對取樣位置處理對應於最後核心列之核心值的像素值，則取樣窗口內之所有像素值已經取樣，且輸出 至緩衝器96之累加值表示完全像素值(經加權像素值之總和)。因此，當基本核心程序94判定其正在使用最後核心列進行次取樣時，修改累加(經加權)像素值之輸出，如下文參考圖10所描述。
圖10示意地示出次級影像之完全或完整累加像素值之輸出。此程序可在使用最後核心列之核心值的每一迭代之後及/或在最終迭代之後發生。特定言之，一旦已對核心取樣位置處之取樣窗口中的像素之所有像素值進行次取樣，即判定完全累加(經加權)像素值。特定言之，當使用第二資料串流92中的核心之最後一列核心值來處理第一資料串流中的影像列之像素值時，藉由基本核心程序94輸出完全累加像素值。如前所述，將累加(經加權)像素值依序提供至輸出緩衝器96以形成第三資料串流98。然而，代替將累加像素值作為回饋提供至基本核心程序94，將第三資料串流98饋入至視情況存在之除法單元126。視情況存在之除法單元126可藉由用第三資料串流98之累加(經加權)像素值中之每一者除以總核心權重來判定次級影像之最終經次取樣像素值，以判定如上文所描述之經正規化像素值。來自除法單元的輸出串流122可經串流傳輸至用於次級影像之資料儲存裝置，及/或可即時地發送至用於全像圖計算之全像圖引擎。另外，代替將第三資料串流98回饋至基本核心程序94，可將包含與用於次取樣影像列之核心位置之數目相同數目的空資料值之序列(亦即，零(0)之序列)的反資料串流124提供至基本核心程序94。反資料串流124與第一資料串流90及第二資料串流92同時提供，使得各別資料串流中之對應位置處的值同步。儘管未在圖7中示出，但類似的反資料串流124可提供至基本核心程序94以用於處理對應於第一影像列之像素值。
圖12為示出根據一些具體實例的基於用於對初級影像進行次取樣之資料串流傳輸的核心操作及緩衝之方法1200之流程圖。方法1200分別接收像素值及核心值的經同步第一資料串流及第二資料串流，且將部分(或完全)像 素值之第三資料串流輸出至輸出緩衝器以用於回饋(或輸出)，如上文所描述。方法1200可與圖11之資料串流傳輸之方法1100組合實施，如上文所描述。特定言之，圖12之方法1200之某些步驟可接收來自圖11之方法1100之步驟的輸出信號。因此，如同圖11之方法，核心包含M列及N行核心值之陣列，且因此形成初級影像之M×N像素陣列的取樣窗口。另外，定義核心之一系列取樣位置，其中在x方向上之步幅為N個像素且在y方向上之步幅為M個像素以便對初級影像之相鄰M×N像素陣列進行次取樣。
圖12之方法使用核心對初級影像之相鄰M×N像素陣列進行次取樣以產生解析度降低的次級影像之像素值。特定言之，針對核心在取樣位置處所界定之取樣窗口內所含有的初級影像之每一M×N像素陣列判定次級影像之單一像素值。
該方法在步驟1205處回應於接收到第一資料串流及第二資料串流之第一值或指示資料串流傳輸程序之開始的相關觸發事項而開始。在一些具體實例中，步驟1205可額外接收關於初級影像之資訊(特定言之，影像像素之列及行的數目)及/或關於核心之資訊(特定言之，提供核心值之列及行的數目)，以便追蹤像素及核心值以及核心取樣位置，如下文所描述。
步驟1210將輸出緩衝器之當前儲存位置設定為第一核心取樣位置。可稱輸出緩衝器中之第一儲存位置匹配核心之第一取樣位置。如具有通常知識者將瞭解，當核心在初級影像上移動(例如，在包含x及y方向上之步幅的光柵掃描路徑中移動)時，核心之取樣位置可根據取樣位置之有序序列以增量一按數字升序定義(例如，自核心位置0至核心位置X)。如具有通常知識者將瞭解，在所示出之具體實例中，輸出緩衝器中之每一儲存位置專用於接收與對應取樣位置相關的輸出(部分)像素值。
步驟1220接收經同步的第一資料串流及第二資料串流之第一對 值。舉例而言，第一資料串流及第二資料串流可自圖11之方法1100的「A」處之輸出接收。因此，步驟1220接收來自第一資料串流的初級影像之第一像素值及來自第二資料串流的核心之對應第一核心值或權重。如上文所描述，各別像素值及核心值對可藉由時鐘計數器同步。
步驟1222藉由將在步驟1220中接收之像素值與核心值相乘來判定對應經加權像素值。步驟1224接著判定在步驟1222中判定的經加權像素值是否對應於當前核心取樣位置處的影像列之最後一個像素值。特定言之，步驟1224可判定第一資料串流及第二資料串流之經處理值對是否對應於核心列之末端(或最後核心行)。在所示實例中，若步驟1224自圖11之方法1100中之「B」接收到「核心列末端」信號，則其判定在步驟1222處所判定的經加權像素值對應於當前核心取樣位置之最後一對值。在其他實例中，可使用核心行計數器(例如，在步驟1220之前設定成零)，在此狀況下，步驟1224可直接比較核心行計數器之值與核心行之數目。如具有通常知識者將瞭解，在所示出實例中，核心行計數器在核心對當前取樣位置之最後一個像素值操作時為N。若步驟1224判定在1222中所判定的經加權像素值並非當前取樣位置之最後一個像素值，則方法返回至步驟1220，步驟1220接收第一資料串流及第二資料串流之下一對像素及核心值。在使用行核心計數器之實例中，核心計數器在步驟1220處讀取下一對值之前遞增1。該方法接著在包含步驟1220至1224之迴路中繼續，直至步驟1224判定先前所判定的經加權像素值對應於當前取樣位置之最後一對像素核心值為止，且方法繼續進行至步驟1230。
步驟1230判定當前核心位置之經加權像素值的總和。在一些具體實例中，針對給定核心取樣位置，將藉由步驟1224之連續迭代依序判定的N個經加權像素值中之每一者經由加法器發送至暫存器(或其他暫時資料儲存裝置)。加法器將所接收的經加權像素值相加至暫存器中的當前值，且將結果返回至暫 存器，從而更新保持於其中的值。因此，在此等具體實例中，針對特定核心取樣位置判定的N個經加權像素值即時相加在一起，且步驟1230判定經加權像素值之總和作為儲存於暫存器中之最終值。在其他具體實例中，特定核心取樣位置之每一經加權像素值可儲存於暫存器(或其他暫時資料儲存裝置)中，且在步驟1230中相加在一起。
步驟1232進一步將在步驟1230中判定的當前核心位置之經加權像素值之總和加至作為回饋自輸出緩衝器接收的第三資料串流之累加(部分像素)值。在所示出之實例中，累加/部分像素值之第三資料串流可自「F」接收，如下文所描述。如上文所描述，當處理對應於核心之第一列中之核心值的一列中之像素值時，可提供空部分像素值之串流作為回饋。因此，在步驟1232中判定的值對應於當前核心位置之經更新累加(部分像素)值。
步驟1240將在步驟1222中判定的經更新累加(部分像素)值儲存於輸出緩衝器之當前儲存位置中。該方法接著繼續步驟1250。
步驟1250判定在先前步驟1220中接收的第一資料串流之像素值是否對應於初級影像之影像列中的最後一個像素之像素值。在所示出之實例中，若步驟1250自圖11之方法1100之「C」接收到「影像列末端」信號，則其判定在先前步驟1220中接收的像素值為初級影像之影像列中的最後一個像素，且因此在該影像列之末端處。在其他實例中，方法1200可接收關於初級影像之像素行之數目的資訊，且包括影像行計數器(圖中未示)以追蹤在步驟1220處接收的第一資料串流之像素值，以便識別影像列之末端。若步驟1250判定在先前步驟1220處接收之像素值並不對應於影像列中之最後一個像素，則方法繼續進行至步驟1252，步驟1252將輸出緩衝器之儲存位置遞增1，且例如藉由使核心取樣位置遞增1(參考步驟1210)而將新儲存位置設定為下一核心取樣位置。該方法接著返回至步驟1220，步驟1220接收第一資料串流及第二資料串流之下一對像素及核 心值。同樣，在使用核心行計數器之實例中，在步驟1220處接收下一對值之前，將核心行計數器重置為0。該方法接著在包含步驟1220至1252之內部迴路中繼續，直至步驟1250判定在先前步驟1220中接收之像素值在影像列之末端處為止。當步驟1250判定最後接收之像素值在影像列之末端處時，該方法繼續進行至步驟1260。
步驟1260判定在先前步驟1220中接收的像素值之影像列是否對應於初級影像之最後影像列，且因此是否為第一資料串流中之初級影像的最後一個像素之像素值。在所示出之實例中，若步驟1260自圖11之方法1100之「E」接收到「影像末端」信號，則其判定在先前步驟1220中接收的像素值為第一資料串流之最後一個像素之像素值。
若步驟1260判定先前步驟1220中接收的像素值並非第一資料串流中之最後一個像素之像素值，則初級影像之次取樣未完成且方法繼續進行至步驟1270。另一方面，若步驟1260判定先前步驟1220中接收的像素值為第一資料串流中之最後一個像素之像素值，則初級影像之次取樣完成且方法繼續進行至步驟1280，步驟1280輸出來自輸出緩衝器的第三資料串流之最後一列累加值作為(經次取樣)次級影像之完全(或完整)像素值。方法接著在步驟1285處結束。
返回至步驟1270，方法1200判定在步驟1220處接收的第二資料串流之核心值或權重是否來自核心之最後一列(亦即，是否為核心之最後一個核心值)，此意謂當前取樣位置處的核心取樣完成。在所示出的實例中，若步驟1270自圖11之方法1100之「D」接收到「核心末端」信號，則其判定在先前步驟1220中接收的核心值為核心之最後一個核心值。在其他實例中，使用核心列計數器來追蹤核心列，且步驟1270可直接比較核心列計數器中之當前值與核心列之數目M，且在存在匹配的情況下判定先前步驟1220中所接收的核心值為核心之最後一個核心值。若步驟1270判定在先前步驟1220中接收的核心值並非核心之最後一 個核心值，則方法繼續步驟1272，步驟1272提供作為部分像素值之第三資料串流儲存於輸出緩衝器中的當前列累加值作為「F」處之回饋，該當前列累加值繼而在步驟1232處經接收，如上文所描述。該方法接著返回至步驟1220，步驟1220接收第一資料串流及第二資料串流之下一對像素及核心值。同樣，在使用核心行計數器之實例中，在步驟1220處接收下一對值之前，將核心行計數器重置為0。該方法接著在包含步驟1220至1272之外部迴路中繼續，其繼續對與先前外部迴路相同之取樣位置集合(亦即，取樣位置之列)進行核心次取樣，直至步驟1270判定在先前步驟1220中接收的核心值為核心之最後一個核心值且方法繼續進行至步驟1274。
當步驟1270判定先前步驟1220中接收的核心值為核心之最後一個核心值時，產生兩個結果。首先，核心之取樣窗口將在y方向上以步幅距離移動至下一取樣位置(亦即，取樣位置之下一列)且在x方向上移動至下一影像列之起點(此係由於第一資料串流中之像素值係以光柵掃描次序自初級影像讀取)。其次，在一列取樣位置中之每一取樣位置處的核心內所含有的N個像素值之次取樣已藉由核心操作處理，且因此輸出至輸出緩衝器之每一對應儲存位置的累加值為次級影像之完全(或完整)像素值。
因此，步驟1274將儲存於輸出緩衝器中之累加值作為包含次級影像之完全(或完整)像素值之第三資料串流輸出至例如圖10中所示出之除法器120。此可用以清除輸出緩衝器之儲存位置。方法1200接著返回至步驟1210，步驟1210將輸出緩衝器中之當前儲存位置設定為下一核心取樣位置。因此，輸出緩衝器中之當前第一儲存位置匹配核心之下一列取樣位置中之第一取樣位置。方法1200接著繼續直至步驟1260判定最後影像列已被處理為止，在步驟1280中輸出(經次取樣)次級影像之最後一列累加完全(完整)像素值，且方法在步驟1285處結束。
如具有通常知識者將瞭解，圖11及圖12中所示出之流程圖僅作為實例。當實施本發明時，許多變化或修改係可能的且涵蓋在內。舉例而言，步驟可以與流程圖中所描繪之次序不同的次序進行。
交錯
如上文所描述，可藉由使用核心對初級影像(源影像或中間影像)進行次取樣(下取樣)而產生複數個次級影像。每一次級影像包含比初級影像更少的像素。針對複數個次級影像中之每一者判定全像圖，且每一全像圖依次顯示於顯示裝置上以形成對應於重放平面上之每一次級影像的全像重建構。
因此，本文中揭示用於使對應於初級影像之複數個全像重建構交錯，視情況同時藉由對源影像(亦即中間影像)之翹曲版本進行次取樣而補償翹曲的技術。
在一些具體實例中，藉助於根據本發明之資料串流傳輸方法提高全像圖計算及交錯之速度。特定言之，可將次級影像之全或全部像素值即時串流傳輸至全像引擎以在已判定次級影像之所有像素值之前開始全像圖計算。舉例而言，在步驟1280處輸出次級影像之最後一列的全或全部像素值之前，可將在圖12之方法1200的步驟1274處輸出之次級影像之每一列的全或全部像素值即時串流傳輸至全像引擎以開始全像圖計算。
因此，本文中揭示一種用於藉由使用具有m列及n行核心值之核心對初級影像進行下取樣而產生次級影像的方法，其中該核心針對初級影像之每一列具有複數個核心取樣位置，列之每一核心取樣位置由x個像素之步幅距離間隔開，該方法包括：形成像素值之第一資料串流，其中該第一資料串流藉由逐列讀取初級影像之影像像素值而形成；形成核心值之第二資料串流，及使第一資料串流之像素值與第二資料串流之核心值同步，使得每一像素值與對應核心取樣位置之核心的各別核心值配對。
在一些具體實例中，提供一種包含全像投影器及光學中繼系統之顯示裝置，諸如抬頭顯示器。光學中繼系統經配置以形成每一全像重建構之虛擬影像。在一些具體實例中，目標影像在目標影像之第一區中包含近場影像內容且在目標影像之第二區中包含遠場影像內容。全像重建構之近場內容的虛擬影像與觀看平面(例如，眼框)形成第一虛擬影像距離，且全像重建構之遠場內容的虛擬影像與觀看平面形成第二虛擬影像距離，其中該第二虛擬影像距離大於該第一虛擬影像距離。在一些具體實例中，複數個全像圖中之一個全像圖對應於將在近場中向使用者顯示之目標影像的影像內容(例如，速度資訊)，且複數個全像圖中之另一全像圖對應於將投影至遠場中之目標影像的影像內容(例如，地標指示符或導航指示符)。用於遠場之影像內容可比用於近場之影像內容更頻繁地再新，或反之亦然。
系統圖
圖13為示出根據具體實例之全像系統之示意圖。空間光調變器(spatial light modulator，SLM)940經配置以顯示自控制器930接收之全像圖。在操作中，光源910照明顯示於SLM 940上之全像圖，且全像重建構形成於重播平面925上之重播場中。控制器930自影像源920接收一或多個影像。舉例而言，影像源920可為影像捕獲裝置，諸如經配置以捕獲單一靜態影像之靜態攝影機或經配置以捕獲移動影像之視訊序列的視訊攝影機。
控制器930包含影像處理引擎950、全像圖引擎960、資料圖框產生器980及顯示引擎990。影像處理引擎950自影像源920接收目標影像。影像處理引擎950包含資料串流傳輸引擎952，其經配置以接收目標影像及核心，且如本文中所描述形成像素值及核心值或權重之對應經同步資料串流。影像處理引擎950包括次級影像產生器955，其經配置以使用來自資料串流傳輸引擎952之經同步資料串流自基於目標影像之初級影像產生複數個次級影像，如本文中所描述。影 像處理引擎950可接收控制信號或以其他方式判定用於產生供資料串流傳輸引擎952使用的次級影像的核心方案。因此，每一次級影像包含比初級影像更少的像素。影像處理引擎950可使用源影像作為初級影像來產生複數個次級影像。源影像可為目標影像之按比例放大版本，或影像處理引擎可如本文中所描述執行按比例放大。替代地，影像處理引擎950可處理源影像以判定中間影像，且使用中間影像作為初級影像。影像處理引擎950可藉由對初級影像進行下取樣而產生複數個次級影像，如本文中所描述。影像處理引擎950可判定第一次級影像及第二次級影像。影像處理引擎950將複數個次級影像傳遞至全像圖引擎960。在一些實施方案中，影像處理引擎950可如本文中所描述即時地將次級影像串流傳輸至全像圖引擎960。
全像圖引擎960經配置以判定對應於每一次級影像的全像圖，如本文中所描述。全像圖引擎960將該複數個全像圖傳遞至資料圖框產生器980。資料圖框產生器980經配置以產生包含複數個全像圖之資料圖框(例如，HDMI圖框)，如本文中所描述。特定言之，資料圖框產生器980產生資料圖框，其包含用於複數個全像圖中之每一者的全像圖資料及指示每一全像圖開始之指標。資料圖框產生器980將資料圖框傳遞至顯示引擎990。資料圖框產生器980及顯示引擎990繼而可藉由資料串流傳輸進行操作。顯示引擎990經配置以在SLM 940上依次顯示複數個全像圖中之每一者。顯示引擎990包含全像圖提取器992、拼接引擎970及軟體光學件994。顯示引擎990使用全像圖提取器992自資料圖框提取每一全像圖，且根據由拼接引擎970產生之拼接方案對全像圖進行拼接，如本文中所描述。特定言之，拼接引擎970可接收控制信號以判定拼接方案，或可以其他方式基於全像圖判定用於拼接之拼接方案。顯示引擎990可視情況使用軟體光學件994增加相位斜坡函數(亦被稱作軟體透鏡之軟體光柵函數)以在重播平面上平移重播場之位置，如本文中所描述。因此，針對每一全像圖，顯示引擎990經配 置以將驅動信號輸出至SLM 940以根據對應拼接方案依次顯示複數個全像圖中之每一全像圖，如本文中所描述。
控制器930可動態地控制次級影像產生器955產生次級影像之方式。控制器930可動態地控制全像圖之再新率。再新率可被視為全像圖引擎根據影像處理引擎950自影像源920接收之序列中的下一目標影像重新計算全像圖之頻率。如本文中所描述，可基於由控制信號指示之外部因素而判定動態可控制特徵及參數。
控制器930可接收與此等外部因素相關之控制信號，或可包括用於判定此等外部因素且相應地產生此等控制信號之模組。
如所屬技術領域中具有通常知識者將瞭解，控制器930之上述特徵可在軟體、韌體或硬體及其任何組合中實施。
因此，提供一種影像處理引擎，其經配置以藉由使用具有m列及n行核心值之核心對初級影像進行下取樣而產生次級影像，其中該核心針對初級影像之每一列具有複數個核心取樣位置，列之每一核心取樣位置以x個像素之步幅距離間隔開，其中該影像處理引擎包含資料串流傳輸引擎，其經配置以：形成像素值之第一資料串流，其中該第一資料串流藉由逐列讀取初級影像之影像像素值而形成；形成核心值之第二資料串流；以及使第一資料串流之像素值與第二資料串流之核心值同步，使得每一像素值與對應核心取樣位置的核心之各別核心值配對。
額外特徵
具體實例涉及電啟動LCOS空間光調變器(僅作為實例)。本發明之教示可同樣實施於能夠根據本發明顯示電腦產生之全像圖的任何空間光調變器上，諸如任何電啟動SLM、光啟動SLM、數位微鏡裝置或微機電裝置。
在一些具體實例中，光源為諸如雷射二極體之雷射器。在一些具 體實例中，偵測器為光偵測器，諸如光電二極體。在一些具體實例中，光接收表面為漫射器表面或螢幕，諸如漫射器。本發明之全像投影系統可用以提供改良之抬頭顯示器(HUD)或頭戴式顯示器。在一些具體實例中，提供一種車輛，其包含安裝在該車輛中以提供HUD之全像投影系統。車輛可為機動車輛，諸如汽車、卡車、廂式車、貨車、機車、火車、飛機、船或船舶。
實例描述用可見光照明SLM，但具有通常知識者將理解，光源及SLM可同樣用以引導例如本文中所揭示之紅外或紫外光。舉例而言，具有通常知識者將瞭解出於向使用者提供資訊之目的將紅外及紫外光轉換成可見光的技術。舉例而言，本發明擴展至出於此目的使用磷光體及/或量子點技術。用於資料串流傳輸之技術可應用於所有此等應用中。
一些具體實例描述2D全像重建構，僅作為實例。在其他具體實例中，全像重建構為3D全像重建構。亦即，在一些具體實例中，每一電腦產生之全像圖形成3D全像重建構。
本文中所描述之資料串流傳輸之方法及過程可在硬體中實施以便使處理速度最佳化。然而，具有通常知識者應瞭解，亦可在軟體中實施資料串流傳輸技術之某些態樣。因此，態樣可具體實現於電腦可讀媒體上。術語「電腦可讀媒體」包括經配置以暫時或永久地儲存資料之媒體，諸如隨機存取記憶體(random-access memory，RAM)、唯讀記憶體(read-only memory，ROM)、緩衝器記憶體、快閃記憶體及快取記憶體。亦應將術語「電腦可讀媒體」視為包括能夠儲存供機器執行之指令的任何媒體或多個媒體之組合，使得指令在由一或多個處理器執行時致使機器整體或部分地執行本文中所描述之方法中的任何一或多者。
術語「電腦可讀媒體」亦涵蓋基於雲之儲存系統。術語「電腦可讀媒體」包括但不限於呈固態記憶體晶片、光學光碟、磁碟或其任何合適組合之 實例形式的一或多個有形及非暫時性資料儲存庫(例如資料卷)。在一些實例具體實例中，用於執行之指令可藉由載波媒體傳達。此載波媒體之實例包括暫態媒體(例如，傳達指令之傳播信號)。
所屬領域中具通常知識者將顯而易見，可在不脫離所附申請專利範圍之範圍的情況下進行各種修改及變化。本發明涵蓋在所附申請專利範圍及其等效者之範圍內的所有修改及變化。
90:第一資料串流
92:第二資料串流
94:基本核心程序
96:輸出緩衝器
98:第三資料串流

Claims (20)

  1. 一種影像處理引擎，其經配置以藉由使用具有m列及n行核心值之核心對初級影像進行下取樣而產生次級影像，其中該核心針對該初級影像之每一列具有複數個核心取樣位置，一列之每一核心取樣位置以x個像素之步幅距離間隔開，其中該影像處理引擎包含資料串流傳輸引擎，其經組態以：形成像素值之第一資料串流，其中該第一資料串流藉由逐列讀取該初級影像之順序影像像素值而形成；形成核心值之一第二資料串流，以及使該第一資料串流之這些像素值與該第二資料串流之這些核心值同步，使得每一順序像素值與對應核心取樣位置的該核心之各別核心值配對。
  2. 如請求項1之影像處理引擎，其中該第一資料串流中的該初級影像之這些像素值與該第二資料串流之這些核心值之間存在一對多相關性。
  3. 如請求項1或2之影像處理引擎，其中該資料串流傳輸引擎經組態以使用以下步驟來形成該第二資料串流：(i)重複地讀取該核心之第一列之核心值複數次；(ii)重複地讀取該核心之下一列之核心值複數次；(iii)迭代地重複步驟(ii)(m-2)次；(iv)返回至步驟(i)，及(v)當該第一資料串流中不再存在像素值時，停止步驟(i)至(iv)。
  4. 如請求項1或2之影像處理引擎，其中該第二資料串流中的該核心之每一列核心值與該第一資料串流中的該初級影像之複數列影像像素配對。
  5. 如請求項1或2之影像處理引擎，其進一步包含緩衝器，其中該影像處理引擎進一步經組態以： 自該資料串流傳輸引擎依序接收該第一資料串流及該第二資料串流的經同步對之影像像素值及核心值；用該第一資料串流之每一像素值在該第二資料串流中之配對核心值來處理每一像素值，及累加每一核心取樣位置之經處理像素值以供儲存於該緩衝器中。
  6. 如請求項5之影像處理引擎，其經組態以：使用以下步驟處理該第一資料串流中的該初級影像之第一列之像素值：(a)將每一像素值與其在該第二資料串流中之配對核心值相乘以判定對應經加權像素值之序列，(b)對第一複數個核心取樣位置中之每一核心取樣位置的n個經加權像素值進行求和，(c)判定該第一複數個核心取樣位置中之每一者的累加經加權像素值，及(d)將該第一複數個核心取樣位置中之每一者的這些累加經加權像素值儲存於該緩衝器中之連續儲存位置中，以便在該緩衝器中形成次級影像的部分像素值之序列，及迭代地重複步驟(a)至(d)以處理該第一資料串流中的該初級影像之每一後續列之像素值。
  7. 如請求項6之影像處理引擎，其經組態以：迭代地重複步驟(a)至(d)以處理該第一資料串流中的該初級影像之(m-1)個後續列之像素值，以判定該第一複數個核心取樣位置中之每一者的累加經加權完整像素值，及針對另外複數個核心取樣位置中之每一核心取樣位置，使用步驟(a)至(d)處理該第一資料串流中的該初級影像之m列像素值之後續連續集合。
  8. 如請求項6之影像處理引擎，其進一步經組態以使用以下步驟處 理該第一資料串流中的該初級影像之每一列之像素值：(e)自該緩衝器回饋包含該次級影像的部分像素值之該序列的第三資料串流，以用於處理該第一資料串流中的該初級影像之下一列之像素值。
  9. 如請求項8之影像處理引擎，其經組態以藉由判定以下各者之總和而在(c)中判定每一核心取樣位置之這些累加經加權像素值：針對核心取樣位置在(b)中判定的n個經加權像素值，及(e)中之回饋中含有的針對該核心取樣位置之該第三資料串流的對應部分次級影像像素值。
  10. 如請求項6之影像處理引擎，其進一步經組態以：(e)自該緩衝器輸出對應於複數個取樣窗口位置中之每一者之每一取樣窗口位置的最終次級影像像素值。
  11. 如請求項1或2之影像處理引擎，其中x方向上之步幅距離為n個像素，且其中該核心在光柵掃描路徑中移動，其中y方向上之步幅距離為m個像素，使得核心窗口對該初級影像之相鄰m×n像素陣列進行次取樣。
  12. 一種藉由使用具有m列及n行核心值之核心對初級影像進行下取樣而產生次級影像的方法，其中該核心針對該初級影像之每一列具有複數個核心取樣位置，一列之每一核心取樣位置以x個像素之步幅距離間隔開，該方法包含：形成像素值之第一資料串流，其中該第一資料串流藉由逐列讀取該初級影像之順序影像像素值而形成；形成核心值之第二資料串流，以及使該第一資料串流之這些像素值與該第二資料串流之這些核心值同步，使得每一順序像素值與對應核心取樣位置的該核心之各別核心值配對。
  13. 如請求項12之方法，其中形成該第二資料串流包含： (i)重複地讀取該核心之第一列之核心值複數次；(ii)重複地讀取該核心之下一列之核心值複數次；(iii)迭代地重複步驟(ii)(m-2)次；(iv)返回至步驟(i)，及(v)當該第一資料串流中不再存在像素值時，停止步驟(i)至(iv)。
  14. 如請求項12或13之方法，其進一步包含使該第二資料串流中的該核心之每一列核心值與該第一資料串流中的該初級影像之複數列影像像素配對。
  15. 如請求項12或13之方法，其進一步包含：自該資料串流傳輸引擎依序接收該第一資料串流及該第二資料串流的經同步對之影像像素值及核心值；用該第一資料串流之每一像素值在該第二資料串流中之配對核心值來處理每一像素值，累加每一核心取樣位置之經處理像素值，及將這些累加值中之每一者儲存在緩衝器中之對應儲存位置處。
  16. 如請求項15之方法，其進一步包含：使用以下步驟處理該第一資料串流中的該初級影像之第一列之像素值：(a)將每一像素值與其在該第二資料串流中之配對核心值相乘以判定對應經加權像素值之序列，(b)對第一複數個核心取樣位置中之每一核心取樣位置的n個經加權像素值進行求和，(c)判定該第一複數個核心取樣位置中之每一者的累加經加權像素值，及(d)將該第一複數個核心取樣位置中之每一者的這些累加經加權像素值儲存於該緩衝器中之連續儲存位置中，以便在該緩衝器中形成次級影像的部分像 素值之序列，及迭代地重複步驟(a)至(d)以處理該第一資料串流中的該初級影像之每一後續列之像素值。
  17. 如請求項16之方法，其進一步包含：迭代地重複步驟(a)至(d)以處理該第一資料串流中的該初級影像之(m-1)個後續列之像素值，以判定該第一複數個核心取樣位置中之每一者的累加經加權完整像素值，及針對另外複數個核心取樣位置中之每一核心取樣位置，使用步驟(a)至(d)處理該第一資料串流中的該初級影像之m列像素值之後續連續集合。
  18. 如請求項16之方法，其中處理該第一資料串流中的該初級影像之每一列之像素值包含：(e)自該緩衝器回饋包含該次級影像的部分像素值之該序列的第三資料串流，以用於處理該第一資料串流中的該初級影像之下一列之像素值。
  19. 如請求項18之方法，其中在(c)中判定每一核心取樣位置之這些累加經加權像素值包含判定以下各者之總和：針對核心取樣位置在(b)中判定的n個經加權像素值，及(e)中之回饋中含有的針對該核心取樣位置之該第三資料串流的對應部分次級影像像素值。
  20. 如請求項16之方法，其進一步包含：(e)自該緩衝器輸出對應於複數個取樣窗口位置中之每一者之每一取樣窗口位置的最終次級影像像素值。
TW110110226A 2020-06-04 2021-03-22 顯示裝置和系統 TWI797581B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2008397.8 2020-06-04
GB2008397.8A GB2595696B (en) 2020-06-04 2020-06-04 Forming a hologram of a target image for projection using data streaming

Publications (2)

Publication Number Publication Date
TW202147046A TW202147046A (zh) 2021-12-16
TWI797581B true TWI797581B (zh) 2023-04-01

Family

ID=71615918

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110226A TWI797581B (zh) 2020-06-04 2021-03-22 顯示裝置和系統

Country Status (8)

Country Link
US (1) US11722650B2 (zh)
EP (1) EP3919986A1 (zh)
JP (1) JP7430663B2 (zh)
KR (1) KR102575670B1 (zh)
CN (1) CN113766207A (zh)
GB (1) GB2595696B (zh)
MX (1) MX2021006376A (zh)
TW (1) TWI797581B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030160980A1 (en) * 2001-09-12 2003-08-28 Martin Olsson Graphics engine for high precision lithography
US20100214306A1 (en) * 2009-02-24 2010-08-26 Samsung Digital Imaging Co., Ltd. Apparatus for and method of processing image data
TW201127021A (en) * 2009-05-19 2011-08-01 Panasonic Corp Recording medium, reproducing device, encoding device, integrated circuit, and reproduction output device
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
TWI618398B (zh) * 2013-07-15 2018-03-11 高通公司 用於視訊寫碼之跨層平行處理與偏移延遲參數
US10061268B2 (en) * 2012-02-07 2018-08-28 Envisics Ltd. Lighting device for headlights with a phase modulator
TW201946031A (zh) * 2017-04-17 2019-12-01 美商英特爾股份有限公司 具有額外情境的圖形系統

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6131456A (ja) * 1984-07-24 1986-02-13 Takeo Saegusa 帯電防止性重合体組成物の製造法
JPH06131456A (ja) * 1992-10-16 1994-05-13 Sharp Corp フィルタ回路
JP2001160140A (ja) 1999-12-02 2001-06-12 Hitachi Ltd デジタルフィルタ，画像処理装置ならびに画像処理方法
US8254680B2 (en) * 2007-01-24 2012-08-28 Samsung Electronics Co., Ltd. Apparatus and method of segmenting an image in an image coding and/or decoding system
JP5522893B2 (ja) * 2007-10-02 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR101000036B1 (ko) * 2008-05-22 2010-12-09 성균관대학교산학협력단 실시간 영상 처리를 위한 서브 샘플링 시스템
US8890522B2 (en) * 2010-04-02 2014-11-18 General Electric Company Accelerated pseudo-random data magnetic resonance imaging system and method
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US8559688B2 (en) * 2010-06-30 2013-10-15 General Electric Company System and method for processing data signals
KR101805622B1 (ko) * 2011-06-08 2017-12-08 삼성전자주식회사 프레임율 제어 방법 및 장치
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2500417B8 (en) * 2012-03-21 2017-06-07 Sony Computer Entertainment Europe Ltd Camera device, system and method of imaging
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
US8792710B2 (en) 2012-07-24 2014-07-29 Intel Corporation Stereoscopic depth reconstruction with probabilistic pixel correspondence search
GB2509180B (en) * 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
KR101783795B1 (ko) * 2016-01-07 2017-10-12 삼성공조 주식회사 바 플레이트형 열교환기
US20180005346A1 (en) * 2016-07-01 2018-01-04 Google Inc. Core Processes For Block Operations On An Image Processor Having A Two-Dimensional Execution Lane Array and A Two-Dimensional Shift Register
IL293688B2 (en) * 2016-10-04 2024-02-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
US11562115B2 (en) 2017-01-04 2023-01-24 Stmicroelectronics S.R.L. Configurable accelerator framework including a stream switch having a plurality of unidirectional stream links
US10176551B2 (en) 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
US10467056B2 (en) * 2017-05-12 2019-11-05 Google Llc Configuration of application software on multi-core image processor
EP3438727B1 (en) * 2017-08-02 2020-05-13 Envisics Ltd. Display device
CN110555821B (zh) 2018-01-26 2022-04-05 腾讯科技（深圳）有限公司 模型训练方法、装置和存储介质
GB2580012A (en) * 2018-09-28 2020-07-15 Envisics Ltd Head-up display
CN110095968B (zh) 2019-04-24 2021-05-11 清华大学深圳研究生院 一种离轴数字全息图像重建装置和方法及显微成像系统
US11275243B2 (en) * 2019-08-23 2022-03-15 GM Global Technology Operations LLC Hologram replicator assemblies for head up displays including continuous transmission neutral density filters and corrective leveling elements
GB2586512B (en) * 2019-08-23 2021-12-08 Dualitas Ltd Holographic projection
GB2589575B (en) * 2019-12-02 2022-01-12 Envisics Ltd Pupil expander
US11378915B2 (en) 2019-12-12 2022-07-05 Intel Corporation Real time holography using learned error feedback
GB2590621B (en) * 2019-12-20 2022-05-25 Dualitas Ltd A projector for forming images on multiple planes
GB2595676B (en) * 2020-06-02 2022-06-22 Dualitas Ltd A display device and system
GB2597928A (en) * 2020-08-05 2022-02-16 Envisics Ltd Light detection and ranging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030160980A1 (en) * 2001-09-12 2003-08-28 Martin Olsson Graphics engine for high precision lithography
US20100214306A1 (en) * 2009-02-24 2010-08-26 Samsung Digital Imaging Co., Ltd. Apparatus for and method of processing image data
TW201127021A (en) * 2009-05-19 2011-08-01 Panasonic Corp Recording medium, reproducing device, encoding device, integrated circuit, and reproduction output device
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US10061268B2 (en) * 2012-02-07 2018-08-28 Envisics Ltd. Lighting device for headlights with a phase modulator
TWI618398B (zh) * 2013-07-15 2018-03-11 高通公司 用於視訊寫碼之跨層平行處理與偏移延遲參數
TW201946031A (zh) * 2017-04-17 2019-12-01 美商英特爾股份有限公司 具有額外情境的圖形系統

Also Published As

Publication number Publication date
KR20210150968A (ko) 2021-12-13
GB2595696A (en) 2021-12-08
JP7430663B2 (ja) 2024-02-13
KR102575670B1 (ko) 2023-09-07
JP2021189439A (ja) 2021-12-13
EP3919986A1 (en) 2021-12-08
GB202008397D0 (en) 2020-07-22
US11722650B2 (en) 2023-08-08
CN113766207A (zh) 2021-12-07
GB2595696B (en) 2022-12-28
MX2021006376A (es) 2021-12-06
US20210385421A1 (en) 2021-12-09
TW202147046A (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
CN112415880B (zh) 全息投影
US11307534B2 (en) Holographic projector
CN111176092B (zh) 全息投影显示设备上的像素映射
US11480919B2 (en) Holographic projector
TWI769697B (zh) 光瞳擴展
CN113009710B (zh) 用于在多个平面上形成图像的投影仪
JP7430699B2 (ja) 画像投影
US20230064690A1 (en) Hologram Calculation
US20230324705A1 (en) Image Projection
TWI797581B (zh) 顯示裝置和系統
JP7360428B2 (ja) 画像処理
GB2612464A (en) Image Projection
KR20240037841A (ko) 최적화된 홀로그램 업데이트
CN114967400A (zh) 全息投影