TW202209246A - 影像處理 - Google Patents

影像處理 Download PDF

Info

Publication number
TW202209246A
TW202209246A TW110128368A TW110128368A TW202209246A TW 202209246 A TW202209246 A TW 202209246A TW 110128368 A TW110128368 A TW 110128368A TW 110128368 A TW110128368 A TW 110128368A TW 202209246 A TW202209246 A TW 202209246A
Authority
TW
Taiwan
Prior art keywords
value
fourier transform
data set
complex
linear array
Prior art date
Application number
TW110128368A
Other languages
English (en)
Other versions
TWI772133B (zh
Inventor
賈米森 克里斯馬斯
Original Assignee
英商杜阿里特斯有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英商杜阿里特斯有限公司 filed Critical 英商杜阿里特斯有限公司
Publication of TW202209246A publication Critical patent/TW202209246A/zh
Application granted granted Critical
Publication of TWI772133B publication Critical patent/TWI772133B/zh

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/16Processes or apparatus for producing holograms using Fourier transform
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • G06F17/142Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0224Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/045Fourier or lensless Fourier arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0816Iterative algorithms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • G03H2001/2297Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/10Shape or geometry
    • G03H2225/122D SLM
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/52Reflective modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00Hologram nature or properties
    • G03H2240/10Physical parameter modulated by the hologram
    • G03H2240/11Phase only modulation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00Hologram nature or properties
    • G03H2240/10Physical parameter modulated by the hologram
    • G03H2240/13Amplitude and phase complex modulation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Holo Graphy (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本發明記載對對應於一影像之一複數資料集執行一複數傅立葉變換之方法。該方法包含:接收一複數資料集並在呈笛卡兒表示式之該複數資料集中執行一第一1D複數傅立葉變換;將該複數資料集轉換為極表示式並壓縮呈極表示式之該複數資料集;對該複數資料集執行一列-行變換;解壓縮該複數資料集並將該複數資料集轉換回為笛卡兒表示式;及在呈笛卡兒表示式之該複數資料集中執行一第二1D傅立葉變換,其中該第二1D複數傅立葉變換正交於該第一1D複數傅立葉變換。亦記載對應系統,及至電腦產生全像圖之迭代計算之應用。

Description

影像處理
本記載內容係關於影像處理。更特定而言,本記載內容係關於複數影像資料之二維傅立葉變換之有效實施,以及複數值影像資料之資料壓縮。具體而言,但非排他地,本記載內容係關於用於全像顯示之影像資料之處理。
自物件散射之光含有振幅資訊及相位資訊兩者。此振幅資訊及相位資訊可藉由眾所周知的干涉技術被捕捉在例如光敏板上以形成包含干涉條紋之全像記錄或「全像圖(hologram)」。全像圖可藉由用合適的光進行照明來被重建,以形成表示原始物件之二維或三維全像重建或重播影像。
電腦產生全像術可在數值上模擬干涉程序。電腦產生全像圖「CGH」可藉由基於諸如菲涅耳(Fresnel)或傅立葉(Fourier)變換之數學變換之技術被計算。此等類型之全像圖可被稱為菲涅耳或傅立葉全像圖。傅立葉全像圖可被視為物件之傅立葉域表示或物件之頻域表示。例如,CGH亦可藉由相干射線追蹤或點雲技術被計算。
CGH可被編碼在空間光調變器(SLM)上,該空間光調變器經配置以調變入射光之振幅及/或相位。例如,光調變可使用電學可定址液晶、光學可定址液晶或微鏡來達成。
SLM可包含複數個個別可定址像素,該等像素亦可被稱為胞元或元件。光調變方案可為二元的、多級的或連續的。替代地,裝置可為連續的(亦即並不包含像素),且光調變可因此在整個該裝置上為連續的。SLM可為反射的,此意謂經調變光在反射時係自SLM輸出。SLM同樣可為透射的,此意謂經調變光在透射時係自SLM輸出。
可使用所描述之技術提供用於成像之全像投影機。例如,此類投影機已應用於抬頭顯示器「HUD」及頭戴式顯示器「HMD」,包括近眼裝置。
本記載內容之態樣界定在所附獨立請求項中。
在第一態樣中,提供一種影像處理系統,其經配置以對表示(亦即對應於)二維影像之第一複數資料集執行傅立葉變換。第一複數資料集包含呈笛卡兒表示式之二維陣列之複數值。二維陣列之值表示(亦即對應於)二維影像之像素。例如,複數資料集之二維陣列中之每一值包含像素值。每一值係以具有第一位元數目之第一數字格式來表示。二維陣列界定用以表示沿著一個維度之像素之第一線性陣列之值,例如列,及用以表示沿著另一維度之像素之第二線性陣列之值,例如行。當然,應理解,如本文中所使用之對列或行之參考係為了方便起見,且在線性陣列與列/行之間及在列/行與影像之各別維度之間的指派為任意的,且術語列及行可被互換地使用。此外,陣列之列可對應於影像之像素之行,且陣列之行可對應於影像之像素之列,或反之亦然。
在一些配置中,影像處理系統包含:一個或多個處理器,其經配置以對對應於影像之第一複數資料集執行傅立葉變換;及有形非暫時性電腦可讀取媒體,其儲存可由一個或多個處理器執行之指令。指令在經執行時使影像處理系統執行包含以下各者之功能:對呈笛卡兒表示式之第一複數資料集每一第一線性陣列之值之執行1D傅立葉變換;將每一經傅立葉變換之第一線性陣列之每一值轉換為極表示式;將呈極表示式之每一值轉換為具有小於第一位元數目之第二位元數目之第二數字格式;逐第一線性陣列地將呈第二數字格式之值儲存在記憶體中;逐第二線性陣列地自記憶體讀出值;將自記憶體讀取之每一值轉換回為第一數字格式;將被轉換回為第一數字格式之每一值轉換回為笛卡兒表示式;及對被轉換回為笛卡兒表示式之每一第二線性陣列之值執行1D傅立葉變換,其中經傅立葉變換之第二線性陣列之值用以形成第二複數資料集,且使用第二複數資料集來形成影像資料。該系統可進一步包含經配置以輸出用於顯示之影像資料之控制器。
在其他配置中,該系統包含第一傅立葉變換引擎,其經配置以逐第一線性陣列地接收第一複數資料集並對每一第一線性陣列執行1D傅立葉變換。第一轉換引擎經配置以接收由第一傅立葉變換引擎處理之複數資料集,將每一值轉換為極表示式,並將呈極表示式之每一值轉換為具有小於第一位元數目之第二位元數目之第二數字格式。列-行變換引擎經配置以接收由第一轉換引擎處理之複數資料集,逐第一線性陣列地將呈第二數字格式之值儲存在記憶體中,並逐第二線性陣列地自記憶體讀出值。實際上,陣列已被轉置。第二轉換引擎經配置以逐第二線性陣列地接收由列-行變換引擎處理之複數資料集,將每一值轉換回為第一數字格式,並將被轉換回為第一數字格式之每一值轉換回為笛卡兒表示式。第二傅立葉變換引擎經配置以逐第二線性陣列地接收由第二轉換引擎處理之複數資料集並對每一第二線性陣列執行1D傅立葉變換。該系統經進一步配置以使用由第二傅立葉變換引擎處理之複數資料集之資料值來形成用於顯示之影像資料。例如,該系統可包含輸出介面,其經配置以輸出用於顯示之影像資料。
有利地,藉由減少用以將每一複數資料值儲存在用於列-行變換之資料集中之位元,減輕特定記憶體瓶頸。雖然系統之大多數引擎可逐線性陣列地處理資料串流,但列-行(或轉置)引擎必須在能夠讀出第二線性陣列之前接收並儲存所有第一線性陣列。在此階段減少每值之位元因此特別有效,此係因為其減少資料在列-行變換記憶體瓶頸處維持之時間長度,藉此增加處理速度。另外,減少列-行變換所需要之記憶體容量。此外,本記載內容提供減少每值之位元之有效方式,其藉由在極座標(polar coordinate)上操作以減少每值之位元來減輕品質損失,藉此確保維持影像品質。此係因為在極表示中,當以減少之位元數目來表示時較佳地保留相位資訊。因此,轉換資料之此方式特別充分適應於顯著資訊—可能為最重要影像形成資訊—實際上在相位中被編碼之演算法,諸如用於產生影像全像圖之演算法或類似影像處理演算法。與此對比,笛卡兒座標(Cartesian coordinate)中之壓縮導致相位分量中之較大誤差—特別係當形成大量低幅度值時—如在本文中所記載之基於傅立葉變換之程序的狀況下。在一些方面,可以說本文中所記載之經改良方法將相位資訊優先化,且因此在諸如全複數全像術之狀況下係有利的,其中已發現,相位分量中之誤差相較於振幅分量中之誤差更具破壞性。一旦該等值已儲存(緩衝)就緒以供列-行轉換,其然後就可被轉換回為成本更高之數字格式,該等數字格式更適應於傅立葉變換計算,以避免捨位誤差之傳播。此外,列-行變換之速度增加,例如,藉由為每一值寫入較小資料字(例如為相位及幅度中之每一者寫入16個位元),在64位元計算架構中可為每一64位元字寫入兩個值。
第一態樣之影像處理系統接收並處理用於顯示之影像資料。例如,該系統可接收影像資料,影像資料包含表示來自影像源之二維輸入影像之像素的呈笛卡兒表示式之二維陣列之複數值。該系統可處理輸入影像資料以形成影像資料,影像資料包含表示用於顯示之二維輸出影像之像素的呈笛卡兒表示式之二維陣列之複數值。應瞭解,輸出影像資料陣列之複數值之顯示在顯示裝置之各別像素上。影像處理包含對輸入影像資料執行二維傅立葉變換,通常用於影像處理技術。此類影像處理技術包括用以形成對應於輸入影像之電腦產生全像圖之方法及演算法,如本文中所描述。因此,在一些實施方案中,用輸出影像資料進行編碼之顯示裝置顯示對應於經處理輸入影像之輸出影像。在其他實施方案中,用輸出影像資料編碼之顯示裝置顯示對應於輸入影像之全像圖。因此,本文中所使用之術語「影像資料」包含當在顯示裝置之像素上進行編碼時使顯示裝置顯示影像或影像之全像圖的資料。
在一些具體實例中,第一態樣之影像處理系統可用作構建區塊以實施用於全像圖之計算產生之影像處理以用於顯示及全像重建,如本文中所記載。例如,此類系統可包含如所描述之兩個資料處理系統,在功能上與中介資料處理器鏈接在一起,中介資料處理器操縱第一資料處理系統之輸出之複數值之幅度以產生用於第二資料處理系統之輸入。在一些具體實例中,第二資料處理系統可以類似或相同方式連接回至第一資料處理系統以實施迭代計算。應瞭解,第一資料處理系統及第二資料處理系統(及因此各別引擎)實際上為同一個,使得資料處理系統之輸出如所描述被操縱,且然後回饋至輸入。在第一資料處理系統及第二資料處理系統並非同一個的情況下,其仍可共用一個或多個引擎。此外,每一資料處理系統內之引擎可對應於個別例項(亦即兩個傅立葉變換引擎、兩個轉換引擎等等),或引擎中之一者或多者實際上可為單一引擎(亦即第一傅立葉變換引擎同樣為第二傅立葉變換引擎,第一轉換引擎同樣為第二轉換引擎,等等),且值相應地在引擎之間路由。同樣地,每一資料處理系統可使用相同或不同的高位元數字格式及相同或不同的低位元數字格式。
應瞭解,可使用廣泛多種標準或定製數字格式。例如,複數值可被儲存為兩個雙精度浮點數(128個位元),複部/虛部或相位/角度中之每一者有一個,此取決於複數之形式,且類似地,兩個單精度浮點數(64位元)或兩個半精度浮點數(32個位元)。定製數字格式(例如假設固定小數點及固定/無指數)同樣可能,例如以此方式將128、64或32個位元中之每一複數值進行編碼。在此類定製數字格式中,分配至實部/虛部之位元數目對於實部及虛部中之每一者可為相同的,或可為複數值之每一分量指派不同位元數目。無論如何,本記載內容囊括例如藉由以下各者中之一者或多者來將浮點(或其他十進位或二進位數)自具有第一位元數目之格式轉換為具有第二位元數目之格式:縮放、將位元值重新指派至十進位值、捨位、刪除及添加最低有效位元等等。
在一些具體實例中,將呈極表示式之值轉換為第二數字格式可包含將每一幅度值自x1位元轉換為y1位元,其中x1 > y1,且將每一相位值自x2位元轉換為y2位元,其中x2 > y2。位元數目x1及x2可相同及/或y1及y2可相同,比如x及y。在特定實例中,x1 = x2 = 32個位元(每資料值有64個位元)且y1 = y2 = 8個位元(每資料值有16個位元)。將呈極表示式之每一值轉換為第二數字格式可包含將每一幅度乘以縮放因數及/或可包含將高於最大准許值之任何幅度值設定為最大准許值。例如,此定限(thresholding)可在縮放之後進行。定限可包含將最低有效位元自幅度值及/或捨位刪除。最大准許值可為可用y1位元來表示之最大幅度值。在一些具體實例中,將呈極表示式之每一值轉換為第二數字格式包含以相較於第一數字格式中為低之位準數目來量化呈極表示式之值之相位值。例如,此可涉及將最低有效位元自相位值或捨位刪除。當然,同樣可使用用於減少儲存每一複數值所需要之位元數目之其他技術。
在一些具體實例中,將呈笛卡兒表示式之每一值轉換回為第一數字格式包含將每一幅度值自y1位元轉換回為x1位元且將每一相位值自y2位元轉換回為x2位元。例如,此可涉及將每一幅度值乘以縮放因數之倒數。
在一些具體實例中,列-行轉換引擎之記憶體為靜態隨機存取記憶體(SRAM),其相較於動態隨機存取記憶體(DRAM)有利地具有較快存取時間。藉由減少每複數值之位元數目來減少所需要之記憶體會促進SRAM之使用(部分地)抵消SRAM每位元之較高成本。
在一些具體實例中,第一傅立葉變換引擎經組態以處理一個第一線性陣列,同時第一轉換引擎處理另一第一線性陣列,其中第二傅立葉變換引擎經組態以處理一個第二線性陣列,同時第二轉換引擎處理另一第二線性陣列,或進行兩者。例如,第一傅立葉變換引擎及任選地為第二傅立葉變換引擎可接收作為值串流之複數值。可在串列匯流排上處理該等值。
在一些具體實例中,該系統包含輸出介面,輸出介面經配置以輸出用於顯示之影像資料。例如,控制器可包含系統之輸出介面,輸出介面經配置以將表示輸入影像之全像圖輸出至全像顯示裝置,如本文中所描述。全像圖可為唯相位全像圖或包含相位分量及振幅分量之全複數全像圖。輸入介面可經配置以自影像源(例如視訊攝影機)即時地接收影像序列,且輸出介面可經配置以即時地輸出表示各別影像(或各別經處理影像)之全像圖序列。因此,影像在其被接收時即時地被處理,亦即以低延遲,例如能夠在線上以例如24 fps之典型視訊訊框速率自影像視訊訊框產生全像視訊訊框。在一些具體實例中,全像顯示裝置包含經配置以顯示全像圖之空間光調變器及經配置以照明空間光調變器以形成全像重建之光源。在一些具體實例中,影像處理系統及全像顯示器可包含單一整合式設備。
在第二態樣中,記載一種用於對對應於影像之第一複數資料集執行複數傅立葉變換之影像處理方法。第一複數資料集包含呈笛卡兒表示式之二維陣列之複數值,每一複數值係以具有第一位元數目之第一數字格式來表示。二維陣列之值表示(亦即對應於)二維影像之像素。二維陣列界定用以表示沿著一個維度之像素之第一線性陣列之值,及用以表示沿著另一維度之像素之第二線性陣列之值,例如如上文所論述之列及行。
該方法包含以下步驟:對第一複數資料集中之每一第一線性陣列執行1D傅立葉變換;將每一經傅立葉變換之第一線性陣列之每一值轉換為極表示式;將呈極表示式之每一值轉換為具有小於第一位元數目之第二位元數目之第二數字格式;逐第一線性陣列地將呈第二數字格式之值儲存在記憶體中;逐第二線性陣列地自記憶體讀出值;將自記憶體讀取之每一值轉換回為第一數字格式;將被轉換回為第一數字格式之每一值轉換回為笛卡兒表示式;及對轉換回為笛卡兒之每一第二線性陣列之值執行1D傅立葉變換。該方法進一步包含使用經傅立葉變換之第二線性陣列之值來形成用於顯示之影像資料。例如,經傅立葉變換之第二線性陣列之值可用以形成第二複數資料集,且該方法可進一步包含使用第二複數資料集來形成影像資料。
類似地,如上文針對系統所描述,在用於產生影像之全像圖之演算法或類似影像處理技術中,在如上文(及下文更詳細地)所描述之幅度操縱之後,經傅立葉變換之第二線性陣列可用作第一傅立葉變換步驟中之第一線性陣列。如之前,在兩個行程(pass)之間的數字格式可相同或不同,且步驟可為迭代程序而重複地循環回第一傅立葉變換步驟。此外,對於列-行變換,所有行程可使用相同記憶體,或例如,個別此類記憶體可用於奇數行程及偶數行程。
當然,上文所描述之第一態樣之具體實例之特徵同樣適用於第二態樣及下文所記載之其他態樣。
在第三態樣中,一種影像處理系統經配置以處理對應於影像之複數資料集。第一複數資料集包含呈笛卡兒表示式之複數值,每一複數值係以具有第一位元數目之第一數字格式來表示。複數值表示(亦即對應於)影像之像素。該系統包含轉換引擎,其經配置以接收複數資料集,將每一值轉換為極表示式,並將呈極表示式之每一值轉換為具有小於第一位元數目之第二位元數目之第二數字格式。
在一些具體實例中,資料集之複數值配置在二維陣列中,二維陣列界定沿著一個維度之第一線性陣列之值及沿著另一維度之第二線性陣列之值。在一些具體實例中,資料處理系統進一步包含列-行變換引擎,其經配置以接收由第一轉換引擎處理之複數資料集,逐第一線性陣列地將呈第二數字格式之值儲存在記憶體中,並逐第二線性陣列地自記憶體讀出值。
在一些具體實例中,該系統包含傅立葉變換引擎,其經配置以逐第一線性陣列地接收複數資料集,並對每一第一線性陣列執行1D傅立葉變換,且轉換引擎經配置以逐第一線性陣列地自傅立葉變換引擎接收複數資料集,其中每一線性陣列由傅立葉變換引擎進行傅立葉變換。
在第四態樣中,記載一種對應於影像之第一複數資料集之影像處理方法。複數資料集包含呈笛卡兒表示式之複數值,每一複數值係以具有第一位元數目之第一數字格式表示。複數值表示(亦即對應於)影像之像素。該方法包含將每一值轉換為極表示式,及將呈極表示式之每一值轉換為具有小於第一位元數目之第二位元數目之第二數字格式。
在一些具體實例中,資料集之複數值配置在二維陣列中,二維陣列界定用以表示沿著一個維度之像素之第一線性陣列之值及用以表示沿著另一維度之像素之第二線性陣列之值。在一些具體實例中,該方法包含逐第一線性陣列地將呈第二數字格式之值儲存在記憶體中,及逐第二線性陣列地自記憶體讀出值。
在第五態樣中,一種影像處理系統經配置以對對應於影像之複數資料集執行複數傅立葉變換。該系統包含: 第一傅立葉變換引擎,其經配置以接收複數資料集並對呈笛卡兒表示式之複數資料集執行第一1D複數傅立葉變換; 第一資料轉換引擎,其經配置以接收由第一傅立葉變換引擎處理之複數資料集,將複數資料集轉換為極表示式,並壓縮呈極表示式之複數資料集; 列-行變換引擎,其經配置以接收由第一資料轉換引擎處理之複數資料集,並對複數資料集執行列-行變換; 第二資料轉換引擎,其經配置以接收由列-行變換引擎處理之複數資料集,解壓縮複數資料集,並將複數資料集轉換回為笛卡兒表示式;及 第二傅立葉變換引擎,其經配置以接收由第二資料轉換引擎處理之複數資料集,並對呈笛卡兒表示式之複數資料執行第二1D複數傅立葉變換,其中第二1D複數傅立葉變換正交於第一1D複數傅立葉變換。該系統經進一步配置以使用由第二傅立葉變換引擎處理之複數資料集之資料值來形成用於顯示之影像資料。
在第六態樣中,記載一種用於對對應於影像之複數資料集執行複數傅立葉變換之影像處理方法。該方法依次包含以下步驟: 接收複數資料集並對呈笛卡兒表示式之複數資料集執行第一1D複數傅立葉變換; 將複數資料集轉換為極表示式並壓縮呈極表示式之複數資料集; 對複數資料集執行列-行變換; 解壓縮複數資料集並將複數資料集轉換回為笛卡兒表示式; 對呈笛卡兒表示式之複數資料集執行第二1D傅立葉變換,其中第二1D複數傅立葉變換正交於第一1D複數傅立葉變換。該方法進一步包含使用經傅立葉變換之複數資料集來形成用於顯示之影像資料。
影像資料之壓縮可如上文所描述(藉由轉換為不同的數字格式來個別地減少每一像素值之位元數目)或以任何其他合適的方式來執行。
在第七態樣中,記載一種用於壓縮表示影像之複數資料集之系統,該系統包含資料轉換引擎,資料轉換引擎經配置以接收複數資料集,將複數資料集轉換為極表示式,並壓縮呈極表示式之複數資料集。
在第八態樣中,提供一種壓縮表示影像之複數資料集之方法,該方法包含將複數資料集轉換為極表示式及壓縮呈極表示式之複數資料集。
術語「全像圖」用以指稱含有關於物件之振幅資訊及/或相位資訊之記錄。術語「全像重建」用以指稱藉由照明全像圖而形成的物件之光學重建。術語「重播平面」在本文中用以指稱完全形成全像重建之空間中之平面。術語「重播場」在本文中用以指稱重播平面之子區域,其可自空間光調變器接收經空間調變光。術語「影像」及「影像區」指稱由形成全像重建之光照明的重播場之區域。在具體實例中,「影像」可包含可被稱為「影像像素」之離散點。
術語「編碼」、「寫入」或「定址」用以描述為SLM之複數個像素提供各別複數個控制值之程序,該等控制值分別判定每一像素之調變位準。可以說SLM之像素經組態以回應於接收到複數個控制值而「顯示」光調變分佈。
已發現,可自僅含有與原始物件有關之相位資訊之「全像圖」形成可接受品質之全像重建。此類全像記錄可被稱為唯相位全像圖。然而,對唯相位全像圖之任何參考僅作為實例。本記載內容亦同樣適用於使用與原始物件有關之振幅資訊及相位資訊來形成全像重建。在一些具體實例中,此係藉由使用含有與原始物件有關之振幅資訊及相位資訊兩者之所謂的全複數全像圖之複數調變來達成。此類全像圖可被稱為全複數全像圖,此係因為指派至全像圖之每一像素之值(灰階)具有振幅分量及相位分量。指派至每一像素之值(灰階)可被表示為具有振幅分量及相位分量兩者之複數。在一些具體實例中,計算全複數電腦產生全像圖。
可將電腦產生全像圖或空間光調變器之像素之相位值、相位分量、相位資訊或簡單地為相位作為「相位延遲」之簡寫來參考。亦即,所描述之任何相位值實際上為表示由彼像素提供之相位延遲之量的數(例如在0至2π之範圍內)。例如,被描述為具有π/2之相位值的空間光調變器之像素將使所接收光之相位改變π/2弧度。在一些具體實例中,空間光調變器之每一像素可以複數個可能調變值(例如相位延遲值)中之一者來操作。術語「灰階」可用以指稱複數個可用調變位準。例如,為了方便起見,術語「灰階」可用以指稱唯相位調變器中之複數個可用相位位準,即使不同的相位位準不提供不同的灰度亦如此。為方便起見,術語「灰階」亦可用以指稱複數調變器中之複數個可用複數調變位準。
儘管在本記載內容中可個別地記載不同態樣、具體實例以及態樣及具體實例群組,但任何具體實例或具體實例群組之任何特徵可與任何具體實例或具體實例群組之任何其他特徵或特徵組合進行組合。亦即,設想且特此記載本記載內容中所記載之特徵之所有可能組合及排列。
本發明並不限於以下描述之具體實例,而是延伸至所附申請專利範圍之全部範圍。亦即,本發明可以不同形式被體現且不應被認作限於所描述之具體實例,該等具體實例係為了說明之目的而闡述的。
除非另有指定,否則單數形式之術語可包括複數形式。
一結構被描述為形成在另一結構之上部部分/下部部分處或該另一結構上/下應被認作包括該等結構彼此接觸的狀況,且此外包括第三結構安置在該等結構之間的狀況。
在描述時間關係時—例如當事件之時間次序被描述為「之後」、「後續」、「接下來」、「之前」等等時—本記載內容應被視為包括連續及非連續事件,除非另有指定。例如,除非使用諸如「剛剛」、「緊接」或「直接」之措辭,否則描述應被視為包括不連續的狀況。
儘管本文中可使用術語「第一」、「第二」等等來描述各種元件,但此等元件不受此等術語之限制。此等術語僅用以將一個元件與另一元件區分開。例如,第一元件可被稱為第二元件,且類似地,第二元件可被稱為第一元件,而不脫離所附申請專利範圍之範圍。
不同具體實例之特徵可部分地或整體地彼此耦接或組合,且可以各種方式彼此相互操作。一些具體實例可彼此獨立地實行,或可以共相依關係一起實行。光學組態
圖1展示電腦產生全像圖被編碼在單一空間光調變器上的具體實例。電腦產生全像圖為用於重建之物件之傅立葉變換。因此可以說全像圖為物件之傅立葉域或頻域或譜域表示。在此具體實例中,空間光調變器為反射矽上液晶「LCOS」裝置。全像圖被編碼在空間光調變器上且全像重建形成在重播場處,例如諸如螢幕或漫射器之光接收表面。
光源110,例如雷射或雷射二極體,經安置以經由準直透鏡111照明空間光調變器(SLM)140。準直透鏡使光之大體上平面波前入射在SLM上。在圖1中,波前之方向離位(例如遠離真正正交於透明層之平面2或3度)。然而,在其他具體實例中,大體上平面波前係以垂直入射來提供,且光束分光器配置用以分離輸入光路及輸出光路。在圖1中所展示之具體實例中,該配置使得來自光源之光自SLM之鏡像後表面反射並與光調變層相互作用以形成出射波前112。出射波前112應用於包括傅立葉變換透鏡120之光學器件,其具有其在螢幕125處之焦點。更具體而言,傅立葉變換透鏡120自SLM 140接收經調變光之光束並執行頻率-空間變換以在螢幕125處產生全像重建。
值得注意,在此類型之全像術中,全像圖之每一像素促成整個重建。在重播場上之特定點(或影像像素)與特定光調變元件(或全像影像素)之間 存在一對一相關性。換言之,離開光調變層之經調變光橫越重播場而分佈。
在此等具體實例中,全像重建在空間中之位置由傅立葉變換透鏡之屈光(聚焦)能力來判定。在圖1中所展示之具體實例中,傅立葉變換透鏡為實體透鏡。亦即,傅立葉變換透鏡為光學傅立葉變換透鏡,且傅立葉變換係以光學方式來執行。任何透鏡可充當傅立葉變換鏡頭,但透鏡之效能將限制其執行之傅立葉變換之準確度。所屬技術領域中具有通常知識者理解如何使用透鏡來執行光學傅立葉變換。全像計算
在一些具體實例中,電腦產生全像圖為傅立葉變換全像圖,或簡單地為傅立葉全像圖或基於傅立葉之全像圖,其中藉由利用正透鏡(實體透鏡或藉由在SLM上顯示之對應相位延遲分佈而實施之軟體透鏡)之傅立葉變換性質在遠場中重建影像。傅立葉全像圖藉由將重播平面中之所要光場傅立葉變換回為透鏡平面來計算。電腦產生傅立葉全像圖可使用傅立葉變換來計算。
可使用諸如格奇伯格-薩克斯頓(Gerchberg-Saxton)演算法之演算法來計算傅立葉變換全像圖。此外,格奇伯格-薩克斯頓演算法可用以根據空間域中之唯振幅資訊(諸如相片)來計算傅立葉域中之全像圖(亦即傅立葉變換全像圖)。與物件有關之相位資訊係有效地自空間域中之唯振幅資訊「擷取」。在一些具體實例中,使用格奇伯格-薩克斯頓演算法或其變化形式而自唯振幅資訊計算電腦產生全像圖。
格奇伯格-薩克斯頓演算法考慮當分別在平面A及B中之光束IA (x, y)及IB (x, y)之強度橫截面為已知的且IA (x, y)及IB (x, y)藉由單一傅立葉變換而有關的情形。在給定強度橫截面的情況下,得知平面A及B中之相位分佈之近似值,分別為ΨA (x, y)及ΨB (x, y)。格奇伯格-薩克斯頓演算法藉由遵循迭代程序而得知此問題之解。更具體而言,格奇伯格-薩克斯頓演算法迭代地應用空間及頻譜約束,同時在空間域與傅立葉(頻譜或頻率)域之間重複地傳送表示IA (x, y)及IB (x, y)之資料集(振幅及相位)。經由該演算法之至少一次迭代而獲得譜域中之對應電腦產生全像圖。該演算法為收斂的且經配置以產生表示輸入影像之全像圖。全像圖可為唯振幅全像圖、唯相位全像圖或全複數全像圖。
在一些具體實例中,使用基於格奇伯格-薩克斯頓演算法之演算法來計算唯相位全像圖,諸如英國專利2,498,170或2,501,112中所描述,該等英國專利之全文特此以引用之方式併入。然而,本文中所記載之具體實例僅作為實例來描述計算唯相位全像圖。在此等具體實例中,格奇伯格-薩克斯頓演算法擷取資料集之傅立葉變換之相位資訊Ψ[u, v],其產生已知的振幅資訊T[x, y],其中振幅資訊T[x, y]表示目標影像(例如相片)。由於幅度及相位在傅立葉變換中固有地組合,故經變換之幅度及相位含有關於所計算資料集之準確度之有用資訊。因此,該演算法可迭代地與關於振幅資訊及相位資訊兩者之回饋一起使用。然而,在此等具體實例中,僅相位資訊Ψ[u, v]用作全像圖以在影像平面處形成目標影像之全像表示。全像圖為相位值之資料集(例如2D陣列)。
在其他具體實例中,使用基於格奇伯格-薩克斯頓演算法之演算法來計算全複數全像圖。全複數全像圖為具有幅度分量及相位分量之全像圖。全像圖為包含複數資料值之陣列之資料集(例如2D陣列),其中每一複數資料值包含幅度分量及相位分量。
在一些具體實例中,演算法處理複數資料且傅立葉變換為複數傅立葉變換。複數資料可被視為包含(i):實分量及虛分量,被稱為笛卡兒表示式;或(ii)幅度分量及相位分量,被稱為極表示式。在一些具體實例中,複數資料之兩個分量在演算法之各個階段被不同地處理。
圖2A繪示用於計算唯相位全像圖之根據一些具體實例之演算法之第一迭代。演算法之輸入為包含像素或資料值之2D陣列之輸入影像210,其中每一像素或資料值為幅度或振幅值。亦即,輸入影像210之每一像素或資料值不具有相位分量。輸入影像210可因此被視為唯幅度或唯振幅或唯強度分佈。此類輸入影像210之實例為相片或包含訊框之時間序列之一個視訊訊框。該演算法之第一迭代開始於資料形成步驟202A,其包含使用隨機相位分佈(或隨機相位種子)230為輸入影像之每一像素指派隨機相位值,以形成起始複數資料集,其中該集之每一資料元素包含幅度及相位。可以說起始複數資料集表示空間域中之輸入影像。
第一處理區塊250接收起始複數資料集並執行複數傅立葉變換以形成經傅立葉變換之複數資料集。第二處理區塊253接收經傅立葉變換之複數資料集並輸出全像圖280A。在一些具體實例中,全像圖280A為唯相位全像圖。在此等具體實例中,第二處理區塊253量化每一相位值並將每一振幅值設定為1以形成全像圖280A。每一相位值係根據可在將用以「顯示」唯相位全像圖的空間光調變器之像素上所表示的相位位準而量化。例如,若空間光調變器之每一像素提供256個不同相位位準,則全像圖之每一相位值經量化為256個可能相位位準中之一個相位位準。全像圖280A為表示輸入影像之唯相位傅立葉全像圖。在其他具體實例中,全像圖280A為全複數全像圖,其包含自所接收之經傅立葉變換之複數資料集導出的複數資料值之陣列(每一複數資料值包括振幅分量及相位分量)。在一些具體實例中,第二處理區塊253將每一複數資料值約束至複數個可允許複數調變位準中之一者以形成全像圖280A。約束步驟可包括將每一複數資料值設定為複數平面中之最接近的可允許複數調變位準。可以說全像圖280A表示譜域或傅立葉域或頻域中之輸入影像。在一些具體實例中,演算法在此時停止。
然而,在其他具體實例中,演算法如圖2A中之虛線箭頭所表示而繼續進行。換言之,遵循圖2A中之虛線箭頭之步驟為任選的(亦即並非為所有具體實例所必需的)。
第三處理區塊256自第二處理區塊253接收經修改之複數資料集並執行逆傅立葉變換以形成經逆傅立葉變換之複數資料集。可以說經逆傅立葉變換之複數資料集表示空間域中之輸入影像。
第四處理區塊259接收經逆傅立葉變換之複數資料集並提取幅度值分佈211A及相位值分佈213A。任選地,第四處理區塊259評估幅度值分佈211A。具體而言,第四處理區塊259可比較經逆傅立葉變換之複數資料集之幅度值分佈211A與輸入影像510,該輸入影像自身當然為幅度值分佈。若在幅度值分佈211A與輸入影像210之間的差足夠小,則第四處理區塊259可判定全像圖280係可接受的。亦即,若在幅度值分佈211A與輸入影像210之間的差足夠小,則第四處理區塊259可判定全像圖280為輸入影像210之足夠準確的表示。在一些具體實例中,出於比較之目的而忽略經逆傅立葉變換之複數資料集之相位值分佈213A。應瞭解,可採用用於比較幅度值分佈211A與輸入影像210之任何數目個不同方法,且本記載內容不限於任何特定方法。在一些具體實例中,計算均方差,且若均方差小於臨限值,則全像圖280A被視為係可接受的。若第四處理區塊259判定全像圖280A不係可接受的,則可執行演算法之進一步迭代。然而,此比較步驟並非必需的,且在其他具體實例中,所執行演算法之迭代次數係預定的或預設的或使用者定義的。
圖2B表示演算法之第二迭代及演算法之任何進一步迭代。經由演算法之處理區塊回饋先前迭代之相位值分佈213A。拒絕幅度值分佈211A以有利於輸入影像210之幅度值分佈。在第一迭代中,資料形成步驟202A藉由將輸入影像210之幅度值分佈與隨機相位分佈230進行組合來形成第一複數資料集。然而,在第二及後續迭代中,資料形成步驟202B包含藉由將(i)來自演算法之先前迭代之相位值分佈213A與(ii)輸入影像210之幅度值分佈進行組合來形成複數資料集。
由圖2B之資料形成步驟202B形成之複數資料集然後以參考圖2A所描述之相同方式被處理以形成第二迭代全像圖280B。因此此處不重複對程序之闡釋。當已計算出第二迭代全像圖280B時,演算法可停止。然而,可執行演算法之任何數目個進一步迭代。應理解,僅在需要第四處理區塊259或需要進一步迭代時才需要第三處理區塊256。輸出全像圖280B通常隨著每一迭代而變得較佳。然而,實際上通常達到一時點,在該時點處未觀察到任何可量測改良,或執行進一步迭代之正面益處被額外處理時間之負面影響所抵消。因此,該演算法被描述為迭代的及收斂的。
圖2C表示第二及後續迭代之替代性具體實例。經由演算法之處理區塊來回饋先前迭代之相位值分佈213A。拒絕幅度值分佈211A以有利於替代性幅度值分佈。在此替代性具體實例中,替代性幅度值分佈係自先前迭代之幅度值分佈211導出。具體而言,處理區塊258自先前迭代之幅度值分佈211減去輸入影像210之幅度值分佈,用增益因數α來縮放彼差,並自輸入影像210減去經縮放差。此係藉由以下方程式在數學上表達,其中下標文字及數指示迭代次數:
Figure 02_image001
其中: F'為逆傅立葉變換; F為正傅立葉變換; R[x, y]為由第三處理區塊256輸出之複數資料集; T[x, y]為輸入或目標影像;
Figure 02_image003
為相位分量; Ψ為唯相位全像圖280B; η為新幅度值分佈211B;且 α為增益因數。
增益因數α可為固定的或可變的。在一些具體實例中,增益因數α係基於傳入目標影像資料之大小及速率而判定。在一些具體實例中,增益因數α取決於迭代次數。在一些具體實例中,增益因數α僅隨迭代次數而變。
圖2C之具體實例在所有其他方面與圖2A及圖2B之具體實例相同。可以說唯相位全像圖Ψ(u, v)包含頻域或傅立葉域中之相位分佈。
在一些具體實例中,藉由在全像資料中包括透鏡資料以計算方式地執行傅立葉變換。亦即,全像圖包括表示透鏡之資料以及表示物件之資料。在此等具體實例中,省略圖1之實體傅立葉變換透鏡120。在電腦產生全像圖領域中已知的是如何計算表示透鏡之全像資料。表示透鏡之全像資料可被稱為軟體透鏡。例如,可藉由計算由透鏡之每一點由於其折射率及空間變化之光路長度而引起的相位延遲來形成唯相位全像透鏡。例如,凸透鏡中心處之光路長度大於透鏡邊緣處之光路長度。唯振幅全像透鏡可由菲涅耳區板來形成。在電腦產生全像圖領域中亦已知的是如何將表示透鏡之全像資料與表示物件之全像資料進行組合,使得可在不需要實體傅立葉透鏡的情況下執行傅立葉變換。在一些具體實例中,透鏡資料藉由簡單的向量加法而與全像資料進行組合。在一些具體實例中,實體透鏡結合軟體透鏡而使用以執行傅立葉變換。替代地,在其他具體實例中,完全省略傅立葉變換透鏡,使得全像重建在遠場中發生。在其他具體實例中,全像圖可包括光柵資料—亦即經配置以執行諸如光束轉向之光柵功能之資料。同樣,在電腦產生全像圖領域中已知的是如何計算此類全像資料並將其與表示物件之全像資料進行組合。例如,可藉由模型化由炫耀光柵(blazed grating)之表面上之每一點引起的相位延遲來形成唯相位全像光柵。唯振幅全像光柵可簡單地疊加在表示物件之唯振幅全像圖上,以提供唯振幅全像圖之角轉向。
在一些具體實例中,提供一種即時引擎,其經配置以使用該演算法來即時地接收影像資料並計算全像圖。在一些具體實例中,影像資料為包含影像訊框序列之視訊。在其他具體實例中,全像圖被預計算、儲存在電腦記憶體中且根據需要被調用以在SLM上顯示。亦即,在一些具體實例中,提供預定全像圖之儲存庫。
僅作為實例,具體實例係關於傅立葉全像術及格奇伯格-薩克斯頓型演算法。本記載內容同樣適用於菲涅耳全像術及藉由諸如基於點雲方法之技術的其他技術而計算之全像圖。光調變
空間光調變器可用以顯示電腦產生全像圖。若全像圖為唯相位全像圖,則需要調變相位之空間光調變器。若全像圖為全複數全像圖,則可使用調變相位及振幅之空間光調變器,或可使用調變相位之第一空間光調變器及調變振幅之第二空間光調變器。
在一些具體實例中,空間光調變器之光調變元件(亦即像素)為含有液晶之胞元。亦即,在一些具體實例中,空間光調變器為液晶裝置,其中光學活性組件為液晶。每一液晶胞元經組態以選擇性地提供複數個光調變位準。亦即,每一液晶胞元在任一時間經組態以在選自複數個可能光調變位準之一個光調變位準下進行操作。每一液晶胞元可動態地重新組態至來自複數個光調變位準之不同光調變位準。在一些具體實例中,空間光調變器為反射矽上液晶(LCOS)空間光調變器,但本記載內容不限於此類型空間光調變器。
LCOS裝置在小孔隙(例如寬度為數公分)內提供光調變元件或像素之密集陣列。像素典型地為大約10微米或更小,此產生少許角度之繞射角,此意謂光學系統可為緊湊的。相較於其他液晶裝置之較大孔隙,較容易充分照明LCOS SLM之小孔隙。LCOS裝置典型地為反射的,此意謂驅動LCOS SLM之像素之電路系統可埋入於反射表面下。此引起較高孔隙比。換言之,像素緊密地堆積,此意謂在像素之間幾乎沒有無效空間。此為有利的,此係因為其減少重播場中之光學雜訊。LCOS SLM使用矽底板,其具有像素為光學平坦的優點。此對於相位調變裝置來說特別重要。
下文僅作為實例參考圖3描述合適的LCOS SLM。LCOS裝置係使用單晶矽基板302而形成。其具有正方形平面鋁電極301之2D陣列,被隔開間隙301a,配置在基板之上部表面上。電極301中之每一者可經由埋入於基板302中之電路系統302a來定址。電極中之每一者形成各別平面鏡。對準層303安置在電極陣列上,且液晶層304安置在對準層303上。第二對準層305安置在液晶層304上,且例如由玻璃製成之平面透明層306安置在第二對準層305上。例如由ITO製成之單一透明電極307安置在透明層306與第二對準層305之間。
正方形電極301中之每一者連同透明電極307及中介液晶材料之上覆區一起界定可控相位調變元件308,通常被稱為像素。考慮到在像素301a之間的空間,有效像素區域或填充因數為光學活性之總像素之百分比。藉由相對於透明電極307來控制經施加至每一電極301之電壓,各別相位調變元件之液晶材料之性質可變化,藉此為入射於其上之光提供可變延遲。其效應係為波前提供唯相位調變,亦即不發生振幅效應。
所描述LCOS SLM在反射時輸出經空間調變光。反射LCOS SLM具有信號線、閘極線及電晶體位於鏡像表面下方的優點,此產生高填充因數(典型地大於90%)及高解析度。使用反射LCOS空間光調變器之另一優點為,液晶層之厚度可為在使用透射裝置之情況下所必要之厚度的一半。此極大地改良液晶之切換速度(投影移動視訊影像之關鍵優點)。然而,本記載內容之教示同樣可使用透射LCOS SLM來實施。2D 傅立葉變換之實施
參考圖4A至圖4D,表示二維(2D)影像之影像資料之2D傅立葉變換可分解為兩個一維(1D)傅立葉變換,沿著每一維度有一個。圖4A繪示表示影像405之複數資料值之2D陣列410,例如具有對應於像素值之幅度及隨機相位,如上文所描述。如由箭頭415所指示,為陣列410之每一列計算傅立葉變換425,以計算列傅立葉變換陣列430之對應列420(參見圖4B及圖4C)。可以說陣列430被逐列地進行傅立葉變換。然後,陣列430被逐行地進行傅立葉變換,如由圖4C中之箭頭435所指示,以提供資料值之陣列440,該等資料值指出表示影像405之陣列410之2D傅立葉變換445(參見圖4D)。
參考圖5,尤其適合於對二維(2D)影像執行2D傅立葉變換之影像資料處理系統包含第一傅立葉變換引擎552,其經配置以:接收表示第一陣列之第一複數資料值之第一資料串流501,其中每一第一複數資料值為由x個位元形成之實值及由x個位元形成之虛值,亦即資料值呈笛卡兒表示式;對第一陣列之第一複數資料值執行第一複數傅立葉變換以形成第二陣列之第二複數資料值,其中每一第二複數資料值為由x個位元形成之實值及由x個位元形成之虛值;及輸出表示第二複數資料值之第二陣列之第二資料串流502。例如,x=32個位元。
具體而言,第一陣列表示如由圖4A中之陣列410所繪示之輸入影像,其中複數資料值之幅度對應於輸入影像中之影像強度(像素值),且隨機相位被指派至每一資料值。例如,此等資料指派可以極表示式進行,且然後將資料值變換為笛卡兒表示式。該陣列可用複數資料值Aij 如下表示:
Figure 02_image005
由第一傅立葉變換引擎552接收之對應資料串流(第一資料串流501)可如下表示,其中傅立葉變換引擎552一列接著一列地接收資料值:
Figure 02_image007
傅立葉變換引擎552如下一次一列地處理資料值,其中FFT指示快速傅立葉變換,但應瞭解,可使用任何傅立葉變換實施:
Figure 02_image009
傅立葉變換引擎552一個接著一個地輸出每一變換列,且藉此形成另一資料串流(第二資料串流502),其對應於陣列之維度中之一者之傅立葉變換,例如如由圖4C中之陣列430所繪示的陣列之列:
Figure 02_image011
第一資料轉換引擎554經配置以:接收第二資料串流502;將每一第二複數資料值轉換為極表示式,其中幅度值由x個位元形成且相位值由x個位元形成;壓縮每一幅度值及每一相位值以形成第三陣列之第三複數資料值,例如其中幅度值由y個位元形成且相位值由y個位元形成,其中y<x;及輸出表示第三陣列之第三複數資料值之第三資料串流503。例如,x=32個位元,且y = 8個位元。 轉換及壓縮之組合操作可表示如下:
Figure 02_image013
第三資料串流503可表示如下:
Figure 02_image015
應瞭解,表示影像之資料值之壓縮可包含(或甚至由以下組成)使用較少位元將呈極表示式之每一資料值轉換為數字格式,例如將幅度及相位中之每一者個別地轉換為使用較少位元之數字格式。例如,原始數字格式可為相位及幅度中之每一者使用一個雙精度(64位元)或單精度(32位元)浮點數,且引擎554可以任何方式將每一數字轉換為半精度(16位元)或四分之一精度(8位元)浮點數,例如藉由自浮點數之小數部分刪除所需數目之最低有效位元。數字格式(原始及壓縮的)當然不受此限制,且數字可以其他格式來表示,例如二進位或整數字格式。例如,以一種可能格式,相位之2%對應於相位部分之最大可表示之二進位/整數,其中在0與2%之間的值均勻地間隔在在0與彼數之間的可用位準上,且幅度類似地用臨限幅度(最大可表示幅度)來表示,該臨限幅度對應於最大可表示數值及在零與彼幅度之間在可用位準上方均勻間隔之中間值。在特定實例中,初始數字格式以1024級表示相位及幅度中之每一者(每一者32個位元,總計64個位元),且壓縮數字格式以64級表示相位及幅度中之每一者(每一者8個位元,總計16個位元)。
在任一狀況下,壓縮相位可包含將值以較低位元表示而重新分佈至0與2%之間的可用級。對於幅度值(其不一定限於固定間隔),基於對可能發生之幅度之知曉,數值可限制於固定間隔。例如,幅度值可經縮放至較低數值,使得更適合在可用範圍內且經指派至對應可用表示位準,其中幅度值仍超過經設定(定限)至彼數之最大可表示數。用以按比例縮小(乘以)數值之縮放因數可基於對典型資料集之知曉設定為權衡,使得不超過可接受數目之幅度可能被定限,而可用位準表示可接受精度(較之所要,位準在數值上未被較多間隔/較粗糙)。
應進一步瞭解,雖然影像資料之轉換及壓縮被描述為個別操作,但此為了便描述第一資料轉換引擎554之目的而進行,且涵蓋其中存在個別操作的彼等實施方案及其中不存在個別操作的彼等實施方案。例如,每一資料值可由處理器讀取至(處理器之其他內部表示之)工作暫存器中,以將資料值轉換為極表示式並寫出至記憶體,該記憶體可用於以較低位元數字格式進一步處理,此可自處理器外部描述為單一操作(儘管各種機器級操作當然發生在處理器內部以實施此情形)。
列-行變換引擎556經配置以:接收第三資料串流503;將第三陣列之第三複數資料值寫入至記憶體;及讀出表示第四陣列之第四複數資料值之第四資料串流504,其中第四陣列之第四複數資料值為第三陣列之第三複數資料值之列-行變換或轉置。
具體而言,變換引擎556在第三資料串流503由第一資料轉換引擎554產生時逐列地接收該第三資料串流,並將資料值逐列地寫入至記憶體。一旦所有第三資料串流503(亦即陣列之所有列)已經寫入至記憶體,便自記憶體逐行讀出資料值。所得資料串流(第四資料串流504)可表示如下:
Figure 02_image017
對應(經過列傅立葉變換、壓縮及轉置)陣列可表示如下:
Figure 02_image019
上述陣列可形成表示輸出影像之影像資料,或可用作輸入影像資料用於如下文所描述之進一步處理迭代。
因此,在一些具體實例中,提供影像資料處理系統,其提供準備用於逐行處理之呈轉置形式之逐列傅立葉變換陣列,藉此當然應瞭解,列及行在本文中被稱為各別維度中之各別線性陣列之實例,且因此,處理可逐行地開始,且資料處理系統逐列地提供陣列。換言之,術語「列」僅用以表示跨越一個維度(列或行、水平或垂直等)之線性陣列,且術語「行」僅用以表示跨越2D陣列中另一維度之線性陣列。
參考圖6,第二資料轉換引擎558經配置以:接收第四資料串流504;解壓縮每一第四複數資料值;將每一第四複數資料值轉換為包含實值及虛值之第五複數資料值,即轉換為笛卡兒表示式;及輸出表示第五陣列之第五複數資料值之第五資料串流505。
第二資料轉換引擎558之操作可概念化如下:
Figure 02_image021
具體而言,影像資料之解壓縮可包含上文所描述影像資料壓縮之逆操作,例如將相位值重新量化為較大的可用位準數目(例如用額外零填充並在第三資料串流503/第四資料串流504之位準之間添加空位準)並用縮放因數之倒數縮放幅度並重新量化,或轉換回例如雙精度格式,視狀況而定。
應瞭解,列-行變換引擎可僅僅實施為用以接收第三資料串流之記憶體,並藉由第一資料轉換引擎554將其依序寫入至記憶體,在一些實施方案中具有向第二資料轉換引擎558發信號通知所有資料串流503已被寫入之功能(替代地實施在第一資料轉換引擎554中)。在此類實施方案中,此信號然後觸發第二資料轉換引擎558自記憶體讀取自a11 開始之每一第n個資料值,亦即(忽略任何偏移及特定定址方案)順序地讀取記憶體地址1+(k- 1)•n,其中k = {1;2;3;4;...; m•n}。當然,在其他具體實例中,此類定址/讀出方案係由列-行變換引擎來實施。
第二傅立葉變換引擎560經配置以:接收第五資料串流505;對第五陣列之第五複數資料值執行第二1D複數傅立葉變換以形成第六陣列之第六複數資料值,其中每一第六複數資料值係由x個位元形成之實值及由x個位元形成之虛值;及輸出表示第六陣列之第六複數資料值之第六資料串流506,其中第二1D複數傅立葉變換正交於第一1D複數傅立葉變換,亦即在列及行方面,變換行而非列。
第二傅立葉變換引擎560之操作可表示如下:
Figure 02_image023
Figure 02_image025
具體而言,第二傅立葉變換引擎560逐行地接收第五資料串流505中之資料值,一次一行地變換並逐行地輸出第六資料串流506。
第六資料值陣列為第一陣列(例如,輸入影像)之2D傅立葉變換之轉置,且可表示如下:
Figure 02_image027
對應第六資料串流可表示如下:
Figure 02_image029
因此,在一些具體實例中,提供影像資料處理系統,其提供2D傅立葉變換,該2D傅立葉變換經分解為2D陣列之逐行及逐列傅立葉變換。由於第一陣列包含表示如上文所描述且在圖4A中所繪示之輸入影像之影像資料,故第六資料串流可視為電腦產生全像圖(在上文大體地且具體地參考資料處理系統描述之一次或多次迭代之後)。具體而言,複數資料值中之每一者之相位值單獨地可被視為輸入影像之電腦產生唯相位全像圖。因此,對應於電腦產生全像圖之第六資料串流可輸出以供全像顯示裝置顯示以用於如本文中所描述之全像重建。因此,在一些具體實例中,資料處理系統形成用於產生由2D陣列表示之影像之全像圖之影像處理系統。二維的第六資料值陣列(對應於第六資料串流)之值表示(亦即對應於)對應於二維輸入影像之二維全像圖之像素。
參考圖7,實施2D逆傅立葉變換之影像資料處理系統包含第一逆傅立葉變換引擎564,其經配置以:接收第七資料串流507;對第七陣列之第七複數值執行第一1D複數逆傅立葉變換以形成第八陣列之第八複數值,其中每一第八複數值係由x個位元形成之實值及由x個位元形成之虛值;及輸出表示第八陣列之第八複數資料值之第八資料串流508。
如下文論述,第七資料串流507可例如自第六資料串流506導出。
第三資料轉換引擎566經配置以:接收第八資料串流508;將每一第八複數資料值轉換為由x個位元形成之幅度值及由x個位元形成之相位值;將每一幅度值與每一相位值壓縮以形成第九陣列之第九複數資料值;及輸出表示第九陣列之第九複數資料值之第九資料串流509。
在一些具體實例中,逆傅立葉變換影像資料處理系統與上文參考圖5及圖6所描述之資料處理系統共用列-行變換引擎556,例如如上文所論述之記憶體。在此狀況下,列-行變換引擎556經進一步配置以:接收第九資料串流509;將第九陣列之第九複數資料值寫入至記憶體;及讀出表示第十陣列之第十複數資料值之第十資料串流510,其中第十陣列之第十複數資料值為第九陣列之第九複數資料值之列-行變換。在其他具體實例中,每一資料處理系統具有其自有的列-行變換引擎。
第四資料轉換引擎568經配置以:接收第十資料串流510;解壓縮每一第十複數資料值;將每一第十複數資料值轉換為包含實值及虛值之第十一複數資料值;及輸出表示第十一陣列之第十一複數資料值之第十一資料串流511。
第二逆傅立葉變換引擎570經配置以:接收第十一資料串流511;對第十一陣列之第十一複數資料值執行第二1D複數逆傅立葉變換以形成第十二陣列之第十二複數資料值,其中每一第十二複數資料值係由x個位元形成之實值及由x個位元形成之虛值;及輸出表示第十二陣列之第十二複數資料值之第十二資料串流512,其中第二1D複數逆傅立葉變換正交於第一1D複數傅立葉變換。
所屬技術領域中具有通常知識者將意識到逆傅立葉變換僅為應用於已經過傅立葉變換之資料集之傅立葉變換。例如,若傅立葉變換將影像變換為傅立葉表示,則逆變換藉由再次對經變換之資料集進行傅立葉變換來變換回影像表示。因此,上文對引擎552、554、558及560之詳細描述同樣分別適用於引擎564、566、568及570。在一些具體實例中,各別引擎可以相同方式來組態(且在其他具體實例中經不同組態)。實際上,第二傅立葉變換引擎560之輸出(第六資料串流506)可作為第一資料串流501直接或藉助中介列-行變換(轉置)而饋送回至第一傅立葉變換引擎552之輸入,因為正向及逆向變換之操作為相同的。在此狀況下:實際上,引擎564、566、568和及570分別由引擎552、554、558及560來替換,重用各別計算資源。同樣地,由於其對所接收資料值流執行相同操作,故傅立葉變換引擎552及560可藉由相應地路由資料值串流而用單一傅立葉變換引擎來替換。換言之,在一些具體實例中,第一、第二、第三及/或第四傅立葉變換引擎為單一傅立葉變換引擎,但其亦可各自為不同的個別引擎。
參考圖8,在一些具體實例中,上文所描述影像資料處理系統經組合用於影像處理以實施如上文所描述之電腦產生全像圖之迭代計算。因此,藉由第一迭代計算之第六資料串流506不作為用於顯示之全像圖資料而輸出,而是替代地藉由逆傅立葉變換進行轉換,以用作下一迭代之輸入影像資料。第一幅度引擎562經配置以接收第六資料串流506並輸出第七資料串流507,其中第三傅立葉變換引擎564經配置以自第一幅度引擎562接收第七資料串流。第一幅度引擎562經配置以在逆變換發生之前替換第六資料串流506中複數資料值之幅度,如上文所描述,例如藉由將所有幅度設定為1。
第二幅度引擎572經配置以接收第十二資料串流512並輸出第十三資料串流513,其代替第一資料串流501用於全像圖之電腦產生演算法之下一迭代,如上文所描述。第一傅立葉變換引擎552經配置以自第二幅度引擎572接收第十三資料串流513。第二幅度引擎572經配置以執行一個或兩個功能。
一方面,在一些具體實例中,第二幅度引擎572經配置以比較第十二資料串流512中之複數值之幅度值與輸入影像之對應幅度值或像素值,如上文所描述,且在如上文所描述滿足擬合優度條件之情況下終止迭代演算法。
在其他具體實例中,停止條件基於例如迭代數目,而不是基於擬合優度準則。無論如何,若滿足停止準則,則演算法終止並返回基於第六資料串流506(及對應第六陣列,可能根據需要轉置)之電腦產生全像圖,例如返回各別相位值之陣列作為唯相位全像圖或作為全複數全像圖之複數值陣列。第六資料串流/陣列因此經保存在記憶體中,直至已評估過當前迭代之停止準則(在關於迭代數目之準則的狀況下,此在一旦已完全計算第六資料串流506即可發生)。
若需要進一步迭代,亦即不滿足停止準則,則第二幅度引擎572如上文所描述替換第十二資料串流512中之資料值之幅度,例如用輸入影像或幅度之組合中之各別者及輸入影像之各別者來替換幅度,如上文所描述。
影像處理之對應方法參考圖9被描述。方法可使用上文所描述系統或以任何其他方式來實施。應理解,上文參考圖5至圖8所描述之系統組件之特徵之描述同樣適用於對應方法步驟,而不管其如何實施的。因此,下文方法步驟之記載內容包括上文作出之各別具體記載內容。
在步驟902處,初始化該方法,初始化對欲處理之呈笛卡兒表示式之2D N×M陣列之複數資料值加索引的計數器變數m=1及n=1以及該陣列本身,例如基於欲如上文所描述計算其電腦產生全像圖之影像,但該方法不限於此且可用於其他影像處理技術。應瞭解,在資料值視狀況逐行/逐列地串流傳輸之具體實例中,不需要顯式計數器且可藉由資料之串流傳輸來驅動處理,計數資料值或依賴於指示每一列、行及/或陣列末端之資料串流中之旗標。
在步驟904處,對第n列進行傅立葉變換且在步驟906處轉換結果,首先轉換為極表示式,且然後轉換為較低位元數字格式/表示。在步驟908處,將第n列以此形式儲存在記憶體中,且步驟910檢查第n列是否為陣列之最後一列。若n未遞增(或在串流傳輸實施方案中,自串流接收下一M值)且重複進行步驟904至910直至最後列已經處理。在一些具體實例中,簡單地提供用於進一步處理之壓縮資料集,該程序在輸出或儲存所得陣列之此階段結束,如由圖9中之斷點A所指示。
在其他具體實例中,該方法繼續進行至步驟916,在該步驟處,例如,自記憶體讀取第一行資料值,且然後在步驟918處首先轉換回為原始數字格式或表示(或比低位元格式需要較多位元之至少一個格式),且然後自極表示式轉換回為笛卡兒表示式。然後在步驟920處對此行資料值進行傅立葉變換。在一些具體實例中,其中方法提供2D傅立葉變換而無需如下文所描述進一步處理,該方法自圖9中之斷點B循環回以重複進行步驟916至920,直至該陣列已逐行地處理且該方法終止,輸出或儲存結果陣列。
在提供用於計算電腦產生全像圖之迭代程序之其他具體實例中,一旦在步驟920處已變換行,則資料值之幅度被替換,例如替換為1,如上文所描述,且在步驟924處對所得行進行傅立葉變換,且在步驟926處轉換且在步驟928處符合步驟904至908之描述而儲存,其中列替換為行。在步驟930處,檢查是否所有行已經處理。若並非所有行已經處理,則該程序在步驟932處遞增m(除非在如上文所論述之串流傳輸實施方案中為隱含)。在一些具體實例中,步驟916至920及922至928可交錯進行,使得當在步驟922至928處理並儲存行m時,只要存在有下一行,則在步驟916至920處讀取並處理下一行m+1。
若在步驟930處已判定所有行已經處理,則程序繼續進行至步驟934以重設n(除非在串流實施方案中不需要—參見上文)。在步驟936處,例如自記憶體讀取第一列。應理解,步驟908將數列作為順序資料值寫入至記憶體,且步驟916依序讀出每一第M值以讀出行序列,然後在步驟928處作為行序列予以寫入且在步驟936處讀出每一第N值以再次讀出列序列等等,下文所描述在步驟948處寫入連續數列以循環回並重新開始在步驟916處讀出行序列(跳過M)以關閉循環。因此,如參考圖9所提及之列及行指稱原始陣列之列及行,在該方法之每一步驟處變換。
在步驟938處,將在步驟936處所讀取之列如上文針對步驟918所描述而轉換回,且在步驟940處對經轉換回之列進行傅立葉變換。在步驟942處,基於欲表示之影像來替換列之幅度,如上文所描述,且下一迭代開始於在步驟944處進行傅立葉變換,在步驟946處如上文針對步驟906所描述進行轉換並在步驟948處儲存在記憶體中。步驟950檢查所有列已經處理。若並非所有列已經處理,則在步驟952處遞增n,除非此如上文所論述之串流傳輸實施方案中為隱含,且該方法循環回至步驟936以讀取下一列。另一方面,若在步驟950處判定所有列已經處理,則該方法循環回至步驟914以重設m(除非此在串流傳輸實施方案中為非必要—參見上文)且方法在步驟916處繼續進行。因此,在一些具體實例中,該方法實施用於計算電腦產生全像圖之迭代演算法,其中步驟902至942對應於演算法之第一迭代,且步驟944至942經由步驟914至940之重複對應於後續迭代。
在一些具體實例中,根據設定之迭代數目來界定停止準則。在此等具體實例中,一旦達到迭代數目且在最後迭代中所有行已經處理,則該方法在斷點B處停止。在彼斷點處之資料值,亦即如在步驟920處經過傅立葉變換,用以形成全像圖且因此出於此目的至少在最後迭代中儲存用於所有行(亦即自步驟902或914之最後通過之後經過變換)。例如,資料值之相位可用作唯相位全像圖,如上文所描述,若需要,具有對應陣列之轉置。
在一些具體實例中,如與原始輸入影像相比,停止準則根據與陣列之資料值之幅度之幅度分佈之擬合優度(goodness of fit)來界定,如上文詳細描述。擬合優度之度量在斷點C處判定,且若在此斷點處判定演算法已充分收斂且欲終止,則使用自上一步驟902或914以來在步驟922處經過變換之行之資料值來如上文所描述構建全像圖。為此,簡單地為陣列中之所有行維持由步驟920產生之資料值之行之儲存可能係方便的,其中每一行藉由下一迭代之其對應行或以任何其他合適之方式來重寫。
因此,當滿足停止準則時,該方法可輸出表示用於顯示之輸入影像之全像圖。例如,該方法可將全像圖輸出至如本文中所描述之全像顯示裝置。全像圖可為唯相位全像圖或包含相位及振幅分量之全複數全像圖。該方法可自影像源(例如視訊攝影機)即時接收輸入影像序列並即時輸出表示各別影像之全像圖序列。因此,該方法可在接收到影像時即時(亦即以低延遲)對其進行處理。由於如本文中所描述壓縮複數影像資料,故減少延遲為可能的。此外,藉由對複數影像資料之極座標表示執行壓縮來減少影像資料中之誤差。在一些具體實例中,該方法可在全像顯示裝置(諸如經配置以顯示全像圖之空間光調變器)上顯示每一全像圖,並用光照明空間光調變器以便形成全像重建或全像重播影像。
根據所描述方法,可用減少之計算資源(例如,如本文中所描述,減少之記憶體容量及處理能力)來執行與產生對應全像圖或處理影像所需要之影像資料相對應之複數之大資料集的變換,如本文中所描述。此外,如本文中所描述,電腦產生全像圖或經處理影像可以增加速度及準確度來計算。額外特徵
僅作為實例,具體實例係關於電啟動LCOS空間光調變器。本記載內容之教示同樣可在能夠根據本記載內容來顯示電腦產生全像圖之任何空間光調變器上加以實施,諸如例如任何電啟動SLM、光學啟動SLM、數位微鏡裝置或微機電裝置。
在一些具體實例中,光源為雷射。在一些具體實例中,偵測器為光偵測器。在一些具體實例中,光接收表面為螢幕或漫射器。本記載內容之全像投影系統可用以提供經改良抬頭顯示器(HUD)或頭戴式顯示器。在一些具體實例中,提供一種運載工具,該運載工具包含安裝在運載工具中以提供HUD之全像投影系統。運載工具可為機動運載工具,諸如汽車、貨車、廂型車、卡車、摩托車、火車、飛機、船或輪船。
全像重建之品質可受到所謂的零級問題的影響,該零級問題為使用像素化空間光調變器之繞射性質的結果。此類零級光可被視為「雜訊」且包括例如鏡面反射光及來自SLM之其他不需要的光。
在傅立葉全像之實例中,此「雜訊」聚焦在傅立葉透鏡之焦點處,導致全像重建之中心處之亮點。零級光可簡單地被阻擋,然而此將意謂用暗點替換亮點。一些具體實例包括角度選擇濾波器以僅移除零級之準直射線。具體實例亦包括在歐洲專利2,030,072中所描述之管理零級之方法,該專利之全文特此以引用之方式併入本文中。
在一些具體實例中,全像圖之大小(每一方向上之像素數目)等於空間光調變器之大小,使得全像圖填滿空間光調變器。亦即,全像圖使用空間光調變器之所有像素。在其他具體實例中,全像圖之大小小於空間光調變器之大小。在此等其他具體實例中之一些中,全像圖之一部分(亦即全像圖之像素之連續子集)在未使用像素中出現重複。此技術可被稱為「平鋪(tiling)」,其中空間光調變器之表面區域經劃分成多個「平鋪塊」,其中每一者表示全像圖之至少一子集。因此,每一平鋪塊具有小於空間光調變器之大小。
全像重播場之大小(亦即全像重建之實體或空間範圍)由空間光調變器之像素間距(亦即在空間光調變器之毗鄰光調變元件或像素之間的距離)來判定。可在重播場中形成之最小特徵可被稱為「解析度元素」、「影像點」或「影像像素」。典型地,空間光調變器之每一像素具有四邊形形狀。四邊形孔隙之傅立葉變換為正弦函數,且因此每一影像像素為正弦函數。更具體而言,重播場上每一影像像素之空間強度分佈為正弦函數。每一正弦函數可被視為包含峰值強度初級繞射級及遠離初級徑向延伸之一系列強度遞減之較高繞射級。每一正弦函數之大小(亦即每一正弦函數之實體或空間範圍)由空間光調變器之大小(亦即由光調變元件或空間光調變器像素之陣列形成之孔隙之實體或空間範圍)來判定。具體而言,光調變像素陣列形成之孔隙愈大,影像像素愈小。通常期望具有小的影像像素。
在一些具體實例中,實施「平鋪」技術以提高影像品質。具體而言,一些具體實例實施平鋪技術以最小化影像像素之大小同時最大化進入全像重建之信號內容之量。
然而,若使用諸如雷射之相干光源,則所得全像重建仍受到「斑點」的影響。斑點為眾所周知的,且為自光學粗糙表面散射之光干涉的結果。期望減少此類斑點。具體實例包括減少全像重建中所感知斑點之元件及技術。
在一些具體實例中,寫入至空間光調變器之全像圖案包含至少一個完整平鋪塊(亦即完整全像圖)及平鋪塊之至少一小部分(亦即全像圖之像素之連續子集)。
全像重建係在由空間光調變器所界定之整個窗口之第零繞射級內來建立。較佳地,第一及後續級位移足夠遠以便不與影像重疊且使得其可使用空間濾波器加以阻擋。
在具體實例中,全像重建具有彩色。在本文中所記載之實例中,三個不同彩色之光源及三個對應之SLM用以提供複合色彩。此等實例可稱為空間分離色彩「SSC」。在本記載內容所囊括之變化中,每一色彩之不同全像圖顯示在同一SLM之不同區域上,且然後組合以形成複合彩色影像。然而,所屬技術領域中具有通常知識者應理解,本記載內容之裝置及方法中之至少一些同樣適用於提供複合彩色全像影像之其他方法。
此等方法中之一者被稱為訊框順序色彩「FSC」。在實例FSC系統中,使用三個雷射(紅色、綠色及藍色),且每一雷射在單一SLM處連續發射以產生視訊之每一訊框。色彩以足夠快之速率循環(紅色、綠色、藍色、紅色、綠色、藍色等),使得人類觀察者自三個雷射所形成之影像之組合看到多色影像。因此,每一全像圖為特定色彩的。例如,在每秒有25個訊框之視訊中,第一訊框將藉由發射紅色雷射而在第1/75秒處產生,然後綠色雷射在下一個第1/75秒發射,且最後藍色雷射將在下一個第1/75秒處發射。然後產生下一訊框,自紅色雷射開始等等。
FSC方法之優點為整個SLM用於每一色彩。此意謂所產生之三個彩色影像之品質未受損害,此係因為SLM上之所有像素用於彩色影像中之每一者。然而,FSC方法之缺陷為所產生之整體影像將不與由SSC方法所產生之對應影像明亮約3倍,此係因為每一雷射僅用於三分之一的時間。此缺點可藉由過驅動雷射或使用更強大雷射來解決,但如此將需要使用較多功率,將涉及較高成本,且將使系統較不緊湊。
SSC方法之優點為影像較明亮,此歸因於所有三個雷射同時發射。但是,若由於空間限制而僅需要使用一個SLM,則SLM之表面積可劃分為三個部分,實際上充當三個個別SLM。此缺陷為每一單色影像之品質降低,此歸因於每一單色影像可用之SLM表面積之減少。因此,多色影像之品質相應地降低。可用SLM表面積之減少意謂可使用SLM上之像素較少,因此降低影像品質。影像品質降低,此係因為其解析度降低。具體實例利用在英國專利2,496,108中記載之經改良SSC技術,該英國專利之全文特此以引用之方式併入本文中。
實例描述用可見光照明SLM,但所屬技術領域中具有通常知識者應理解,光源及SLM同樣可例如用以引導紅外線光或紫外線光,如本文中所記載。例如,所屬技術領域中具有通常知識者將意識到用於向使用者提供資訊之目的而將紅外線光及紫外線光轉換為可見光之技術。例如,出於此目的,本記載內容延伸至使用磷光體及/或量子點技術。
一些具體實例僅作為實例來描述2D全像重建。在其他具體實例中,全像重建為3D全像重建。亦即,在一些具體實例中,每一電腦產生全像圖形成3D全像重建。計算裝置
圖10繪示計算裝置1000之一個實施方案的方塊圖,其中可執行指令集以用於使計算裝置執行本文中所論述之方法中之任何一者或多者。在替代性實施方案中,計算裝置可連接(例如網路連接)至區域網路(LAN)、企業內部網路、企業間網路或網際網路中之其他機器。計算裝置可作為用戶端-伺服器網路環境中之伺服器或用戶端機器來操作,或作為點對點(或分散式)網路環境中之同級機器。該計算裝置可為個人電腦(PC)、平板電腦、機上盒(STB)、個人數位助理(PDA)、蜂巢式電話、網路器具、伺服器、網路路由器、交換器或橋接器、或能夠執行用以指定將由彼機器採取之動作之指令集(順序的或其他)之任何機器。此外,雖然僅繪示單一計算裝置,但術語「計算裝置」亦應被視為包括個別地或聯合地執行一組(或多組)指令以執行本文中所論述之方法中之任何一者或多者的機器(例如電腦)之任何集合。
實例電腦裝置1000包括經由匯流排1030彼此通信之處理裝置1002、主記憶體1004(例如,唯讀記憶體(ROM)、快閃記憶體、諸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)之動態隨機存取記憶體(DRAM)等等)、靜態記憶體1006(例如快閃記憶體、靜態隨機存取記憶體(SRAM)等等)及輔助記憶體(例如資料儲存裝置1018)。
處理裝置1002表示一個或多個通用處理器,諸如微處理器、中央處理單元等等。更特定而言,處理裝置1002可為複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、超長指令字(VLIW)微處理器、實施其他指令集之處理器、或實施指令集組合之處理器。處理裝置1002亦可為一個或多個特殊用途處理裝置(諸如特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、數位信號處理器(DSP)、網路處理器或類似者)。處理裝置1002經組態以執行處理邏輯(指令1022)以執行本文中所論述之操作及步驟。
計算裝置1000可進一步包括網路介面裝置1008。電腦裝置1000亦可包括視訊顯示單元1010(例如液晶顯示器(LCD)或陰極射線管(CRT))、文數輸入裝置1012(例如鍵盤或觸控螢幕)、游標控制裝置1014(例如滑鼠或觸控螢幕)及音訊裝置1016(例如揚聲器)。
資料儲存裝置1018可包括一個或多個機器可讀取儲存媒體(或更具體而言,一個或多個非暫時性電腦可讀取儲存媒體)1028,在其上儲存有一組或多組指令1022,該等指令體現本文中所描述之方法或功能中之任何一者或多者。指令1022亦可在由電腦系統1000執行期間完全或至少部分地駐留在主記憶體1004及/或處理裝置1002內,主記憶體1004及處理裝置1002亦構成電腦可讀取儲存媒體。
上文所描述各種方法可由電腦程式來實施。電腦程式可包括經配置以指示電腦執行上文所描述各種方法中之一者或多者之功能之電腦程式碼。用於執行此類方法之電腦程式及/或程式碼可提供至諸如電腦之設備、一個或多個電腦可讀取媒體上、或更一般而言為電腦程式產品。電腦可讀取媒體可為暫時性或非暫時性。一個或多個電腦可讀取媒體可為例如電子、磁、光、電磁、紅外線或半導體系統,或用於資料傳輸之傳播媒體,例如用於經由網際網路下載程式碼。替代地,一個或多個電腦可讀取媒體可採用一個或多個實體電腦可讀取媒體之形式,諸如半導體或固態記憶體、磁帶、可卸除式電腦磁片、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬磁碟及光碟,諸如CD-ROM、CD-R/W或DVD。
在實施方案中,本文中所描述之模組、組件及其他特徵可被實施為離散組件或整合在諸如ASICS、FPGA、DSP或類似裝置之硬體組件之功能中。
「硬體組件」為有形(例如非暫時性)實體組件(例如,一組一個或多個處理器)能夠執行某些操作且可以某種實體方式來組態或配置。硬體組件可包括永久地經組態以執行某些操作之專用電路系統或邏輯。硬體組件可為或包括專用處理器,諸如場可程式化閘陣列(FPGA)或ASIC。硬體組件亦可包括由軟體暫時地組態以執行某些操作之可程式化邏輯或電路系統。
因此,片語「硬體組件」應被理解為涵蓋可實體地構造、永久地組態(例如,硬連線)或暫時地組態(例如程式化)從而以某一方式來操作或執行本文中所描述某些操作之有形實體。
另外,模組及組件可實施為硬體裝置內之韌體或功能電路系統。此外,模組及組件可以硬體裝置及軟體組件之任何組合來實施,或僅以軟體來實施(例如,在機器可讀取媒體或在傳輸媒體中儲存或以其他方式體現之程式碼)。
描述參考諸如傅立葉變換引擎、轉換引擎、變換引擎及類似者之資料處理引擎。應理解,此等引擎可在各別專用硬體組件中來實施,在硬體組件之間來共用,或共用硬體組件,例如在各別模組中、在軟體(例如韌體、中間軟體或類似者)中或在硬體中來實施。
除非如自以下論述顯而易見另有具體陳述,否則應瞭解,在本說明書通篇中,利用諸如「接收」、「判定」、「比較」、「啟用」、「維持」、「識別」、「變換」、「轉換」、「儲存」、「讀取」或類似者之術語之論述指稱電腦系統或類似電子計算裝置之動作及程序,其對表示為電腦系統之暫存器及記憶體內之物理(例如電子)量之資料進行操縱並將其變換為類似地表示為電腦系統記憶體或暫存器或其他此等資訊儲存、傳輸或顯示裝置內之物理量的其他資料。
本文中所描述之方法及程序可體現在電腦可讀取媒體上。術語「電腦可讀取媒體」包括經配置以暫時地或永久地儲存資料之媒體,諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、緩衝記憶體、快閃記憶體及快取記憶體。術語「電腦可讀取媒體」亦應被視為包括任何有形非暫時性媒體或多媒體之組合,其能夠儲存由機器執行之指令,使得指令在由一個或多個處理器執行時使機器全部或部分地執行本文中所描述方法中之任何一者或多者。
術語「電腦可讀取媒體」亦包囊括基於雲端之儲存系統。術語「電腦可讀取媒體」包括但不限於呈固態記憶體晶片、光碟、磁碟,或其任何合適之組合之實例形式之一個或多個保形及非暫時性資料儲存庫(例如資料卷)。在一些實例具體實例中,用於執行之指令可由載體媒體來傳達。此類載體媒體之實例包括暫態媒體(例如傳達指令之傳播信號)。 額外所記載態樣及具體實例
記載以下態樣及具體實例: 1.   一種系統,其經配置以對對應於一影像之一複數資料集執行一複數傅立葉變換,其中該系統包含: 一第一傅立葉變換引擎,其經配置以接收一複數資料集並對呈笛卡兒表示式之該複數資料集執行一第一1D複數傅立葉變換; 一第一資料轉換引擎,其經配置以接收由該第一傅立葉變換引擎處理之該複數資料集,將該複數資料集轉換為極表示式,並壓縮呈極表示式之該複數資料集; 一列-行變換引擎,其經配置以接收由該第一資料轉換引擎處理之該複數資料集,並對該複數資料集執行一列-行變換; 一第二資料轉換引擎,其經配置以接收由該列-行變換引擎處理之該複數資料集,解壓縮該複數資料集,並將該複數資料集轉換回為笛卡兒表示式;及 一第二傅立葉變換引擎,其經配置以接收由該第二資料轉換引擎處理之該複數資料集,並對呈笛卡兒表示式之該複數資料執行一第二1D複數傅立葉變換,其中該第二1D複數傅立葉變換正交於該第一1D複數傅立葉變換。 2.   如項目1中所列之系統,其中該第一資料轉換引擎經配置以藉由將每一幅度值乘以一縮放因數來壓縮呈極表示式之該複數資料集。 3.   如任一前述項目中所列之系統,其中該第一資料轉換引擎經配置以藉由將該複數資料集之每一幅度值及每一相位值自x 位元轉換為y 位元來壓縮呈極表示式之該壓縮資料集,其中x > y。 4.   如項目3中所列之系統,其中該第一資料轉換引擎經配置以藉由將高於一最大准許值之任何幅度值定限為該最大准許值來壓縮呈極表示式之該複數資料集。 5.   如項目4中所列之系統,其中該最大准許值為具有y 位元之該最大准許值。 6.   如任一前述項目中所列之系統,其中該第一資料轉換引擎經配置以藉由量化該等相位值來壓縮該複數資料集。 7.   如任一前述項目中所列之系統,其中該第二資料轉換引擎經配置以藉由將每一幅度值及每一相位值自y 位元轉換回為x 位元並將每一幅度值乘以該縮放因數之倒數來解壓縮該複數資料集。 8.   如任一前述項目中所列之系統,其中該列-行變換引擎經配置以藉由將所接收之複數資料集寫入至記憶體並以不同於所接收次序之一次序而自該記憶體讀出該複數資料集來執行該列-行變換。 9.   如項目8中所列之系統,其中該記憶體為靜態隨機存取記憶體。 10. 一種系統,其經配置以對對應於一影像之一複數資料集執行一複數逆傅立葉變換,其中該系統包含: 一第一逆傅立葉變換引擎,其經配置以接收一複數資料集並對呈笛卡兒表示式之該複數資料集執行一第一1D複數逆傅立葉變換; 一第三資料轉換引擎,其經配置以接收由該第一逆傅立葉變換引擎處理之該複數資料集,將該複數資料集轉換為極表示式,並壓縮呈極表示式之該複數資料集; 一列-行變換引擎,其經配置以接收由該第一資料轉換引擎處理之該複數資料集,並對該複數資料集執行一列-行變換; 一第四資料轉換引擎,其經配置以接收由該列-行變換引擎處理之該複數資料集,解壓縮該複數資料集,並將該複數資料集轉換回為笛卡兒表示式;及 一第二逆傅立葉變換引擎,其經配置以接收由該第二資料轉換引擎處理之該複數資料集,並對呈笛卡兒表示式之該複數資料執行一第二1D複數逆傅立葉變換,其中該第二1D複數逆傅立葉變換正交於該第一1D複數逆傅立葉變換。 11. 如項目10中所列之系統,其中該第三資料轉換引擎經配置以藉由將每一幅度值乘以一縮放因數來壓縮呈極表示式之該複數資料集。 12. 如項目10或11中所列之系統,其中該第三資料轉換引擎經配置以藉由將該複數資料集之每一幅度值及每一相位值自x 位元轉換為y 位元來壓縮呈極表示式之該壓縮資料集,其中x > y。 13. 如項目12中所列之系統,其中該第三資料轉換引擎經配置以藉由將高於一最大准許值之任何幅度值定限為該最大准許值來壓縮呈極表示式之該複數資料集。 14. 如項目13中所列之系統,其中該最大准許值為具有y 位元之該最大准許值。 15. 如項目10至14中任一項中所列之系統,其中該第三資料轉換引擎經配置以藉由量化該等相位值來壓縮該複數資料集。 16. 如項目10至15中任一項中所列之系統,其中該第四資料轉換引擎經配置以藉由將每一幅度值及每一相位值自y 位元轉換回為x 位元並然後將每一幅度值乘以該縮放因數之倒數來解壓縮該複數資料集。 17. 如項目10至16中任一項中所列之系統,其中該列-行變換引擎經進一步配置以將所接收之複數資料集寫入至記憶體並以不同於所接收次序之一次序而自該記憶體讀出該複數資料集以便執行該列-行變換。 18. 如項目17中所列之系統,其中該記憶體為靜態隨機存取記憶體。 19. 一種系統,其經配置以處理對應於一影像之複數資料集,該系統包含: 項目1至9中任一項之資料處理系統; 項目10至18中任一項之資料處理系統;及 一資料處理器,其經配置以:接收由該第二傅立葉變換引擎處理之該複數資料集,並替換該等幅度值以形成由該第一逆傅立葉變換引擎接收之該複數資料集;及/或接收由該第二逆傅立葉變換引擎處理之該複數資料集並替換該等幅度值以形成由該第一傅立葉變換引擎接收之該複數資料集。 20. 如任一前述項目中所列之系統,其中該第一1D複數傅立葉變換正交於該第一1D複數逆傅立葉變換。 21. 如任一前述項目中所列之系統,其中該複數資料集由該系統處理為一1D資料串流。 22. 如任一前述項目中所列之系統,其中該複數資料由該系統在一串列匯流排上處理。 23. 如任一前述項目中所列之系統,其進一步包含一控制器,該控制器經配置以輸出表示該影像在譜域中之一全像圖。 24. 如項目22中所列之系統,其中該全像圖為一唯相位全像圖或包含一相位及一振幅分量之一全複數全像圖。 25. 如項目22或23中所列之系統,其中該控制器經配置以即時地接收一影像序列並即時地輸出表示該等各別影像在該譜域中之一全像圖序列。 26. 如項目22至24中任一項中所列之系統,其進一步包含經配置以顯示該全像圖之一空間光調變器以及經配置以照明該空間光調變器之一光源。 27. 一種對對應於一影像之一複數資料集執行一複數傅立葉變換之方法,該方法包含以下有序步驟: 接收一複數資料集並對呈笛卡兒表示式之該複數資料集執行一第一1D複數傅立葉變換; 將該複數資料集轉換為極表示式並壓縮呈極表示式之該複數資料集; 對該複數資料集執行一列-行變換; 解壓縮該複數資料集並將該複數資料集轉換回為笛卡兒表示式; 對呈笛卡兒表示式之該複數資料集執行一第二1D傅立葉變換,其中該第二1D複數傅立葉變換正交於該第一1D複數傅立葉變換。 28. 一種對對應於一影像之一複數資料集執行一複數逆傅立葉變換之方法,該方法包含以下有序步驟: 接收一複數資料集並對呈笛卡兒表示式之該複數資料集執行一第一1D複數逆傅立葉變換; 將該複數資料集轉換為極表示式並壓縮呈極表示式之該複數資料集; 對該複數資料集執行一列-行變換; 解壓縮該複數資料集並將該複數資料集轉換回為笛卡兒表示式; 對呈笛卡兒表示式之該複數資料集執行一第二1D逆傅立葉變換,其中該第二1D複數逆傅立葉變換正交於該第一1D複數逆傅立葉變換。 29. 如項目26及27中所列之方法,其進一步包含: 替換由項目26之方法所產生的該複數資料集之該等幅度值以形成根據項目27所接收之該複數資料集;及/或 替換由項目27之方法所產生的該複數資料集之該等幅度值以形成根據項目26所接收之該複數資料集。
應理解,以上描述意欲為說明性而非限制性。在閱讀且理解以上描述後,所屬技術領域中具有通常知識者將顯而易見諸多其他實施方案。雖然已參考特定實例具體實例描述本記載內容,但將認識到,本記載內容不限於所描述之實施方案,但可在屬於所附申請專利範圍之精神及範圍內之修改及變更的情況下實踐。
因此,應將說明書及圖式視為具有說明性意義而非限定性意義。因此,本記載內容之範圍應參考所附申請專利範圍連同此申請專利範圍所授權之等效者之完全範圍來判定。
110:光源 111:準直透鏡 112:出射波前 120:傅立葉變換透鏡 125:螢幕 140:空間光調變器(SLM) 202A:步驟 202B:步驟 210:輸入影像 211A:幅度值分佈 211B:幅度值分佈 213A:相位值分佈 230:隨機相位分佈 250:第一處理區塊 253:第二處理區塊 256:第三處理區塊 258:處理區塊 259:第四處理區塊 280A:全像圖 280B:第二迭代全像圖 301:正方形平面鋁電極 301a:間隙 302:單晶矽基板 302a:電路系統 303:對準層 304:液晶層 305:第二對準層 306:平面透明層 307:透明電極 308:可控相位調變元件 405:影像 410:2D陣列 415:箭頭 420:列 425:傅立葉變換 430:陣列 435:箭頭 440:資料值之陣列 445:2D傅立葉變換 501:第一資料串流 502:第二資料串流 503:第三資料串流 504:第四資料串流 505:第五資料串流 506:第六資料串流 507:第七資料串流 508:第八資料串流 509:第九資料串流 510:第十資料串流 511:第十一資料串流 512:第十二資料串流 513:第十三資料串流 552:第一傅立葉變換引擎 554:第一資料轉換引擎 556:變換引擎 558:第二資料轉換引擎 560:第二傅立葉變換引擎 562:第一幅度引擎 564:引擎/第一逆傅立葉變換引擎 566:引擎/列-行變換引擎 568:引擎/第四資料轉換引擎 570:第二逆傅立葉變換引擎 572:第二幅度引擎 902:步驟 904:步驟 906:步驟 908:步驟 910:步驟 912:步驟 914:步驟 916:步驟 918:步驟 920:步驟 922:步驟 924:步驟 926:步驟 928:步驟 930:步驟 932:步驟 934:步驟 936:步驟 938:步驟 940:步驟 942:步驟 944:步驟 946:步驟 948:步驟 950:步驟 952:步驟 1000:計算裝置 1002:處理裝置 1004:主記憶體 1006:靜態記憶體 1008:網路介面裝置 1010:視訊顯示單元 1012:文數輸入裝置 1014:游標控制裝置 1016:音訊裝置 1018:資料儲存裝置 1022:指令 1028:機器可讀取儲存媒體 1030:匯流排 A:斷點 B:斷點/點 C:斷點
參考以下圖僅作為實例描述特定具體實例: [圖1]為展示在螢幕上產生全像重建之反射SLM的示意圖; [圖2A]繪示實例格奇伯格-薩克斯頓(Gerchberg-Saxton)型演算法之第一迭代; [圖2B]繪示實例格奇伯格-薩克斯頓型演算法之第二及後續迭代; [圖2C]繪示實例格奇伯格-薩克斯頓型演算法之替代性第二及後續迭代; [圖3]為反射LCOS SLM的示意圖; [圖4A]至[圖4D]繪示2D傅立葉變換; [圖5]繪示經配置以傅立葉變換並轉換影像資料之影像處理系統; [圖6]繪示經配置以實施2D傅立葉變換之影像處理系統; [圖7]繪示經配置以實施逆2D傅立葉變換之影像處理系統; [圖8]繪示經配置以實施適合於全像圖之電腦產生之迭代計算之影像處理系統; [圖9]繪示傅立葉變換並轉換影像資料之方法,其實施適合於全像圖之電腦產生之2D傅立葉變換及迭代計算;且 [圖10]繪示計算裝置。
貫穿圖式,將使用相同元件符號以指稱相同或類似部件。
902:步驟
904:步驟
906:步驟
908:步驟
910:步驟
912:步驟
914:步驟
916:步驟
918:步驟
920:步驟
922:步驟
924:步驟
926:步驟
928:步驟
930:步驟
932:步驟
934:步驟
936:步驟
938:步驟
940:步驟
942:步驟
944:步驟
946:步驟
948:步驟
950:步驟
952:步驟
A:斷點
B:斷點/點
C:斷點

Claims (18)

  1. 一種影像處理系統,其經配置以對對應於影像之第一複數資料集執行傅立葉變換,其中該第一複數資料集包含呈笛卡兒表示式之二維陣列之複數值,每一複數值係以具有第一位元數目之第一數字格式來表示,該二維陣列之該值表示該影像之像素,且該二維陣列界定用以表示沿著一個維度之像素之第一線性陣列之值以及用以表示沿著另一維度之像素之第二線性陣列之值,且該影像處理系統包含: 第一傅立葉變換引擎,其經配置以逐第一線性陣列地接收該第一複數資料集並對每一第一線性陣列執行1D傅立葉變換; 第一轉換引擎,其經配置以接收由該第一傅立葉變換引擎處理之該複數資料集,將每一值轉換為極表示式,並將呈極表示式之每一值轉換為具有小於該第一位元數目之第二位元數目之第二數字格式; 列-行變換引擎,其經配置以接收由該第一轉換引擎處理之該複數資料集,逐第一線性陣列地將呈該第二數字格式之該值儲存在記憶體中,並逐第二線性陣列地自該記憶體讀出該值; 第二轉換引擎,其經配置以逐第二線性陣列地接收由該列-行變換引擎處理之該複數資料集,將每一值轉換回為該第一數字格式,並將被轉換回為該第一數字格式之每一值轉換回為笛卡兒表示式;及 第二傅立葉變換引擎,其經配置以逐第二線性陣列地接收由該第二轉換引擎處理之該複數資料集並對每一第二線性陣列執行1D傅立葉變換, 其中該系統經配置以使用由該第二傅立葉變換引擎處理之該複數資料集之該資料值來形成用於顯示之影像資料。
  2. 如請求項1之影像處理系統,該系統包含幅度引擎,該幅度引擎經組態以:接收由該第二傅立葉變換引擎處理之該複數資料集並替換幅度值以形成第二複數資料集,其中該第二複數資料集中之該第一線性陣列對應於該第一複數資料集中之該第二線性陣列;及將該第二資料集作為該第一資料集而供應至該第一傅立葉變換引擎。
  3. 如請求項1或2之影像處理系統,其中將呈極表示式之每一值轉換為該第二數字格式包含將每一幅度乘以縮放因數。
  4. 如請求項1或2之影像處理系統,其中將呈極表示式之該值轉換為該第二數字格式包含:將每一幅度值自x1位元轉換為y1位元,其中x1>y1;及將每一相位值自x2位元轉換為y2位元,其中x2 > y2。
  5. 如請求項4之影像處理系統,其中將呈極表示式之每一值轉換為該第二數字格式包含將高於最大准許值之任何幅度值設定為該最大准許值,其中任選地,該最大准許值為用y1位元來表示之最大幅度值。
  6. 如請求項1或2之影像處理系統,其中將呈極表示式之每一值轉換為該第二數字格式包含以相較於該第一數字格式中為低之位準數目來量化呈極表示式之該值之該相位值。
  7. 如請求項3之影像處理系統,其中將呈笛卡兒表示式之每一值轉換為該第一數字格式包含將每一幅度值自y1位元轉換回為x1位元並將每一相位值自y2位元轉換回為x2位元,及將每一幅度值乘以該縮放因數之倒數。
  8. 如請求項1或2之影像處理系統,其中該第一傅立葉變換引擎經組態以處理一個第一線性陣列,同時該第一轉換引擎處理另一第一線性陣列,其中該第二傅立葉變換引擎經組態以處理一個第二線性陣列,同時該第二轉換引擎處理另一第二線性陣列,或進行兩者。
  9. 如請求項1或2之影像處理系統,其中該第一傅立葉變換引擎及任選地為該第二傅立葉變換引擎接收該第一資料集作為值串流。
  10. 如請求項1或2之影像處理系統,其經進一步配置以對第二複數資料集執行傅立葉變換,其中該第二複數資料集包含呈笛卡兒表示式之二維陣列之複數值,每一複數值係以具有第三位元數目之第三數字格式來表示,該二維陣列界定沿著一個維度之第一線性陣列之值以及沿著另一維度之第二線性陣列之值,該影像處理系統進一步包含: 第三傅立葉變換引擎,其經配置以逐第一線性陣列地接收該第二複數資料集並對每一第一線性陣列執行1D傅立葉變換; 第三轉換引擎,其經配置以接收由該第三傅立葉變換引擎處理之該複數資料集,將每一值轉換為極表示式,並將呈極表示式之每一值轉換為具有小於該第三位元數目之第四位元數目之第四數字格式; 列-行變換引擎,其經配置以接收由該第三轉換引擎處理之該複數資料集,逐第一線性陣列地將呈該第四數字格式之該值儲存在另外記憶體中,並逐第二線性陣列地自該記憶體讀出該值; 第四轉換引擎,其經配置以逐第二線性陣列地接收由該另外列-行變換引擎處理之該複數資料集,將每一值轉換回為該第三數字格式,並將被轉換回為該第一數字格式之每一值轉換回為笛卡兒表示式;及 第四傅立葉變換引擎,其經配置以逐第二線性陣列地接收由該第四轉換引擎處理之該複數資料集並對每一第二線性陣列執行1D傅立葉變換, 其中該系統進一步包含幅度引擎,該幅度引擎經配置以接收由該第二傅立葉變換引擎及該第四傅立葉變換引擎中之一者處理之該複數資料集,並替換該幅度值以形成由該第三傅立葉變換引擎及該第一傅立葉變換引擎中之各別者所接收之該第二複數資料集及該第一複數資料集中之各別者,其中該第二複數資料集中之該第一線性陣列對應於該第一複數資料集中之該第二線性陣列。
  11. 如請求項1或2之影像處理系統,其進一步包含控制器,該控制器經配置以接收由該第二傅立葉變換引擎處理之該複數資料集並輸出表示用於顯示之該影像之全像圖,其中任選地,該全像圖為唯相位全像圖或包含相位及振幅分量之全複數全像圖。
  12. 如請求項11之影像處理系統,其中該控制器經配置以即時地接收影像序列並即時地輸出表示各別影像之全像圖序列。
  13. 如請求項12之影像處理系統,其進一步包含經配置以顯示該全像圖之全像顯示裝置,其中任選地,該全像顯示裝置包含經配置以顯示該全像圖之空間光調變器及經配置以照明該空間光調變器之光源。
  14. 一種影像處理之方法,其包含對對應於影像之第一複數資料集執行傅立葉變換,其中該第一複數資料集包含呈笛卡兒表示式之二維陣列之複數值,每一複數值係以具有第一位元數目之第一數字格式來表示,該二維陣列之該值表示該影像之像素,且該二維陣列界定用以表示沿著一個維度之像素之第一線性陣列之值以及用以表示沿著另一維度之像素之第二線性陣列之值,且該方法包含: 對該第一複數資料集中之每一第一線性陣列執行1D傅立葉變換; 將每一經傅立葉變換之第一線性陣列之每一值轉換為極表示式; 將呈極表示式之每一值轉換為具有小於該第一位元數目之第二位元數目之第二數字格式; 逐第一線性陣列地將呈該第二數字格式之該值儲存在記憶體中; 逐第二線性陣列地自該記憶體讀出該值; 將自該記憶體讀取之每一值轉換回為該第一數字格式; 將被轉換回該第一數字格式之每一值轉換回為笛卡兒表示式; 對轉換回為笛卡兒之每一第二線性陣列之值執行1D傅立葉變換;及 使用經傅立葉變換之該第二線性陣列之值來形成用於顯示之影像資料。
  15. 如請求項14之方法,其進一步包含: 替換每一經傅立葉變換之第二線性陣列之該值之幅度以形成各別第二線性陣列之另外值; 對每一第二線性陣列之另外值執行一1D傅立葉變換; 將每一經傅立葉變換之第二線性陣列之每一另外值轉換為呈極表示式之另外值; 將呈極表示式之每一另外資料值轉換為呈具有小於該第一位元數目之另外第二位元數目之另外第二數字格式之另外值; 逐第二線性陣列地將呈該另外第二數字格式之該另外值儲存在記憶體中; 逐第一線性陣列地自該記憶體讀出該另外值; 將自該記憶體讀取之每一另外值轉換回為該第一數字格式; 將被轉換回為該第一數字格式之每一另外值轉換回為笛卡兒表示式;及 對被轉換回為笛卡兒表示式之每一第一線性陣列之另外值執行1D傅立葉變換。
  16. 如請求項14或15之方法,其中將呈極表示式之每一值轉換為該第二數字格式包含以下中之一者或多者: 將每一幅度乘以縮放因數; 將每一幅度值自x1位元轉換為y1位元,其中x1> y1,且將每一相位值自x2位元轉換為y2位元,其中x2 > y2,其中任選地,將高於最大准許值之任何幅度值設定為該最大准許值[在縮放之後定限],任選地,其中該最大准許值為用y1位元來表示之最大幅度值;及 以相較於該第一數字格式中為低之位準數目來量化呈極表示式之該值之該相位值。
  17. 如請求項14或15之方法,其包含: 對一個第一線性陣列進行傅立葉變換,同時轉換另一第一線性陣列,其中對一個第二線性陣列執行傅立葉變換,同時轉換另一第二線性陣列,或進行兩者;及/或 輸出表示該影像之全像圖,其中任選地,該全像圖為唯相位全像圖或包含相位及振幅分量之全複數全像圖;及/或 即時地接收影像序列並即時地輸出表示各別影像之全像圖序列;及/或 在全像顯示裝置上顯示該全像圖,任選地,在空間光調變器上顯示該全像圖並照明該空間光調變器。
  18. 一種影像處理系統,其包含: 一個或多個處理器,其經配置以: 對對應於影像之第一複數資料集執行傅立葉變換,其中該第一複數資料集包含呈笛卡兒表示式之二維陣列之複數值,每一複數值係以具有第位元數目之第一數字格式來表示,該二維陣列之該值表示該影像之像素,且該二維陣列界定用以表示沿著一個維度之像素之第一線性陣列之值以及用以表示沿著另一維度之像素之第二線性陣列之值,及 輸出用於顯示之影像資料,及 有形非暫時性電腦可讀取媒體,其儲存可由該一個或多個處理器執行之指令,其中該指令在經執行時使該影像處理系統執行如請求項14至18中任一項之方法。
TW110128368A 2020-08-24 2021-08-02 用於影像處理之系統和方法 TWI772133B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2013203.1 2020-08-24
GB2013203.1A GB2598310B (en) 2020-08-24 2020-08-24 Data processing

Publications (2)

Publication Number Publication Date
TW202209246A true TW202209246A (zh) 2022-03-01
TWI772133B TWI772133B (zh) 2022-07-21

Family

ID=72660865

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110128368A TWI772133B (zh) 2020-08-24 2021-08-02 用於影像處理之系統和方法

Country Status (7)

Country Link
US (1) US12105473B2 (zh)
EP (1) EP3962087A1 (zh)
JP (1) JP7360428B2 (zh)
KR (1) KR102678223B1 (zh)
CN (1) CN114092757A (zh)
GB (1) GB2598310B (zh)
TW (1) TWI772133B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815382B (zh) * 2022-03-30 2023-09-11 國立臺灣科技大學 產生全像影像的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448486B2 (ja) * 1997-05-28 2003-09-22 日本電信電話株式会社 画像伝送方法および装置およびそれらのプログラムを記録した記録媒体
GB0511962D0 (en) * 2005-06-14 2005-07-20 Light Blue Optics Ltd Signal processing systems
GB2438458A (en) 2006-05-11 2007-11-28 Univ Cambridge Tech Blocking zero-order light in phase shift hologram generation
EP2006803A1 (en) * 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
US8019136B2 (en) * 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
EP2624751A4 (en) * 2010-10-07 2018-02-07 Duke University Multi-dimensional iterative phase-cycled reconstruction for mri images
JP5654373B2 (ja) * 2011-02-01 2015-01-14 株式会社富士通アドバンストエンジニアリング 演算装置、演算方法およびプログラム
US20120236021A1 (en) 2011-03-15 2012-09-20 Qualcomm Mems Technologies, Inc. Methods and apparatus for dither selection
US8706794B1 (en) * 2011-08-23 2014-04-22 Gregory K. Fleizach No-multiply digital signal processing method
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2496108B (en) 2011-10-26 2015-03-04 Two Trees Photonics Ltd Image production
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
US10210606B2 (en) * 2014-10-14 2019-02-19 Kla-Tencor Corporation Signal response metrology for image based and scatterometry overlay measurements
KR20170094350A (ko) * 2014-12-09 2017-08-17 바스프 에스이 광학 검출기
KR102452945B1 (ko) * 2015-08-27 2022-10-11 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치
KR102477093B1 (ko) * 2015-10-13 2022-12-13 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치
US10310075B2 (en) * 2016-04-18 2019-06-04 The Boeing Company Synthetic aperture radar data compression and transmission
KR102654862B1 (ko) * 2016-08-31 2024-04-05 삼성전자주식회사 영상 처리 방법 및 장치
GB2551870B (en) * 2017-04-07 2020-04-01 Dualitas Ltd Holographic projector
GB2568021B (en) * 2017-09-08 2021-12-01 Dualitas Ltd Holographic projector
KR102581470B1 (ko) * 2017-11-22 2023-09-21 삼성전자주식회사 영상 데이터를 처리하는 방법 및 장치
KR102125795B1 (ko) * 2018-11-29 2020-06-23 인하대학교 산학협력단 라이트필드의 비호겔방식 홀로그램 변환 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815382B (zh) * 2022-03-30 2023-09-11 國立臺灣科技大學 產生全像影像的方法

Also Published As

Publication number Publication date
TWI772133B (zh) 2022-07-21
CN114092757A (zh) 2022-02-25
US20220057751A1 (en) 2022-02-24
JP2022036922A (ja) 2022-03-08
JP7360428B2 (ja) 2023-10-12
GB2598310B (en) 2022-10-12
EP3962087A1 (en) 2022-03-02
GB202013203D0 (en) 2020-10-07
KR102678223B1 (ko) 2024-06-24
US12105473B2 (en) 2024-10-01
KR20220025692A (ko) 2022-03-03
GB2598310A (en) 2022-03-02

Similar Documents

Publication Publication Date Title
CN112987298B (zh) 光瞳扩展器
US11480919B2 (en) Holographic projector
US20200033803A1 (en) Holographic projector
EP3650949B1 (en) Pixel mapping onto a display device for holographic projection
CN113759688B (zh) 显示装置和系统
US11726432B2 (en) Holographic projector
TWI772133B (zh) 用於影像處理之系統和方法
US11681257B2 (en) Projection
US11722650B2 (en) Display device and system
CN112802421B (zh) 显示设备和系统
US20220075317A1 (en) Holographic projector