TW202101035A - 用於3d感測之光場成像裝置及方法 - Google Patents

用於3d感測之光場成像裝置及方法 Download PDF

Info

Publication number
TW202101035A
TW202101035A TW109118679A TW109118679A TW202101035A TW 202101035 A TW202101035 A TW 202101035A TW 109118679 A TW109118679 A TW 109118679A TW 109118679 A TW109118679 A TW 109118679A TW 202101035 A TW202101035 A TW 202101035A
Authority
TW
Taiwan
Prior art keywords
grating
pixel
diffraction grating
light field
imaging device
Prior art date
Application number
TW109118679A
Other languages
English (en)
Inventor
強納森 Ｉ 沙里
趙志晧
匹斯卡 葛蘿瑞
Original Assignee
加拿大商艾瑞３Ｄ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 加拿大商艾瑞３Ｄ股份有限公司 filed Critical 加拿大商艾瑞３Ｄ股份有限公司
Publication of TW202101035A publication Critical patent/TW202101035A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G02B27/4211—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant correcting chromatic aberrations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

一種光場成像裝置可包含一繞射光柵總成，該繞射光柵總成經組態以接收來自一場景之一光學波前且包含一或多個繞射光柵。每個繞射光柵具有一折射率調變圖案且經組態以產生一經繞射波前，該折射率調變圖案具有沿著一光柵軸之一光柵週期。該裝置亦可包含一像素陣列，該像素陣列經組態以在一近場區域中偵測該經繞射波前。該像素陣列包含光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期。每個像素對該經繞射波前之一部分進行取樣並產生一像素回應。該等像素包含多個群組或多對相鄰像素，其中每個群組或每一對中之該等相鄰像素隨該光學波前之入射角變化而具有不同之像素回應。本發明亦揭示了光場成像方法。

Description

用於3D感測之光場成像裝置及方法
總體技術領域係關於成像系統及方法，且更特定言之，係關於一種用於3D感測之光場成像裝置及方法。
傳統的成像硬體涉及將複雜的三維(3D)場景投影至簡化的二維(2D)平面上，從而放棄入射光固有的維度。此資訊丟失係平方律偵測器(諸如電荷耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)感測器陣列)之性質的直接結果，該等偵測器僅可直接量測入射光之時間平均強度I ，無法量測其相位φ 或波向量k ，或角頻率ω ：
Figure 02_image001
全光相機通常透過「全光函數」描述一場景，該函數藉由以下式子參數化入射在一觀察者或點上之一光場：
Figure 02_image003
其中x 及y 座標定義時間t 處針對波長λ 及偏振角p 之某一影像平面，如一觀察者在位置(Vx , Vy , Vz ) 所看到的。儘管全光相機可能係基於單感測器或多感測器之系統，但目前的全光相機最低程度地僅依賴於由一感測器陣列之任何給定像素偵測到之光強度。更實際地，諸如立體視覺或微透鏡之既有解決方案藉由採用多個感測器或感測器分割來適應辨別深度所需的各種視場，而犧牲了整體影像品質及感測器佔用面積。
隨機的二元遮擋遮罩及編碼孔係其他既有方法，其提供對封裝或總佔用面積的影響最小之單感測器解決方案。然而，儘管在壓縮感測及非線性重建技術方面取得了進步，但是此等解決方案仍受所涉及之大量影像字典及計算費用的阻礙。
基於飛行時間及結構光之技術主動地以脈衝式、圖案化或調變的連續波紅外光照射一場景，並經由完整的回程行進時間或照射光圖案之細微變化來判定深度。儘管此等技術不會遭受影像分割的問題，但其通常需要額外的主動紅外線發射器及偵測器，此增加功耗及總的裝置佔用面積。此外，此等技術傾向於對干擾信號、鏡面反射及環境紅外光敏感，因此限制其在戶外的可行性。
因此，光場成像技術仍然面臨挑戰，特別係在提供可在一單感測器系統中傳遞2D影像及深度資訊兩者而不會產生過多之計算或製造複雜性的3D感測解決方案方面。
本說明大體上涉及用於3D感測及成像應用之光場成像技術。
根據一態樣，提供了一種光場成像裝置，其包含： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 一像素陣列，其經組態以在該近場區域中偵測該經繞射波前，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，該等光敏像素經組態以對該經繞射波前之各別部分進行取樣並從中產生對應像素回應 ，該複數個光敏像素包含多個群組之相鄰像素，每個群組中之該等相鄰像素隨該入射角變化而具有不同之像素回應。
在一個實施例中，該像素間距與該光柵週期之一比率不同於一正整數。
在一個實施例中，該等群組之相鄰像素係多對相鄰像素。在一個實施例中，該像素間距與該光柵週期之該比率等於(2n +1)/2，其中n 係一正整數，例如，n = 1或n = 2。在一個實施例中，該光場成像裝置進一步包含一處理器，該處理器經組態以：計算複數個經加總像素回應，每個經加總像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之一總和，且自該複數個經加總像素回應產生該場景之一2D影像；及/或計算複數個差動像素回應，每個差動像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之間的一差，且自該複數個差動像素回應產生該場景之一深度影像。
在一個實施例中，該像素間距與該光柵週期之該比率等於n/m ，其中n 及m 係大於2之正整數，且n 大於m ，例如，m = 3且n = 4。
在一個實施例中，每個群組中之該等相鄰像素沿著該光柵軸具有相同之像素尺寸。在另一個實施例中，每個群組中之該等相鄰像素沿著該光柵軸並非全部具有相同之像素尺寸。
在一個實施例中，該像素間距與該光柵週期之一比率等於1，且每個群組中之該等相鄰像素沿著該光柵軸並非全部具有相同之像素尺寸。在一個實施例中，該等群組之相鄰像素係多對相鄰像素。
在一個實施例中，該繞射光柵係一相位光柵，例如，一個二元相位光柵。在一個實施例中，該二元相位光柵之該折射率調變圖案包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。在一個實施例中，主光線角為零之每個群組之相鄰像素定位成與該等脊部中之一對應脊部的一中心、該等凹槽中之一對應凹槽的一中心或該等脊部中之一對應脊部與該等凹槽中之一對應凹槽之間的一過渡部對準。在一個實施例中，該等脊部及該等凹槽與下伏光敏像素之間的一垂直對準程度隨該像素陣列內之位置變化而變化。在一個實施例中，該繞射光柵之工作週期為約50%。在另一個實施例中，該繞射光柵之工作週期不同於50%。
在一個實施例中，該光柵週期之範圍為0.1微米至10微米。在一個實施例中，該像素間距之範圍為0.7微米至10微米。
在一個實施例中，該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離之範圍為0.2微米至20微米。在另一個實施例中，該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離小於該光學波前之一中心波長的約二十倍。
在一個實施例中，該光場成像裝置進一步包含一彩色濾光器陣列，該彩色濾光器陣列設置在該像素陣列上方且包含以一馬賽克彩色圖案配置之複數個彩色濾光器，該彩色濾光器陣列經組態以在由該像素陣列偵測到該經繞射波前之前根據該馬賽克彩色圖案對該經繞射波前進行濾光。在一個實施例中，該馬賽克彩色圖案係一拜耳圖案。在一個實施例中，每個群組中之該等相鄰像素設置在相同之彩色濾光器下方。在一個實施例中，該等相同之彩色濾光器係綠色濾光器。
在一個實施例中，每個彩色濾光器係一紅色濾光器、一綠色濾光器、一藍色濾光器、一黃色濾光器、一青色濾光器、一洋紅色濾光器、一透明濾光器或一紅外線濾光器。
在一個實施例中，該光場成像裝置進一步包含設置在該像素陣列上方且在該繞射光柵總成下方之一微透鏡陣列，該微透鏡陣列包含複數個微透鏡，每個微透鏡光學耦合至該等光敏像素中之一對應光敏像素。
在一個實施例中，該光場成像裝置進一步包含像素陣列電路，該像素陣列電路以一背面照明組態設置在該像素陣列下方，或以一正面照明組態設置在該繞射光柵總成與該像素陣列之間。
在一個實施例中，該繞射光柵係該繞射光柵總成之一單個繞射光柵。
在一個實施例中，該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者。在一個實施例中，該複數個繞射光柵配置成設置在該像素陣列上方之一個二維光柵陣列。在一個實施例中，該等繞射光柵並非全部相同。在一個實施例中，該複數個繞射光柵包含多組繞射光柵，該等組中之不同組之該等繞射光柵之該等光柵軸具有不同取向。在一個實施例中，該多組繞射光柵包含一第一組繞射光柵及一第二組繞射光柵，該第一組之該等繞射光柵之該等光柵軸實質上垂直於該第二組之該等繞射光柵之該等光柵軸延伸。
在一個實施例中，該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者，每個繞射光柵包含一光柵基板，該光柵基板包含其上形成有該折射率調變圖案之一頂部表面，且該光柵基板包含一光譜濾光器材料或區域，該光譜濾光器材料或區域經組態以在由該複數個光敏像素偵測到該經繞射波前之前對該經繞射波前進行濾光，因此，該複數個繞射光柵形成一彩色濾光器陣列。在一個實施例中，每個繞射光柵之該光柵基板充當一紅色濾光器、一綠色濾光器、一藍色濾光器、一黃色濾光器、一青色濾光器、一洋紅色濾光器、一透明濾光器或一紅外線濾光器。在一個實施例中，該彩色濾光器陣列以一拜耳圖案配置。
根據另一個態樣，提供了一種光場成像裝置，其包含： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該繞射光柵經組態以對該光學波前進行繞射，以產生一經繞射波前；及 一像素陣列，其具有複數個光敏像素，該複數個光敏像素設置在該繞射光柵總成下方並經組態以在一近場區域中偵測該經繞射波前，該像素陣列具有沿著該光柵軸之一像素間距，該像素間距大於該光柵週期，該像素間距與該光柵週期之一比率不同於一正整數。
在一個實施例中，該像素間距與該光柵週期之該比率等於(2n +1)/2，其中n 係一正整數，例如，n = 1或n = 2。
在一個實施例中，該像素間距與該光柵週期之該比率等於n/m ，其中n 及m 係大於2之正整數，且n 大於m ，例如，m = 3且n = 4。
在一個實施例中，該等光敏像素經組態以對該經繞射波前之各別部分進行取樣且從中產生對應像素回應，該複數個光敏像素包含多對相鄰像素，每一對中之該等相鄰像素隨入射角變化而具有不同之像素回應，該光場成像裝置進一步包含一處理器，該處理器經組態以：計算複數個經加總像素回應，每個經加總像素回應係基於該多對相鄰像素中之一各別對之像素回應之一總和，且自該複數個經加總像素回應產生該場景之一2D影像；及/或計算複數個差動像素回應，每個差動像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之間的一差，且自該複數個差動像素回應產生該場景之一深度影像。
在一個實施例中，像素沿著該光柵軸具有相同之像素尺寸。在另一個實施例中，該等像素沿著該光柵軸並非全部具有相同之像素尺寸。
在一個實施例中，該繞射光柵係一相位光柵，例如，一個二元相位光柵。在一個實施例中，該折射率調變圖案包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。在一個實施例中，主光線角為零之每個像素定位成與該等脊部中之一對應脊部的一中心、該等凹槽中之一對應凹槽的一中心或該等脊部中之一對應脊部與該等凹槽中之一對應凹槽之間的一過渡部對準。在一個實施例中，該等脊部及該等凹槽與下伏光敏像素之間的一垂直對準程度隨該像素陣列內之位置變化而變化。在一個實施例中，該繞射光柵之工作週期為約50%。在另一個實施例中，該繞射光柵之工作週期不同於50%。
在一個實施例中，該光柵週期之範圍為0.1微米至10微米。在一個實施例中，該像素間距之範圍為0.7微米至10微米。
在一個實施例中，該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離之範圍為0.2微米至20微米。在另一個實施例中，該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離小於該光學波前之一中心波長的約二十倍。
在一個實施例中，該光場成像裝置進一步包含一彩色濾光器陣列，該彩色濾光器陣列設置在該像素陣列上方且包含以一馬賽克彩色圖案配置之複數個彩色濾光器，該彩色濾光器陣列在由該像素陣列偵測到該經繞射波前之前根據該馬賽克彩色圖案對該經繞射波前進行濾光。
在一個實施例中，該光場成像裝置進一步包含一微透鏡陣列，該微透鏡陣列設置在該像素陣列上方且在該繞射光柵總成下方，該微透鏡陣列包含複數個微透鏡，每個微透鏡光學耦合至該等光敏像素中之一對應光敏像素。
在一個實施例中，該光場成像裝置進一步包含像素陣列電路，該像素陣列電路以一背面照明組態設置在該像素陣列下方，或以一正面照明組態設置在該繞射光柵總成與該像素陣列之間。
在一個實施例中，該繞射光柵總成包含一單個光柵取向。
在一個實施例中，該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者。在一個實施例中，該複數個繞射光柵配置成設置在該像素陣列上方之一個二維光柵陣列。在一個實施例中，該等繞射光柵並非全部相同。在一個實施例中，該複數個繞射光柵包含多組繞射光柵，該等組中之不同組之該等繞射光柵之該等光柵軸具有不同取向。在一個實施例中，該多組繞射光柵包含一第一組繞射光柵及一第二組繞射光柵，該第一組之該等繞射光柵之該等光柵軸實質上垂直於該第二組之該等繞射光柵之該等光柵軸延伸。
根據另一個態樣，提供了一種與一影像感測器一起使用之繞射光柵總成，該影像感測器包含具有複數個光敏像素之一像素陣列，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該光柵週期等於或小於該像素陣列沿著該光柵軸之一像素間距，該繞射光柵經組態以對一入射光學波前進行繞射並在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位，該繞射光柵總成經組態以設置在該像素陣列上方，其中該等光敏像素位於該近場區域中且包含橫向相鄰像素，該等橫向相鄰像素經組態以隨該入射角變化而產生不同之像素回應。
在一個實施例中，該繞射光柵總成經組態以設置在該影像感測器之一彩色濾光器陣列上方，該彩色濾光器陣列設置在像素陣列上方且經組態以在由該複數個光敏像素偵測到該經繞射波前之前對該經繞射波前進行濾光。
在一個實施例中，該繞射光柵係一個二元相位光柵。在一個實施例中，該折射率調變圖案包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
在一個實施例中，該繞射光柵總成包含一單個光柵取向。
在一個實施例中，該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者，該複數個繞射光柵配置成設置在該像素陣列上方之一個二維光柵陣列。在一個實施例中，該繞射光柵總成包含兩個正交之光柵取向。
在一個實施例中，該光柵週期之範圍為0.1微米至20微米。
根據另一個態樣，提供了一種擷取關於一場景之光場影像資料之方法，該方法包含： 用一繞射光柵對源自該場景之一光學波前進行繞射以在一近場繞射區域中產生具有一強度圖案之一經繞射波前，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 用定位在該近場繞射區域中之一像素陣列偵測該經繞射波前作為該光場影像資料，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，該偵測包含由該等光敏像素對該經繞射波前之各別部分進行取樣以產生對應像素回應，該複數個光敏像素包含多個群組之相鄰像素，每個群組中之該等相鄰像素隨該入射角變化而具有不同之像素回應。
在一個實施例中，該方法包含將該像素間距與該光柵週期之一比率設定為不同於一正整數。
在一個實施例中，該多個群組之相鄰像素係多對相鄰像素。在一個實施例中，該方法包含將該像素間距與該光柵週期之該比率設定為等於(2n +1)/2，其中n 係一正整數，例如，n = 1 或n = 2。在一個實施例中，該方法包含：計算複數個經加總像素回應，每個經加總像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之一總和；及自該複數個經加總像素回應產生該場景之一2D影像。在一個實施例中，該方法包含：計算複數個差動像素回應，每個差動像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之間的一差；及自該複數個差動像素回應產生該場景之一深度影像。
在一個實施例中，該方法包含將該像素間距與該光柵週期之該比率設定為等於n/m ，其中n 及m 係大於2之正整數，且n 大於m ，例如，m = 3且n = 4。
在一個實施例中，該方法包含將每個群組中之該等相鄰像素提供為沿著該光柵軸具有相同之像素尺寸。在另一個實施例中，該方法包含將每個群組中之該等相鄰像素提供為沿著該光柵軸並非全部具有相同之像素尺寸。
在一個實施例中，該方法包含將該繞射光柵提供為一個二元相位光柵，該二元相位光柵包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。在一個實施例中，該方法包含為該繞射光柵提供約50%之一工作週期，且將主光線角為零之每個群組之相鄰像素定位成與該等脊部中之一對應脊部的一中心、該等凹槽中之一對應凹槽的一中心或該等脊部中之一對應脊部與該等凹槽中之一對應凹槽之間的一過渡部對準。在一個實施例中，該方法進一步包含提供該等脊部及該等凹槽與下伏光敏像素之間的一垂直對準程度，該垂直對準程度隨該像素陣列內之位置變化而變化。
在一個實施例中，該方法進一步包含將該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離設定為小於該光學波前之一中心波長的約二十倍。
在一個實施例中，該方法進一步包含在該複數個光敏像素偵測到該經繞射波前之前，用一彩色濾光器陣列對該經繞射波前進行濾光。
根據另一個態樣，提供了一種用於向一影像感測器提供光場成像能力之方法，該影像感測器包含具有複數個光敏像素及沿著一像素軸之一像素間距的一像素陣列，該方法包含： 提供一繞射光柵總成，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該光柵週期等於或小於該像素間距，該繞射光柵經組態以在一近場繞射區域中將一入射光學波前繞射成具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 將該繞射光柵總成設置在該影像感測器之前面，其中該光柵軸平行於該像素軸，且該等光敏像素位於該近場繞射區域中以偵測該經繞射波前，該等光敏像素包含橫向相鄰像素，該等橫向相鄰像素經組態以隨該入射角變化而產生不同之像素回應。
在一個實施例中，該方法包含將該像素間距與該光柵週期之一比率設定為不同於一正整數。
在一個實施例中，該方法包含將該像素間距與該光柵週期之該比率設定為等於(2n +1)/2，其中n 係一正整數，例如，n = 1或n = 2。
在一個實施例中，該方法包含將該像素間距與該光柵週期之該比率設定為等於n/m ，其中n 及m 係大於2之正整數，且n 大於m ，例如，m = 3且n = 4。
在一個實施例中，該方法包含將該等像素提供為沿著該光柵軸具有相同之像素尺寸。在另一個實施例中，該方法包含將該等像素提供為沿著該光柵軸並非全部具有相同之像素尺寸。
在一個實施例中，將該繞射光柵總成設置在該影像感測器之前面包含將該繞射光柵總成定位在與所選之像素陣列相距一間隔距離處，使得該經繞射波前在被該等光敏像素偵測到之前的一光學路徑長度小於該光學波前之一中心波長的約二十倍。在另一個實施例中，將該繞射光柵總成設置在該影像感測器之前面包含將該繞射光柵總成定位在與該像素陣列相距一間隔距離處，該間隔距離之範圍為0.2微米至20微米。
在一個實施例中，提供該繞射光柵總成包含將該繞射光柵提供為一個二元相位光柵，該二元相位光柵包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
在一個實施例中，提供該繞射光柵總成包含提供具有複數個繞射光柵之該繞射光柵總成，該複數個繞射光柵包含具有不同取向之多組繞射光柵。
在一個實施例中，提供該繞射光柵總成包含提供具有一單個光柵取向之該繞射光柵總成。
根據另一個態樣，提供了一種光場成像裝置，其包含： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一相位繞射光柵，該相位繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該折射率調變圖案包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 一像素陣列，其經組態以在該近場區域中偵測該經繞射波前，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距與該光柵週期之一比率等於(2n +1)/2，其中n 係一正整數，該等光敏像素對該經繞射波前之各別部分進行取樣並從中產生對應像素回應，該複數個光敏像素包含多對相鄰像素，每一對中之該等相鄰像素隨該入射角變化而具有不同之像素回應。
在一個實施例中，n = 1或n = 2。
在一個實施例中，主光線角為零之每一對相鄰像素定位成與該等脊部中之一對應脊部的一中心或該等凹槽中之一對應凹槽的一中心對準。
在一個實施例中，該折射率調變圖案之一工作週期為50%。在另一個實施例中，該折射率調變圖案之一工作週期不同於50%。
根據另一個態樣，提供了一種光場成像裝置，其包含： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一相位繞射光柵，該相位繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該折射率調變圖案包含以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯，該繞射光柵經組態以對該光學波前進行繞射以產生一經繞射波前；及 一像素陣列，其具有複數個光敏像素，該複數個光敏像素設置在該繞射光柵總成下方並經組態以在一近場區域中偵測該經繞射波前，該像素陣列具有沿著該光柵軸之一像素間距，該像素間距與該光柵週期之一比率等於(2n +1)/2，其中n 係一正整數。
在一個實施例中，n = 1或n = 2。
在一個實施例中，主光線角為零之每個像素定位成與該等脊部中之一對應脊部或該等凹槽中之一對應凹槽之間的一過渡部對準。
在一個實施例中，該折射率調變圖案之一工作週期為50%。在另一個實施例中，該折射率調變圖案之一工作週期不同於50%。
根據一態樣，提供了一種光場成像裝置，其包含： 一繞射光柵總成，其經組態以接收自一場景入射的一光學波前，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 一像素陣列，其經組態以偵測該近場區域中之該經繞射波前，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，每個光敏像素對該經繞射波前之一各別部分進行取樣並從中產生一對應像素回應，該複數個光敏像素包含多個群組之相鄰像素，每個群組中之相鄰像素隨該入射角變化而具有不同之像素回應。
根據另一個態樣，提供了一種光場成像裝置，其包含： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該繞射光柵對該光學波前進行繞射以產生一經繞射波前；及 一像素陣列，其具有複數個光敏像素，該複數個光敏像素設置在該繞射光柵總成下方並經組態以在一近場區域中偵測該經繞射波前，該像素陣列具有沿著該光柵軸之一像素間距，該像素間距大於該光柵週期，該像素間距與該光柵週期之一比率不同於一正整數。
根據另一個態樣，提供了一種正面照明光場成像裝置，其包含： 一基板，其具有一正面及一背面； 一繞射光柵總成，其設置在該正面上且經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位； 一像素陣列，其形成在該基板中且經組態以在該近場區域中偵測該經繞射波前，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，每個光敏像素對該經繞射波前之一各別部分進行取樣並從中產生一對應像素回應，該複數個光敏像素包含多個群組之相鄰像素，每個群組中之相鄰像素隨該入射角變化而具有不同之像素回應；及 像素陣列電路，其耦合至該像素陣列並設置在該正面上、介於該繞射光柵總成與該像素陣列之間。
根據另一個態樣，提供了一種背面照明光場成像裝置，其包含： 一基板，其具有一正面及一背面； 一繞射光柵總成，其設置在該背面上且經組態以接收自一場景入射之一光學波前，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位； 一像素陣列，其形成在該基板中且經組態以在近場區域中偵測經繞射波前，該像素陣列具有複數個光敏像素及沿著光柵軸之一像素間距，該像素間距等於或大於該光柵週期，每個光敏像素對經繞射波前之一各別部分進行取樣並從中產生一對應像素回應，該複數個光敏像素包含多個群組之相鄰像素，每個群組中之相鄰像素隨該入射角變化而具有不同之像素回應；及 像素陣列電路，其設置在該正面上並耦合至該像素陣列。
根據另一個態樣，提供了一種與一影像感測器一起使用之繞射光柵總成，該影像感測器包含具有複數個光敏像素之一像素陣列，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該光柵週期等於或小於該像素陣列沿著該光柵軸之一像素間距，該繞射光柵經組態以對一入射光學波前進行繞射並在一近場繞射平面中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位，該繞射光柵總成經組態以設置在該像素陣列上方，其中該等光敏像素位於該近場繞射平面中且包含橫向相鄰像素，該等橫向相鄰像素隨該入射角變化而產生不同之像素回應。
根據另一個態樣，提供了一種擷取關於一場景之光場影像資料之方法，該方法包含： 用一繞射光柵對源自該場景之一光學波前進行繞射以在一近場繞射平面中產生具有一強度圖案之一經繞射波前，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 用定位在該近場繞射平面中之一像素陣列偵測該經繞射波前作為該光場影像資料，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，該偵測包含由每一光敏像素對該經繞射波前之一各別部分進行取樣以產生一對應像素回應，該複數個光敏像素包含多個群組之相鄰像素，每個群組中之相鄰像素隨該入射角變化而具有不同之像素回應。
根據另一個態樣，提供了一種擷取關於一場景之光場影像資料之方法，該方法包含： 用一繞射光柵對源自該場景之一光學波前進行繞射以在近場繞射平面中產生一經繞射波前，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期；及 用定位在該近場繞射平面中之一像素陣列偵測該該經繞射波前作為該光場影像資料，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期。
根據另一個態樣，提供了一種用於向一影像感測器提供光場成像能力之方法，該影像感測器包含具有複數個光敏像素及沿著一像素軸之一像素間距的一像素陣列，該方法包含： 提供一繞射光柵總成，該繞射光柵總成包含一繞射光柵，該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期，該光柵週期等於或小於該像素間距，該繞射光柵經組態以在一近場繞射平面中將一入射光學波前繞射成具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 將該繞射光柵總成設置在該影像感測器之前面，其中該光柵軸平行於該像素軸，且該等光敏像素位於該近場繞射平面處以偵測該經繞射波前且包含橫向相鄰像素，該等橫向相鄰像素經組態以隨該入射角變化而產生不同之像素回應。
在一些實施方式中，該像素間距與該光柵週期之一比率不同於一正整數。在一個實施例中，每個群組之像素係一對相鄰像素，其中每一對像素中之兩個像素隨該入射角變化而具有不同之像素回應。在一個實施例中，該像素間距與該光柵週期之該比率等於(2n +1)/2，其中n 係一正整數。例如，該像素間距與該光柵週期之該比率可等於3/2(即，n = 1)。在另一個實施例中，該像素間距與該光柵週期之該比率等於n/m ，其中n 及m 係大於2之正整數，且n 大於m 。取決於應用，每個群組或每一對中之相鄰像素沿著該光柵軸具有相同或不同之像素尺寸。
在一些實施方式中，上述態樣可包含：計算複數個經加總像素回應之步驟，每個經加總像素回應對應於一對相鄰像素之該等像素回應之一總和；及自該複數個經加總像素回應產生該場景之一2D影像之步驟。另外或替代地，上述態樣可包含：計算複數個差動像素回應之步驟，每個差動像素回應對應於一對相鄰像素之該等像素回應之間的一差；及自該複數個差動像素回應產生該場景之一深度影像之步驟。
取決於實施方式，本技術可在單色應用及彩色應用兩者中使用。在彩色應用之情況下，光場成像裝置可包含一彩色濾光器陣列，該彩色濾光器陣列設置在像素陣列上方且包含以一馬賽克彩色圖案配置之複數個彩色濾光器。在此種情況下，該彩色濾光器陣列經組態以在由像素陣列偵測到經繞射波前之前，根據該馬賽克彩色圖案對經繞射波前進行空間-光譜濾光。
應注意，其他方法及過程步驟可在本文所述之步驟之前、期間或之後執行。一或多個步驟之順序也可不同，且取決於應用，可省略、重複及/或組合一些步驟。
本說明之其他目的、特徵及優點在閱讀了以下對本發明之特定實施例的非限制性描述之後將變得更加顯而易見，該非限制性描述僅參考附圖以舉例方式給出。儘管可針對特定實施例或態樣描述在以上發明內容及以下實施方式中描述的特定特徵，但是應注意，除非另外說明，否則此等特定特徵可彼此組合。
相關專利申請案
本申請案主張於2019年6月5日申請的美國臨時專利申請案第62/857,469號之優先權，其全部揭示內容以引用方式併入本文中。
在本說明中，圖式中之類似特徵已被賦予類似參考符號。為了避免使某些圖式混亂，若在先前圖式中已標示了某些元件，則可能不示出該等元件。亦應理解，由於重點放在清楚地示出本實施例之元件及結構上，故圖式之元件未必按比例繪製。此外，為了便於描述及清楚起見，在本文中使用指示一個元件相對於另一個元件之位置及/或取向的位置描述符。除非另有說明，否則此等位置描述符應在圖式背景下採用且不應被認為係限制性的。應理解，除了圖式中例示之取向之外，此等空間相對術語亦旨在涵蓋本實施例之使用或操作中的不同取向。特定言之，諸如「上」、「在……之上」、「下」、「上方」及「下方」之術語在用於指定兩個元件之相對空間關係時表示該兩個元件可彼此直接接觸或藉由一或多個中間元件彼此隔開。
術語「連接」及「耦合」以及其派生詞及變型在本文中旨在係指直接或間接位於兩個或更多個元件之間的任何結構或功能連接或耦合。元件之間的連接或耦合可為例如機械的、光學的、熱的、電的、磁性的、化學的、邏輯的、操作的或其任何組合。
術語「一」和「一個」在本文中被定義為意指「至少一個」，即，除非另外說明，否則此等術語不排除複數個元件。
修飾一例示性實施例之一特徵的一值、一條件或一特性的諸如「實質上」、「大體上」及「約」之類的術語應理解為意指該值、該條件或該特性被定義為在該例示性實施例針對其預期應用的適當操作可接受或在實驗誤差的一可接受範圍內的公差內。特定言之，術語「約」可指熟習此項技術者將認為等效於所述值(例如，具有相同或等效功能或結果)之一數字範圍。在一些情況下，術語「約」意指所述值之±10%的一變化。應注意，除非另有說明，否則假定本文中使用的所有數值皆由術語「約」修飾。
術語「匹配(match/matching/matched)」在本文中旨在指其中兩個元件相同或在彼此之某個預定公差內的一條件。即，此等術語旨在不僅包含「完全」或「相同地」匹配兩個元件而且包含「實質上」、「近似」、「主觀」或「充分」匹配兩個元件，以及提供複數個匹配可能性中之一更高或最好的匹配。
本描述大體上涉及用於獲取關於自一場景發出之一光學波前之光場資訊或影像資料的光場成像技術。根據各個態樣，本描述係關於一種用於擷取關於一場景之光場影像資料之光場成像裝置；一種與影像感測器一起使用以獲得關於一場景之光場影像資料之繞射光柵總成；一種擷取關於一場景之光場影像資料之方法；以及一種向觀察一場景之一影像感測器陣列提供3D或光場成像能力之方法。
在一些實施方式中，本技術使得能夠借助於與一適當的色度編碼機制配對之一或多個繞射光學元件以及其在3D成像中之使用來具體地操縱及比較繞射之色度相依性。在一些實施方式中，本文中揭示之光場成像裝置及方法透過對一產生之干涉圖案進行特定空間-光譜子取樣從而允許對繞射的色度相依性進行直接量測，來不僅對源自一可觀察場景之一光學波前的強度及入射角敏感，而且對波長敏感。經擷取之光場資訊可包含不僅關於一入射光學波前之強度而且關於其他光場參數之資訊，該等其他光場參數包含但不限於光學波前之入射角、相位、波長及偏振。因此，光場成像裝置(例如，深度相機)與通常僅記錄光強度之傳統相機相比，可獲取更多資訊。可以各種方式使用或處理由光場成像裝置擷取之影像資料以提供多種功能，包含但不限於3D深度圖提取、3D表面重建、影像重新聚焦等。取決於應用，可將可觀察場景之光場影像資料獲取為一個或多個靜態影像或一視頻串流。
本技術可在需要或可受益於增強型深度感測及其他3D成像能力的成像應用中使用，例如，以允許一使用者更改一場景之一經擷取影像的焦點、視角及/或視野深度。本技術可應用於或實施於各種類型之3D成像系統及方法中，包含但不限於使用全光描述之光場成像應用、透過對繞射色度相依性之比較分析進行之測距應用，以及單感測器單影像深度獲取應用。
僅舉數例，應用之非限制性領域包含消費電子裝置(例如，行動電話、平板電腦及筆記本、遊戲、虛擬實境及擴增實境、攝影等)、汽車應用(例如，高級駕駛員輔助系統、車艙內監控等)、工業應用(例如檢查、機器人導航、物體識別及追蹤等)以及安全及監視(例如，面部辨識及生物測定、運動追蹤、交通監控、無人機、使用基於空中及地面之無人機的農業檢查等)。
本技術之某些實施方式之非窮盡性優點及益處可包含：與採用較少功率來執行其功能之被動式感測模態的相容性；與具有減小的佔用面積的單感測器架構的相容性；在保持2D效能的同時啟用深度映射功能；與既有影像感測器硬體及製造過程的簡單且低成本整合；與習用CMOS及CCD影像感測器之相容性；其他3D感測設備之能力擴展，例如，藉由擴展近場中之立體視覺裝置的範圍或當影像太模糊而無法執行標準立體影像對對位(registration)時；在其他3D感測設備之重新校準中之使用，例如藉由重新校準未對準之立體視覺系統；及消除了對多個組件的需求，諸如雙相機或者配備有用於深度偵測之主動照明系統之相機。
在本說明中，術語「光」及「光學」以及其變型及派生詞旨在係指電磁光譜的任何適當區域中之輻射。特定地，術語「光」及「光學」不限於可見光，而係亦可包含電磁光譜之不可見區域，包含但不限於太赫茲(THz)、紅外線(IR)及紫外線(UV)光譜帶。在一些實施方式中，術語「光」及「光學」可包含波長範圍為自深紫外光中之約175奈米(nm)至太赫茲範圍中之約300微米(μm) (例如，自可見光譜之藍色端之約400 nm至電信波長處之約1550 nm，或介於約400 nm與約650 nm之間)的電磁輻射，以匹配典型的紅-綠-藍(RGB)彩色濾光器之光譜範圍。然而，熟習此項技術者應理解，提供此等波長範圍僅出於說明性目的，且本技術可在該範圍之外操作。
在本說明中，術語「顏色」及「色度」以及其變型及派生詞不僅用於人類對可見電磁輻射(例如紅色、綠色及藍色)感知的通常情況，而且更廣泛地用於描述電磁頻譜之任何適當區域上之頻譜特性(例如，繞射、透射、反射、色散、吸收)。在本上下文中，除非另有說明，否則術語「顏色」及「色度」及其變型及派生詞可與術語「光譜」以及其變型及派生詞互換使用。
下面參考附圖描述本技術的各種實施方式。光場成像裝置之實施方式
參考圖1及圖2，提供了用於擷取關於一可觀察場景22之光場或深度影像資料之一光場成像裝置20之一可能實施例之一示意圖。
在本說明中，術語「光場成像裝置」廣泛地係指能夠獲取表示自一場景發出之一光場或波前之一影像之一影像擷取裝置，其中所獲取之光場影像包含不僅關於影像平面上之光強度而且關於其他光場參數之資訊，所述光場參數例如光線進入裝置之方向(即，入射角)、光場之光譜、其相位及其偏振。在一些情況下，術語「光場成像裝置」可與諸如「光場相機」、「光場成像器」、「光場影像擷取裝置」、「深度影像擷取裝置」、「3D影像擷取裝置」、「全光相機」等術語互換使用。
術語「場景」旨在表示可根據本技術成像之任何區域、空間、體積、面積、表面、環境、目標、特徵或感興趣之資訊。取決於應用，可觀察場景可為一室內場景或一室外場景。
圖1及圖2中所繪示之光場成像裝置20包含經組態以接收自場景22入射之一光學波前26的一繞射光柵總成或結構24。在某些情況下，繞射光柵總成24可被稱為一透射繞射遮罩(TDM)。繞射光柵總成24包含一或多個繞射光柵28。在所示實施例中，繞射光柵總成24包含一單個繞射光柵28，但如下所述，在其他實施例中，繞射光柵總成可包含多於一個繞射光柵。繞射光柵28具有一光柵軸30及具有沿著該光柵軸30之一光柵週期34之一折射率調變圖案32或光柵分佈(profile)。繞射光柵28經組態以將傳入之光學波前26繞射成一經繞射波前36。在所示實施例中，由於入射波前26及經繞射波前36位於繞射光柵28之相對側上，故在透射中使用繞射光柵28。
光場成像裝置20亦包含一像素陣列38，該像素陣列38包含複數個光敏像素40，該複數個光敏像素40設置在繞射光柵總成24下方並經組態以在一近場區域中偵測經繞射波前36作為關於場景22之光場影像資料。在彩色實施方式中，光場成像裝置20亦可包含設置在像素陣列38上方之一彩色濾光器陣列42。彩色濾光器陣列42可包含以一馬賽克彩色圖案配置之複數個彩色濾光器44。每個彩色濾光器44可經組態以根據波長對入射光進行濾光，以在彩色濾光器陣列42之一各別位置擷取顏色資訊。彩色濾光器陣列42可經組態以在由複數個光敏像素40偵測到經繞射波前36之前，根據馬賽克彩色圖案對經繞射波前36進行空間及光譜濾光。
如上所述，藉由提供一彩色濾光器陣列以在由像素陣列對繞射光柵總成產生之經繞射波前進行偵測之前對該經繞射波前執行一直接空間-色度子取樣，光場成像裝置可不僅對一輸入光學波前之強度及入射角敏感，而且對其光譜內容敏感。
應理解，在一些應用中，例如單色成像中，不需要提供一彩色濾光器陣列。亦應理解，為簡單起見，在單色及彩色實施方式中，由光敏像素偵測到之波前將通常被稱為一「經繞射波前」，儘管在後一種情況下，術語「經濾光波前」或「經濾光之經繞射波前」在一些情況下可用於表示這樣的事實，即在由下伏像素陣列偵測到由繞射光柵總成產生之經繞射波前之前，由彩色濾光器陣列對該經繞射波前進行空間及光譜濾光。此外，在未提供一彩色濾光器陣列之一些實施方式中，可設想繞射光柵本身可充當一彩色濾光器。例如，繞射光柵可包含一光柵基板，該光柵基板具有在其上形成有折射率調變圖案之一頂部表面，該光柵基板包含一光譜濾光器材料或區域，該光譜濾光器材料或區域經組態以在由複數個光敏像素偵測到經繞射波前之前根據波長對該經繞射波前進行光譜濾光。例如但不限於，光譜濾光器材料或區域可充當一紅色濾光器、一綠色濾光器、一藍色濾光器、一黃色濾光器、一青色濾光器、一洋紅色濾光器、一透明或白色濾光器或一紅外線濾光器(例如，處於約850 nm或940 nm)中之一者。當然，在其他變型中可使用各種其他類型之彩色濾光器。
取決於應用或用途，可使用各種影像感測器架構及像素陣列組態來實施光場成像裝置。在一些實施例中，光場成像裝置可簡單地藉由在包含一像素陣列及一彩色濾光器陣列(在基於顏色之應用中)之一已經存在的影像感測器之頂部上添加或耦合一繞射光柵總成來實施。例如，既有影像感測器可為一習用2D CMOS或CCD成像器。然而，在其他實施方式中，光場成像裝置可經實施並整體封裝為一單獨的、專用的及/或客製設計的裝置，其中併入有光場成像裝置之所有組件或幾乎所有組件(例如，繞射光柵總成、像素陣列、彩色濾光器陣列、微透鏡陣列等)。
下面將描述關於在前面的段落中介紹之組件及光場成像裝置之其他可能組件之結構、組態及操作的更多細節。
在圖1及圖2之實施例中，繞射光柵28包含在彩色濾光器陣列42上方延伸之一光柵基板46。光柵基板46具有一頂部表面48及與頂部表面48相對之一底部表面50。週期性折射率調變圖案32形成在頂部表面48上。在所示實施例中，光柵基板46由低吸收性材料製成，該低吸收性材料之折射率大於1，且在光譜操作範圍內係透明的或足夠透明的，以允許經繞射波前36透射通過其中。此類材料之非限制性實例包含(舉數例)氧化矽(SiOx)、聚合體、膠體顆粒、SU-8光阻劑、玻璃等。例如，在一些實施方式中，繞射光柵28可經組態以對在範圍為約400 nm至約1550 nm之一波段中之光學波前26進行繞射。取決於應用，折射率調變圖案32可由與光柵基板46之其餘部分相同或不同之材料製成。
當一波前(無論係電磁波還是其他波)遇到一實體物體或一折射率擾動時，會發生繞射。波前趨向於圍繞物體邊緣彎曲。若一波前遇到多個物體(無論係週期性的還是其他形式的)，對應小波可能會干涉遠離初次相遇的某個距離，這由楊氏雙狹縫實驗證明。此種干涉產生一種不同圖案，稱為一「繞射圖案」或一「干涉圖案」，該圖案隨與原始相遇的距離變化而變化，對波前之入射角及光譜內容以及遇到的物體之一般大小、形狀及相對空間關係敏感。如惠更斯-菲涅耳原理所描述，該干涉可透過每個對應小波之演變的相對前端來描述。
在本說明中，術語「繞射光柵」，或簡稱為「光柵」，係指一週期性或非週期性的光學結構，其具有經空間調變的光學性質(例如，一折射率調變圖案，其定義一光柵分佈)並經組態以調變一入射光學波前之振幅及/或相位。一繞射光柵可包含繞射元件之一週期性配置(例如，交替之脊部及凹槽)，其空間週期(光柵週期)幾乎等於或稍長於入射在光柵上之光的波長。
包含入射在一繞射光柵上之一波長範圍的一光學波前將在繞射時對其振幅及/或相位進行修改。因此，產生一空間及時間相依之經繞射波前。通常，一繞射光柵在光譜上係色散的，使得一輸入光學波前之每個波長將沿著一不同方向輸出。然而，存在在一操作光譜範圍上展現一實質上消色差回應之繞射光柵，且在一些實施方式中可使用該等繞射光柵。例如，在一些實施方式中，繞射光柵在一感興趣之光譜範圍內可為實質上消色差的，且經設計用於該感興趣之光譜範圍的中心波長。特定言之，在使用一拜耳(Bayer)圖案的彩色濾光器陣列之一實施例中，可針對綠色通道(即，約532 nm的一中心波長)最佳化繞射光柵。應注意，當繞射光柵在操作光譜範圍內實質上係消色差時，彩色濾光器陣列可提供經繞射波前之一色度子取樣。
取決於形成繞射光柵之繞射元件係透射的還是反射的，可將繞射光柵稱為一「透射光柵」或一「反射光柵」。應注意，儘管本文描述之若干實施例可使用透射光柵，但不排除在其他實施例中使用反射光柵。
取決於繞射元件之性質，繞射光柵也可被分類為「振幅光柵」或「相位光柵」。在振幅光柵中，由光柵引起之對初始波前的擾動係一直接振幅調變的結果，而在相位光柵中，此等擾動係由光柵材料之折射率之一空間變動引起的對光之相對群組速度之一調變的結果。在本說明中揭示之若干實施例中，該等繞射光柵係相位光柵，其吸收的光通常少於振幅光柵，但在其他實施例中可使用振幅光柵。
在圖1及圖2之實施例中，繞射光柵28係一相位光柵，更具體地係一個二元相位光柵，其折射率調變圖案32包含以光柵週期34週期性間隔開之一系列脊部52，該系列脊部52與亦以光柵週期34週期性間隔開之一系列凹槽54交錯。折射率調變圖案32之空間分佈因此展現一兩級階躍函數或方波函數。在此種情況下，繞射光柵28之光柵週期34對應於一個脊部52及一個相鄰凹槽54沿著光柵軸30的寬度之總和。在一些實施方式中，光柵週期34之範圍可為約0.1 μm至約20 μm，但在其他實施方式中，其他值係可能的。在圖1及圖2中，凹槽54係空的(例如，充滿空氣)，但替代地，它們可用折射率不同於脊部材料之折射率的材料填充。
取決於應用，繞射光柵28可具有實質上等於50%或不同於50%之一工作週期。該工作週期在本文中被定義為脊部寬度與光柵週期34之比率。
繞射光柵28之另一參數係階梯高度56，其係脊部52與凹槽54之間的層面差。例如，在一些實施方式中，階梯高度56之範圍可為約0.1 μm至約1 μm。應注意，在一些實施方式中，可選擇階梯高度56，使得繞射光柵28在相鄰之脊部52與凹槽54之間引起一預定光學路徑差。例如，可控制階梯高度56以及脊部52與凹槽54之間的折射率差，以在光學波前之一給定波長及入射角(例如，其中心波長)處提供脊部與凹槽之間的一半波光學路徑差。當然，在其他實施方式中可使用其他光學路徑差值。
應注意，雖然在圖1及圖2之實施例中的繞射光柵28係一線性或一維的二元相位光柵，該二元相位光柵由形成一方波折射率調變圖案32的交替之多組平行脊部52及凹槽54組成，但其他實施例可使用其他類型之繞射光柵。例如，其他實施方式可使用其中光柵週期、工作週期及階梯高度中之至少一者可變的繞射光柵；具有垂直於光柵軸之非直線特徵的繞射光柵；具有更精細的折射率分佈的繞射光柵；2D繞射光柵；等等。應理解，可藉由適當選擇光柵參數來調整經繞射波前之性質。下面將進一步描述關於繞射光柵28的操作的更多細節。
仍參考圖1及圖2，像素陣列38包含設置在彩色濾光器陣列42下方之複數個光敏像素40，彩色濾光器陣列42本身設置在繞射光柵總成24下方。
術語「像素陣列」通常係指由複數個光感測器組成之一感測器陣列，該等光感測器在本文中被稱為「光敏像素」或簡稱為「像素」，該等光感測器經組態以偵測自一可觀察場景入射至其上的電磁輻射並將所偵測到之輻射轉換為電資料，該電資料可經處理以產生該場景之一影像。在本技術中，由光敏像素偵測到的作為光場影像資料之電磁輻射對應於自場景入射之一光學波前，該光學波前在到達像素陣列之前已被繞射且可能被進行空間-色度濾光。
像素陣列38可由一CMOS或CCD影像感測器來體現，但可替代地使用其他類型之光偵測器陣列(例如，電荷注入裝置或光二極體陣列)或裝置(例如，一事件相機)。如上所述，像素陣列38可經組態以偵測在光譜之任何適當區域中之電磁輻射。
取決於應用，可根據一滾動或全域快門讀出設計來組態像素陣列38。像素陣列38可進一步係一堆疊的、背面的或正面的照明感測器架構之一部分，如下面更詳細地描述的。像素陣列38可為任何標準或非標準光學格式，例如但不限於4/3”、1”、2/3”、1/1.8"、1/2”、1.27”、1/3"、1/3.2"、1/3.6"、35 mm等等。像素陣列38亦可包含一對比度或一相位偵測自動聚焦機制，以及其各別像素架構。除非另有說明，否則術語「像素陣列」在本文中可與諸如「光偵測器陣列」、「光感測器陣列」、「成像器陣列」等術語互換使用。
像素陣列38之光敏像素40可將入射至其上之經繞射波前36之空間部分轉換成積累之電荷，該積累之電荷的量與由像素40收集及記錄之光之量成比例。每個光敏像素40可包含一光敏表面及相關聯之像素電路以在像素水平上處理信號並與諸如一讀出單元之其他電子裝置通信。熟習此項技術者應理解，各種其他組件可整合至像素電路中。通常，光敏像素40可被單獨定址且讀出。
仍參考圖1及圖2，光敏像素40可配置成由兩個正交像素軸58、60界定的列及行之一矩形網格，但在其他實施例上可使用其他配置。列及行之數量界定像素陣列38之解析度。例如，在一些實施方式中，像素陣列38之一解析度可為至少16個像素，但在其他實施例中可使用包含高達4千萬個像素或更多像素的寬範圍之其他解析度值。應理解，儘管在圖1及圖2之實施例中將光敏像素40配置成一2D陣列，但在其他實施例中，它們可替代地組態為一線性陣列。亦應理解，儘管在圖1及圖2之實施例中光敏像素40係對應於一像素縱橫比1:1之正方形，但在其他實施例中可使用其他像素縱橫比值。此外，取決於應用，像素40可全部具有或可並非全部具有相同之尺寸(例如，形狀及大小)。
在圖1及圖2之實施例中，繞射光柵28相對於下伏像素陣列38取向，使得光柵軸30平行於兩個正交像素軸58、60中之一者。然而，在其他實施例中，光柵軸30可相對於正交像素軸58、60以一傾斜角(例如45°)取向。
像素陣列38之特徵亦可在於一像素間距62。在本說明中，術語「像素間距」通常係指個別像素40之間的間隔，且通常被定義為最鄰近像素40之間的中心至中心距離。取決於像素陣列38之實體配置，沿著兩個正交像素軸58、60之像素間距62可相同或可不同。應理解，一像素間距亦可沿著一任意軸定義，例如，沿著相對於兩個正交像素軸58、60以45°取向的一對角軸來定義。如以下更詳細描述的，一相關像素間距62係沿著光柵軸30之像素間距。亦如下面更詳細地描述的，在本技術中，像素陣列38之沿著光柵軸30的像素間距62等於或大於光柵週期34。例如，在一些實施方式中，沿著光柵軸30之像素間距62可在0.7 μm或更小至10 μm的範圍內，但在其他實施方式中可使用不同的像素間距值。
在本說明中，術語「像素資料」係指由每個個別像素擷取之影像資訊，且可包含強度資料，該強度資料指示在一積分週期內由每個個別像素吸收之光能的總量。組合來自所有像素40之像素資料會產生關於場景22之光場影像資料。在本技術中，因為自場景22入射之光學波前26在偵測之前被繞射且可能被進行空間及光譜濾光，故光場影像資料可提供不僅關於入射波前26之強度而且關於其他光場參數(諸如其入射角、相位及光譜內容)的資訊。特定言之，如下面更詳細地描述的，本技術可允許自入射角相依資訊中檢索深度資訊，該入射角相依資訊被編碼至由繞射光柵28產生並由像素陣列38記錄的基於強度之繞射圖案中。
仍參考圖1及圖2，彩色濾光器陣列42在空間上與像素陣列38對位，使得每個彩色濾光器44光學地耦合到光敏像素40中之一對應光敏像素。即，每個彩色濾光器44覆蓋一單個光敏像素40，使得在彩色濾光器44與光敏像素40之間存在一對一關係或映射。然而，在其他實施方式中，每個彩色濾光器可光學耦合至複數個光敏像素中之至少兩個對應光敏像素。例如，簡要地參考圖3，示出了一光場成像裝置20的另一個實施例，其中彩色濾光器陣列42之每個彩色濾光器44覆蓋一群組或子組之光敏像素40，即一2×2光敏像素40區塊。在圖1及圖2之實施例以及圖3之實施例兩者中，彩色濾光器陣列42及像素陣列38一起使得能夠對由上覆繞射光柵總成24產生之經繞射波前36進行直接空間-色度取樣，如下所述。
如上文關於術語「顏色」及「色度」所述，諸如「彩色濾光器」及「彩色濾光」之術語應理解為在電磁光譜之任何適當的光譜中且不僅在可見光範圍內等效於「光譜濾光器」及「光譜濾光」。取決於應用，彩色濾光器可透過吸收不想要的光譜分量來實現光譜濾光，例如使用基於染料之彩色濾光器。然而，在不脫離本技術之範疇之情況下，可使用其他濾光原理。
返回至圖1及圖2，彩色濾光器44根據一馬賽克彩色圖案或組態在實體上被組織。在一些實施方式中，每個彩色濾光器44係一紅色濾光器、一綠色濾光器，一藍色濾光器、一黃色濾光器、一青色濾光器、一洋紅色濾光器或一透明或白色濾光器中之一者。例如，在所示實施例中，彩色濾光器陣列42之馬賽克彩色圖案係一RGGB拜耳圖案，其中彩色濾光器以棋盤圖案配置，其中具有交替之紅色(R)濾光器及綠色(G)濾光器的列與具有交替之綠色(G)濾光器及藍色(B)濾光器的列交錯。一拜耳圖案包含的綠色濾光器之數量係紅色或藍色濾光器的兩倍，使得馬賽克彩色圖案之綠色分量比紅色及藍色分量被更密地取樣。在替代實施方式中，馬賽克彩色圖案可由更精細的拜耳型圖案來體現，例如具有一n 像素單位單元之拜耳型圖案，其中n 係大於4之一整數。當然，本技術不限於拜耳型圖案，而係可應用於任何適當的馬賽克彩色圖案，包含但不限於RGB-IR、RGB-W、CYGM、CYYM、RGBE、RGBW＃1、RGBW＃2、RGBW＃3及單色。應注意，在一些實施方式中，彩色濾光器陣列42可經組態以提供高光譜成像及濾光技術及/或干涉濾光技術。在此等實施例中，可調整繞射光柵28之設計(例如，光柵週期34)以適應增加的光譜取樣範圍。
現參考圖4及圖5，示出了一光場成像裝置20之另一個實施例，其適用於單色成像應用。該實施例與上述實施例及圖1及圖2所示之實施例共有許多特徵，就此而言，該實施例通常包含一繞射光柵總成24，該繞射光柵總成24包含至少一個繞射光柵28，且設置在包含複數個光敏像素40之一像素陣列38上方。此等組件在結構及操作方面通常可與圖1及圖2之實施例的相似組件類似。圖4及圖5之光場成像裝置20與圖1及圖2之光場成像裝置的不同之處主要在於其不包含設置在繞射光柵總成24與像素陣列38之間的一彩色濾光器陣列。因此，光敏像素40直接偵測由繞射光柵28透射之經繞射波前36，而無需事先進行空間-色度濾光。
參考圖6，示出了一光場成像裝置20的另一實施例，其與圖4及圖5的實施例共有類似特徵，但主要不同之處在於，其進一步包含設置在像素陣列38上方且在繞射光柵總成24下方之一微透鏡陣列64。微透鏡陣列64包含複數個微透鏡66。每個微透鏡66光學地耦合至光敏像素40中之一對應光敏像素，且經組態以將入射至其上之經繞射波前36之空間部分聚焦或以其他方式引導到其對應光敏像素40上。應注意，在其中提供了彩色濾光器陣列之實施例中，諸如在圖1及圖2中，微透鏡陣列將設置在彩色濾光器陣列上，使得每個微透鏡將光學耦合至彩色濾光器中之一對應彩色濾光器。在一些變型中，光成像裝置20亦可包含設置在像素陣列38上方之抗反射塗層(未示出)。
參考圖7，示出了適用於單色成像應用之一光場成像裝置20之一實施例的一示意性局部分解側視圖。光場成像裝置20與圖4及圖5所示之光場成像裝置共有的類似之處在於，其包含一繞射光柵總成24，該繞射光柵總成24包含設置在光敏像素40a-40d之一像素陣列38之頂部上的一繞射光柵28。為了說明目的，圖7所繪示之繞射光柵28係具有50%的一工作週期及由交替的多組脊部52及凹槽54組成之一週期性折射率調變圖案32的一個二元相位透射光柵。
圖7示意性地繪示了光通過裝置20之傳播。在操作中，光場成像裝置20具有涵蓋可觀察場景22的一視野。繞射光柵28在其輸入側上接收源自場景22的一光學波前26 (實線：法線入射，θ =θ 1 = 0；虛線：傾斜入射，θ =θ 2 ＞ 0)，且對光學波前26進行繞射以在其輸出側上產生一經繞射波前36 (實線：法向入射；虛線：傾斜入射)，該經繞射波前36朝像素陣列38傳播以由像素陣列38進行偵測。下面將更詳細地討論入射光學波前26之入射角對經繞射波前36的影響以及該影響可如何用於為光場成像裝置20提供一角度敏感回應。
在圖7中，經繞射波前36之特徵可在於一經空間調變之強度或繞射圖案70，該圖案之空間分佈隨繞射光柵28之幾何及光學特性、光學波前26之波長及入射角、觀察平面(例如，像素陣列38或中間光學組件，諸如微透鏡，其經組態以將經繞射波前36中繼至像素陣列38上)之位置以及繞射光柵28與觀察平面之間的光學組件(例如，微透鏡、彩色濾光器、彩色濾光器隔離結構、光導等等)之存在而變化。在當前情況下，觀察平面對應於像素陣列38之光接收表面68。特定言之，經繞射波前36之強度圖案70之特徵可在於像素陣列38之光接收表面68中沿著光柵軸30的在空間上變化的強度分佈。應注意，在圖7中，假設光柵軸30平行於像素軸58，但在其他變體中不必如此。
在本技術中，繞射光柵28及像素陣列38相對於彼此設置成使得像素陣列38之光接收表面68定位在繞射光柵28之近場繞射區域中。在一近場繞射區域中，可使用菲涅耳繞射理論來計算通過一繞射光柵之波的繞射圖案。與遠場夫朗和斐(Fraunhofer)繞射理論不同，菲涅耳繞射計及了波前曲率，該波前曲率允許計算干涉波之相對相位。類似地，當利用維度順序與光柵相同之光感測器或另一個成像裝置在波長之幾個整數倍內偵測經繞射之輻照度圖案時，傾向於簡單地藉由空間取樣來限制更高階之繞射效應。
為了偵測近場中之經繞射波前36，本技術可涉及在繞射光柵28之頂部表面48 (其中形成折射率調變圖案32且發生繞射)與下伏像素陣列38之光接收表面68 (其中偵測經繞射前波36)之間維持一足夠小之間隔距離72或台座高度。在一些實施方式中，此涉及將間隔距離72選擇為小於光學波前26之一中心波長的約二十倍。在一些實施方式中，間隔距離72之範圍可在約0.2 μm與約20 μm之間，例如，若光學波前之中心波長位於可見範圍內，則在0.5 μm與約8 μm之間。
Talbot效應係一近場繞射效應，其中入射在諸如一繞射光柵之一週期性結構上之平面波在該週期性結構的後面以規則距離產生該週期性結構之自影像(稱為Talbot影像)。由於干涉而觀察到週期性結構之自影像的規則距離被稱為Talbot長度ZT 。在具有一光柵週期g 之一繞射光柵之情況下，Talbot長度ZT 可表示為如下：
Figure 02_image005
其中λ 係入射波長。當光柵週期g 遠大於波長λ 時，該表達式簡化為以下表達式：
Figure 02_image007
在一半Talbot長度之整數倍(nzT /2)處觀察到其他自影像。相對於在ZT 處觀察到的自影像，此等額外的自影像係同相的或異相達光柵週期的一半(即g/2 )，此取決於n 係偶數還是奇數。在Talbot長度的較小分數值處亦可觀察到其他子影像。
應注意，在振幅光柵之情況下觀察到此等Talbot自影像。在相位光柵之情況下(諸如在圖7中)，光柵之相位在一半Talbot距離之整數倍處自成像，這係使用僅對光強度敏感之偵測器(諸如光二極體)無法觀察到的。因此，與一振幅光柵不同，一相位光柵在位於一半Talbot距離之整數倍處的一觀察平面中產生具有恆定光強度之一經繞射波前。然而，相位光柵亦可用於在中間觀察平面處產生類似於Talbot自影像的近場強度圖案，該等中間觀察平面自位於一半Talbot距離之整數倍處的平面移位。例如，此類中間觀察平面可位於ZT /4及3ZT /4處。此等強度圖案(有時被稱為Lohmann影像)可使用強度敏感的光偵測器進行偵測。
返回圖7，在所示實施例中，相位光柵28及像素陣列38相對於彼此定位，以便偵測形成在對應於一半Talbot距離之非整數倍(即，遠離一半Talbot距離之整數倍)的觀察平面處之此等Talbot式近場強度圖案。在此種情況下，繞射光柵28經組態以在觀察平面中產生具有一強度圖案70之一經繞射波前36，該強度圖案70根據光柵週期34進行空間調變。如圖7所繪示，經繞射波前36之強度圖案70具有與繞射光柵28的光柵週期34實質上匹配之一空間週期74，以及具有與繞射光柵28之折射率調變圖案32的形狀有關之一形狀。應理解，陣列38之每個光敏像素40a-40d經組態以對經繞射波前36之強度圖案70的一各別部分進行取樣並由此產生一對應之基於強度的像素回應。
如上所述，術語「匹配」及其派生詞意在不僅涵蓋偵測到的經繞射波前36之強度圖案70之分佈及週期與繞射光柵28之折射率調變圖案32之分佈及週期之間的一準確或相同匹配或一致性，而且涵蓋一實質、近似、充分或主觀匹配。亦應注意，表述「根據光柵週期進行空間調變」意在涵蓋用於描述如圖7中其中強度圖案70之空間週期74實質上等於光柵週期34的實施方式之「以光柵週期」以及用於描述其中強度圖案70之空間週期74係光柵週期34之某個合理倍數(諸如在雙倍Lohmann影像之情況下為光柵週期之兩倍)的其他實施方式之「與光柵週期有關」兩者。
週期性繞射光柵28進行的近場繞射之另一特徵係，在改變入射在繞射光柵28上之光學波前26之入射角76時，經繞射波前36之強度圖案70橫向移位(即，沿著光柵軸30)，但實質上保持其週期74及形狀，如自圖7中之實線繞射圖案與虛線繞射圖案之間的比較可見。因此，繞射光柵28經組態以引起對入射光學波前26進行之角度相依強度調變，該入射光學波前26由光敏像素40a-40d直接取樣。藉由適當地設定像素陣列38之像素間距62與繞射光柵28之光柵週期34之間的關係，對於入射光之一給定強度，由個別像素40a-40d量測之強度將由於經繞射強度圖案70經歷的橫向移位而隨入射角變化。被繞射光柵28編碼成像素陣列38所記錄之基於強度的繞射圖案70作為個別基於強度的像素回應之疊加的角度相依資訊可經解碼以提供關於場景22之深度資訊。
在一些實施方式中，可選擇繞射光柵28與像素陣列38之間的間隔距離72，以確保當光學波前26之入射角76在由光場成像裝置20之數值孔徑所定義的在像素陣列38上之可能入射角範圍內變化時，經繞射波前36之強度圖案70所經歷的橫向移位保持小於光柵週期34。否則，光場成像裝置20之深度敏感度可能會降低或以其他方式受到不利影響。
應理解，通常不可能確定地判定一單個像素回應之變化係歸因於僅強度之變化、僅入射角之變化還是強度及入射角兩者之變化。因此，一單個像素之角度相依回應通常無法用於明確地恢復傳入之波前之強度及入射角兩者。而是，來自經組態以對經繞射波前之強度圖案之不同部分進行取樣之至少一對或一群組之像素的像素回應之間的差異可用於解決強度與入射角之間的不明確性。因此，在本技術中，複數個光敏像素包含多個群組或多對相鄰像素，其中每個群組或每一對之相鄰像素隨入射角變化而具有不同之像素回應。在本說明中，術語「相鄰像素」通常係指其沿著平行於上覆繞射光柵之光柵軸之一線的間隔等於沿著光柵軸之像素間距的兩個或更多個像素。然而，應注意，相鄰像素可但未必沿著平行於光柵軸之同一線配置。例如，可認為一拜耳圖案中之兩個最近的綠色像素形成如本文所定義之一對相鄰像素(例如，參見圖10中的綠色像素40a和40b，它們未沿著平行於光柵軸30之同一線配置)。亦應注意，在具有多於兩個相鄰像素之一群組中，每個像素可與該群組中之至少一個其他像素隔開達等於像素間距之一距離，但不一定與該群組中之所有其他像素隔開達該距離(例如，參見圖9D中的像素40，其包含具有三個相鄰像素之多個群組，其中在每個群組中，中心像素與每個側部像素之間的距離等於像素間距，而兩個側部像素之間的距離等於像素間距的兩倍)。
應注意，在光學耦合至一下伏像素陣列38時，繞射光柵28將相位相依資訊與一標準2D影像卷積，使得偵測到的經繞射波前36之強度圖案70可通常被表達為經調變函數I ~Imod (深度資訊)×Ibase (2D影像)，其中包含一調變分量I mod 及基礎分量Ibase 。基礎分量Ibase 表示在沒有繞射光柵28之情況下由像素陣列38偵測到的非相位相依光學波前。即，僅偵測基礎分量Ibase 將允許獲得場景22之一習用2D影像。同時，調變分量Imod 係入射光學波前26之相位的直接結果，使得入射角之任何邊緣或稍微差異都會將其自身表現為在像素陣列38上進行空間取樣的一週期性電回應。與基礎分量Ibase 相比，調變分量Imod 的振幅通常但不一定較小(例如，Imod 與Ibase 之比率的範圍通常可為約0.1至約0.3)。應理解，對光學波前26之入射角76的敏感度以及因此對光場成像裝置20的角度解析度通常將取決於繞射光柵28之具體設計。
在共同讓與之國際專利申請案PCT/CA2017/050686 (公開為WO 2017/210781 A1)中揭示了其中光柵週期為像素間距的兩倍之光柵設計，該案之全部內容以引用方式併入本文中。在此等設計中，像素陣列之相鄰像素經組態以對經繞射波前的互補部分進行取樣，該等互補部分相對於彼此相移達一光柵週期的一半。在此等組態中，兩個相鄰像素之像素回應之間的差動回應原則上可在一第一入射角與一第二入射角之間實現實質上100%的一最大調變深度，在該第一入射角下，經繞射強度圖案之最大值居中於一個像素上且經繞射強度圖案之最小值居中於另一個像素上(峰值調變級別)，在該第二入射角下，經繞射強度圖案之最大值或最小值居中於像素之間的過渡部上(未調變級別)。
相反，本技術涉及其中光柵週期等於或小於沿著光柵軸之像素間距的光柵設計。例如，在圖1至圖7所繪示之實施例中，像素間距62與光柵週期34之比率等於3/2。使用其中光柵週期34等於或小於像素間距62的光柵設計可係有利的，特別係在像素間距62相對較大及/或處於較短波長的實施方式中。其原因可解釋如下。
如上所述，相位光柵可用於在位於按比例縮放為g2 /λ 的距離處的觀察平面處產生類似於Talbot自影像的近場強度圖案，該等Talbot自影像可被稱為Lohmann影像。這意指在圖7中，繞射光柵28與像素陣列38之間的間隔距離72隨光柵週期34的平方而按比例增大。例如，若像素間距p 等於1 μm，則使用2 μm的光柵週期g (對應於像素間距p 的兩倍)將在觀察平面為zT/4 = g2 /2λ ( 其中λ = 532 nm) 的情況下產生3.76 μm之一間隔距離。現在，若像素間距p 增加至3 μm，則必須使用6 μm之光柵週期g 來保持相同的p/g 比率。然而，為了使觀察平面保持在ZT /4，間隔距離將必須增加至33.83 μm，與其中p = 1 μm的情況相比增加了九倍。通常，繞射光柵28與像素陣列38之間的間隔距離72主要由光柵基板46之高度或厚度控制。(應注意，圖7係光場裝置之一實施例的一示意性部分分解圖，間隔距離72表現為明顯大於光柵基板46之高度；然而，實務上，應理解，間隔距離72通常等於或略大於光柵基板46之高度。)
超過一定高度，製造一光柵基板可能變得有挑戰性。在一些實施方式中，挑戰與以下事實有關：製造一光柵基板涉及一分層過程，其中層數愈多(即，光柵基板愈厚)，保持平坦度均勻性愈困難及/或避免或至少控制空隙形成、分層以及其他影響良率及可靠性的因素愈困難。
此外，當繞射光柵28與像素陣列38之間的間隔距離72增加時，對於光學波前26之入射角76的一給定變化，經繞射波前36之強度圖案70經歷的橫向移位通常也會增加。如上所述，在一些實施方式中可能期望或需要實現以下條件：在由光場成像裝置20之數值孔徑定義之可能入射角範圍內，此橫向移位保持小於光柵週期34。因為間隔距離72隨光柵週期34的平方而成比例增加，故可滿足該條件之可能入射角範圍(其又定義光場成像裝置20之數值孔徑之最大可實現值)通常隨間隔距離72的增大而變得更小。應理解，在一些應用中，一受限的數值孔徑可係不希望的或不利的。
因此，在一些實施方式中，例如，當像素間距超過某個值時，限制繞射光柵28與像素陣列38之間的間隔距離72可係合意的、有利的或需要的。在本技術中，已發現實現此目的的一種方法係藉由使用其中像素間距等於或大於光柵週期的設計。例如，返回至上面的其中p = 3 μm之情況，若使用g ＝ 2 μm而非6 μm，其對應於p/g = 3/2 ＞1而非p/g = 1/2 ＜ 1，則間隔距離72可保持在3.76 μm，如同其中p =1 μm、g = 2 μm且p/g = 1/2的情況一樣。
在其中p ≥g 之設計中，並非p/g 的全部值都需要滿足以下條件：像素陣列包含角度敏感的相鄰像素群組或對，其中每個群組或每一對中之像素隨入射角變化而具有不同之像素回應。例如，當一給定像素群組或對中之相鄰像素沿著光柵軸全部具有相同像素尺寸時，p/g= n (其中n 為正整數)之值通常不滿足此條件，因為在此情況下，每個相鄰像素量測的強度不會隨傳入之波前的入射角變化，因為繞射光柵的全部光柵週期都在每個像素上方延伸。因此，隨著經繞射波前之強度圖案隨入射角的變化在一特定像素上方橫向移位，丟失至其一側上之相鄰像素之任何光量都將自其另一側上之相鄰像素恢復相同的量。相反，p/g ≥ 1的值(其不同於一正整數，如在圖1至圖7中的情況，其中p/g = 3/2)可在本技術中用於提供展現不同之角度敏感像素回應的相鄰像素群組或對。
現參考圖8A及圖8B，提供了對於一給定入射光強度(假定等於圖8A及圖8B中之一者)由圖7之兩個個別像素40a、40b量測之像素回應Ia 、Ib 隨入射角θ 變化的一曲線圖(圖8A)，以及兩個像素回應之總和Isum = Ia +Ib 與差Idiff = Ia -Ib 隨θ 變化的一曲線圖(圖8B)。自圖8A中可理解，強度Ia 、Ib 以一互補方式隨θ 變化，使得其總和Isum 保持獨立於θ ，如可自圖8B中驗證的。信號Isum 類似於在不存在繞射光柵28的情況下由像素40a、40b獲得的信號，且因此提供2D強度影像資訊，其中沒有編碼角度相依資訊。相反，差動像素回應Idiff 隨θ 變化，且表示由繞射光柵28編碼至經繞射波前36中的角度相依資訊之一量測結果。
仍參考圖8A及圖8B，在p/g = 3/2的情況下，一第一入射角(例如，在圖7中，θ 2 ＞ 0；峰值調變水平)與一第二入射角(例如，在圖7中，θ 1 = 0；未調變水平)之間的一最大調變深度為約33%，在該第一入射角下，經繞射強度圖案之兩個最大值覆蓋一個像素(例如，圖7中之像素40a)，且一個最大值覆蓋另一個像素(例如，圖7中之像素40b)，在該第二入射角下，一個最大值居中於一個像素上，一個最大值居中於另一個像素上，且一個最大值居中於該等像素之間的過渡部上。因此，在p/g = 3/2的情況下可實現之最大調變深度小於p/g = 1/2的情況。
返回圖7，光場成像裝置20可包含一處理器96，該處理器96經組態以接收並處理由光敏像素40所獲取之光場影像資料。在一些實施方式中，處理器96經組態以計算複數個經加總像素回應，其中每個經加總像素回應係基於多對相鄰像素中之一對的像素回應之一總和(例如，上文所述之Isum )，且然後自該複數個經加總像素回應產生場景之一2D影像或其他2D影像資訊。另外或替代地，處理器可經組態以計算複數個差動像素回應，其中每個差動像素回應係基於多對相鄰像素中之一對的像素回應之間的一差(例如，諸如上文所述之Idiff )，且然後自複數個差動像素回應產生場景之一深度影像或其他與深度或距離有關之資訊。
取決於應用，處理器96可包含一單個處理實體或複數個處理實體。此類處理實體可實體位於同一裝置內，或者處理器96可表示協同操作之複數個裝置的處理功能。因此，處理器96可包含以下各者中之一或多者或可係以下各者中之一或多者之一部分：一電腦、一微處理器；一微控制器；一協同處理器；一中央處理單元(CPU)；一影像信號處理器(ISP)；在單晶片系統(SoC)上運行之一數位信號處理器(DSP)；一專用圖形處理單元(GPU)；體現在例如一場可程式化閘陣列(FPGA)或一特殊應用積體電路(ASIC)之一硬體裝置中的一特殊用途可程式化邏輯裝置；一數位處理器；一類比處理器；一數位電路，其經設計以處理資訊；一類比電路，其經設計以處理資訊；一狀態機；及/或經組態以處理資訊並共同作為一處理器操作之其他機構。特定言之，術語「處理器」不應被解釋為限於一單個處理器或一單個控制器，且因此，可使用任何已知之處理器或控制器架構。此外，取決於應用，光場影像資料之獲取及處理可由同一裝置或單獨的裝置執行。
在一些實施方式中，在計算上述經加總及差動像素回應之前，可例如使用適當的加權因子將屬於相同像素組或若干像素組之像素回應組合在一起。在本說明中，術語「像素組」係指沿著垂直於上覆繞射光柵之光柵軸之一線配置的像素陣列之一光敏像素群組。即，兩個最近的相鄰像素組彼此隔開達對應於沿著光柵軸之像素間距之一距離。例如，在圖7中，每個像素組將平行於像素軸60延伸且垂直於頁面之平面取向。同樣地，在圖1及圖2之實施例中，繞射光柵28覆蓋四個像素組，其中每個像素組沿著像素軸60延伸且包含四個像素40。
應理解，取決於應用，像素陣列38沿著光柵軸30之像素間距62與繞射光柵28之光柵週期34的p/g 比率可取若干個值並滿足不同的條件。此類條件之非限制性實例包含(舉數例)：p/g ＞ 1，但不同於一正整數；p/g = (2n +1)/2，其中n 係一正整數；p/g = n/m ，其中n 及m 係大於2之正整數，且n 大於m 。現將關於圖9A至圖9F描述一些其他非限制性實施例。應理解，儘管為簡單起見，圖9A至圖9F之實施例係針對單色應用進行繪示，但類似於圖9A至圖9F之實施例可藉由在繞射光柵與像素陣列之間提供一彩色濾光器陣列而在彩色應用中使用。
參考圖9A，示出了一光場成像裝置20的一實施例，該光場成像裝置之p/g 比率等於3/2，與上述實施例中的一樣，但在繞射光柵28與像素陣列38之間的對準條件不同。在圖1至圖7中所繪示之前述實施例中，假設所示像素40之主光線角為零，則每一對相鄰像素40經定位與上覆繞射光柵28之一脊部52之一中心或一凹槽54之一中心對準。這提供了相對於法向入射(θ ＝ 0)不對稱(即，奇對稱)的角度相依像素回應(例如，參見圖8A中的曲線Ia 及Ib )。相反，再次假設所示像素40之主光線角為零，則圖9A中之多對相鄰像素40以相鄰脊部52及凹槽54之間的過渡部為中心。即，一對中之每個像素40以一脊部52或一凹槽54為中心，從而相對於法向入射(θ ＝ 0)產生對稱(即，偶數個)像素回應。
參考圖9B，示出了p/g 比率等於3/2之一光場成像裝置20的另一個實施例。然而，與圖1至圖7中繪示之其中繞射光柵28之工作週期(即，對應於具有相等寬度之脊部52及凹槽54)的先前描述之實施例相比，圖9B中之繞射光柵28的工作週期不同於50%。
參考圖9C，示出了一光場成像裝置20的另一實施例，其中p/g 比率等於5/2。該實施例包含多對相鄰像素40a-40d，該多對相鄰像素之像素回應與圖8A及圖8B中所繪示的像素回應類似，即它們以一互補方式隨入射角θ 變化，使得它們之總和I sum 保持獨立於θ ，而它們之差隨θ 變化且具有由繞射光柵28編碼至其中的角度相依資訊。然而，當p/g = 5/2時可達到的最大調變深度為約20%，其小於當p/g = 3/2時可達到的值33%。在一第一入射角(在圖9C中，θ 2 ＞ 0；峰值調變水平)與一第二入射角(在圖9C中，θ 1 = 0；未調變水平)之間實現約20%之該值，在該第一入射角下，經繞射強度圖案之三個最大值覆蓋像素40a，且兩個最大值覆蓋像素40b，在該第二入射角下，兩個最大值覆蓋像素40a，兩個最大值覆蓋像素40b，且一個最大值居中於像素40a與像素40b之間的過渡部78上。應注意，當p/g 等於(2n +1)/2時，其中n 係一正整數，最大調變深度按比例縮放為1/(2n +1)。
參考圖9D，示出了一光場成像裝置20之另一個實施例，其中p/g 比率等於4/3。該實施例係其中p/g 等於n/m 之一情況的一實例，其中n 及m 係大於2之正整數，且n 大於m 。應理解，本實施例亦滿足以下條件：像素陣列包含多個群組或多對相鄰像素，其中每個群組或每一對中之像素隨入射角變化而具有不同之像素回應。實際上，該實施例包含具有不同之角度敏感像素回應的具有m = 3個像素的多個群組。因此，以上關於多對像素回應描述之經加總及差動像素回應的計算可被概括為針對m 個像素回應的情況產生2D影像及深度圖。
參考圖9E，示出了一光場成像裝置20之另一個實施例，其中p/g 比率等於1。如上所述，p/g =n (其中n 係任何正整數，包含1)的情況對於沿著光柵軸具有相同像素尺寸的像素不提供根據入射角變化之像素回應。然而，對於包含多個群組或多對相鄰像素(其中每個群組或每一對中之像素沿著光柵軸並非全部具有相同像素尺寸)之像素陣列，情況不一定如此。具有此一像素架構之感測器之可能實例包含高動態範圍(HDR)感測器。在圖9E中，像素40a沿著光柵軸係像素40b之大小的兩倍，且像素陣列38之像素間距62 (定義為像素40a與像素40b之間的中心至中心距離)等於上覆繞射光柵28之光柵週期34。應理解，在該情況下，對應於像素40a及像素40b之角度相依像素回應之間的差之差動回應將隨入射角變化，從而可自其中提取深度資訊。
在一些實施方式中，例如，在具有高主光線角光學系統之架構中，繞射光柵可經設計以遵循一上覆微透鏡陣列相對於像素陣列之一經設計的主光線角偏移，使得每一對應主光線將穿過預期光柵特徵及其後續微透鏡的中心。此一組態可確保針對高度受限之光學系統的適當相位偏移。此意味著，在一些實施例中，繞射光柵之特徵(例如，其脊部及凹槽)與下伏光敏像素之間的一垂直對準程度可隨在像素陣列內之位置變化(例如，自像素陣列之中心至邊緣)而變化，以適應一預定主光線角偏移。例如，取決於在像素陣列內之位置，可將一給定光敏像素定位在一脊部的一中心、一凹槽的一中心、一脊部與一凹槽之間的一過渡部、或一對應之上覆繞射光柵的某個中間位置下方並與之垂直對準。此在圖9F之實施例中示出，其中由像素40a及40b形成之對與一脊部52與一凹槽54之間的一過渡部對準，由像素40c及40d形成之對與在一脊部52的一中心以及一脊部52與一凹槽54之間的一過渡部之間的一中間點對準，且由像素40e及40f形成之對與一脊部52的一中心對準。
參考圖10，示出了適用於彩色成像應用之一光場成像裝置20的一實施例的一示意性局部分解側視圖。光場成像裝置20與圖1及圖2所示之光場成像裝置共有的類似之處在於，其包含一繞射光柵總成24，該繞射光柵總成24包含設置在一彩色濾光器陣列42頂部上的一繞射光柵28，該彩色濾光器陣列42本身設置在光敏像素40的一像素陣列38的頂部上。為了說明的目的，繞射光柵28係具有50%的一工作週期及由交替的多組脊部52及凹槽54組成之一週期性折射率調變圖案32的一個二元相位透射光柵，且彩色濾光器陣列42具有一拜耳圖案。該拜耳圖案將具有交替之綠色(G)濾光器及藍色(B)濾光器的列與具有交替之紅色(R)濾光器及綠色(G)濾光器的列交替，每列中之一個濾光器在圖10中進行繪示。
圖10示意性地繪示了光通過裝置20的傳播。在操作中，繞射光柵28在其輸入側上接收源自一場景22的一光學波前26，且對光學波前26進行繞射以在其輸出側上產生朝向彩色濾光器陣列42傳播的一經繞射波前36。為了簡單起見，假設圖10之繞射光柵28在包含綠光及藍光的光譜範圍內係消色差的。彩色濾光器陣列42經組態以接收經繞射波前36且在經繞射波前36由下伏像素陣列38偵測到之前對經繞射波前36進行空間光譜濾光。因此，光場成像裝置20之操作係基於藉由提供設置在包含一彩色濾光器陣列42及一下伏像素陣列38之一感測器結構的頂部上之一週期性繞射光柵28而實現的一經直接空間及色度取樣的經繞射波前36。
如在圖7中，由圖10中之繞射光柵28產生的經繞射波前36之特徵在於一Talbot式近場強度圖案70，該圖案根據光柵週期34進行空間調變並隨入射光學波前26之一入射角變化而沿著光柵軸30橫向移位。而且，如在圖7中，繞射光柵28及像素陣列38相對於彼此定位，以便偵測形成在遠離一半Talbot距離的整數倍的觀察平面處(例如，在位於ZT /4或3ZT /4處的觀察平面處)的此等Talbot式近場強度圖案。然而，與圖7之單色實施方式相反，在圖10之彩色實施方式中，在通過彩色濾光器陣列42之後，由像素陣列38偵測到的Talbot式近場強度圖案70將係經繞射波前36之由紅色濾光器濾光的部分、由綠色濾光器濾光的部分及由藍色濾光器濾光的部分的組合或疊加。因此，使用一標準RGGB拜耳圖案作為一實例，強度圖案I 的調變分量Imod 及基礎分量I base 可分為其各別之顏色分量，如下：IR ~Imod ,R (深度資訊)×I base , R (2D影像)，                      (5)IG ~Imod ,G (深度資訊)×I base , G (2D影像)，                     (6)IB ~Imod ,B (深度資訊)×I base ,B (2D影像)。                       (7)
在圖10中，分別以虛線及點劃線繪示了IG 及IB 的強度圖案。
如在圖7中，圖10中之比率p/g 等於3/2。因此，圖10中之像素陣列38包含一對相鄰像素40，該對相鄰像素40隨入射角變化而具有不同之角度敏感像素回應，可自該等像素回應獲得關於場景22之深度資訊。然而，由於由彩色濾光器陣列42執行的濾光動作，可使用來自設置在相同彩色濾光器下方之相鄰像素的像素回應來執行諸如所述之經加總及差動像素回應的計算，以提供更有意義的資訊。在此方面，在一標準RGGB拜耳圖案中，因為在所有像素組中都存在綠色濾光器，故與更密集取樣的綠色分量相關聯之信號IG 將包含來自相鄰像素組中之像素的像素回應。此係在一標準RGGB拜耳圖案中，可將設置在相鄰像素組(例如，圖10中之像素40a及40b)中的最近相鄰綠色像素對的角度相依像素回應用於計算如上所述之多組經加總及差動像素回應。相反，與更稀疏取樣的紅色及藍色分量相關聯的信號IR 及IB 並非在所有像素組中量測、可能不容易用於計算此等多組經加總及差動像素回應。然而，它們可用於細化自信號IG 提取之深度資訊。這方面的更多細節提供在共同讓與的國際專利申請案PCT/CA2018/051554 (公開為WO 2019/109182 A1)中，其全部內容以引用方式併入本文中。
在到目前為止描述之實施例中，繞射光柵總成被繪示為包含一單個繞射光柵。現在參考圖11A，在其他實施方式中，繞射光柵總成24可包含配置成一2D光柵陣列之複數個繞射光柵28a、28b，該2D光柵陣列設置在彩色濾光器陣列42 (或在單色的情況下，像素陣列38)上方。在圖11A中，繞射光柵總成24包含十六個繞射光柵28a、28b，其中每個繞射光柵包含三個光柵週期，該三個光柵週期覆蓋一對應的2×2光敏像素40區塊。然而，提供此等數字係為了說明性目的，且在其他實施例中，此等數字可改變。例如，在一些實施方式中，每個繞射光柵可覆蓋一4×4或6×6像素區塊。應理解，通常，在繞射光柵總成中之繞射光柵之數量之範圍可為一至多達百萬個，而在每個繞射光柵中之光柵週期之數量之範圍可為二至十個。換言之，與一個繞射光柵相關聯之像素數量之範圍可為一2×2像素區塊至整個像素陣列。
複數個繞射光柵28可包含多組80a、80b繞射光柵28a、28b，其中，組80a、80b中之不同組之繞射光柵28a、28b之光柵軸30a、30b具有不同取向。例如，在圖11A之實施例中，該多組由一第一組80a繞射光柵28a及一第二組80b繞射光柵28b組成，其中第一組80a之繞射光柵28a之光柵軸30a垂直於第二組80b之繞射光柵28b之光柵軸30b延伸。特定言之，第一光柵軸30a可平行於第一像素軸58，而第二光柵軸30b可平行於第二像素軸60。在所示的實施例中，第一組80a及第二組80b之繞射光柵28a、28b配置成以列及行交替，從而界定一棋盤圖案。當然，在其他實施例中，可使用正交或非正交取向之光柵之任何其他合適之規則或不規則配置。例如，在一些變型中，正交取向之光柵可配置成僅以列或僅以行交替，或者被隨機地配置。其他變型可包含多於兩組的繞射光柵，其可相對於彼此正交或不正交。
應指出，除了具有正交的光柵軸取向之外，圖11A之實施例中繪示之兩組80a、80b繞射光柵28a、28b係相同的。即，它們皆係由具有相同工作週期、光柵週期及光柵週期數量之交替之多組平行脊部52及凹槽54構成的二元相位光柵。然而，在其他實施例中，此等參數中的每一個可在不同光柵之間變化，即，繞射光柵不必全部相同。例如，在一些實施例中，繞射光柵總成24可包含共用共同光柵取向但另外具有不完全相同之光柵參數的繞射光柵28。通常，繞射光柵總成24可設置為由許多光柵類型構成之一光柵塊，每種光柵類型之特徵在於一組特定的光柵參數。此等光柵參數之非限制性實例包含光柵取向、光柵週期、工作週期、光柵週期之數量、相對於下伏像素及/或彩色濾光器之橫向偏移等。
應理解，在一些實施方式中，為一繞射光柵總成提供具有不同光柵軸取向之繞射光柵可能係有利的或需要的，因為繞射係沿著一個別繞射光柵之光柵軸發生的。此意味著，當繞射光柵總成包含一單個光柵取向時，自垂直於該單個光柵取向延伸的場景物體發出的光通常不會產生可從中提取深度角資訊之一經繞射波前。在一些實施方式中，提供兩組正交取向之光柵(例如，水平及垂直取向之光柵，諸如圖11A中所示)可能足以擷取關於場景之足夠的光場影像資料。可將使用具有兩個或更多個光柵取向之繞射光柵總成之概念視為對具有自中心徑向增加週期性的完全圓形之繞射光柵之限制，此將提供一接近完美的傅立葉平面成像器。
亦應理解，在圖11A中所繪示之實施例中，繞射光柵總成24在整個像素陣列38上延伸，使得所有像素40偵測已通過繞射光柵28中之一者的經繞射光。然而，在其他實施例中，繞射光柵總成可僅覆蓋像素陣列之一部分，使得僅像素之一子組偵測到經繞射光。例如，此可藉由在圖11A中自第一組80a移除一半繞射光柵28a及/或自第二組80b移除一半繞射光柵28b而實現，如圖11B所繪示。此等實施方式可能有利於減少待處理之光場資料之量以及相關聯之計算權重及時間。
參考圖12A至圖12C，示出了包含複數個繞射光柵之繞射光柵總成24之光柵配置的其他實例。在圖12A中，繞射光柵總成24包含僅以列交替之兩組80a、80b正交取向之繞射光柵28。一組80a之光柵軸取向係沿著一個像素軸58，而另一組80b之光柵軸取向係沿著另一個像素軸60。在圖12B中，繞射光柵總成24包含四組80a至80d繞射光柵28，其光柵軸30a至30d相對於水平像素軸58以0°、33°、66°及90°取向。在圖12C中，繞射光柵總成24包含四組80a至80d繞射光柵28，其光柵軸30a至30d相對於水平像素軸58以0°、45°、90°及-45°取向。應理解，在圖12A至12C中之每一者中，所繪示之繞射光柵28可表示繞射光柵總成24的被多次重複之單位單元。
參考圖13，示出了適合於基於顏色的應用之一光場成像裝置20的一實施例，但在繞射光柵總成24與下伏像素陣列38之間未插入一彩色濾光器陣列。而是，在該實施例中，繞射光柵總成24包含一繞射光柵28陣列，其中每個繞射光柵28包含其上形成有一折射率調變圖案32的一光柵基板46 (例如，由交替的一系列脊部52及凹槽54構成)。每個繞射光柵28之光柵基板46亦包含一光譜濾光器材料或區域82，該光譜濾光器材料或區域82經組態以在經繞射波前36由複數個光敏像素40偵測到之前，對經繞射波前36進行光譜濾光。在一些實施方案中，繞射光柵28中之每一者可由經調整以對一期望的光譜分量進行濾光之一材料製成，例如，藉由在光柵基板46中摻入一合適的染料摻雜劑。
在圖13中，繞射光柵總成24不僅提供一繞射結構，而且提供一彩色濾光器陣列，其中每個彩色濾光器由繞射光柵28中之一對應繞射光柵體現。換言之，每個繞射光柵28可經單獨設計及調整以形成彩色濾光器陣列中之一對應彩色濾光器。在圖13中，由複數個繞射光柵28形成之彩色濾光器陣列以一拜耳圖案配置，使得每個繞射光柵28之光柵基板46充當一紅色(R)濾光器、一綠色(G)濾光器或一藍色(B)濾光器。當然，由繞射光柵總成24定義之彩色濾光器陣列可在電磁光譜之可見區域之外操作，且其馬賽克彩色圖案不限於拜耳型圖案，而是可應用於任何適當的馬賽克彩色圖案，包含上面列出的彼等圖案。
在一些實施方式中，光場成像裝置可包含在繞射光柵前面之波前調節光學裝置。波前調節光學裝置可經組態以在自場景入射之光學波前到達繞射光柵總成之前收集、引導、透射、反射、折射、分散、繞射、準直、聚焦或以其他方式作用於該光學波前。波前調節光學裝置可包含透鏡、反射鏡、濾光器、光纖及任何其他合適的反射、折射及/或繞射光學組件等。在一些實施方式中，波前調節光學裝置可包含聚焦光學裝置，該聚焦光學裝置經定位且經組態以用入射波前可由光場成像裝置取樣的方式修改該入射波前。
參考圖14，示出了一光場成像裝置20的另一可能實施例，且該實施例包含設置在場景22與繞射光柵總成24之間的光學波前26之一光路徑中之色散光學裝置84。色散光學裝置84經組態以接收並色散傳入之光學波前26。色散光學裝置84可由任何光學組件或光學組件之組合來體現，其中電磁束在通過色散光學裝置時會隨波長的變化而經受空間擴展(例如，藉由色差)。在圖14之實施例中，為簡單起見，色散光學裝置84係一聚焦透鏡。然而，應理解，在其他實施例中，色散光學裝置84可經提供為包含大量光學組件(例如，聚焦及散焦光學裝置)之一光學堆疊，該等光學組件一起用於在光學波前26入射在繞射光柵總成24上之前對光學波前26進行色散(例如，由於其固有的色差)。
出於例示性目的，假定圖14中之入射光學波前26係包含多個波長的光之一波疊加，例如，一綠色分量(虛線)及一藍色分量(點劃線)。光學波前26之每個顏色分量由於其與色散光學裝置84之能量相依相互作用之性質，將遵循一稍微不同的光學路徑，從而導致由繞射光柵28引入之相移之一色度相依性。因此，如透過由繞射光柵28產生之角度相依繞射而取樣之入射光學波前26的波前擴展可提供關於場景22之深度資訊，光學波前26係源自該場景22。在共同讓與的國際專利申請案PCT/CA2018/051554 (公開為WO 2019/109182 A1)中揭示了用於處理此種深度資訊並從中產生一場景之一深度圖之技術的非限制性實例，該案之全部內容以引用方式併入本文中。
在單色平面光學波前入射在諸如圖14所示之一聚焦透鏡上的情況下，該聚焦透鏡在波前穿過透鏡時逐漸折射並聚焦該波前。應理解，若繞射光柵總成位於聚焦透鏡之焦平面之外(在聚焦透鏡之焦平面之前或之後)，則到達繞射光柵總成之波前之橫截面積將比繞射光柵總成位於焦平面中的情況更大。因此，與在對焦組態中相比，在失焦組態中將由更多數量的光敏像素來對經繞射波前進行取樣。
現參考圖15及圖16，在一些實施方式中，光場成像裝置20可包含像素陣列電路86 (例如，承載複數個金屬互連層之一矽層)，該像素陣列電路86以一正面照明組態設置在彩色濾光器陣列42與像素陣列38之間(圖15)，或以一背面照明組態設置在像素陣列38下方(圖16)。
參考圖15，在正面照明技術中，光26自正面入射在裝置20上，且必須穿過像素陣列電路86之金屬佈線才能到達像素40。圖15之裝置20包含：一基板88，其具有一正面90及一背面92；一繞射光柵總成24，其設置在該正面90上並經組態以接收自一場景22入射之一光學波前26並產生一經繞射波前36；一像素陣列38，其形成在該基板88中以偵測經繞射波前36；及像素陣列電路86，其耦合至像素陣列38並設置正面90上介於繞射光柵總成24與像素陣列38之間。在彩色成像應用中，正面照明光場成像裝置20可包含一彩色濾光器陣列42，該彩色濾光器陣列42設置在繞射光柵總成24與像素電路86之間，且包含以一馬賽克彩色圖案(例如一拜耳圖案)配置的複數個彩色濾光器44。彩色濾光器陣列42在經繞射波前36由複數個光敏像素40偵測到之前，根據該馬賽克彩色圖案對經繞射波前36進行空間及光譜濾光。裝置20亦包含一微透鏡陣列64，該微透鏡陣列64設置在彩色濾光器陣列42上方且包含複數個微透鏡66，其中每個微透鏡光學耦合至複數個彩色濾光器44中之一對應彩色濾光器。儘管在圖15中未示出，但一些正面照明裝置可包含延伸穿過像素陣列電路86的光導，以將經繞射光傳遞至像素40。提供此類光導可減少與像素陣列電路86之反射或吸收相關聯之光學損失，並減小有效的光學堆疊高度(例如，藉由將有效的光接收表面68升高至光導之輸入表面)。
參考圖16，在背面照明技術中，光26自背面入射在裝置20上，且在其到達像素40之途中不通過像素陣列電路86。圖16之裝置20包含：一基板88，其具有一正面90及一背面92；一繞射光柵總成24，其設置在該背面92上並經組態以接收自一場景22入射之一光學波前26並產生一經繞射波前36；一像素陣列38，其自背面92形成在基板88中以偵測經繞射波前36；及像素陣列電路86，其設置在正面90上且耦合至像素陣列38。在彩色成像應用中，背面照明光場成像裝置20可包含一彩色濾光器陣列42，該彩色濾光器陣列42設置在背面92上介於繞射光柵總成24與像素陣列38之間，且包含以一馬賽克彩色圖案(例如一拜耳圖案)配置的複數個彩色濾光器44。彩色濾光器陣列42在經繞射波前36由複數個光敏像素40偵測到之前，根據該馬賽克彩色圖案對經繞射波前36進行空間及光譜濾光。裝置20亦包含一微透鏡陣列64，該微透鏡陣列64設置在彩色濾光器陣列42上方且包含複數個微透鏡66，其中每個微透鏡66光學耦合至複數個彩色濾光器44中之一對應彩色濾光器。
在圖15及圖16兩者中，且如上所述，繞射光柵總成24包含至少一個繞射光柵28，該至少一個繞射光柵28具有一光柵軸30及一折射率調變圖案32，該折射率調變圖案32具有沿著光柵軸30之一光柵週期34。繞射光柵28經組態以對光學波前26進行繞射並在一近場區域中產生一經繞射波前36。如上所述，經繞射波前36具有一強度圖案，該強度圖案根據光柵週期34進行空間調變並隨光學波前26之一入射角變化而沿著光柵軸30橫向移位。此外，繞射光柵28亦包含一光柵基板46，該光柵基板46包含其上形成有折射率調變圖案32的一頂部表面48及設置在微透鏡陣列64上方的一底部表面50。
仍參考圖15及圖16兩者，像素陣列38包含複數個光敏像素40，且經組態以在該近場區域中偵測經繞射波前作為光場影像資料。像素陣列38包含複數個光敏像素40及沿著光柵軸30之一像素間距62，該像素間距62等於或大於光柵週期34。每個光敏像素40對經繞射波前36之一各別部分進行取樣，並從中產生一對應像素回應。複數個光敏像素40包含多個群組或多對角度敏感的相鄰像素，其中每個群組或每一對中之相鄰像素隨光學波前26之入射角變化而具有不同之像素回應。
應注意，圖15之正面照明光場成像裝置20及圖16之背面照明光場成像裝置20的繞射光柵總成24、像素陣列38、彩色濾光器陣列42及微透鏡陣列64可共有與上述類似之特徵。因此，此等類似之特徵無需在圖15及圖16的上下文中再次描述。亦應注意，堆疊架構裝置通常用於感測器佔用面積成問題的情況下(例如，智能電話模組、平板電腦、網路攝影機)，且在設計上變得愈來愈複雜。在一些實施方式中，本技術涉及將一繞射光柵總成直接定位在一既有感測器架構的頂部上作為一獨立過程。因此，將本技術與堆疊的感測器技術一起使用可表示為感測器級別之深度感測光學裝置之一靈活機會，這可能不需要一完整的感測器或封裝再設計，如微透鏡或編碼孔徑方法的典型情況。此外，由於繞射光柵總成在感測器頂部上之整合而導致的微米級之一般適度之z堆疊增加可類似地簡化封裝要求及在感測器模組之整個光學堆疊中之實施。繞射光柵總成之實施方式
參考圖17，根據另一個態樣，本說明亦係關於一種與一影像感測器94一起使用之繞射光柵總成24，該影像感測器94包含一像素陣列38，該像素陣列38具有複數個光敏像素40以擷取關於一場景22之光場影像資料。經組態以設置在影像感測器94之像素陣列38上方的繞射光柵總成24可與上文在光場成像裝置實施方式之上下文中描述的繞射光柵總成共有許多類似點，就此而言，繞射光柵總成24包含一或多個繞射光柵28，其中每個繞射光柵具有一光柵軸30及一折射率調變圖案32，該折射率調變圖案32具有沿著光柵軸30之一光柵週期34，該光柵週期34等於或小於沿著該光柵軸30之一像素間距62。如上所述，取決於應用，像素間距62與光柵週期34之比率可採用各種值。
繞射光柵28可為一個二元相位光柵，且折射率調變圖案32可包含交替之脊部52及凹槽54。繞射光柵28經組態以對自場景22入射之一光學波前26進行繞射，且在一近場繞射區域或平面98中產生具有一強度圖案之一經繞射波前36，該強度圖案根據光柵週期34進行空間調變且隨光學波前26之一入射角變化而沿著光柵軸30橫向移位。繞射光柵總成24經組態以設置在像素陣列38上，其中光敏像素40定位在近場繞射區域或平面98處以偵測經繞射波前36作為光場影像資料。為了使影像感測器94能夠藉由在其上設置本文所述的繞射光柵總成24而變成對光學波前26之入射角敏感，光敏像素40包含橫向相鄰像素，該等橫向相鄰像素隨入射角變化而產生不同之角度相依像素回應。
在彩色成像應用中，繞射光柵總成24可經組態以設置在影像感測器94之一彩色濾光器陣列42上方。如上所述，彩色濾光器陣列42設置在像素陣列38上方，且經組態以在經繞射波前36由複數個光敏像素40偵測到之前，對經繞射波前36進行空間及光譜濾光。
取決於應用，繞射光柵總成24可包含以設置在像素陣列38及(可選地)彩色濾光器陣列42上方之一2D光柵陣列或塊配置之一單個繞射光柵28或複數個繞射光柵28。方法之實施方式
根據另一個態樣，本說明亦係關於各種光場成像方法，包含一種擷取關於一場景之光場影像資料之方法以及一種向一習用2D影像感測器提供3D或光場成像能力之方法。此等方法可用諸如上述之光場成像裝置及繞射光柵總成或用其他類似的裝置及總成來執行。
參考圖18，提供了擷取關於一場景之光場影像資料之一方法200之一實施例的一流程圖。該方法200可包含用一繞射光柵對源自該場景之一光學波前進行繞射之一步驟202。該繞射光柵具有一折射率調變圖案，該折射率調變圖案具有沿著一光柵軸之一光柵週期。該繞射光柵經組態以對入射光學波前進行繞射而產生一經繞射波前。該經繞射波前可在一近場繞射平面中具有一強度圖案，該強度圖案根據光柵週期進行空間調變且隨光學波前之一入射角變化而沿著光柵軸橫向移位。在一些實施方式中，繞射步驟202可包含對在範圍為約400 nm (可見光譜的藍色端)至約1550 nm (電信波長)(例如約400 nm至約650 nm)之一波段中之光學波前進行繞射。在一些實施方式中，繞射光柵係一起形成一繞射光柵總成之複數個繞射光柵中之一者。在此等實施方式中，可針對繞射光柵總成之每個繞射光柵同時執行圖18之方法200。在一些實施方式中，方法200可包含將繞射光柵提供為一相位光柵(例如，一個二元相位光柵)之一步驟。該二元相位光柵可包含以光柵週期週期性間隔開之交替的脊部及凹槽。
方法200亦可包含使用一彩色濾光器陣列對經繞射波前進行空間-光譜濾光以產生一經濾光波前之一步驟204。應注意，該步驟204係可選的，且在一些實施方式中，例如在單色成像應用中，可省略。
方法200可進一步包含在近場繞射平面中使用定位在彩色濾光器陣列下方之一像素陣列偵測經空間-光譜濾光的經繞射波前作為光場影像資料之一步驟206。該像素陣列可包含複數個光敏像素及沿著光柵軸之一像素間距，該像素間距等於或大於光柵週期。在一些實施方式中，像素間距與光柵週期之比率可等於(2n +1)/2，其中n 係一正整數。例如，像素間距與光柵週期之比率可等於3/2 (對於n = 1)或5/2 (對於n = 2)。當然，如以上詳細討論的，像素間距與光柵週期之比率可採用其他值。可理解，當省略空間-光譜濾光步驟204時，在繞射光柵總成與像素陣列之間未設置彩色濾光器陣列，且偵測步驟206涉及用複數個光敏像素直接對經繞射波前進行偵測。偵測步驟206可包含：由每個光敏像素對經繞射波前之一各別部分進行取樣，以產生一對應像素回應，其中光敏像素包含多個群組或多對相鄰像素。每個群組或每一對中之相鄰像素可隨入射角變化而具有不同之像素回應。為了在一近場繞射平面中偵測經繞射波前，方法200可包含以下步驟：將繞射光柵之折射率調變圖案與像素陣列之一光接收表面之間的一間隔距離設定為小於光學波前之一中心波長的約二十倍或設定為在約0.2 μm與約20 μm之間的範圍內。在一些實施例中，間隔距離可對應於一半Talbot距離(ZT /2)的非整數倍，例如ZT /4及3ZT /4。
在一些實施方式中，方法200可包含：對於每一對相鄰像素計算相鄰像素之像素回應之一總和從而獲得複數個經加總像素回應之一步驟；以及自複數個經加總像素回應產生場景之一2D影像之一步驟。另外或替代地，該方法可包含：對於每一對相鄰像素計算相鄰像素之像素回應之間的一差從而獲得複數個差動像素回應之一步驟；以及自複數個差動像素回應產生場景之一深度影像之一步驟。
現參考圖19，提供了向一影像感測器提供3D或光場成像能力(例如，深度映射能力)之一方法300的一流程圖，該影像感測器包含具有複數個光敏像素陣列及沿著一像素軸之一像素間距之一像素陣列。例如，該影像感測器可為一習用或定製設計的正面或背面照明之CMOS或CCD感測器。在彩色應用中，如上所述，影像感測器可在像素陣列之前面包含一彩色濾光器陣列。方法300可包含提供一繞射光柵總成之一步驟302，該繞射光柵總成包含具有一折射率調變圖案之一繞射光柵，該折射率調變圖案具有沿著一光柵軸之一光柵週期。如上所論述，可選擇光柵週期等於或小於像素間距。該繞射光柵經組態以在一近場繞射平面中將一入射光學波前繞射成具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨光學波前之一入射角變化而沿著光柵軸橫向移位。在一些實施方式中，提供步驟302可包含將繞射光柵提供為一個二元相位光柵，該二元相位光柵包含以光柵週期週期性間隔開之一系列脊部，該系列脊部與以光柵週期週期性間隔開之一系列凹槽交錯。取決於應用，提供步驟302可包含為繞射光柵總成提供具有一單個或多個光柵取向之複數個繞射光柵或提供一單個繞射光柵。
方法300亦可包含將繞射光柵總成設置在影像感測器之前面之一步驟304，其中光柵軸平行於像素軸，且光敏像素位於近場繞射平面上以偵測經繞射波前並包含橫向相鄰像素，該等橫向相鄰像素經組態以隨入射角變化而產生不同之像素回應，如上所述。在一些實施方式中，設置步驟304可包含將光柵軸取向為平行於像素陣列之兩個正交像素軸中之一者或取向為相對於像素軸(例如，以45°)傾斜。為了使像素陣列在一近場繞射區域中偵測經繞射波前，設置步驟304可包含將繞射光柵總成定位在與像素陣列相距一間隔距離處，該間隔距離之範圍為約0.2 μm至約20 μm，或者將繞射光柵總成定位在與所選像素陣列相距一間隔距離處，使得經繞射波前在被光敏像素偵測到之前的一光學路徑長度小於光學波前之一中心波長的約二十倍。在一些實施例中，間隔距離可對應於一半Talbot距離(ZT /2)的非整數倍，例如ZT /4及3ZT /4。
當然，在不脫離所附申請專利範圍之範疇的情況下，可對上述實施例進行多種修改。
20:光場成像裝置/裝置/正面照明光場成像裝置/背面照明光場成像裝置 22:可觀察場景/場景 24:繞射光柵總成或結構/上覆繞射光柵總成 26:光學波前/傳入之光學波前/入射波前/入射光學波前/光 28:繞射光柵/相位光柵/週期性繞射光柵/上覆繞射光柵 28a:繞射光柵 28b:繞射光柵 30:光柵軸 30a:光柵軸/第一光柵軸 30b:光柵軸/第二光柵軸 30c:光柵軸 30d:光柵軸 32:折射率調變圖案/週期性折射率調變圖案/方波折射率調變圖案 34:光柵週期 36:經繞射波前 38:像素陣列/下伏像素陣列 40:光敏像素/像素 40a:光敏像素/綠色像素/像素 40b:光敏像素/綠色像素/像素 40c:光敏像素/像素 40d:光敏像素/像素 40e:像素 40f:像素 42:彩色濾光器陣列 44:彩色濾光器 46:光柵基板 48:頂部表面 50:底部表面 52:脊部 54:凹槽 56:階梯高度 58:像素軸/水平像素軸 60:像素軸/第二像素軸 62:像素間距 64:微透鏡陣列 66:微透鏡 68:光接收表面 70:經空間調變之強度或繞射圖案/強度圖案/經繞射強度圖案/基於強度的繞射圖案/Talbot式近場強度圖案 72:間隔距離 74:空間週期/週期 76:入射角 78:過渡部 80a:繞射光柵組 80b:繞射光柵組 80c:繞射光柵組 80d:繞射光柵組 82:光譜濾光器材料或區域 84:色散光學裝置 86:像素陣列電路/像素電路 88:基板 90:正面 92:背面 94:影像感測器 96:處理器 98:近場繞射區域或平面 200:方法 202:步驟/繞射步驟 204:步驟/空間-光譜濾光步驟 206:步驟/偵測步驟 300:方法 302:步驟/提供步驟 304:步驟/設置步驟
圖1係根據一可能實施例之一光場成像裝置的一示意性透視圖。 圖2係圖1之光場成像裝置的一示意性局部分解透視圖。 圖3係根據另一可能實施例的一光場成像裝置的一示意性局部分解透視圖，其中每一彩色濾光器覆蓋一2×2光敏像素區塊。 圖4係根據另一可能實施例之一光場成像裝置的一示意性透視圖，其中該光場成像裝置經組態用於單色成像應用。 圖5係圖4之光場成像裝置的一示意性局部分解透視圖。 圖6係根據另一可能實施例之光場成像裝置的一示意性局部分解透視圖，其中該光場成像裝置在彩色濾光器陣列之頂部上包含一微透鏡陣列。 圖7係根據另一可能實施例之一光場成像裝置的一示意性局部分解側視圖，其中示意性地繪示了光之波前通過該裝置的傳播。圖7之光場成像裝置適用於單色成像應用。 圖8A係圖7之光場裝置之兩個相鄰像素之像素回應隨入射角變化的一曲線圖。圖8B係圖8A之像素回應之總和及差隨入射角變化的一曲線圖。 圖9A至圖9F係一光場成像裝置之五個其他可能實施例的示意性局部分解側視圖，其中示意性地繪示了一光波前通過該裝置的傳播。 圖10係根據另一可能實施例之一光場成像裝置的一示意性局部分解側視圖，其中示意性地繪示了一光波前通過該裝置的傳播。圖10之光場成像裝置適用於彩色成像應用。 圖11A係根據另一可能實施例之一光場成像裝置的一示意性透視圖，其中繞射光柵總成包含兩組正交取向之繞射光柵，該兩組正交取向之繞射光柵配置成以列及行交替以限定一棋盤圖案。圖11B係根據另一可能實施例之一光場成像裝置的一示意性透視圖，其中繞射光柵總成包含兩組正交取向之繞射光柵且僅覆蓋像素陣列之一部分。 圖12A至圖12C示出了包含以一個二維陣列配置的複數個繞射光柵之繞射光柵總成的替代實施例。 圖13係根據另一可能實施例之一光場成像裝置的一示意性透視圖，其中繞射光柵總成包含形成一彩色濾光器陣列之複數個繞射光柵，每個彩色濾光器由該等繞射光柵中之一各別繞射光柵體現。 圖14係根據另一可能實施例之一光場成像裝置的一示意性側視圖，其中該光場成像裝置包含設置在繞射光柵總成之前面的色散光學裝置以在一入射光學波前到達繞射光柵總成之前擴展該入射光學波前。 圖15係根據另一可能實施例之呈一正面照明組態之一光場成像裝置的一示意性側視圖。 圖16係根據另一可能實施例之呈一背面照明組態之一光場成像裝置的一示意性側視圖。 圖17係根據一可能實施例之供在一影像感測器中使用之一繞射光柵總成的一示意性透視圖，該影像感測器包含一像素陣列，該像素陣列具有複數個光敏像素以擷取關於一場景之光場影像資料。 圖18係根據一可能實施例之擷取關於一場景之光場影像資料之方法的一流程圖。 圖19係根據一可能實施例之向觀察一場景並包含一光敏像素陣列之一影像感測器提供3D成像能力之方法的一流程圖。
20:光場成像裝置/裝置
22:可觀察場景/場景
24:繞射光柵總成或結構/上覆繞射光柵總成
26:光學波前/傳入之光學波前/入射波前
28:繞射光柵
30:光柵軸
32:折射率調變圖案/週期性折射率調變圖案/方波折射率調變圖案
34:光柵週期
36:經繞射波前
38:像素陣列/下伏像素陣列
40:光敏像素/像素
42:彩色濾光器陣列
44:彩色濾光器
46:光柵基板
48:頂部表面
50:底部表面
52:脊部
54:凹槽
56:階梯高度
58:像素軸
60:像素軸
62:像素間距

Claims (111)

  1. 一種光場成像裝置，其包括： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包括一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 一像素陣列，其經組態以在該近場區域中偵測該經繞射波前，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，該等光敏像素經組態以對該經繞射波前之各別部分進行取樣並從中產生對應像素回應，該複數個光敏像素包括多個群組之相鄰像素，每個群組中之該等相鄰像素隨該入射角變化而具有不同之像素回應。
  2. 如請求項1之光場成像裝置，其中該像素間距與該光柵週期之一比率不同於一正整數。
  3. 如請求項2之光場成像裝置，其中該等群組之相鄰像素係多對相鄰像素。
  4. 如請求項3之光場成像裝置，其中該像素間距與該光柵週期之該比率等於(2n +1)/2，其中n 係一正整數。
  5. 如請求項4之光場成像裝置，其中n = 1。
  6. 如請求項4之光場成像裝置，其中n = 2。
  7. 如請求項3至6中任一項之光場成像裝置，其進一步包括一處理器，該處理器經組態以： 計算複數個經加總像素回應，每個經加總像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之一總和，且自該複數個經加總像素回應產生該場景之一2D影像；及/或 計算複數個差動像素回應，每個差動像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之間的一差，且自該複數個差動像素回應產生該場景之一深度影像。
  8. 如請求項2之光場成像裝置，其中該像素間距與該光柵週期之該比率等於n/m ，其中n 及m 係大於2之正整數，且n 大於m 。
  9. 如請求項8之光場成像裝置，其中m = 3且n = 4。
  10. 如請求項2至9中任一項之光場成像裝置，其中每個群組中之該等相鄰像素沿著該光柵軸具有相同之像素尺寸。
  11. 如請求項1之光場成像裝置，其中該像素間距與該光柵週期之一比率等於1，且每個群組中之該等相鄰像素沿著該光柵軸並非全部具有相同之像素尺寸。
  12. 如請求項11之光場成像裝置，其中該等群組之相鄰像素係多對相鄰像素。
  13. 如請求項1至12中任一項之光場成像裝置，其中該繞射光柵係一相位光柵。
  14. 如請求項13之光場成像裝置，其中該繞射光柵係一個二元相位光柵。
  15. 如請求項14之光場成像裝置，其中該折射率調變圖案包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
  16. 如請求項15之光場成像裝置，其中主光線角為零之每個群組之相鄰像素定位成與該等脊部中之一對應脊部的一中心、該等凹槽中之一對應凹槽的一中心或該等脊部中之一對應脊部與該等凹槽中之一對應凹槽之間的一過渡部對準。
  17. 如請求項15或16之光場成像裝置，其中該等脊部及該等凹槽與下伏光敏像素之間的一垂直對準程度隨該像素陣列內之位置變化而變化。
  18. 如請求項14至17中任一項之光場成像裝置，其中該繞射光柵之工作週期為約50%。
  19. 如請求項14至17中任一項之光場成像裝置，其中該繞射光柵之工作週期不同於50%。
  20. 如請求項1至19中任一項之光場成像裝置，其中該光柵週期之範圍為0.1微米至10微米。
  21. 如請求項1至20中任一項之光場成像裝置，其中該像素間距之範圍為0.7微米至10微米。
  22. 如請求項1至21中任一項之光場成像裝置，其中該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離之範圍為0.2微米至20微米。
  23. 如請求項1至21中任一項之光場成像裝置，其中該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離小於該光學波前之一中心波長的約二十倍。
  24. 如請求項1至23中任一項之光場成像裝置，其進一步包括一彩色濾光器陣列，該彩色濾光器陣列設置在該像素陣列上方且包括以一馬賽克彩色圖案配置之複數個彩色濾光器，該彩色濾光器陣列經組態以在由該像素陣列偵測到該經繞射波前之前根據該馬賽克彩色圖案對該經繞射波前進行濾光。
  25. 如請求項24之光場成像裝置，其中該馬賽克彩色圖案係一拜耳圖案。
  26. 如請求項24或25之光場成像裝置，其中每個群組中之該等相鄰像素設置在相同之彩色濾光器下方。
  27. 如請求項26之光場成像裝置，其中該等相同之彩色濾光器係綠色濾光器。
  28. 如請求項24之光場成像裝置，其中每個彩色濾光器係一紅色濾光器、一綠色濾光器、一藍色濾光器、一黃色濾光器、一青色濾光器、一洋紅色濾光器、一透明濾光器或一紅外線濾光器。
  29. 如請求項1至28中任一項之光場成像裝置，其進一步包括設置在該像素陣列上方且在該繞射光柵總成下方之一微透鏡陣列，該微透鏡陣列包括複數個微透鏡，每個微透鏡光學耦合至該等光敏像素中之一對應光敏像素。
  30. 如請求項1至29中任一項之光場成像裝置，其進一步包括像素陣列電路，該像素陣列電路以一背面照明組態設置在該像素陣列下方，或以一正面照明組態設置在該繞射光柵總成與該像素陣列之間。
  31. 如請求項1至30中任一項之光場成像裝置，其中該繞射光柵係該繞射光柵總成之一單個繞射光柵。
  32. 如請求項1至30中任一項之光場成像裝置，其中該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者。
  33. 如請求項32之光場成像裝置，其中該複數個繞射光柵配置成設置在該像素陣列上方之一個二維光柵陣列。
  34. 如請求項32或33之光場成像裝置，其中該等繞射光柵並非全部相同。
  35. 如請求項32至34中任一項之光場成像裝置，其中該複數個繞射光柵包括多組繞射光柵，該等組中之不同組之該等繞射光柵之該等光柵軸具有不同取向。
  36. 如請求項35之光場成像裝置，其中該多組繞射光柵包括一第一組繞射光柵及一第二組繞射光柵，該第一組之該等繞射光柵之該等光柵軸實質上垂直於該第二組之該等繞射光柵之該等光柵軸延伸。
  37. 如請求項1至23中任一項之光場成像裝置，其中該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者，每個繞射光柵包括一光柵基板，該光柵基板包含其上形成有該折射率調變圖案之一頂部表面，且該光柵基板包括一光譜濾光器材料或區域，該光譜濾光器材料或區域經組態以在由該複數個光敏像素偵測到該經繞射波前之前對該經繞射波前進行濾光，因此，該複數個繞射光柵形成一彩色濾光器陣列。
  38. 如請求項37之光場成像裝置，其中每個繞射光柵之該光柵基板充當一紅色濾光器、一綠色濾光器、一藍色濾光器、一黃色濾光器、一青色濾光器、一洋紅色濾光器、一透明濾光器或一紅外線濾光器。
  39. 如請求項37之光場成像裝置，其中該彩色濾光器陣列以一拜耳圖案配置。
  40. 一種光場成像裝置，其包括： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包括一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該繞射光柵經組態以對該光學波前進行繞射，以產生一經繞射波前；及 一像素陣列，其具有複數個光敏像素，該複數個光敏像素設置在該繞射光柵總成下方並經組態以在一近場區域中偵測該經繞射波前，該像素陣列具有沿著該光柵軸之一像素間距，該像素間距大於該光柵週期，該像素間距與該光柵週期之一比率不同於一正整數。
  41. 如請求項40之光場成像裝置，其中該像素間距與該光柵週期之該比率等於(2n +1)/2，其中n 係一正整數。
  42. 如請求項41之光場成像裝置，其中n = 1。
  43. 如請求項41之光場成像裝置，其中n = 2。
  44. 如請求項40之光場成像裝置，其中該像素間距與該光柵週期之該比率等於n/m ，其中n 及m 係大於2之正整數，且n 大於m 。
  45. 如請求項44之光場成像裝置，其中m = 3且n = 4。
  46. 如請求項40至43中任一項之光場成像裝置，其中該等光敏像素經組態以對該經繞射波前之各別部分進行取樣且從中產生對應像素回應，該複數個光敏像素包括多對相鄰像素，每一對中之該等相鄰像素隨入射角變化而具有不同之像素回應，該光場成像裝置進一步包括一處理器，該處理器經組態以： 計算複數個經加總像素回應，每個經加總像素回應係基於該多對相鄰像素中之一各別對之像素回應之一總和，且自該複數個經加總像素回應產生該場景之一2D影像；及/或 計算複數個差動像素回應，每個差動像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之間的一差，且自該複數個差動像素回應產生該場景之一深度影像。
  47. 如請求項40至46中任一項之光場成像裝置，其中像素沿著該光柵軸具有相同之像素尺寸。
  48. 如請求項40至46中任一項之光場成像裝置，其中該等像素沿著該光柵軸並非全部具有相同之像素尺寸。
  49. 如請求項40至48中任一項之光場成像裝置，其中該繞射光柵係一相位光柵。
  50. 如請求項49之光場成像裝置，其中該繞射光柵係一個二元相位光柵。
  51. 如請求項50之光場成像裝置，其中該折射率調變圖案包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
  52. 如請求項51之光場成像裝置，其中主光線角為零之每個像素定位成與該等脊部中之一對應脊部的一中心、該等凹槽中之一對應凹槽的一中心或該等脊部中之一對應脊部與該等凹槽中之一對應凹槽之間的一過渡部對準。
  53. 如請求項51或52之光場成像裝置，其中該等脊部及該等凹槽與下伏光敏像素之間的一垂直對準程度隨該像素陣列內之位置變化而變化。
  54. 如請求項50至53中任一項之光場成像裝置，其中該繞射光柵之工作週期為約50%。
  55. 如請求項50至53中任一項之光場成像裝置，其中該繞射光柵之工作週期不同於50%。
  56. 如請求項40至55中任一項之光場成像裝置，其中該光柵週期之範圍為0.1微米至10微米。
  57. 如請求項40至56中任一項之光場成像裝置，其中該像素間距之範圍為0.7微米至10微米。
  58. 如請求項40至57中任一項之光場成像裝置，其中該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離之範圍為0.2微米至20微米。
  59. 如請求項40至58中任一項之光場成像裝置，其中該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離小於該光學波前之一中心波長的約二十倍。
  60. 如請求項40至59中任一項之光場成像裝置，其進一步包括一彩色濾光器陣列，該彩色濾光器陣列設置在該像素陣列上方且包括以一馬賽克彩色圖案配置之複數個彩色濾光器，該彩色濾光器陣列在由該像素陣列偵測到該經繞射波前之前根據該馬賽克彩色圖案對該經繞射波前進行濾光。
  61. 如請求項40至60中任一項之光場成像裝置，其進一步包括一微透鏡陣列，該微透鏡陣列設置在該像素陣列上方且在該繞射光柵總成下方，該微透鏡陣列包括複數個微透鏡，每個微透鏡光學耦合至該等光敏像素中之一對應光敏像素。
  62. 如請求項40至61中任一項之光場成像裝置，其進一步包括像素陣列電路，該像素陣列電路以一背面照明組態設置在該像素陣列下方，或以一正面照明組態設置在該繞射光柵總成與該像素陣列之間。
  63. 如請求項40至62中任一項之光場成像裝置，其中該繞射光柵總成包括一單個光柵取向。
  64. 如請求項40至63中任一項之光場成像裝置，其中該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者。
  65. 如請求項64之光場成像裝置，其中該複數個繞射光柵配置成設置在該像素陣列上方之一個二維光柵陣列。
  66. 如請求項64或65之光場成像裝置，其中該等繞射光柵並非全部相同。
  67. 如請求項64至66中任一項之光場成像裝置，其中該複數個繞射光柵包括多組繞射光柵，該等組中之不同組之該等繞射光柵之該等光柵軸具有不同取向。
  68. 如請求項67之光場成像裝置，其中該多組繞射光柵包括一第一組繞射光柵及一第二組繞射光柵，該第一組之該等繞射光柵之該等光柵軸實質上垂直於該第二組之該等繞射光柵之該等光柵軸延伸。
  69. 一種與一影像感測器一起使用之繞射光柵總成，該影像感測器包括具有複數個光敏像素之一像素陣列，該繞射光柵總成包括一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該光柵週期等於或小於該像素陣列沿著該光柵軸之一像素間距，該繞射光柵經組態以對一入射光學波前進行繞射並在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位，該繞射光柵總成經組態以設置在該像素陣列上方，其中該等光敏像素位於該近場區域中且包括橫向相鄰像素，該等橫向相鄰像素經組態以隨該入射角變化而產生不同之像素回應。
  70. 如請求項69之繞射光柵總成，其中該繞射光柵總成經組態以設置在該影像感測器之一彩色濾光器陣列上方，該彩色濾光器陣列設置在像素陣列上方且經組態以在由該複數個光敏像素偵測到該經繞射波前之前對該經繞射波前進行濾光。
  71. 如請求項69或70之繞射光柵總成，其中該繞射光柵係一個二元相位光柵。
  72. 如請求項71之繞射光柵總成，其中該折射率調變圖案包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
  73. 如請求項69至72中任一項之繞射光柵總成，其包括一單個光柵取向。
  74. 如請求項69至73中任一項之繞射光柵總成，其中該繞射光柵係該繞射光柵總成之複數個繞射光柵中之一者，該複數個繞射光柵配置成設置在該像素陣列上方之一個二維光柵陣列。
  75. 如請求項74之繞射光柵總成，其包括兩個正交之光柵取向。
  76. 如請求項69至75中任一項之繞射光柵總成，其中該光柵週期之範圍為0.1微米至20微米。
  77. 一種擷取關於一場景之光場影像資料之方法，其包括： 用一繞射光柵對源自該場景之一光學波前進行繞射以在一近場繞射區域中產生具有一強度圖案之一經繞射波前，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該強度圖案根據該光柵週期進行空間調變並隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 用定位在該近場繞射區域中之一像素陣列偵測該經繞射波前作為該光場影像資料，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距等於或大於該光柵週期，該偵測包括由該等光敏像素對該經繞射波前之各別部分進行取樣以產生對應像素回應，該複數個光敏像素包括多個群組之相鄰像素，每個群組中之該等相鄰像素隨該入射角變化而具有不同之像素回應。
  78. 如請求項77之方法，其進一步包括將該像素間距與該光柵週期之一比率設定為不同於一正整數。
  79. 如請求項78之方法，其中該多個群組之相鄰像素係多對相鄰像素。
  80. 如請求項79之方法，其進一步包括將該像素間距與該光柵週期之該比率設定為等於(2n +1)/2，其中n 係一正整數。
  81. 如請求項80之方法，其進一步包括將n 設定為等於1。
  82. 如請求項80之方法，其進一步包括將n 設定為等於2。
  83. 如請求項79至82中任一項之方法，其進一步包括： 計算複數個經加總像素回應，每個經加總像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之一總和；及自該複數個經加總像素回應產生該場景之一2D影像。
  84. 如請求項79至83中任一項之方法，其進一步包括： 計算複數個差動像素回應，每個差動像素回應係基於該多對相鄰像素中之一各別對之該等像素回應之間的一差；及 自該複數個差動像素回應產生該場景之一深度影像。
  85. 如請求項78之方法，其進一步包括：將該像素間距與該光柵週期之該比率設定為等於n/m ，其中n 及m 係大於2之正整數，且n 大於m 。
  86. 如請求項85之方法，其進一步包括：將m 設定為等於3且將n 設定為等於4。
  87. 如請求項78至86中任一項之方法，其進一步包括：將每個群組中之該等相鄰像素提供為沿著該光柵軸具有相同之像素尺寸。
  88. 如請求項77至86中任一項之方法，其進一步包括：將每個群組中之該等相鄰像素提供為沿著該光柵軸並非全部具有相同之像素尺寸。
  89. 如請求項77至88中任一項之方法，其進一步包括將該繞射光柵提供為一個二元相位光柵，該二元相位光柵包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
  90. 如請求項89之方法，其進一步包括：為該繞射光柵提供約50%之一工作週期，且將主光線角為零之每個群組之相鄰像素定位成與該等脊部中之一對應脊部的一中心、該等凹槽中之一對應凹槽的一中心或該等脊部中之一對應脊部與該等凹槽中之一對應凹槽之間的一過渡部對準。
  91. 如請求項89或90之方法，其進一步包括提供該等脊部及該等凹槽與下伏光敏像素之間的一垂直對準程度，該垂直對準程度隨該像素陣列內之位置變化而變化。
  92. 如請求項77至91中任一項之方法，其進一步包括將該繞射光柵之該折射率調變圖案與該像素陣列之一光接收表面之間的一間隔距離設定為小於該光學波前之一中心波長的約二十倍。
  93. 如請求項77至91中任一項之方法，其進一步包括在該複數個光敏像素偵測到該經繞射波前之前，用一彩色濾光器陣列對該經繞射波前進行濾光。
  94. 一種用於向一影像感測器提供光場成像能力之方法，該影像感測器包括具有複數個光敏像素及沿著一像素軸之一像素間距的一像素陣列，該方法包括： 提供一繞射光柵總成，該繞射光柵總成包括一繞射光柵，該繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該光柵週期等於或小於該像素間距，該繞射光柵經組態以在一近場繞射區域中將一入射光學波前繞射成具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 將該繞射光柵總成設置在該影像感測器之前面，其中該光柵軸平行於該像素軸，且該等光敏像素位於該近場繞射區域中以偵測該經繞射波前，該等光敏像素包括橫向相鄰像素，該等橫向相鄰像素經組態以隨該入射角變化而產生不同之像素回應。
  95. 如請求項94之方法，其進一步包括將該像素間距與該光柵週期之一比率設定為不同於一正整數。
  96. 如請求項95之方法，其進一步包括將該像素間距與該光柵週期之該比率設定為等於(2n +1)/2，其中n 係一正整數。
  97. 如請求項96之方法，其進一步包括將n 設定為等於1。
  98. 如請求項96之方法，其進一步包括將n 設定為等於2。
  99. 如請求項95之方法，其進一步包括：將該像素間距與該光柵週期之該比率設定為等於n/m ，其中n 及m 係大於2之正整數，且n 大於m 。
  100. 如請求項99之方法，其進一步包括：將m 設定為等於3且將n 設定為等於4。
  101. 如請求項96至100中任一項之方法，其進一步包括：將該等像素提供為沿著該光柵軸具有相同之像素尺寸。
  102. 如請求項95至100中任一項之方法，其中進一步包括：將該等像素提供為沿著該光柵軸並非全部具有相同之像素尺寸。
  103. 如請求項95至102中任一項之方法，其中將該繞射光柵總成設置在該影像感測器之前面包括將該繞射光柵總成定位在與所選之像素陣列相距一間隔距離處，使得該經繞射波前在被該等光敏像素偵測到之前的一光學路徑長度小於該光學波前之一中心波長的約二十倍。
  104. 如請求項95至102中任一項之方法，其中將該繞射光柵總成設置在該影像感測器之前面包括將該繞射光柵總成定位在與該像素陣列相距一間隔距離處，該間隔距離之範圍為0.2微米至20微米。
  105. 如請求項95至104中任一項之方法，其中提供該繞射光柵總成包括將該繞射光柵提供為一個二元相位光柵，該二元相位光柵包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯。
  106. 如請求項95至105中任一項之方法，其中提供該繞射光柵總成包括提供具有複數個繞射光柵之該繞射光柵總成，該複數個繞射光柵包括具有不同取向之多組繞射光柵。
  107. 如請求項95至106中任一項之方法，其中提供該繞射光柵總成包括提供具有一單個光柵取向之該繞射光柵總成。
  108. 一種光場成像裝置，其包括： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包括一相位繞射光柵，該相位繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該折射率調變圖案包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯，該繞射光柵經組態以在一近場區域中產生具有一強度圖案之一經繞射波前，該強度圖案根據該光柵週期進行空間調變且隨該光學波前之一入射角變化而沿著該光柵軸橫向移位；及 一像素陣列，其經組態以在該近場區域中偵測該經繞射波前，該像素陣列具有複數個光敏像素及沿著該光柵軸之一像素間距，該像素間距與該光柵週期之一比率等於(2n +1)/2，其中n 係一正整數，該等光敏像素對該經繞射波前之各別部分進行取樣並從中產生對應像素回應，該複數個光敏像素包括多對相鄰像素，每一對中之該等相鄰像素隨該入射角變化而具有不同之像素回應。
  109. 如請求項108之光場成像裝置，其中n = 1或n = 2。
  110. 一種光場成像裝置，其包括： 一繞射光柵總成，其經組態以接收自一場景入射之一光學波前，該繞射光柵總成包括一相位繞射光柵，該相位繞射光柵具有一光柵軸及一折射率調變圖案，該折射率調變圖案具有沿著該光柵軸之一光柵週期，該折射率調變圖案包括以該光柵週期週期性間隔開之一系列脊部，該系列脊部與以該光柵週期週期性間隔開之一系列凹槽交錯，該繞射光柵經組態以對該光學波前進行繞射以產生一經繞射波前；及 一像素陣列，其具有複數個光敏像素，該複數個光敏像素設置在該繞射光柵總成下方並經組態以在一近場區域中偵測該經繞射波前，該像素陣列具有沿著該光柵軸之一像素間距，該像素間距與該光柵週期之一比率等於(2n +1)/2，其中n 係一正整數。
  111. 如請求項110之光場成像裝置，其中n = 1或n = 2。
TW109118679A 2019-06-05 2020-06-03 用於3d感測之光場成像裝置及方法 TW202101035A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962857469P 2019-06-05 2019-06-05
US62/857,469 2019-06-05

Publications (1)

Publication Number Publication Date
TW202101035A true TW202101035A (zh) 2021-01-01

Family

ID=73652388

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109118679A TW202101035A (zh) 2019-06-05 2020-06-03 用於3d感測之光場成像裝置及方法

Country Status (4)

Country Link
US (1) US20220221733A1 (zh)
EP (1) EP3981143A4 (zh)
TW (1) TW202101035A (zh)
WO (1) WO2020243828A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116625648A (zh) * 2023-07-21 2023-08-22 武昌理工学院 一种基于液晶微透镜阵列的距离测量方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391632B1 (ko) * 2016-06-07 2022-04-27 애어리3디 인크. 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
US12052518B2 (en) * 2020-07-23 2024-07-30 University Of Utah Research Foundation Multi-modal computational imaging via metasurfaces
US12105299B2 (en) * 2020-07-31 2024-10-01 University Of Utah Research Foundation Broadband diffractive optical element
WO2022155747A1 (en) * 2021-01-22 2022-07-28 Airy3D Inc. Power management techniques in depth imaging
US11722654B1 (en) * 2022-05-31 2023-08-08 Microsoft Technology Licensing, Llc Angle sensing using the Talbot effect, an imaging sensor, and phase/quadrature demodulation
US12013531B1 (en) 2022-12-06 2024-06-18 Meta Platforms Technologies, Llc Active disparity sensing of head mounted display
US20240219234A1 (en) * 2022-12-28 2024-07-04 Attollo Engineering, LLC Wide wavelength optical detection system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0120397B1 (ko) * 1992-04-28 1997-10-22 나카무라 히사오 화상표시장치
KR100416548B1 (ko) * 2001-10-10 2004-02-05 삼성전자주식회사 3차원 영상 표시장치
EP1932051A1 (en) * 2005-09-14 2008-06-18 Mirage Innovations Ltd. Diffraction grating with a spatially varying duty-cycle
WO2017040826A1 (en) * 2015-09-01 2017-03-09 Massachusetts Institute Of Technology Apparatus, systems, and methods for talbot spectrometers
KR102391632B1 (ko) 2016-06-07 2022-04-27 애어리3디 인크. 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
KR102543392B1 (ko) 2017-12-05 2023-06-13 애어리3디 인크. 깊이 획득을 위한 명시야 이미지 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116625648A (zh) * 2023-07-21 2023-08-22 武昌理工学院 一种基于液晶微透镜阵列的距离测量方法

Also Published As

Publication number Publication date
EP3981143A4 (en) 2023-07-26
WO2020243828A1 (en) 2020-12-10
US20220221733A1 (en) 2022-07-14
EP3981143A1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
JP7120929B2 (ja) 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
JP7245835B2 (ja) 奥行取得のためのライトフィールド画像処理方法
US20220221733A1 (en) Light Field Imaging Device and Method for 3D Sensing
JP7528998B2 (ja) 固体撮像素子、および電子機器
JP2019523910A5 (zh)
US20160195429A1 (en) Image sensors with multi-functional pixel clusters
US20230418084A1 (en) Diffraction-grating-based systems and methods for stereoscopic and multiscopic imaging
JP2021067691A (ja) 色分離レンズアレイを具備するイメージセンサ、撮像装置、及びそれを含む電子装置
WO2015127043A1 (en) Optical flow sensing and pattern recognition with antisymmetric phase gratings
TW202205654A (zh) 攝像裝置及電子機器
KR20210046989A (ko) 개선된 감도를 가지는 이미지 센서 및 이미지 센싱 방법
CN213748756U (zh) 多光谱成像芯片、芯片模组以及电子设备
EP4278147A1 (en) Lens position determination in depth imaging
WO2022155747A1 (en) Power management techniques in depth imaging
US20240012262A1 (en) Imaging systems and methods for dual depth and polarization sensing
WO2024108298A1 (en) Edge angle and baseline angle correction in depth imaging
TW202413899A (zh) 多光譜光學感測器、攝影機系統及視差補償方法
EP4420043A1 (en) Methods and systems using depth imaging for training and deploying neural networks for biometric anti-spoofing
KR101724086B1 (ko) 3차원 적층 이미지 센서
Gill et al. Scaling properties of well-tiled PFCAs