TW202307526A - 光學系統、用於擷取波前的空間分佈上的資訊的方法及系統以及電腦可讀取儲存媒介 - Google Patents

光學系統、用於擷取波前的空間分佈上的資訊的方法及系統以及電腦可讀取儲存媒介 Download PDF

Info

Publication number
TW202307526A
TW202307526A TW111128642A TW111128642A TW202307526A TW 202307526 A TW202307526 A TW 202307526A TW 111128642 A TW111128642 A TW 111128642A TW 111128642 A TW111128642 A TW 111128642A TW 202307526 A TW202307526 A TW 202307526A
Authority
TW
Taiwan
Prior art keywords
optical system
images
dimensional
sensor
optical
Prior art date
Application number
TW111128642A
Other languages
English (en)
Inventor
里卡都奧利瓦 葛西亞
切盧索 沙巴托
喬斯曼紐羅瑞蓋茲 拉莫斯
Original Assignee
西班牙商沃普責任有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西班牙商沃普責任有限公司 filed Critical 西班牙商沃普責任有限公司
Publication of TW202307526A publication Critical patent/TW202307526A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/10—Bifocal lenses; Multifocal lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geometry (AREA)

Abstract

本發明是關於光學系統（100），用於從多個影像擷取波前的二維及/或三維分佈上的資訊，其中光學系統包含至少一感測器（101），用於擷取該些影像，其中該至少一感測器包含多個像素（106），及其中該些像素的至少一部分包含至少兩個光二極體（102，103）；以及至少一可調光學元件（104），其中該至少一可調光學元件（104）適於改變該光學系統（100）的焦點；且其中該光學系統（100）用於在多個焦點位置以該至少一感測器（101）擷取該些影像，其中該些焦點位置係由該至少一可調光學元件（104）設定。

Description

光學系統、用於擷取波前的空間分佈上的資訊的方法及系統以及電腦可讀取儲存媒介
本發明是關於用於從多個影像擷取關於波前的二維及/或三維分佈的資訊、用於從多個影像擷取及抽取波前的二維及/或三維分佈上的資訊以及用於儲存電腦可執行的多個指令的一種光學系統、方法、系統及儲存媒介以及儲存媒介。
當從三維場景或物件擷取二維影像時，例如，從實體三維空間擷取場景的影像及/或擷取實體三維空間中的三維物件的影像，當三維場景或物件被投射至二維影像時，深度資訊遺失。
在電腦視覺或機器人視覺及工業度量衡學中，恢復至少部分丟失的空間深度資訊是一項重要且具有挑戰性的任務，例如，能夠識別及特性化三維物件及三維表面特徵，例如，在晶圓度量衡學中特性化半導體表面及/或區分擷取的二維影像中的背景及前景特徵或物件。
此外，當電磁波穿過不均勻媒介時，其波前（wavefront）相位相對於其原始形狀或相位而被扭曲或變形。所述波前扭曲或畸變可以影響及降低光學系統的性能。
現有的技術需昂貴複雜的光學系統硬體及電腦資源密集型處理以擷取、抽取及處理二維及/或三維分佈上的資訊及波前的形狀所載的實體三維空間中的物件/標的物上的資訊。
並且，現有技術的深度解析度鑑於日益增長的現代工業度量衡學應用的深度解析度的需求並不令人滿意，例如，晶圓度量衡學，或醫療應用，尤其，醫療成像，例如，組織或顯微鏡中的眼部斷層掃描的眼科檢查。
此外，用於抽取及處理二維及/或三維分佈上的資訊及波前的形狀所載的實體三維空間中的物件/標的物上的資訊的現有技術，對於的波前形狀改變/波前相位改變的時間演化以及原始波前形狀/原始波前相位的重建的即時採樣過於緩慢。
因此，本發明的目的在於提供用於從由光學系統/相機/影像擷取裝置/影像獲取系統在實體三維場景或物件或標的物擷取的二維影像抽取/估算/復原深度資訊的方法。
特別地，例如，本發明的目標在於加速二維及/或三維分佈上的資訊及波前的形狀所載的實體三維空間中的物件/標的物上的資訊的擷取及處理，及改善擷取、抽取及估算的深度資訊的精準度及解析度
根據本發明，所述目的透過光學系統、電腦實現/電腦可實現方法、系統及電腦儲存媒介達成。
所述光學系統（100），用於從多個影像擷取關於波前的二維及/或三維分佈的資訊，包含：至少一感測器（101），用於擷取該些影像，其中該至少一感測器包含多個像素（106），及其中該些像素的至少一部分包含至少兩個光二極體（102，103）；以及至少一可調光學元件（104），其中該至少一可調光學元件（104）適於改變該光學系統（100）的一焦點；且其中該光學系統（100）用於在多個焦點位置以該至少一感測器（101）擷取該些影像，其中該些焦點位置係由該至少一可調光學元件（104）設定。
所述擷取及抽取資訊的方法（600），用於從多個影像擷取及抽取波前的二維及/或三維分佈上的資訊，包含：以一光學系統擷取（601）在多個焦點位置多個影像，其中該光學系統具有至少一感測器，該至少一感測器包含多個像素，其中該些像素的至少一部分包含至少兩個光二極體，其中該些焦點位置係由該光學系統的至少一可調光學元件設定；以及應用（602）一波前重建演算法於擷取的該些影像以抽取出波前的二維及/或三維分佈上的資訊。
所述用於擷取及抽取資訊的系統，用於從多個影像擷取及抽取波前的二維及/或三維分佈上的資訊，包含：如以上所述的光學系統（100），用於擷取多個影像；以及一運算系統，包含一或多個處理器及一電腦記憶體，該電腦記憶體儲存多個指令，該些指令指示該一或多個處理器執行如上所述的擷取及抽取資訊的方法（600），用於從由該光學系統擷取的該些影像抽取波前的二維及/或三維分佈上的資訊。
所述電腦可讀取儲存媒介，用於儲存電腦可執行的多個指令，當該些指令被一電腦系統執行時，執行如上所述的擷取及抽取資訊的方法（600），用於從多個影像抽取波前的二維及/或三維分佈上的資訊。
有利的實施例及進一步的發展是申請專利範圍的附屬項的標的。
舉例而言，光學系統/獲取系統/攝影機系統用於從多個影像擷取波前的二維及/或三維分佈上的資訊可包含一個、一部分或全部的以下元件及配置： –至少一感測器，例如，電荷耦合元件（charge-coupled device，CCD），用於擷取影像，其中該至少一感測器可包含多個像素且其中至少部分像素可包含至少兩個光二極體， –至少一可調光學元件，其中所述至少一可調光學元件適用於改變光學系統的焦點， –其中光學系統可用於以該至少一感測器在至少一可調光學元件設定的多個焦點位置擷取多個影像，例如，多個不同的焦點位置。
如上所述，本文的光學系統亦可稱為獲取系統或攝影機系統。
在本文中，術語「多個不同的焦點位置」亦可包含多個焦點位置，其中非所有焦點位置都是唯一的，亦可包含多個焦點位置，其中一些焦點位置是相同的，但其可指在不同時間點的焦點位置。
在本文中，術語「波前的二維及/或三維分佈上的資訊」可包含波前的二維及/或三維形狀或相位上的資訊，尤其光學平面及/或距該至少一感測器特定的時間或距離。
特別地，術語「波前的三維分佈上的資訊」可指電磁場的波前的三維分佈的斷層掃描（tomography），即容積分佈，例如，沿光學系統的光學軸的波前的在例如一疊影像上的三維分佈，例如，即該至少一感測器在至少一可調光學元件設定的多個焦點位置/多個不同焦點位置擷取的多個影像/該些影像。
換言之，本文所示的方法可允許，例如，從在多個焦點位置/在多個不同的焦點位置擷取的一疊或一系列影像得到/判斷/量測沿光學系統的光學軸的波前的三維分佈。
此外，以該至少一感測器擷取影像的步驟及/或以該至少一感測器擷取波前的二維及/或三維分佈上的資訊的步驟可稱為擷取光強度，尤其是在該至少一感測器的平面中擷取的波前/多個波前的二維光強度分佈。
在本文中，感測器的每單位像素的至少兩個光二極體可被理解為佈置在相同平面中，即感測器平面。此外，每單位像素的多個光二極體可被水平地或垂直地佈置。對於示例性的16:9或4:3的感測器形式及/或當擷取的場景或物件水平分佈時，較佳將每單位像素的多個光二極體佈置成水平方向以確保資訊的最佳擷取。
在本文中，術語「多個影像」可指稱由該至少一感測器從實體三維空間中的場景或物件或標的物擷取的多個影像，其中影像是在多個焦點位置/多個不同的焦點位置擷取。
實體三維空間中的場景或物件或標的物可以是靜態或動態的。
舉例而言，若實體三維空間中的場景或物件或標的物是動態的，即可能在不同的擷取的影像之間可發生不同的場景內的移動及/或物件或/標的物的移動及/或該至少一感測器的移動。
可調光學元件可更用於使其可以在時序（timescale）上改變光學系統的焦點，其中該時序可以對應於或可以短於待擷取影像的可能動態（dynamic）的時序，例如，發生在場景內的移動，如物件或標的物的移動。
可以在多個焦點位置/不同焦點位置被該至少一感測器擷取的多個/該些影像的波前的二維及/或三維分佈上的資訊可用於取深已擷取的該些影像中真實三維空間中的場景或物件或標的物抽度資訊，例如，深度地圖。
換言之，用於從多個影像擷取波前的二維及/或三維分佈上的資訊的上述及於此示例性描述的光學系統及方法可被理解為用於從多個影像擷取/抽取深度資訊的光學系統/方法。
上述示例的至少一可調光學元件可，例如，用於根據焦點排程（focus schedule）改變光學系統的焦點，其中所述示例性的焦點排程可以指明欲由至少一可調光學元件設定的預定列表的焦點位置，及亦可以指明當由示例性的光學系統的該至少一感測器擷取場景/物件/標的物的一系列或多個影像時，如何遍歷此列表。
所述示例性的預定焦點排程可包含多個焦點位置，該些焦點位置可以包含不同焦點位置及/或相同焦點位置。
換句話說，焦點排程可指明可在不同時間點使用相同焦點位置以擷取影像。
光學系統可接著用於按照時間順序遍歷所述示例性的焦點排程以在由至少一可調光學元件設定的定義的焦點位置以該至少一感測器擷取影像。如此，示例性的焦點堆疊（focal stack）可以被產生，焦點堆疊可以包含在不同焦點位置的多個影像及/或具有相同焦點位置的多個影像。
換句話說，示例性的焦點堆疊可包含在不同焦點位置的一組影像以及有相同焦點位置的多組（即一或多組）的影像。
上述及於此示例性描述的方法及光學系統在解析度及速度方面提供了對現有系統的改善，其中透過改善的解析度及速度可以擷取及抽取在真實三維空間中的場景/物件/標的物的空間資訊，例如，深度地圖。
特別地，使用可調光學元件以改變光學系統的焦點與包含多個像素的該至少一感測器的組合的綜效及其中至少部分的像素（例如，包含至少兩個光二極體的所有像素）在解析度及精準度產生了無法預期及前所未有的改善，其中真實三維空間中的場景/物件/標的物的深度地圖可被從有不同焦點位置的多個影像取得。
這是因為由包含多個像素的至少一感測器抽取出的資訊與擷取的影像的該些焦點位置的資訊的組合允許打破景深（depth of field）內在給定焦點位置/焦點平面的沿光學系統的光學軸（例如，z軸）的簡併性（degeneracy）或模糊性，其中至少部分的像素包含至少兩個光二極體，焦點位置已被至少一可調光學元件設定，以更精準地判斷沿光學軸的焦點位置/焦點的值。
特別地，且如以下將描述的，可由像素的多個光二極體提供的每個像素的不同的視野點（point of view）可以允許沿光學系統的光學軸的焦點位置/焦點及沿在由至少一可調光學元件設定的不同焦點位置擷取的該些影像的焦點堆疊的三角學（trigonometric）判斷。
因此，相較於現有的系統，從在由至少一可調光學元件設定的不同焦點位置擷取的該些影像抽取出/可抽取的資訊及從至少一感測器的每單位像素的多個光二極體抽取出/可抽取的資訊可以顯著地改善深度地圖的深度解析度，其中深度地圖可以被於此描述的光學系統取得。
上述及於此描述的光學系統的示例性的至少一可調光學元件可包含液體透鏡及/或可動透鏡，例如，可被制動器移動的及/或可調稜鏡或所述光學元件類型的任何組合。
此外，至少一可調光學元件可用於在小於10 ms的時間尺度上改變光學系統的焦點。
這可以例如實現即時從擷取的多個影像擷取抽取深度資訊以及波前相位資訊，使在光學系統的至少一可調光學元件設定的多個焦點位置/在多個不同的焦點位置擷取的該些影像的處理可以與例如擷取例如有每秒（fps）30幀或更高的輸出影像框率（frame rate）的視訊串流平行或交錯或嵌入發生。
舉例而言，有即時擷取及抽取的深度資訊以及波前相位資訊，可以產生場景或物件或標的物的全焦點（all-in-focus）視訊串流及/或全焦點影像。
此外，有抽取的深度資訊以及波前相位資訊，波前相位/波前形狀可以在不需與由至少一可調光學元件設定的焦點平面重合的不同光學平面被重建，即可以執行三維波前相位/波前形狀分佈的斷層掃描。
這樣，例如，可以允許建設/產生從不同視野點拍攝的/擷取的物件/標的物/場景的視野點，同時維持影像的完整的二維解析度。
此外，抽取的深度資訊及波前相位資訊可以允許量測物件的維度及尺寸，尤其物件的表面形狀。
使用抽取的深度資訊及波前相位資訊的進一步的例子可以包括在任意焦點或任意距離產生/運算影像及/或建立立體/三維影像。
上述及於此示例性描述的光學系統可更包含另一光學元件，例如，鏡頭，其可用於改變光學系統的焦距範圍。
所述示例性的可能另一光學元件可沿光學系統的光學軸佈置在至少一可調光學元件之前或之後。
舉例而言，對於智慧型手機的應用，所述示例性的另一光學元件可用於提供從幾公分到無限的焦距範圍，而對於工業度量衡學及/或醫療影像的應用，所述示例性的另一光學元件可用於提供從幾公分到幾奈米的焦距範圍。
上述及於此示例性描述的光學系統可更包含至少一準直儀（collimator），其中所述準直儀可沿光學系統的光學軸佈置在至少一可調光學元件之前。
上述及於此示例性描述的光學系統可另外用於同時擷取至少兩個影像，其中像素的不同的光二極體可以關聯於不同的影像。
舉例而言，光學系統的該至少一感測器可包含感測器的每單位像素的兩個光二極體，及可配置為使對於每個像素，像素的一個光二極體關聯於第一影像及另一光二極體關聯於第二影像。
換言之，光學系統/光學系統的該至少一感測器可以同時擷取兩個影像。
上述每感測器像素的兩個光二極體的配置僅為示例性的。其他配置（即每單位像素的多個光二極體）也是可能的，使光學系統/光學系統的該至少一感測器可同時擷取多於兩個影像。
舉例而言，感測器像素可能可包含偶數或奇數個光二極體。
然而，較佳每單位像素的偶數個光二極體，例如，數量2 n（其中n為大於零的自然數），因為這可加速擷取的影像的運算處理。
此外，光學系統/光學系統的該至少一感測器可以被配置，使影像可以被讀出進個別的索引影像陣列。
需注意的是，在本文中，波前的傳播（即電磁波前）或光子的傳播被假設為遵循幾何光學定律，即例如，假設傳播的方向垂直於波前。
為了完整性，需注意的是，波前可以被具有相同相位的波的點集（set of points）定義，即波前或波前形狀可被相位地圖描述，例如，二維相位地圖。
一旦波前的相位或形狀被判斷或被量測或被重建，所述波前可根據瑞利-索末菲繞射定律（Rayleigh-Sommerfeld diffraction law）傳播。
因此，未被在至少一可調光學元件設定的焦點位置的組中擷取的光學平面/焦點平面中的波前及光強度可以被模擬/計算，及光學系統可以作為光場（light field）攝影機及作為斷層掃描相位感測器。
此外，假設傳播的波前的光強度的分佈函數可以由用於光子抵達的機率的機率密度函數（probability density function，PDF）表示。
進一步假設波前傳播守恆通量（flux），即一維PDF曲線下的總面積保持不變。
上述及於此示例性描述的光學系統可更包含或通訊連接於資料處理系統，例如，電腦系統，其可以用於儲存及處理該些擷取的影像，用於從該些擷取的影像抽取出波前的二維及/或三維分佈上的資訊。
示例性的擷取及抽取用於從多個影像擷取波前的二維及/或三維分佈上的資訊的方法可包含以下步驟的一個步驟、一部分的步驟或所有的步驟： –以具有包含多個像素的至少一感測器的光學系統在光學系統的至少一可調光學元件設定的多個焦點位置/在多個不同的焦點位置擷取多個影像，其中至少部分的像素包含至少兩個光二極體； –應用波前重建演算法或波前相位檢索演算法於擷取的多個影像以抽取二維及/或波前的三維分佈上的資訊； –及/或應用深度檢索演算法至擷取的多個影像以取得在該些影像中擷取的場景/物件/標的物的深度地圖。
在本文中，擷取多個影像的步驟可包含該至少一感測器在單一獲取步驟同時擷取至少兩個影像，及其中至少一感測器的像素的不同的光二極體關聯於不同的影像，例如，對於每個像素，像素的第一光二極體可關聯於第一影像及像素的第二光二極體可關聯於第二影像。
由於光學系統/該至少一感測器可以用於量測至少兩個影像中的光強度的二維分佈/二維分佈函數，於此示例性描述的光學系統/於此示例性描述的光學系統的至少一感測器可以被理解為作為/是間接波前感測器的一部分，其中所述至少兩個影像是在不同的光學平面/不同的焦點平面/不同的焦點位置擷取，其中所述不同的光學平面/不同的焦點平面/不同的焦點位置可以由光學系統的至少一可調光學元件的設定。
由於所述示例性的在不同的光學平面/不同的焦點平面/不同的焦點位置擷取的至少兩個影像有光路徑差，例如，沿光學系統的光學軸的光路徑差，例如，沿z軸且其中光學系統的該至少一感測器位於由正交坐標系的x軸及y軸跨越的平面中，已知的波前重建演算法或已知的波前相位檢索演算法可以被應用於從擷取的多個影像抽取波前的二維及/或三維分佈上的資訊，即從光學系統的不同的光學平面的影像的光強度的擷取的/量測的二維分佈/二維分佈函數。
特別地，從光學系統的不同的光學平面的影像的光強度的擷取的/量測的二維分佈/二維分佈函數允許通過光學系統/被光學系統接受的波前的二維形狀及/或相位的復原/重建。
舉例而言，具有在兩個不同的光學平面/來自兩個不同的光學平面的在兩個影像中的光強度的量測/擷取的二維分佈/二維分佈函數，即具有光路徑差，例如，沿光學軸的光路徑差，允許平面中的波前的形狀或相位的復原/重建，例如，所述兩個不同的光學平面之間的中途（midway）平面。
此外，例如，在多於兩個影像中具有光強度的量測的/擷取的二維分佈/二維分佈函數，及在多於兩個光學系統的不同的光學平面中允許提供/獲得波前的三維斷層掃描，因為波前的形狀或相位可以在多個不同的光學平面被復原/重建。
這種可能的波前重建或波前相位檢索演算法的使用在多於兩個影像中及在多於兩個光學系統的不同的光學平面中的光強度的量測/擷取的二維分佈/二維分佈函數以復原/重建平面中的波前的二維形狀或相位及/或沿多個不同的光學平面提供/取得波前的三維斷層掃描的例子可以在Wooptix S.L.歐洲專利申請EP 3 358 321 A1（參照段落[0078]到[0090]）中及/或在" A practical algorithm for the determination of the phase from image and diffraction plane pictures.”（Gerchberg, R. W.; Saxton, W. O., 1972, Optik 35: p.237–246）中及/或在“ Phase retrieval algorithms: a comparison”（Fienup, J.R., 1982, Appl. Opt. 21 (15): p. 2758-2769）中找到，其內容以引用方式包含在內。
可替代地或此外，深度檢索演算法可以被應用於擷取的多個影像以取得該些影像中擷取的場景及/或物件及/或標的物的深度地圖。
特別地，所述選擇性的深度檢索演算法可包含聚焦測距及/或失焦測距技術，例如，描述於Wooptix S.L.歐洲專利申請號21382458.4及/或“ Variational Depth From Focus Reconstruction”（Moeller M.; Benning M.; Schönlieb C.; Cremers D.; 2014, arXiv:14080173v2）及/或“ Depth from Focus with Your Mobile Phone”（Suwajanakorn S.; Hernandez C.; Seitz, S.M.; 2015 doi:10.1109/CVPR.2015.7298972），其內容以引用方式包含在內。
用於從擷取的影像中的量測的光強度的復原波前形狀及/或波前相位及/或深度檢索的上述任何例子可以用於從由本文描述的光學系統擷取的該些影像抽取波前的二維及/或三維分佈上的資訊。
如上所述，當以具有包含多個像素的至少一感測器的光學系統在光學系統的至少一可調光學元件設定的多個焦點位置/在多個不同的焦點位置擷取多個影像時，其中至少部分的像素包含至少兩個光二極體，各擷取步驟可包含光學系統的該至少一感測器的單一獲取步驟，其中同時擷取至少兩個影像，且其中至少一感測器的像素的不同的光二極體關聯於不同的影像。
舉例而言，在示例性的光學系統的至少一感測器的（ x,y）平面中擷取的第n個影像
Figure 02_image001
可根據以下公式被抽取/索引：
Figure 02_image003
 
Figure 02_image005
 （1）
在本文中，
Figure 02_image007
；
Figure 02_image009
；
Figure 02_image011
，及 N為每單位像素的光二極體的數量，即 N為大於1的自然數， w為寬度維度，及 h為影像的/感測器的（ x,y）平面中的像素中的該至少一感測器的寬度維度，其中所述（ x,y）平面可以重合於影像平面，及其中 x可以表示該至少一感測器的列，y可以表示該至少一感測器的行，及其中
Figure 02_image013
表示該至少一感測器在單一獲取步驟/擷取步驟中擷取/獲取的資料。
此外，且示例性地表示可以由光學系統的至少一可調光學元件設定的該些焦點位置/多個不同焦點位置為 NP， NP為大於1的自然數，及 N為每單位像素的光二極體的自然數，即 N也大於1，示例性的光學系統/示例性的光學系統的至少一感測器可擷取
Figure 02_image015
影像。
因此， w表示寬度維度，及 h表示影像/該至少一感測器的寬度維度，例如，量測於像素中，由具有至少一感測器的光學系統獲取/擷取的資料可以從計算的角度建模為尺寸為
Figure 02_image017
的四維張量/四維矩陣。
亦如先前所述的，表示每單位像素的光二極體的數量的指數 N亦可考慮為表示視野點的數量或每單位像素的視角的數量。
對於完整性需注意的是，由本文描述的光學系統/至少一感測器所獲取的資料可以直接或在一些處理後（例如，在應用波前重建演算法或波前相位檢索演算法之後及/或在應用之後）被餵入，任何能夠即時表現/顯示容積（即三維的）光學資料的系統，例如全像式顯示器（holographic display）或整合式顯示器（integral display）。
使用本文示例性描述的光學系統/至少一感測器與至少一可調光學元件的組合可以顯著地增加空間解析度，所述空間解析度可以被以前述示例性的顯示裝置/顯示系統即時地使用及顯示。
示例性的用於擷取及抽取用於從多個影像擷取波前的二維及/或三維分佈上的資訊的系統可包含以下的一個組件、一些組件或所有組件： –用於擷取多個影像的光學系統，其中光學系統可以包含以上及於此示例性描述的一個特徵、一些特徵或所有特徵； –運算系統，包含一或多個處理器以及電腦記憶體，電腦記憶體儲存指示該一或多個處理器實現用於從光學系統擷取的該些影像抽取波前的二維及/或三維分佈上的資訊的方法，其中該方法可以包含上述及於此示例性描述的步驟的其中一者、其中一些或全部。
所述處理器可為，例如，中央處理器（CPU）或圖形處理單元（GPU）。
由於於此示例性描述的方式、系統及方法尤其涉及影像/影像像素的處理，可以較佳使用GPU以實現快速/最佳化的運算性能。
然而，目前常見的CPU，甚至例如為智慧型手機的行動裝置也足夠用於實現於此描述的影像資料處理步驟，即使是即時的應用，尤其是當使用上述的使用在該至少一感測器的平面中擷取的波前/多個波前的二維光強度分佈作為輸入的波前重建演算法或波前相位檢索演算法及/或深度檢索演算法時。
所述示例性的系統可為可攜帶式的，例如，可為智慧型手機，其中光學系統為智慧型手機的攝影機，且用於在攝影機的至少一可調光學元件設定的多個不同的焦點位置擷取多個影像。
此外，當由電腦系統執行電腦可執行指令時，可以執行如本文中描述的擷取及抽取用於從多個影像擷取波前的二維及/或三維分佈上的資訊的方法，所述電腦可執行指令可以被儲存在電腦可讀取儲存媒介上，例如，非揮發性電腦儲存媒介。
於此示例性描述的光學系統的至少一可調光學元件設定的多個焦點位置可，例如，包含至少三個焦點位置，例如，三個不同的焦點位置。對於目前行動手機的運算能力，較佳用於即時應用的例如為3與7之間的數字。
圖1示例性地示出可能的示例性的光學系統100，其可以具有上述的特徵的一部分或全部。
舉例而言，示出有多個像素106的感測器101，例如，電荷耦合元件（CCD）感測器。在此例子中，感測器101包含示例性的在示例性的正交座標系統105的xy平面中的
Figure 02_image019
像素的像素陣列107，其中示例性的正交座標系統105有軸x、y及z。
一些或各像素106可以有多個光二極體102、103。
在示出的例子中，示例性的像素陣列107的每個像素106包含兩個光二極體102、103，兩個光二極體102、103示例性地沿垂直的y軸劃分各像素。
為了明確性及可讀性，僅陣列的左上方的一個像素（即像素106）以及其光二極體102、103在圖中被以符號標示出。
在示出的例子中，感測器101（即陣列107）被示例性地定向為位於xy平面中。正交座標系統105的示例性的z軸尤其可以理解為光學系統100的示例性光學軸。
所示的示例性的可調光學元件104接著被示例性地沿光學軸佈置，使進入光學系統100的傳入的光可以在達感測器101之前先經過示例性的可調光學元件104。
如上示例性描述的，示例性的可調光學元件104可以被配置為使其可以改變光學系統的焦點及進而可以允許光學系統100在多個焦點位置以感測器101擷取多個影像，例如，沿光學軸（例如，z軸）。
舉例而言，為了設定多個焦點位置，示例性的可調光學元件104可以有變形能力（如所示的可調光學元件104的波浪輪廓所示例性地指示的），例如，可包含可以在兩個方向沿光學軸移動的液體透鏡及/或可包含可動透鏡（例如，鏡頭），及/或可包含可調稜鏡。
圖2示例性地示出另一示例性的光學系統200，光學系統200類比於圖1的光學系統100。
於此，在不同的角度示出光學系統200，其中僅可以看到感測器201或感測器陣列206的沿示例性的三維正交座標系統205的x軸的單一像素列210。
做為參考的所述示例性的三維正交座標系統205被示例性地對齊，使y軸指向/穿過繪圖平面，及z軸與繪圖平面的軸（例如，垂直軸）對齊，及與光學系統200的光學軸重合。
示例性的像素列210包含四個像素P，其中再次示例性的各像素包含兩個光二極體203、204，例如，第一光二極體1以及第二光二極體2。
示例性示出的括號「｛」表示光二極體與對應的像素之間的關聯性。
示例性示出的感測器陣列206可例如包含
Figure 02_image021
像素。然而，可以使用更大的像素陣列，例如，有百萬（mega）像素或十億（giga）像素尺寸的陣列。
傳入光207，例如，從待拍攝的物件或場景進入光學系統200的光在其穿過示例性的可調光學元件208之前，可以被選擇性的準直儀（未示出）進行準直（collimated）。
如前所述，所述示例性的可調光學元件208可包含液體透鏡及/或可包含可動透鏡，例如，可以在兩個方向沿光學軸移動的鏡頭（例如，被制動器其動），及/或可包含可調稜鏡。
因此，示例性的可調光學元件208允許光學系統的焦點200的改變，使在由至少一可調光學元件208設定的多個焦點位置的多個影像，例如，沿光學軸（例如，z軸）可以被以感測器201擷取。
在通過示例性的可調光學元件208後，傳入光可以在多個不同的角度抵達感測器201，如由不同傳波方向的多個光束209示例地表示。
此外，因為每單位像素（P）202的至少兩個光二極體203、204，可以提供用於待擷取的光的每單位像素的至少兩個不同的視野點。
如以下更進一步示例性描述的，由每單位像素的不同的光二極體提供的每單位像素的不同的視野點可以幫助抽取傳入光波前及/或景深的形狀及/或相位上的更進一步的資訊，進而允許可以透過如本文所述的光學系統取得的深度地圖的解析度的改善。
圖3示例性地示出另一示例性的光學系統300相似於圖1的光學系統100及圖2的光學系統200，其中在示例性示出的觀點中，有感測器像素陣列311的感測器301是位於xy平面中，及示例性的可調光學元件302是沿示例性的座標系統310的z軸佈置，其中所述z軸可以與光學系統300的光學軸重合。
所述示例性的可調光學元件302（可以為前述類型的任一者）例如可以為可以沿所述z軸移動（如箭頭303所示）以設定多個焦點位置308、309。
感測器301中僅示出示例性的感測器像素的子集，即感測器陣列像素304（A）、305（C）、306（D）及307（B），其中各像素示例性地有兩個光二極體，即像素304（A）包含光二極體304a（A 1）、304b（A 2），像素305（C）包含光二極體305a（C 1）、305b（C 2），像素306（D）包含光二極體306a（D 1）、306b（D 2），及像素307（B）包含光二極體307a（B 1）、307b（B 2）。
應理解的是，感測器陣列311可以被有每單位像素的多個光二極體的像素完全地覆蓋已形成感測器陣列311的高度及寬度有任何期望尺寸、有任何期望的像素解析度極有任何期望的每單位像素的光二極體的感測器陣列311。
圖3更示例性地示出由光學系統300的感測器301擷取的有三角形形狀的物件的示例性的四個影像316、317、318、319。
所有影像示出相同的有三角形形狀的物件但在不同的焦點中/在不同的焦點。
舉例而言，示例性示出有三角形形狀的物件312、313、314、315的不同的焦點被可調光學元件302示例性地達成，其中可調光學元件302設定兩個不同的焦點位置308、309，例如，這是因為可調光學元件302已如箭頭303所指示沿光學軸從第一位置移動到第二位置。
如前所述，可調光學元件302亦可為另一類型且例如亦可透過不沿光學軸移動設定不同焦點位置，而是例如，僅改變其形狀或形式或定向。
除了由可調光學元件302設定的兩個不同焦點位置308、309，由於由多個的每單位像素的光二極體提供的每單位像素的不同的視野點，感測器301更允許同時以不同的焦點/焦點處的影像的擷取。
在有兩個每單位像素的不同的光二極體的示出的例子中，這導致能夠在單次擷取/捕獲中利用感測器301同時擷取有三角形形狀的物件的兩個不同聚焦的影像。
透過可調光學元件302設定的兩個不同焦點位置308、309，此示例性地導致有三角形形狀的物件的四個不同的焦點/焦點處的四個不同影像316、317、318、319。
在圖3中，以下示出有三角形形狀的物件的示例性的四個不同的焦點/焦點處： –參考符號312表示在擷取的影像316中，有三角形形狀的物件在焦點308a中的影像，其為由一組光二極體在可調光學元件302設定的焦點位置308看見（seen）的影像（例如，包含光二極體304a（A 1）、305a（C 1）、306a（D 1）、307a（B 1））。 –參考符號313表示在擷取的影像318中，有三角形形狀的物件在焦點308b中的影像，其為由另一組光二極體在可調光學元件302設定的焦點位置308看見的影像（例如，包含光二極體304a（A 2）、305a（C 2）、306a（D 2）、307a（B 2））。 –參考符號314表示在擷取的影像317中，有三角形形狀的物件的影像在焦點309a，其為由一組光二極體在可調光學元件302設定的焦點位置309看見的影像（例如，包含光二極體304a（A 1）、305a（C 1）、306a（D 1）、307a（B 1））。 –參考符號315表示在擷取的影像319中，有三角形形狀的物件的影像在焦點309b，其為由另一組光二極體在可調光學元件302設定的焦點位置309看見的影像（例如，包含光二極體304a（A 2）、305a（C 2）、306a（D 2）、307a（B 2））。
由示例性的光學系統的感測器301在不同的焦點/焦點處擷取的該些影像可以接著，例如，被餵進一或多個前述的演算法，用於抽取從在光學系統的視野中的場景或物件或標的物發射的波前的二維及/或三維分佈上的資訊，以重建原始的二維波前形狀及波前相位，用於執行波前斷層掃描沿光學軸，及用於取得深度地圖。
特別地，由感測器301擷取的一個波前/多個波前的二維光強度分佈上的量測得/擷取得的資訊可以接著形成用於復原波前形狀或波前相位及/或用於執行波前斷層掃描的基礎及/或形成用於取得深度地圖的基礎。
圖4示例性地對示例性的光學系統400的各種焦點位置示出在景深（DOF）內的焦點位置的模糊性或不定性或簡併性。
簡單來說，當待拍攝的兩個物件沿光學軸之間有小於光學系統設定的景深（DOF）的空間距時，該二物件將出現在焦點上/在同一個焦點上。
因此，對於目前的光學系統，這尤其限制了從擷取的影像中獲取空間距離或深度的資訊的準確性。
所述示例性的光學系統400可以相似於前述的光學系統且示例性地包含佈置在有x、y、z軸的參考正交座標系統404的xy平面中的感測器401或像素陣列402，其中z軸位於繪圖平面中且示例性地與光學系統400的光學軸重合。
光學系統400更包含示例性的可調光學元件403，沿光學系統的光學軸400佈置，即沿z軸。
此外，使用示例性的一或多個傳入光束409說明示出的光學系統400的三個示例性的不同焦點位置/焦平面/焦點平面405、406、407，三個示例性的不同焦點位置/焦平面/焦點平面405、406、407及它們的對應的景深（DOF）410、411、412及它們沿光學軸的對應的景深（DOF）410、411、412可已由示例性的可調光學元件403設定。
此外，示例性的超焦距（hyperfocal）距離位置408被標記，在其之後所有待由光學系統拍攝的物件出現在焦點中。
參考符號413示例性地標示可能的光學系統的孔徑。
用於實現以上及於此描述的示例性的特徵的示例性的光學系統的舉例的孔徑可有2.0或更小的光圈值（f-stop number）。然而，更高的光圈值也是可以想像的。
如圖所示，景深（DOF）410、411、412的寬度在不同焦點位置之間可以不同，及景深（DOF）410、411、412相對於光學軸可以為對稱或不對稱，即焦點位置405、406、407不一定定義景深（DOF）410、411、412的中心位置/中心平面。
圖5示例性地繪示本文描述的光學系統可以如何幫助改善光學系統沿光學軸（例如，示例性的有x、y、z軸的參考正交座標系統507的z軸）的空間解析度，即深度解析度。
示例性示出的為如前所述的感測器的多個像素的單一像素500，其中示例性的像素示例性的有兩個光二極體；第一光二極體501及第二光二極體502。像素位於示例性的正交座標系統507的xy平面中。
兩個光二極體沿示例性的x軸的位移為傳入光束506、508提供了不同的視野點。
抵達光二極體的光束在xy平面中的視差（disparity）或位移的行為或特性可以接著被用於使用三角學（trigonometry）取得/判斷從像素500（即從感測器）到焦點/焦點位置503的真實距離。
舉例而言，在焦點位置503，視差為零，而對於較焦點503更靠近像素500的沿z軸的距離，視差為正的且從第一光二極體501朝向第二光二極體502沿x軸正值地增加，及對於較焦點503更遠離像素500的沿z軸的距離，視差為負的且從第二光二極體502朝向第一光二極體501沿x軸負值地增加。
舉例而言，對於給定的/量測的正視差，從本文描述的感測器的多個光二極體到焦點的距離
Figure 02_image023
可以被從以下公式抽取出：
Figure 02_image025
 （2）
在本文中，
Figure 02_image027
為像素尺寸，σ為視差值，ρ為示例性的常數以定義模糊圈（circle of confusion）與真實失焦（defocus）之間的關聯性， D為孔徑，
Figure 02_image029
為焦距，及
Figure 02_image031
表示以下的表示式：
Figure 02_image033
 （3）
在本文中，
Figure 02_image035
為焦點位置（例如，由可調光學元件設定），及ρ可以為從以下式子示例性地判斷得到：
Figure 02_image037
 （4）
對於給定的/量測的負視差，僅公式（2）的符號被改變。
結合從本文描述的光學系統的感測器的每單位像素的多個光二極體對於由本文描述的光學系統的一個可調光學元件設定的多個焦點位置擷取的資訊，可以因而增加深度資訊，其中該深度資訊可以被從擷取的影像取得以取得更精準的深度地圖。
此外，多個每單位像素的光二極體可以透過使用多個光二極體的影像以產生波前分佈的 N斷層掃描層，更允許改善波前相位量測的，其中 N為每單位像素的光二極體的數量。
圖6示例性地示出方法600的流程圖，用於擷取及抽取用於從多個影像擷取波前的二維及/或三維分佈上的資訊。
如前所述，該方法可包含：
601，以具有包含多個像素的至少一感測器的光學系統在由光學系統的至少一可調光學元件設定的多個焦點位置（例如，在多個不同的焦點位置）擷取多個影像，其中至少部分的像素包含至少兩個光二極體。
602，應用波前重建演算法至擷取的多個影像以抽取波前的二維及/或三維分佈上的資訊。
100,200,300,400:光學系統 101,201,301,401:感測器 102,103,203,204:光二極體 104,208,302,403:可調光學元件 105,205,310,404,507:座標系統 106,202,304,305,306,307,500:像素 107,311,402:像素陣列 206:感測器陣列 207:傳入光 210:像素列 303:箭頭 304a,304b,305a,305b,306a,306b,307a,307b:光二極體 308,309,405,406,407,503:焦點位置 308a,308b,309a,309b:焦點 312,313,314,315:物件 316,317,318,319:影像 408:距離位置 409,506,508:傳入光束 410,411,412:景深 413:孔徑 501:第一光二極體 502:第二光二極體 504:負視差的增加方向 505:正視差的增加方向 600:方法 601,602:步驟
圖1：示例性的光學系統。 圖2：另一示例性的光學系統。 圖3：另一示例性的光學系統。 圖4：示例性的焦點的模糊性/不定性（uncertainty）。 圖5：示例性的擷取及抽取用於從多個影像擷取波前的二維及/或三維分佈上的資訊的方法的流程圖。
100:光學系統
101:感測器
102,103:光二極體
104:可調光學元件
105:座標系統
106:像素
107:像素陣列

Claims (15)

  1. 一種光學系統（100），用於從多個影像擷取關於波前的二維及/或三維分佈的資訊，包含：至少一感測器（101），用於擷取該些影像，其中該至少一感測器包含多個像素（106），及其中該些像素的至少一部分包含至少兩個光二極體（102，103）；以及至少一可調光學元件（104），其中該至少一可調光學元件（104）適於改變該光學系統（100）的一焦點；且其中該光學系統（100）用於在多個焦點位置以該至少一感測器（101）擷取該些影像，其中該些焦點位置係由該至少一可調光學元件（104）設定。
  2. 如請求項1所述的光學系統（100），其中該至少一可調光學元件（104）包含一液體透鏡及/或一可動透鏡及/或一可調稜鏡。
  3. 如請求項1及2中的任一項所述的光學系統（100），其中該至少一可調光學元件（104）用於在小於10ms的時間尺度上改變該光學系統（100）。
  4. 如請求項3所述的光學系統（100），更包含另一光學元件，用於改變該光學系統（100）的一焦距範圍。
  5. 如請求項4所述的光學系統（100），其中該另一光學元件為一透鏡。
  6. 如請求項4所述的光學系統（100），更包含至少一準直儀，其中該至少一準直儀沿該光學系統（100）的一光學軸佈置在該至少一可調光學元件（104）之前。
  7. 如請求項6所述的光學系統（100），其中該至少一感測器（101）用於同時擷取至少兩個影像，其中該些像素的其中一者的不同的該些光二極體（102，103）關聯於不同影像。
  8. 如請求項7所述的光學系統（100），其中該光學系統（100）包含或通訊連接於一資料處理系統，該資料處理系統用於儲存及處理擷取的該些影像以從擷取的該些影像抽取出波前的二維及/或三維分佈的資訊。
  9. 一種擷取及抽取資訊的方法（600），用於從多個影像擷取及抽取波前的二維及/或三維分佈上的資訊，包含：以一光學系統擷取（601）在多個焦點位置多個影像，其中該光學系統具有至少一感測器，該至少一感測器包含多個像素，其中該些像素的至少一部分包含至少兩個光二極體，其中該些焦點位置係由該光學系統的至少一可調光學元件設定；以及應用（602）一波前重建演算法於擷取的該些影像以抽取出波前的二維及/或三維分佈上的資訊。
  10. 如請求項9所述的擷取及抽取資訊的方法（600），更包含應用一深度檢索演算法於擷取的該些影像以取得在該些影像中的擷取的一場景的一深度圖。
  11. 如請求項9及10中的任一項所述的擷取及抽取資訊的方法（600），其中在該光學系統的該至少一感測器的一單一獲取中，至少兩個影像被同時擷取，且其中該至少一感測器的該些像素的其中一者的不同的光二極體關聯於不同影像。
  12. 一種用於擷取及抽取資訊的系統，用於從多個影像擷取及抽取波前的二維及/或三維分佈上的資訊，包含：一光學系統（100），用於擷取多個影像；以及一運算系統，包含一或多個處理器及一電腦記憶體，該電腦記憶體儲存多個指令，該些指令指示該一或多個處理器執行如請求項9到11任一項所述的擷取及抽取資訊的方法，用於從由該光學系統擷取的該些影像抽取波前的二維及/或三維分佈上的資訊。
  13. 如請求項12所述的用於擷取及抽取資訊的系統，其中該系統為一可攜式行動裝置。
  14. 如請求項13所述的用於擷取及抽取資訊的系統，其中，該可攜式行動裝置為智慧型手機。
  15. 一種電腦可讀取儲存媒介，用於儲存電腦可執行的多個指令，當該些指令被一電腦系統執行時，執行如請求項9到11任一項所述的擷取及抽取資訊的方法，用於從多個影像抽取波前的二維及/或三維分佈上的資訊。
TW111128642A 2021-08-11 2022-07-29 光學系統、用於擷取波前的空間分佈上的資訊的方法及系統以及電腦可讀取儲存媒介 TW202307526A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21382755.3 2021-08-11
EP21382755.3A EP4134644A1 (en) 2021-08-11 2021-08-11 System and method for extracting information on the spatial distribution of wavefronts

Publications (1)

Publication Number Publication Date
TW202307526A true TW202307526A (zh) 2023-02-16

Family

ID=77358187

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128642A TW202307526A (zh) 2021-08-11 2022-07-29 光學系統、用於擷取波前的空間分佈上的資訊的方法及系統以及電腦可讀取儲存媒介

Country Status (9)

Country Link
US (1) US20240040246A1 (zh)
EP (1) EP4134644A1 (zh)
JP (1) JP2023026372A (zh)
KR (1) KR20230024231A (zh)
CN (1) CN115706846A (zh)
AU (1) AU2022204926B2 (zh)
CA (1) CA3166441A1 (zh)
CL (1) CL2022002119A1 (zh)
TW (1) TW202307526A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126019A1 (en) * 2004-12-10 2006-06-15 Junzhong Liang Methods and systems for wavefront analysis
US8633969B2 (en) * 2011-02-09 2014-01-21 Omnivision Technologies, Inc. Apparatus and method for three-dimensional image capture with extended depth of field
US9786057B2 (en) * 2014-09-19 2017-10-10 Lasertec Coporation Inspection apparatus, coordinate detection apparatus, coordinate detection method, and wavefront aberration correction method
EP3358321A1 (en) 2017-02-03 2018-08-08 Wooptix S.L. Method and optical system for acquiring the tomographical distribution of wave fronts of electromagnetic fields
AU2017202910A1 (en) * 2017-05-02 2018-11-22 Canon Kabushiki Kaisha Image processing for turbulence compensation
US20190094424A1 (en) * 2017-09-27 2019-03-28 Cognex Corporation Optical systems having adaptable viewing angle and working distance, and methods of making and using the same
US20210211580A1 (en) * 2020-01-08 2021-07-08 Qualcomm Incorporated Phase detection autofocus (pdaf) optical system
US11747446B1 (en) * 2022-08-26 2023-09-05 Lumotive, Inc. Segmented illumination and polarization devices for tunable optical metasurfaces

Also Published As

Publication number Publication date
CA3166441A1 (en) 2023-02-11
CN115706846A (zh) 2023-02-17
US20240040246A1 (en) 2024-02-01
KR20230024231A (ko) 2023-02-20
EP4134644A1 (en) 2023-02-15
CL2022002119A1 (es) 2023-02-24
AU2022204926A1 (en) 2023-03-02
AU2022204926B2 (en) 2023-11-09
JP2023026372A (ja) 2023-02-24

Similar Documents

Publication Publication Date Title
US8305485B2 (en) Digital camera with coded aperture rangefinder
Hahne et al. Baseline and triangulation geometry in a standard plenoptic camera
Lynch et al. Three-dimensional particle image velocimetry using a plenoptic camera
JP2019532451A (ja) 視点から距離情報を取得するための装置及び方法
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
Hahne et al. Baseline of virtual cameras acquired by a standard plenoptic camera setup
EP3208773B1 (en) Disparity-to-depth calibration for plenoptic imaging systems
CN106875436A (zh) 一种基于特征点密度由聚焦堆栈估计深度的方法和装置
JP2016225811A (ja) 画像処理装置、画像処理方法およびプログラム
WO2017046397A1 (en) An apparatus and a method for calibrating an optical acquisition system
RU2733822C1 (ru) Способ и оптическая система для получения томографического распределения волновых фронтов электромагнитных полей
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
JP2012242488A (ja) 撮像装置、立体撮像光学系、およびプログラム
TW202307526A (zh) 光學系統、用於擷取波前的空間分佈上的資訊的方法及系統以及電腦可讀取儲存媒介
KR20180054737A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
JP5993261B2 (ja) 奥行き範囲算出装置及びそのプログラム
JP5553862B2 (ja) 撮像装置および撮像装置の制御方法
KR101715470B1 (ko) 집적영상 현미경 장치 및 심도범위 개선 방법
KR20160077550A (ko) 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법
Sravya Virtual camera effects and depth estimation Using light fields
Ramnath et al. Discontinuity-adaptive shape from focus using a non-convex prior
JP2021148731A (ja) 形状計測装置
JP2016091516A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Hu et al. Fast projection based depth for focused plenoptic camera
Yan et al. Single camera stereo with planar mirrors