TWI730364B - 深度解碼系統 - Google Patents

深度解碼系統 Download PDF

Info

Publication number
TWI730364B
TWI730364B TW108127540A TW108127540A TWI730364B TW I730364 B TWI730364 B TW I730364B TW 108127540 A TW108127540 A TW 108127540A TW 108127540 A TW108127540 A TW 108127540A TW I730364 B TWI730364 B TW I730364B
Authority
TW
Taiwan
Prior art keywords
ground truth
truth image
image
depth
reference surface
Prior art date
Application number
TW108127540A
Other languages
English (en)
Other versions
TW202038193A (zh
Inventor
蔡金融
朱于萱
紀政宏
蕭名淑
張乃婷
劉逸穠
Original Assignee
奇景光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 奇景光電股份有限公司 filed Critical 奇景光電股份有限公司
Publication of TW202038193A publication Critical patent/TW202038193A/zh
Application granted granted Critical
Publication of TWI730364B publication Critical patent/TWI730364B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本發明提供一種深度解碼系統。深度解碼器系統包含投影機、相機、處理器以及解碼器。投影機配置以將結構型光圖案投影到第一參考面和第二參考面。相機配置以從第一參考面捕獲第一地面實況圖像及從第二參考面捕獲第二地面實況圖像。處理器配置以對第一地面實況圖像和第二地面實況圖像執行校正操作以產生經校正的地面實況圖像。解碼器配置以根據經校正的地面實況圖像來產生深度結果。

Description

深度解碼系統
本公開大體上涉及深度解碼，並且更具體地涉及一種用於校正地面實況圖像的系統和方法，所述系統和方法能夠降低由系統中的元件的對準容限造成的失真。 [相關申請案的交叉參考]
本申請主張2018年12月7日申請的美國臨時申請第62/776,474號的優先權權益。上述專利申請書的全部內容特此以引用的方式併入本文中且作為本說明書的一部分。
深度解碼系統已用於廣泛範圍的應用中，例如製造檢測、機器人視覺、地理測量、社交（gamming）、多媒體應用。在深度解碼系統中，投影機和相機通常用於產生所捕獲場景中的物體的深度圖。然而，深度解碼系統中的元件（例如相機和投影機）的對準容限可導致所捕獲圖像的失真。因此，深度解碼系統的性能降低。
近年來隨著對更佳性能的深度解碼系統的需求的逐步增長，對有效降低所捕獲圖像的失真的更具創造性的技術的需求也在日益增長。
本文的任何內容都不應解釋為對於本公開的任何部分的現有技術中的知識的認可。
引入能夠校正地面實況圖像從而降低失真的系統和方法。
在本公開的一實施例中，所述方法包含以下步驟：將結構型光圖案投影到第一參考面和第二參考面；從第一參考面捕獲第一地面實況圖像，且從第二參考面捕獲第二地面實況圖像；以及對第一地面實況圖像和第二地面實況圖像執行校正操作以產生經校正的地面實況圖像，其中經校正的地面實況圖像用於產生深度結果（depth result）。
在本公開的一實施例中，一種系統包含投影機、相機、處理器以及解碼器。投影機配置以將結構型光圖案投影到第一參考面和第二參考面。相機配置以從第一參考面捕獲第一地面實況圖像和從第二參考面捕獲第二地面實況圖像。處理器配置以對第一地面實況圖像和第二地面實況圖像執行校正操作以產生經校正的地面實況圖像。解碼器配置以根據經校正的地面實況圖像來產生深度結果。
為了使本公開更容易理解，以下詳細地描述伴有附圖的若干實施例。
應理解，在不脫離本公開的範圍的情況下，可以利用其它實施例，且可以作出結構性改變。此外，應理解，本文所使用的措詞和術語是出於描述的目的且不應被視為是限制性的。本文中使用「包含」、「包括」或「具有」及其變體意在涵蓋其後列出的項目和其等效物以及額外項目。除非另有限制，否則術語「連接（connected）」、「耦合（coupled）」以及「安裝（mounted）」和其在本文中的變體是廣義上使用的並且涵蓋直接和間接連接、耦合以及安裝。
參看圖1，示出根據一些實施例的具有參考面PL1和參考面PL2的深度解碼系統100。深度解碼系統100可包含相機110、投影機120、處理器140、記憶體150以及深度解碼器160。投影機120可包含由垂直腔表面發射雷射（vertical-cavity surface-emitting laser，VCSEL）陣列130形成的光源，所述光源可產生並提供用於對投影機120的可投影區域進行照明的光。投影機120的可投影區域可覆蓋參考面PL1和參考面PL2。在一些實施例中，投影機120可更包含衍射光學元件（diffractive optical elements，DOE），所述衍射光學元件配置以用於使由VCSEL陣列130產生的光圖案化。換句話說，投影機120可產生由VCSEL陣列130和DOE形成的結構型光圖案並將所述結構型光圖案投影到參考面PL1和參考面PL2。
相機110配置以捕獲相機110的可查看區域中的場景，其中相機110的可查看區域可部分或完全與投影機120的可投影區域交疊。在一些實施例中，相機110可從時域中的參考面PL1捕獲第一地面實況圖像並從參考面PL2捕獲第二地面實況圖像。在本公開的一些實施例中，相機110可以是近紅外相機，所述近紅外相機配置以捕獲可查看區域中的近紅外波長輻射（或光）。或者，相機110可以是紅外相機或深度相機或RGB相機或任何其它類型的相機。相機110和投影機120彼此隔開放置；並且存在與相機110和投影機120對準的基線。相機110與投影機120之間的基線的長度可限定相機與投影機120之間的距離。
處理器140耦合到相機110和投影機120，且配置以控制相機110和投影機120的操作。處理器140進一步配置以接收由相機110捕獲的地面實況圖像並根據至少一個參數RP來校正接收到的地面實況圖像以產生經校正的地面實況圖像。處理器140可將經校正的地面實況圖像儲存到記憶體150。
深度解碼器160耦合到記憶體150，且配置以接收儲存於記憶體150中的經校正的地面實況圖像並且根據接收到的經校正的地面實況圖像和由相機110捕獲的圖案圖像執行解碼操作以產生深度結果。在一些實施例中，深度解碼器160可在解碼操作期間接收由相機110捕獲的輸入圖像，並且對輸入圖像和經校正的地面實況圖像執行匹配操作以產生深度結果。深度結果可指示所捕獲輸入圖像中出現的物體的深度資訊。
參考面PL1和參考面PL2放置於使得深度解碼系統100與參考面PL1之間的距離是d1且深度解碼系統100與參考面PL2之間的距離是d2的位置處。距離d1和距離d2可根據深度解碼系統100的參數來確定。在一些實施例中，距離d1和距離d2可根據相機110與投影機120之間的放置關係來確定。舉例來說，參考面PL1和參考面PL2的位置可根據相機110與投影機120之間的基線的長度來確定。在一些實施例中，距離d1和距離d2可根據深度解碼器160的搜索範圍和/或深度解碼器的搜索範圍以及相機110與投影機120之間的基線的長度的組合來確定。
參看圖2，示出根據一實施例的用於校正地面實況圖像的處理步驟。在步驟S21中，執行相機（例如圖1中的相機110）的校準過程以校準相機110的固有失真。一旦相機經過校準，就可產生失真圖以指示相機的失真。在步驟S22中，從時域中的參考面（例如圖1中所繪示的參考面PL1和參考面PL2）捕獲地面實況圖像GT_1和地面實況圖像GT_2，其中所述參考面位於不同位置中。在一些實施例中，存在從時域中的參考面捕獲到的至少兩個地面實況圖像。在步驟S23中，對所捕獲地面實況圖像GT_1和所捕獲地面實況圖像GT_2執行校正過程，從而產生經校正的地面實況圖像GT_R。在一些實施例中，在校正過程期間，可執行合併操作以合併地面實況圖像GT_1和地面實況圖像GT_2。舉例來說，可確定地面實況圖像GT_1與地面實況圖像GT_2之間的交疊區域和非交疊區域，且根據所確定的交疊區域和所確定的非交疊區域中的至少一個來將地面實況圖像GT_1和地面實況圖像GT_2彼此合併。在一些實施例中，經校正的地面實況圖像GT_R的大小與地面實況圖像GT_1和地面實況圖像GT_2的大小不同。舉例來說，作為合併操作的結果，經校正的地面實況圖像GT_R的大小比地面實況圖像GT_1和地面實況圖像GT_2的大小大。
在步驟S24中，可將經校正的地面實況圖像GT_R和參考面的配置提供給深度解碼器（例如圖1中所繪示的深度解碼器160）。在步驟S25中，根據各種參數來估計相機與投影機之間的基線。舉例來說，在一些實施例中，可根據等式（1）估計相機與投影機之間的基線，其中Z是深度值；f是相機的焦距；b是基線的長度；dx_bias 是視差值；且dx 是深度解碼器中所包含的正規化交相關（normalized cross correlation，NCC）電路的視差值。
Figure 02_image001
(1)
在等式（1）中，從參考面PL1、參考面PL2和兩個地面實況圖像GT_1和地面實況圖像GT_2的配置中已知相機的焦距f、NCC電路的視差值dx 以及深度值Z（例如參考面與深度解碼系統之間的距離）。同樣，基線的長度b和視差值dx_bias 通過求解等式（1）而得出。在步驟S26中，相機的失真圖、經校正的地面實況圖像GT_R、視差值dx_bias 可儲存於記憶體中，且可在由深度解碼器執行的深度解碼操作中使用。
參考圖3，示出根據本公開的實施例的深度解碼系統300。深度解碼系統300可包含相機310、投影機320、處理器340、記憶體350、深度解碼器360以及記憶體370。相機310、投影機320以及記憶體350與圖1中的相機110、投影機120以及記憶體150類似，因此在下文中省略關於上述組件的詳細描述。
處理器340耦合到相機310以在時域中從相機310接收地面實況圖像GT_1和地面實況圖像GT_2。在一些實施例中，處理器340可包含配置為根據至少一個參數RP對接收到的地面實況圖像GT_1和地面實況圖像GT_2執行校正操作以產生經校正的地面實況圖像GT_R的校正電路341。至少一個參數RP可以是預定參數，其值儲存於記憶體370中。
深度解码器360可包含局部對比度正規化（local contrast normalization，LCN）電路361、校正電路362、NCC核心電路363、後處理處理器364以及深度查找表（look-up-table，LUT）365。深度解碼器360可接收輸入圖像IMG和參數RP，其中輸入圖像IMG可由相機310捕獲，且參數RP可由記憶體370提供。LCN電路361配置以對接收到的輸入圖像IMG執行對比度正規化操作並且將正規化圖像提供給校正電路362。校正電路362可根據參數RP對由LCN電路361提供的正規化圖像執行校正操作。在一些實施例中，參數RP可包含用於將正規化圖像與經校正的地面實況圖像GT_R對準的位移圖。NCC核心電路363可在經校正的地面實況圖像GT_R與對準的正規化圖像之間執行匹配操作以找出經校正的地面實況圖像GT_R與對準的正規化圖像之間的視差。可將NCC核心電路363的輸出提供給後處理處理器364進行後處理。舉例來說，後處理處理器364可執行處理操作（例如，中值濾波）以過濾雜訊並改善NCC核心電路363的輸出的品質。深度LUT 365可執行視差到深度轉換（disparity-to-depth conversion）以輸出深度結果或深度圖D_IMG。
圖4示出根據本公開的實施例的投影機420的示範性可投影區域和相機410的可查看區域。相機410和投影機420與圖1中的相機110和投影機120類似，因此在下文中省略關於以上組件的詳細描述。
參看圖4，投影機420的可投影區域由邊界線P1、邊界線P2以及參考面PL1和參考面PL2確定；且相機410的可查看區域由邊界線C1、邊界線C2以及參考面PL1和參考面PL2確定。由邊界線C1和邊界線C1形成的角可被視為相機410的視場（field of view，FOV）；且由邊界線P1和邊界線P2形成的角可被視為投影機420的FOV。如圖4中所繪示，在投影機420的可投影區域與相機410的可查看區域之間存在交疊區域和非交疊區域。在放置參考面PL1以捕獲第一地面實況圖像時，第一地面實況圖像含有區域R11內的投影內容。在放置參考面PL2以捕獲第二地面實況圖像時，第二地面實況圖像含有區域R21和區域R22內的投影內容，其中參考面PL2中的區域R21內的投影內容對應於參考PL1中的區域R11內的投影內容。區域R22內的投影內容僅在使用參考面PL2時呈現。換句話說，區域R22內的投影內容是使用參考面PL2時捕獲到的而使用參考面PL1時未捕獲到的額外內容。在一些實施例中，從參考面PL2到相機410和投影機420的距離d2比從參考面PL1到相機410和投影機420的距離d1大。
在一些實施例中，將在參考面PL1上捕獲到的第一地面實況圖像和在參考面PL2上捕獲到的第二地面實況圖像合併，並且進行校正以產生經校正的地面實況圖像。同樣，經校正的地面實況圖像可改善距離d1與距離d2之間的深度解碼系統中的深度解碼操作的性能。
參看圖5，示出根據一實施例的用於將結構型光圖案投影到參考面PL的投影機的示範性元件。圖5中所示出的組件包含VCSEL陣列530、透鏡陣列或准直透鏡501以及DOE 502，其中VCSEL陣列530充當經由透鏡陣列或准直透鏡501將光束提供給DOE 502的光源。在一些實施例中，由VCSEL陣列530發射的光束可具有近紅外波長範圍內的波長，但本公開不限於此。VCSEL陣列530可發射不可見或可見波長範圍內的光束。DOE 502配置以使從透鏡陣列或准直透鏡501輸出的光束圖案化以產生投影到參考面PL的結構型光圖案。可由相機捕獲參考面PL上的投影內容以產生地面實況圖像。
在一些實施例中，可複製VCSEL陣列以產生多個副本。可組合VCSEL陣列的副本以形成組合圖案，且投影到參考面的結構型光圖案是通過組合VCSEL陣列來產生。參看圖6，將VCSEL陣列630複製到VCSEL陣列630的所產生的副本。組合VCSEL陣列630的這些副本以產生組合圖案631。組合圖案631中的VCSEL陣列630的副本的數目和佈置不限於圖6中所示出的內容。
在一些實施例中，投影機的DOE可配置以自VCSEL陣列630的副本產生組合圖案631，其中VCSEL陣列630的副本可在組合圖案631中彼此交疊或非交疊。DOE可根據組合圖案631產生結構型光圖案，並且將結構型光圖案投影到參考面PL。使結構型光圖案投影到參考面PL在參考面PL中形成圖案632。相機（未繪示）可捕獲參考面PL上的圖案632以產生地面實況圖像，並且校正捕獲到的地面實況圖像以產生經校正的地面實況圖像。
在一些實施例中，VCSEL陣列630儲存於記憶體中，且基於所儲存的VCSEL陣列630來產生組合圖案631。通過這種方式，記憶體可以只需要儲存大小比組合圖案631小的VCSEL陣列630。因此，更高效地利用記憶體儲存。
參看圖7，示出根據一實施例的用於校正地面實況圖像的方法。在步驟S710中，將結構型光圖案投影到第一參考面和第二參考面。在一些實施例中，結構型光圖案可根據VCSEL陣列產生，且結構型光圖案由投影機投影。此外，第一參考面和第二參考面可位於不同位置中。在步驟S720中，從第一參考面捕獲第一地面實況圖像，且從第二參考面捕獲第二地面實況圖像。在步驟S730中，對第一地面實況圖像和第二地面實況圖像執行校正操作以產生經校正的地面實況圖像，其中經校正的地面實況圖像用於產生深度結果。
從以上實施例可知，深度解碼系統將結構型光圖案投影到第一參考面和第二參考面，從第一參考面捕獲第一地面實況圖像，且從第二參考面捕獲第二地面實況圖像。第一參考面和第二參考面可位於不同位置中。在校正操作中使用第一地面實況圖像和第二地面實況圖像以產生能夠降低由深度解碼系統中的元件的對準失真造成的失真的經校正的地面實況圖像。此外，深度解碼系統可產生包含VCSEL陣列的副本的組合圖案。通過這種方式，只有VCSEL陣列儲存於記憶體中，且更高效地利用記憶體儲存。
對本領域技術人員將顯而易見的是，可在不脫離本公開的範圍或精神的情況下對所公開實施例的結構進行各種修改和更改。鑒於前述內容，希望本公開涵蓋屬於所附發明申請專利範圍和其等效物的範圍內的本公開的修改和變化。
100、300:深度解碼系統 110、310、410:相機 120、320、420:投影機 130、530、630:垂直腔表面發射雷射（VCSEL）陣列 140、340:處理器 150、350、370:記憶體 160、360:深度解碼器 341、362:校正電路 361:局部對比度正規化（LCN）電路 363:正規化交相關（NCC）核心電路 364:後處理處理器 365:深度查找表（LUT） 501:透鏡陣列或准直透鏡 502:衍射光學元件（DOE） 631:組合圖案 632:圖案 C1、C2、P1、P2:邊界線 d1、d2:距離 D_IMG:深度結果或深度圖 GT_1、GT_2:地面實況圖像/所捕獲地面實況圖像 GT_R:經校正的地面實況圖像 IMG:輸入圖像 PL、PL1、PL2:參考面 R11、R21、R22:區域 RP:參數 S21、S22、S23、S24、S25、S26、S710、S720、S730:步驟
包含附圖以提供對本公開的進一步理解，且附圖併入本說明書中並構成本說明書的一部分。附圖說明本公開的實施例，且與描述一起用於解釋本公開的原理。 圖1是示出根據本公開的實施例的具有參考面的深度解碼系統的示意圖。 圖2是示出根據本公開的實施例的用於校正地面實況圖像的處理步驟的圖式。 圖3是示出根據本公開的實施例的深度解碼系統的示意圖。 圖4示出根據本公開的實施例的投影機的示範性可投影區域和相機的可查看區域。 圖5示出根據本公開的實施例的用於將結構型光圖案投影到參考面的投影機的示範性元件。 圖6示出根據本公開的實施例的VCSEL陣列的副本的示範性組合圖案。 圖7是示出根據本公開的實施例的用於校正地面實況圖像的方法的流程圖。
100:深度解碼系統
110:相機
120:投影機
130:垂直腔表面發射雷射(VCSEL)陣列
140:處理器
150:記憶體
160:深度解碼器
d1、d2:距離
PL1、PL2:參考面
RP:參數

Claims (6)

  1. 一種深度解碼系統，包括：投影機，配置以將結構型光圖案投影到時域中的第一參考面和第二參考面；相機，配置以從所述第一參考面捕獲第一地面實況圖像和從所述第二參考面捕獲第二地面實況圖像；處理器，配置以對所述第一地面實況圖像和所述第二地面實況圖像執行校正操作以產生經校正的地面實況圖像；以及解碼器，配置以根據所述經校正的地面實況圖像來產生深度結果，其中所述第一參考面的位置和所述第二參考面的位置是根據所述相機與所述投影機之間的放置關係來確定，其中所述第一參考面的所述位置和所述第二參考面的所述位置是根據所述相機與所述投影機之間的基線來確定。
  2. 如申請專利範圍第1項所述的深度解碼系統，其中所述處理器進一步配置以根據平鋪圖案來產生所述結構型光圖案，其中所述平鋪圖案是垂直腔表面發射雷射平鋪圖案。
  3. 如申請專利範圍第1項所述的深度解碼系統，其中所述投影機使用衍射光學元件將所述結構型光圖案投影到所述第一參考面和所述第二參考面。
  4. 如申請專利範圍第1項所述的深度解碼系統，其中所述處理器進一步配置以： 對所述第一地面實況圖像和所述第二地面實況圖像進行正規化，以產生第一正規化地面實況圖像和第二正規化地面實況圖像；確定所述第一正規化地面實況圖像與所述第二正規化地面實況圖像之間的交疊區域；以及合併所述第一正規化地面實況圖像和第二正規化地面實況圖像以產生所述經校正的地面實況圖像。
  5. 如申請專利範圍第1項所述的深度解碼系統，其中所述經校正的地面實況圖像的大小與所述第一地面實況圖像的大小和所述第二地面實況圖像的大小不同。
  6. 如申請專利範圍第1項所述的深度解碼系統，更包括：記憶體，配置以儲存所述經校正的地面實況圖像並且在解碼操作中將所述經校正的地面實況圖像提供給所述解碼器以產生所述深度結果。
TW108127540A 2018-12-07 2019-08-02 深度解碼系統 TWI730364B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862776474P 2018-12-07 2018-12-07
US62/776,474 2018-12-07

Publications (2)

Publication Number Publication Date
TW202038193A TW202038193A (zh) 2020-10-16
TWI730364B true TWI730364B (zh) 2021-06-11

Family

ID=70971062

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108127540A TWI730364B (zh) 2018-12-07 2019-08-02 深度解碼系統

Country Status (3)

Country Link
US (1) US10977775B2 (zh)
CN (1) CN111294577B (zh)
TW (1) TWI730364B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985425A (zh) * 2020-07-10 2022-01-28 广州印芯半导体技术有限公司 测距装置以及测距方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US20120327430A1 (en) * 2011-06-22 2012-12-27 Reasearch & Business Foundation Sungkyunkwan University Measuring method of 3d image depth and a system for measuring 3d image depth using boundary inheritance based hierarchical orthogonal coding
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量系统及方法
CN106990660A (zh) * 2017-05-09 2017-07-28 深圳奥比中光科技有限公司 结构光投影模组
TW201832547A (zh) * 2017-02-23 2018-09-01 鈺立微電子股份有限公司 產生全景深度影像的影像裝置、相關方法及相關影像裝置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785447B2 (en) * 1998-10-09 2004-08-31 Fujitsu Limited Single and multilayer waveguides and fabrication process
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
GB2434541B (en) * 2006-01-30 2009-06-17 Mailling Wright Products Ltd Method of preparing a medical restraint
US7820967B2 (en) * 2007-09-11 2010-10-26 Electrophysics Corp. Infrared camera for locating a target using at least one shaped light source
WO2015141080A1 (ja) * 2014-03-18 2015-09-24 アドバンストヘルスケア株式会社 プロジェクタシステム及びキャリブレーションボード
WO2016024200A2 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
US10643341B2 (en) * 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US20120327430A1 (en) * 2011-06-22 2012-12-27 Reasearch & Business Foundation Sungkyunkwan University Measuring method of 3d image depth and a system for measuring 3d image depth using boundary inheritance based hierarchical orthogonal coding
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量系统及方法
TW201832547A (zh) * 2017-02-23 2018-09-01 鈺立微電子股份有限公司 產生全景深度影像的影像裝置、相關方法及相關影像裝置
CN106990660A (zh) * 2017-05-09 2017-07-28 深圳奥比中光科技有限公司 结构光投影模组

Also Published As

Publication number Publication date
CN111294577B (zh) 2022-01-25
US10977775B2 (en) 2021-04-13
CN111294577A (zh) 2020-06-16
US20200184611A1 (en) 2020-06-11
TW202038193A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US11470235B2 (en) Thin multi-aperture imaging system with autofocus and methods for using same
US20150304617A1 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
US20130002823A1 (en) Image generating apparatus and method
JP6740280B2 (ja) スマートデバイス及び深度画像を出力する方法
US20220407998A1 (en) Multi-cameras with shared camera apertures
TWI730364B (zh) 深度解碼系統
JP6034197B2 (ja) 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム
US11122247B2 (en) Depth map generation device capable of correcting occlusion
JP2022128517A (ja) 測距カメラ
WO2016194191A1 (ja) 投射型映像表示装置および映像表示方法
TW201836352A (zh) 深度感測裝置
JP6569296B2 (ja) レンズユニットおよび撮像装置
TW201906398A (zh) 影像擷取裝置及其影像拼接方法
US20080100737A1 (en) Aberration compensation system for digital camera and method therefor
WO2023007891A1 (ja) 投影デバイスおよび測距システム
Song et al. Region adaptive correction method for radial distortion of fish-eye image
CN108665418B (zh) 深度感测装置
JP2018185162A (ja) 測距装置、測距システム、および測距方法
JP6469324B1 (ja) 画像読み取り装置
US20190387963A1 (en) Imaging apparatus and endoscope
JP2006243401A (ja) 撮影装置
JP2012027080A (ja) 撮像装置