TWI775935B - 估測圖像中的深度的方法 - Google Patents

估測圖像中的深度的方法 Download PDF

Info

Publication number
TWI775935B
TWI775935B TW107130986A TW107130986A TWI775935B TW I775935 B TWI775935 B TW I775935B TW 107130986 A TW107130986 A TW 107130986A TW 107130986 A TW107130986 A TW 107130986A TW I775935 B TWI775935 B TW I775935B
Authority
TW
Taiwan
Prior art keywords
image
sub
pattern
reference light
processing device
Prior art date
Application number
TW107130986A
Other languages
English (en)
Other versions
TW201928877A (zh
Inventor
立龍 石
韓承勳
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201928877A publication Critical patent/TW201928877A/zh
Application granted granted Critical
Publication of TWI775935B publication Critical patent/TWI775935B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明揭露一種估測圖像中的深度的結構光系統及方 法。接收圖像，其中所述圖像是已在上面投射參考光圖案的場景的圖像。參考光圖案的投影包括預定數目個子圖案。基於硬碼範本匹配技術或基於所接收圖像的分塊對應於參考光圖案的子圖案的機率來對分塊與子圖案進行匹配。如果使用查閱資料表，則所述表可為機率矩陣，可包含預先計算的關聯性得分或者可包含預先計算的類別標識。基於分塊與子圖案之間的不同來確定分塊的深度的估測值。

Description

估測圖像中的深度的方法 [相關申請的交叉參考]
本專利申請主張在2017年12月12日提出申請的美國臨時專利申請第62/597,904號的優先權，所述美國臨時專利申請的揭露內容全文併入本申請供參考。
本文所揭露主題涉及一種用於結構光系統的裝置及方法，且更具體來說，涉及一種用於將圖像的分塊匹配到參考光圖案的分塊的裝置及方法。
一種廣泛用於在結構光三維(three dimensional，3D)相機系統(也稱為立體相機系統(stereo-camera system))中估測深度值的技術是通過搜索圖像中的分塊與參考圖案中的分塊的最佳匹配來進行。為減少這種搜索的總體計算負擔，假設圖像分塊位於參考圖案的接近水平鄰域(near horizontal neighborhood)中。另外，參考圖案被設計成僅存在有限的一組獨特子圖案，這些子圖案在水平方向上及垂直方向上重複以填充整個投影空間，這進一步簡化了搜索過程。利用參考圖案中獨特圖案的已知排列方式 來識別圖像分塊的“類別”，並且轉而確定圖像分塊與參考分塊之間的不同。還假設圖像分塊以深度畫素位置為中心，這也簡化了深度估測的計算。
然而，如果圖像分塊大小及搜索範圍變大，則分塊搜索變得耗時且需要密集的計算，從而難以實現即時深度估測。除了具有明顯的計算成本之外，一些結構光三維相機系統還可能在深度估測中出現明顯的雜訊。結果，這種結構光三維相機系統具有高的功耗，且可能對圖像缺陷(image flaw)(例如，畫素雜訊、模糊、畸變及飽和)敏感。
本揭露的示例性實施例可提供一種快速地估測圖像中的深度的結構光系統及方法。
示例性實施例提供一種通過結構光系統來估測圖像中的深度的方法，所述方法可包括：接收所述圖像，其中所述圖像可為已在上面投射參考光圖案的場景的圖像，其中所述圖像可包括所述參考光圖案的投影，且其中所述參考光圖案可包括參考數目個子圖案；基於所述圖像的分塊對應於所述參考光圖案的所述參考數目個子圖案中的其中一子圖案的機率來對所述分塊與所述其中一子圖案進行匹配；以及基於所述分塊與所述子圖案之間的不同來確定所述分塊的深度的估測值。在一個實施例中，所述機率可包含在查閱資料表中，所述查閱資料表可包括機率矩陣，且所述分塊可包括參考數目個畫素，且其中對所述分塊與所述其中一子圖案進行匹配還可包括：將所述分塊中所包括的畫素二值 化；由所述畫素形成向量；以及通過將所述畫素的向量乘以所述機率矩陣來確定所述分塊的類別，其中所述類別可對應於與所述分塊匹配的所述其中一子圖案。
另一個示例性實施例提供一種通過結構光系統來估測圖像中的深度的方法，所述方法可包括：接收所述圖像，其中所述圖像可為已在上面投射參考光圖案的場景的圖像，其中所述圖像可包括所述參考光圖案的投影，且其中所述參考光圖案可包括參考數目個子圖案；將所述圖像中所包括的至少一個分塊二值化，所述分塊可包括參考數目個畫素；通過基於經二值化的所述分塊中的1的第一數目以及每一個經二值化的子圖案中的1的第二數目將所述至少一個分塊的誤差函數E k 最小化來將所述至少一個分塊匹配到所述參考光圖案的其中一子圖案；以及基於所述至少一個分塊與所述其中一子圖案之間的不同來確定所述圖像的所述至少一個分塊的深度的估測值。在一個實施例中，所述每一個經二值化的子圖案中的1的所述第二數目可通過以下方式確定：將第一經二值化的子圖案中的1的所述第二數目遞增2來獲得位於所述第一經二值化的子圖案後面的第二經二值化的子圖案中的1的所述第二數目。
再一個示例性實施例提供一種通過結構光系統來估測圖像中的深度的方法，所述方法可包括：接收所述圖像，其中所述圖像可為已在上面投射參考光圖案的場景的圖像，其中所述圖像可包括所述參考光圖案的投影，且其中所述參考光圖案可包括參考數目個子圖案；將所述圖像的至少一個分塊二值化；基於經二值化的所述分塊對應於所述參考光圖案的所述參考數目個子圖 案中的其中一子圖案的機率來對經二值化的所述分塊與所述其中一子圖案進行匹配；以及基於所述至少一個分塊與所述子圖案之間的不同來確定所述至少一個分塊的深度的估測值。在一個實施例中，經二值化的所述分塊對應於所述其中一子圖案的所述機率可包含在查閱資料表中。所述查閱資料表可包括機率矩陣，且所述至少一個分塊可包括參考數目個畫素。對經二值化的所述分塊與所述其中一子圖案進行匹配可包括：由經二值化的所述分塊形成向量；以及通過將經二值化的所述分塊的所述向量乘以所述機率矩陣來確定所述至少一個分塊的類別，其中所述類別可對應於與所述至少一個分塊匹配的所述其中一子圖案。
[本揭露的效果]
本文所揭露的估測圖像中的深度的方法可減少其他方式可能具有的雜訊、模糊及畸變。另外，與其他方式相比，可減少計算負擔及記憶體/硬體資源需求。因此，根據本發明的實施例，可快速完成圖像的深度估測。
100:結構光系統
101:投影儀
102:相機
103:處理器件
104:參考光圖案
105:線
106:圖像
107:深度圖
108:參考光圖案元素
301、302、303、304、305、306、307、501、502、503、602、606、702、705、802、806、902、905、1001、1002、1003、1004、1005、1006、1007:步驟
401、402、403:參考分塊
601、801:4×4圖像輸入分塊/圖像輸入分塊
603、703、803、903:鍵值
604、704:預先計算的關聯性得分表/表/LUT
605:長條圖
701、901:8×8圖像輸入分塊
701a、701b、701c、701d:子分塊/圖像輸入子分塊
706:特定機率長條圖
804:預先計算的類別ID表/表/LUT
901a、901b、901c、901d:子分塊
904:預先計算的類別ID表/LUT
906:機率長條圖
M:矩陣
P:最左側圖像輸入分塊/左側圖像輸入分塊/輸入分塊/圖像輸入分塊/4×4輸入圖像分塊/分塊
Qk:圖像分塊/4×4二進位參考分塊/二進位參考分塊/參考分塊/圖像參考分塊
T:4×4塊/向量
在以下部分中，將參照各圖中所示的實施例來闡述本文所揭露的主題的各個方面，在各圖中：
圖1A是繪示根據本發明實施例的結構光系統及參考光圖案的概念圖。
圖1B是繪示可用于形成圖1A所示參考光圖案的參考光圖案元素的實施例的概念圖。
圖2A是繪示將使用硬碼範本匹配技術進行匹配的左側圖像輸入分塊與右側圖像輸入分塊的概念圖。
圖2B是繪示根據本發明實施例的將使用硬碼範本匹配技術進行匹配的圖像輸入分塊與參考光圖案分塊的概念圖。
圖3是繪示根據本發明實施例的使用硬碼範本匹配技術確定深度資訊的過程的流程圖。
圖4是繪示根據本發明實施例的經遞增分析的一系列參考光圖案分塊的概念圖。
圖5是繪示根據本發明實施例的基於圖像輸入分塊屬於參考光圖案分塊的類別c的機率來估測深度資訊的過程的概念圖。
圖6是繪示根據本發明實施例的使用查閱資料表來產生圖像輸入分塊屬於類別c的機率的過程的概念圖。
圖7是繪示根據本發明實施例的以獨特方式對大的圖像輸入分塊進行細分並使用查閱資料表來產生圖像輸入子分塊屬於類別c的機率的過程的概念圖。
圖8是繪示根據本發明實施例的使用查閱資料表的過程的概念圖，所述查閱資料表只包含可用於確定圖像輸入分塊屬於類別c的預先計算的類別標識。
圖9是繪示根據本發明實施例的使用滑動視窗(sliding window)對大的圖像輸入分塊進行細分並使用包含預先計算的類別標識的查閱資料表的過程的概念圖。
圖10是繪示根據本發明實施例的基於圖像輸入分塊與參考光圖案分塊匹配的機率來確定深度資訊的過程的流程圖。
在以下詳細說明中，闡述許多具體細節來提供對本揭露的透徹理解。然而，所屬領域中的技術人員應理解，無需這些具體細節也可實踐所揭露的各個方面。在其他情形中，未詳細闡述眾所周知的方法、流程、元件及電路，以免使本文所揭露的主題模糊不清。
本說明書通篇中所提及的“一個實施例(one embodiment)”或“實施例(an embodiment)”意指結合所述實施例所闡述的特定特徵、結構或特性可包括在本文所揭露的至少一個實施例中。因此，在本說明書通篇中各處出現的短語“在一個實施例中(in one embodiment)”或“在實施例中(in an embodiment)”或者“根據一個實施例(according to one embodiment)”(或具有相似含義的其他短語)可能未必均指同一實施例。此外，在一個或多個實施例中，特定特徵、結構或特性可採用任何適合的方式進行組合。就此而言，本文所用的詞“示例性(exemplary)”意指“用作實例、例子或例示”。本文被闡述為“示例性”的任何實施例不應被視為與其他實施例相比必定是優選的或有利的。另外，根據本文中的論述的上下文而定，單數用語可包括對應的複數形式且複數用語可包括對應的單數形式。還應注意，本文中所示及所論述的各個圖(包括元件圖)僅是出於例示目的，而並非按比例繪示。相似地，示出各種波形及時序圖僅是用於例示目的。舉例來說，為清晰起見，可相對於其他元件誇大元件中的一些元件的尺寸。另外，在適當情況下，在各個圖中重複使用參考編號來指示對應的元件和/或類似元件。
本文所用術語僅是用於闡述特定實施例的目的，而非旨在限制所主張的主題。除非上下文另外清楚地指明，否則本文所用單數形式“一(a、an)”及“所述(the)”旨在也包括複數形式。還應理解，當在本說明書中使用用語“包括(comprises和/或comprising)”時，是指明所陳述特徵、整數、步驟、操作、元件和/或元件的存在，但不排除一個或多個其他特徵、整數、步驟、操作、元件、元件和/或其群組的存在或添加。本文所用用語“第一(first)”、“第二(second)”等被用作位於所述用語後面的名詞的標籤，且除非明確定義，否則所述用語並不隱含著任何類型的次序(例如，空間、時間、邏輯等)。此外，在兩個或更多個圖中可使用相同的參考編號來指代具有相同或相似的功能的部件、元件、區塊、電路、單元或模組。然而，這種用法僅是為了使例示簡潔且易於論述起見；所述用法並不隱含著這種元件或單元的構造細節或架構細節在所有實施例中均是相同的或者這些共同提及的部件/模組是實施本文中所揭露特定實施例的教示內容的唯一方式。
除非另外定義，否則本文所用所有用語(包括技術及科學用語)的含義均與本主題所屬領域中的一般技術人員所通常理解的含義相同。還應理解，用語(例如在常用詞典中所定義的用語)應被解釋為具有與其在相關技術的上下文中的含義一致的含義，且除非在本文中明確定義，否則不應將其解釋為具有理想化或過於正式的意義。
本文所揭露的實施例可提供用於結構光系統的快速深度估測。在一個實施例中，可基於圖像分塊相對於參考分塊的硬 碼範本匹配來提供深度估測。在另一個實施例中，可通過基於例如貝葉斯規則的關聯性來將圖像分塊匹配到參考分塊。再一個實施例可使用查閱資料表來將圖像分塊匹配到參考分塊以提供極快的深度估測。與其他方式相比，本文所揭露的所有實施例使計算負擔明顯減少且使記憶體/硬體資源需求減少，同時還會減少其他方式所具有的雜訊、模糊及畸變。
本文所揭露的使用查閱資料表的實施例可提供恒定時間深度估測。此外，查閱資料表可基於會增強深度預測的訓練資料集來學習得到。查閱資料表可比其他方式更強健，同時還實現高的準確性。
圖1A是繪示根據本發明實施例的結構光系統及參考光圖案的概念圖。結構光系統100可包括投影儀101、相機102及處理器件103。處理器件103可將參考光圖案104發送到投影儀101，且投影儀101可將參考光圖案104投射到由線105代表的場景或物體上。相機102可拍攝具有所投射參考光圖案104的場景作為圖像106。圖像106可被傳送到處理器件103，且處理器件103可基於在圖像106中拍攝的參考光圖案相對於參考光圖案104的不同來產生深度圖(depth rmap)107。深度圖107可包括與圖像106的分塊對應的估測深度資訊。
處理器件103可為通過軟體指令進行程式設計的微處理器或個人電腦、專用積體電路或這兩者的組合。在一個實施例中，由處理器件103提供的處理可完全通過經圖形處理單元(graphics processing unit，GPU)、多核系統加速的軟體實施，或者通過能夠實施處理操作的專用硬體實施。硬體設定與軟體配置二者可提供 不同的並行階段(stages of parallelism)。結構光系統100的一種實施方式可為手持器件(例如但不限於，智慧型電話、手機或數位相機)的一部分。
在一個實施例中，投影儀101與相機102可在可見區域(visible region)中或在對於人眼而言可能不可見的紅外光譜(infrared light spectrum)中進行匹配。所投射的參考光圖案可處於投影儀101及相機102二者的光譜範圍內。另外，投影儀101與相機102的解析度可不同。舉例來說，投影儀101可採用視頻圖形陣列(video graphics array，VGA)解析度(例如，640×480畫素)來投射參考光圖案104，而相機102可具有更高的解析度(例如，1280×720畫素)。在這種配置中，可對圖像106進行下採樣和/或可只對由投影儀101照射的區域進行分析以產生深度圖107。
根據本發明實施例的參考光圖案104可包括多個參考光圖案元素，所述多個參考光圖案元素可在水平方向及垂直方向二者上重複以完全填充參考光圖案104。
圖1B是繪示在水平方向(即，x方向)上為48個點寬且在垂直方向(即，y方向)上為四個畫素高的參考光圖案元素108的實施例的概念圖。為簡明起見，點對畫素的比率可為1：1，即，每一個投射點可恰好由相機102中的一個畫素拍攝。如果4×4畫素視窗疊加在參考光圖案元素108上且水平滑動(在邊緣處具有重疊)，則將存在48個獨特圖案。如果4×4畫素視窗在參考光圖案元素108的高度方向的四個畫素之上垂直地上下滑動(具有重疊)、同時4×4畫素視窗水平滑動，則將存在192個獨特圖案。在一個實施例中，圖1A所示參考光圖案104可通過在水平方向上 將參考光圖案元素108重複十次以及在垂直方向上將參考光圖案元素180重複160次來形成。
在本文所揭露的一個實施例中，處理器件103可使用硬碼範本匹配技術來產生深度圖107的估測深度資訊以將圖像分塊匹配到參考光圖案104的分塊，其中匹配技術的複雜度是O(P)且P可為所匹配的分塊的大小。在本文所揭露的另一個實施例中，處理器件103可通過基於圖像分塊與參考光圖案104的分塊匹配的機率將圖像分塊匹配到參考光圖案104的分塊來產生估測深度資訊，其中匹配技術的複雜度是O(P)。在本文所揭露的再一個實施例中，處理器件103可通過參考查閱資料表(lookup table，LUT)來產生估測深度資訊，所述查閱資料表可包含圖像分塊與參考光圖案104的分塊匹配的機率資訊，其中匹配技術的複雜度可由O(1)代表。
1.硬碼範本匹配。
根據本發明實施例，將圖像分塊匹配到參考光圖案104的分塊可使用硬碼範本匹配技術通過直接計算方式執行。出於計算目的，參考光圖案104可由1的圖案及0的圖案代表，這可極大地簡化對分塊比較的計算。
可使用三種不同的計算技術中的一種來將圖像分塊匹配到參考光圖案的分塊。第一種計算技術可基於絕對差和(Sum of Absolute Difference，SAD)方式，在所述絕對差和方式中，匹配得分是基於圖像分塊與參考分塊之間的逐畫素絕對差的和來確定的。第二種計算技術可基於平方差和(Sum of Squared Difference，SSD)方式。第三種計算技術可基於歸一化互相關(Normalized Cross-Correlation，NCC)方式。
為示出根據本文所揭露實施例的直接計算方式的優點，將參考圖2A及圖2B來比較用於將圖像分塊匹配到參考分塊的其他直接計算方式與根據本發明概念實施例的直接計算方式。
圖2A是繪示可在立體相機系統中接收的兩個4×4圖像分塊的概念圖。最左側圖像輸入分塊P將被匹配到最右側圖像參考分塊Q。考慮以下情形：參考光圖案(例如，參考光圖案104)已被透射到圖像上，且所投射的參考光圖案出現在左側圖像輸入分塊P及右側圖像輸入分塊Q二者中。
可用於產生輸入分塊P與輸入分塊Q的匹配得分的SAD匹配計算可將誤差函數E k 最小化。SAD匹配計算可通過以下方程式(1)來闡述：
Figure 107130986-A0305-02-0013-1
 在方程式(1)中，(i,j)可為分塊內的畫素位置，k可為與參考光圖案的分塊對應的分塊標識ID：[1,192]。對於這一實例來說，認為分塊標識k與具有192個獨特圖案的參考光圖案104相關。
對於根據方程式(1)的SAD方式而言，對單個圖像輸入分塊P相對於單個圖像分塊Q k 的誤差函數E k 進行確定的總計算負擔可涉及4×4×2×192=6144次加法運算。
與根據方程式(1)的方式對比，參考圖2B，可繪示根據本發明實施例的SAD直接計算技術。在圖2B中，左側分塊可為包括所投射的參考光圖案104的4×4輸入圖像分塊P。右側分塊可為示例性4×4二進位參考分塊Q k ，其為來自參考光圖案104 的4×4分塊的二進位表示形式。二進位參考分塊Q k 中的包含“A”的畫素中的每一者可代表二進位“0”(即，黑色)。二進位參考分塊Q k 中的包含“B”的畫素中的每一者可代表二進位“1”(即，白色)。
通過使用二進位圖案，將誤差函數最小化可被重新公式化為只對參考圖案中為1的畫素進行的求和運算。根據本文所揭露的實施例，可用於產生圖像輸入分塊P相對於參考光圖案分塊的匹配得分的簡化SAD匹配計算可將誤差函數E k 最小化。將誤差函數E k 最小化的簡化SAD匹配計算可通過以下方程式(2)來闡述。
Figure 107130986-A0305-02-0014-2
Figure 107130986-A0305-02-0014-3
Figure 107130986-A0305-02-0014-4
在方程式(2)中，(i,j)可為輸入分塊P內的畫素位置，k可為與參考光圖案104的分塊對應的分塊標識ID：[1,192]，B k 可為參考分塊Q k 中具有值1的畫素的集合，∥B k ∥可為參考分塊Q k 中1的計數，且P sum 可為分塊P中所有畫素值的和。由於∥B k ∥對於每一個二進位參考分塊而言是已知的，且P sum 可預先計算(且參考畫素圖案中1的平均值是8)，因此進行單次圖案-圖案比較所需的加法的次數可從32次減少到近似8次。
因此，對於根據方程式(2-3)的SAD方式而言，在平均數∥B k ∥為8時，對單個圖像輸入分塊P相對於圖像參考分塊Q k 的誤差函數E k 進行確定的總計算負擔可涉及8×192次加法運算。為進一步減少計算操作的數目，可對P sum 進行預先計算。
再次參照圖2A，可用於將誤差函數E k 最小化的平方差和(SSD)匹配計算可通過以下方程式(3)來闡述。
Figure 107130986-A0305-02-0015-5
 在方程式(3)中，(i,j)可為分塊內的畫素位置，k可為與參考光圖案104的分塊對應的分塊標識ID：[1,192]。
對於根據方程式(3)的SSD方式而言，對單個圖像輸入分塊P相對於圖像參考分塊Q k 的誤差函數E k 進行確定的總計算可涉及4×4×2×192=6144次加法運算。
參照圖2B且與基於以上方程式(3)的SSD方式對比，根據本文所揭露實施例的可用於將誤差函數E k 最小化的簡化SSD匹配計算可通過以下方程式(4)來闡述。
Figure 107130986-A0305-02-0015-6
Figure 107130986-A0305-02-0015-7
Figure 107130986-A0305-02-0015-8
在方程式(4)中，(i,j)可為輸入分塊P內的畫素位置，k可為與參考光圖案104的分塊對應的分塊標識ID：[1,192]，B k 可為二進位參考分塊Q k 中具有值1的畫素的集合，∥B k ∥可為二進位參考分塊Q k 中1的計數，且P sum 可為分塊P中所有畫素值的和。參照方程式(4)，誤差函數E k 可基於參考光圖案中白色分塊的計 數以及參考光圖案中黑色補片的計數的平方來確定。
對於根據方程式(4)的簡化SSD方式而言，在平均數∥B k ∥為8時，對單個圖像輸入分塊P相對於圖像參考分塊Q k 的誤差函數E k 進行確定的總計算負擔可涉及近似8×192次加法運算。為進一步減少計算操作的數目，可對∥B k ∥及P 2 sum 二者進行預先計算。
再次參照圖2A，可用於將誤差函數E k 最小化的歸一化互相關(NCC)匹配計算可通過以下方程式(5)來闡述。
Figure 107130986-A0305-02-0016-9
 在方程式(5)中，(i,j)可為分塊內的畫素位置，k可為與參考光圖案104的分塊對應的分塊標識ID：[1,192]。
對於根據方程式(5)的NCC方式而言，對單個圖像輸入分塊P相對於圖像參考分塊Q k 的誤差函數E k 進行確定的總計算負擔可涉及4×4×192次乘法運算加上4×4×192次加法運算，總共等於6144次運算。
參照圖2B，與基於以上方程式(5)的NCC方式對比，根據本文所揭露實施例的可用於將誤差函數E k 最小化的簡化NCC匹配計算可通過以下方程式(6)來闡述。
Figure 107130986-A0305-02-0016-10
Figure 107130986-A0305-02-0016-11
在方程式(6)中，(i,j)可為輸入分塊P內的畫素位置，k可為與參考光圖案104的分塊對應的分塊標識ID：[1,192]，且∥B k ∥可為二進位參考分塊Q中白色分塊的和。參照方程式(6)，誤差 函數E k 可基於二進位參考分塊中黑色分塊的計數除以白色分塊的計數來確定。
本文所揭露的簡化NCC技術可使用一次除法運算來進行歸一化。由於∥B k ∥可取五個不同的整數值(具體來說，6-10)，因此除法運算可一直延遲到對匹配得分進行比較為止。因此，這192個匹配得分可基於它們的∥B k ∥值劃分成五個群組，且可從每一個群組中找到最高的匹配得分。只有在對這五個群組中的每一者中的最高得分進行比較時才需要執行除法，僅需要進行五次除法。因此，對於根據方程式(6-2)的NCC方式而言，對單個圖像輸入分塊P相對於圖像參考分塊Q k 的誤差函數E k 進行確定的總計算負擔可涉及5次乘法運算加上2×192次加法運算，等於總共389次運算。類似于本文所揭露的SAD方式及SSD方式，可對P 2 sum 進行預先計算。
圖3是繪示根據本發明實施例的使用硬碼範本匹配技術確定深度資訊的過程的流程圖。在301處，可開始所述過程。在302處，可接收具有所投射的參考光圖案的圖像。在一個實施例中，所投射的參考光圖案可為參考光圖案104。在303處，可從所接收圖像提取分塊。在304處，可使用本文所揭露的簡化SAD技術、SSD技術或NCC技術來將每一個圖像分塊匹配到參考光圖案分塊。在305處，可確定每一個圖像分塊與進行匹配的參考光圖案分塊之間的不同。在306處，可確定每一個圖像分塊的深度資訊。在307處，可結束所述過程。
還可通過從一個參考分塊到下一個參考分塊對項
Figure 107130986-A0305-02-0017-12
進行遞增計算來進一步減少本文所揭露的這三種簡化直 接計算匹配技術中的每一種的運算數目。舉例來說，如果針對圖4 中所繪示的參考分塊401對項
Figure 107130986-A0305-02-0018-13
進行遞增計算，則針對參考 分塊402對項
Figure 107130986-A0305-02-0018-14
進行的計算可只增加兩次加法運算。因此， 通過從一個參考分塊到下一個參考分塊對項
Figure 107130986-A0305-02-0018-15
進行遞增計算，可明顯減少運算的數目。
具體來說，參考分塊401可包括六個1(即，六個白色畫素)。參考分塊402可包括八個1(例如，八個白色畫素)。參考分塊401與參考分塊402之間1的數目之差是2，因此參考分塊402中1的數目的值可比參考分塊401中1的數目大二。當考慮參考分塊403時，由於參考分塊402及參考分塊403二者均包括八個1，因此可不添加額外的加法運算。平均而言，加法運算的遞增數目可為2。因此，使用這種遞增方式，對所有獨特圖案進行匹配所需的加法運算的總數目可減少到2×192，其中本文所揭露的簡化SAD技術可比根據方程式(3)的SAD技術快16倍。
圖像輸入分塊與匹配參考分塊之間的不同可基於方程式(2-3)、(4-3)或(6-2)中的任意一個來確定，可由處理器件103用來產生深度圖107的深度資訊。
2.基於機率的圖案關聯性。
為基於圖像輸入分塊與參考光圖案分塊(例如，參考光圖案104)匹配的機率來產生估測深度資訊，可使用基於貝葉斯規則的圖案關聯性。也就是說，貝葉斯規則可用於確定圖像輸入分塊屬於參考光圖案分塊的類別c的機率。一種估測4×4塊T(或分塊)屬於一類別的機率的簡化方式可通過以下方程式(7)來闡述。
log(P(c|T))=log(Π P(t|c))=Σlog(P(t|c)) (7)
在方程式(7)中，t可為值是1的畫素。
並不執行乘法，而是如由方程式(7)的中間項所表示，圖像輸入分塊屬於參考光圖案分塊的類別c的機率可僅使用加法運算來確定，如由方程式(7)的最右側項所表示。因此，可由機率的和代替機率的乘法來表示機率P(c|T)。對於大小為4×4畫素的192個獨特圖案而言，可取值[0,15]且可取值[1,192]。可形成16×192矩陣，其中每一個項代表log(P(t|c))。當對圖像輸入分塊進行分類時，可將圖像輸入分塊與矩陣 M 的每一行相關聯以獲得每一類別的機率log(P(t|c))。具有最高機率的類別可對應於最終匹配的類別。矩陣的各個項可從由結構光圖像形成的資料集學習得到，在所述結構光圖像中，每一個參考畫素的深度值是已知的。作為另外一種選擇，矩陣 M 可通過線性優化技術或通過神經網路形成。圖案關聯方式的性能可基於矩陣 M 可被學習的良好程度。
圖5是繪示根據本發明實施例的基於圖像輸入分塊屬於參考光圖案分塊的類別c的機率來估測深度資訊的過程的概念圖。在501處，可將圖像輸入分塊二值化為0及1，這可通過將 T 歸一化並以0.5進行閾限(thresholding)以形成元素[0,1]來進行。接著可將二值化輸入分塊排列為1×16向量。可在502處將向量 T 及矩陣 M 相乘以在503處形成1×192元素長條圖(element histogram)，其代表輸入分塊是特定參考光圖案分塊的機率。
使用圖5所示方式確定出的圖像輸入分塊與匹配參考分塊之間的不同可由處理器件103用來產生深度圖107的深度資訊。
3.通過查閱資料表進行圖案分類。
由處理器件103產生的估測深度資訊還可通過使用查閱 資料表(LUT)將圖像輸入分塊分類為屬於類別c來產生。也就是說，可產生包含圖像分塊屬於參考光圖案的分塊的類別c的機率資訊的LUT。
在一個實施例中，LUT可具有216個鍵值以考慮到所有可能的4×4二值化輸入圖案。一種用於產生與每一個鍵值對應的值的技術可基於圖像輸入分塊屬於類別c的機率，如結合圖5所闡述。
圖6是繪示根據本發明實施例的使用LUT來產生圖像輸入分塊屬於類別c的機率的過程的概念圖。在圖6中，可在602處將4×4圖像輸入分塊601二值化及向量化以形成鍵值603，從而得到預先計算的關聯性得分表604。表604的每一個列可包含圖像輸入分塊屬於類別c的機率的長條圖605的值。在圖6所示實例中，可將圖像輸入分塊601二值化及向量化以形成示例性鍵值(0,0,...,0,1,0)。這種示例性鍵值的長條圖605在606處示出。對於圖6所示實例而言，LUT 604中的項的總數目可為216列×192行=12MB。
在圖像輸入分塊大的實施例中，與圖6中的LUT 604對應的LUT對於手持器件(例如，智慧型電話)而言可能變得過大。舉例來說，如果圖像輸入分塊是8×8輸入分塊，則與LUT 604對應的LUT可包括8.712GB的項。為避免LUT具有這樣大的大小，可將大的圖像輸入分塊劃分成較小的分塊，例如4×4子分塊，所述較小的分塊用作與LUT 604對應的LUT的鍵值。輸入分塊的劃分可提供單獨的且不同的子分塊或者可通過使用滑動視窗來進行輸入分塊的劃分。
圖7是繪示根據本發明實施例的以獨特方式對大的圖像輸入分塊進行細分並使用LUT來產生圖像輸入子分塊屬於類別c的機率的過程的概念圖。在圖7中，可將8×8圖像輸入分塊701細分成四個子分塊701a到701d。可在702處將這四個子分塊各自二值化及向量化以分別形成單獨的示例性鍵值703，從而得到預先計算的關聯性得分表704。表704的每一列可包含圖像輸入子分塊屬於類別c的機率的長條圖的值。在圖7所示實例中，圖像輸入子分塊701a到701d可各自被二值化及向量化以形成單獨的鍵值。在705處可使用投票過程來確定8×8圖像輸入分塊701的特定機率長條圖706。所述投票過程可例如選擇接收到最多投票的機率長條圖。對於圖7所示實例而言，LUT 704中的項的總數目可為216列×192行=12MB。舉例來說，如果另選地使用滑動視窗過程來對大的圖像輸入分塊進行細分，則圖7所示過程可基本以相同的方式進行。
通過使用包含預先計算類別標識的LUT來替換LUT 604(或LUT 704)，可進一步減小LUT的總體大小。圖8是繪示根據本發明實施例的使用查閱資料表的過程的概念圖，所述查閱資料表只包含可用於確定圖像輸入分塊屬於類別c的預先計算的類別標識(ID)。在圖8中，可在802處將4×4圖像輸入分塊801二值化及向量化以形成鍵值803，從而得到預先計算的類別ID表804。表804的每一列可包含圖像輸入子分塊的預先計算的類別ID。在圖8所示實例中，可在802處將圖像輸入分塊801二值化及向量化以形成示例性鍵值(0,0,...,0,1,0)。這種示例性鍵值的預測類別ID可在806處示出。對於圖8所示實例而言，LUT 804中的 項的總數目可為216列×1行=65,536。
圖9是繪示根據本發明實施例的使用滑動視窗對大的圖像輸入分塊進行細分並使用包含預先計算的類別標識的LUT的過程的概念圖。在圖9中，可將8×8圖像輸入分塊901細分成64個4×4子分塊(圖中只繪示出子分塊901a到901d)。可在902處將這些子分塊各自二值化及向量化以分別形成單獨的鍵值903，從而得到預先計算的類別ID表904。可使用905處的64輸入投票過程來產生8×8圖像輸入分塊901的機率長條圖906。對於圖9所示實例而言，LUT 904中的項的總數目可為216列×1行=65,536。
圖10是繪示根據本發明實施例的基於圖像輸入分塊與參考光圖案分塊匹配的機率來確定深度資訊的過程的流程圖。在1001處，可開始所述過程。在1002處，可接收具有所投射的參考光圖案的圖像。在一個實施例中，所投射的參考光圖案可為參考光圖案104。在1003處，可將所接收的圖像劃分成分塊，且可將每一個分塊二值化。在1004處，可基於圖像輸入屬於參考光圖案分塊的特定類別c的機率來將每一個圖像分塊匹配到參考光圖案分塊。在一個實施例中，所述匹配可通過使用機率矩陣 M 形成代表輸入分塊是特定參考光圖案分塊的機率的長條圖 H 來進行，例如圖5所示過程。在另一個實施例中，所述匹配可通過使用LUT產生圖像輸入分塊屬於類別c的機率來進行。所述LUT可被實施為預先計算的關聯性得分表，其中LUT的每一列包含圖像輸入分塊屬於類別c的機率的長條圖的值，例如圖6所示過程。在再一個實施例中，確定圖像輸入分塊屬於類別c可涉及投票過程，例如圖7或圖9所示過程。在又一個實施例中，LUT可被實施為預 先計算的類別ID表，例如圖8或圖9所示。
在1005處，可確定每一個圖像分塊與進行匹配的參考光圖案分塊之間的不同。在1006處，可確定每一個圖像分塊的深度資訊。在1007處，可結束所述過程。
表1闡述了立體匹配方式與本文所揭露的匹配方式之間的一些定量比較。立體匹配方式的計算複雜度可由O(P*S)代表，其中P是分塊大小且S是搜索大小。可採用立體匹配方式的速度作為基線1X，且所需的儲存量可為2MB。
Figure 107130986-A0305-02-0023-16
與其他匹配方式相比，本文所揭露的匹配方式的計算可簡單得多且快得多。本文所揭露的匹配方式可使用的儲存量可明顯小於其他方式使用的儲存量(這取決於使用哪一種方式)。
所屬領域中的技術人員將認識到，可在各種各樣的應用中對本文所述創新概念進行修改及變化。因此，所主張主題的範圍不應僅限於以上所論述的任何具體示例性教示內容，而是由權利要求書來界定。
100:結構光系統
101:投影儀
102:相機
103:處理器件
104:參考光圖案
105:線
106:圖像
107:深度圖

Claims (9)

  1. 一種通過結構光系統來估測圖像中的深度的方法，所述方法包括：處理器件接收所述圖像，所述圖像是已在上面投射參考光圖案的場景的圖像，所述圖像包括所述參考光圖案的投影，且所述參考光圖案包括參考數目個子圖案；所述處理器件基於所述圖像的分塊對應於所述子圖案的機率來對所述分塊與所述子圖案進行匹配，所述分塊包括參考數目個畫素，所述機率包含在查閱資料表中，所述查閱資料表包括機率矩陣，其中對所述分塊與所述子圖案進行匹配更包括：所述處理器件將所述分塊中所包括的所述畫素二值化；所述處理器件由所述畫素形成向量；以及所述處理器件通過將所述畫素的所述向量乘以所述機率矩陣來形成長條圖，以確定所述分塊的類別，所述長條圖代表所述分塊是所述參考光圖案的特定子圖案的機率；以及所述處理器件基於所述分塊與所述子圖案之間的不同來確定所述分塊的深度的估測值。
  2. 如申請專利範圍第1項所述的方法，其中所述分塊中所包括的所述參考數目個所述畫素是16個畫素。
  3. 如申請專利範圍第1項所述的方法，其中所述機率矩陣是基於貝葉斯規則通過線性優化或通過神經網路來形成。
  4. 一種通過結構光系統來估測圖像中的深度的方法，其中所述方法包括： 由所述處理器件接收所述圖像，所述圖像是已在上面投射參考光圖案的場景的圖像，所述圖像包括所述參考光圖案的投影，且所述參考光圖案包括參考數目個子圖案；由所述處理器件將所述圖像的至少一個分塊二值化，所述分塊包括參考數目個畫素；基於經二值化的所述分塊對應於所述參考光圖案的一個子圖案的機率來由所述處理器件對經二值化的所述分塊與所述一個子圖案進行匹配，經二值化的所述分塊對應於所述一個子圖案的機率被包含在查閱資料表中，所述查閱資料表包括機率矩陣，對經二值化的所述分塊與所述一個子圖案進行匹配還可包括：所述處理器件由經二值化的所述分塊形成向量；以及所述處理器件通過將經二值化的所述分塊的所述向量乘以所述機率矩陣來形成長條圖，以確定所述分塊的類別，所述長條圖代表所述分塊是所述參考光圖案的特定子圖案的機率；以及基於所述至少一個分塊與所述一個子圖案之間的不同來由所述處理器件確定所述至少一個分塊的深度的估測值。
  5. 如申請專利範圍第4項所述的方法，其中所述機率矩陣是基於貝葉斯規則通過線性優化或通過神經網路來形成。
  6. 如申請專利範圍第4項所述的方法，其中對經二值化的所述分塊與所述一個子圖案進行匹配包括：使用經二值化的所述分塊來存取所述查閱資料表中的代表所述至少一個分塊對應於所述子圖案的機率的項。
  7. 如申請專利範圍第6項所述的方法，其中所述查閱資料表的每一個項代表所述至少一個分塊對應於所述子圖案中的每一個子圖案的機率中的每一個機率的關聯性得分。
  8. 如申請專利範圍第6項所述的方法，其中所述查閱資料表的每一個項代表所述子圖案中的每一個子圖案的類別標識。
  9. 一種通過結構光系統來估測圖像中的深度的方法，所述方法包括：由處理器件接收所述圖像，所述圖像是已在上面投射參考光圖案的場景的圖像，所述圖像包括所述參考光圖案的投影，且所述參考光圖案包括參考數目個特定子圖案；所述處理器件通過預定視窗來將所述圖像劃分成多個分塊，所述預定視窗滑過所述圖像來形成所述多個分塊的各單獨分塊，各所述分塊包括參考數目個畫素；由所述處理器件將所述多個分塊中的各所述分塊所包括的畫素二值化；所述處理器件使用各所述分塊的經二值化的所述畫素來存取查閱資料表中的項來取得所述分塊的子圖案標識；基於為所述多個分塊的各所述分塊取得的所述子圖案標識由所述處理器件使用投票過程來為所述圖像產生機率長條圖；以及基於所述分塊與一個子圖案之間的不同來由所述處理器件確定所述分塊的深度的估測值，所述一個子圖案選自於通過所述投票過程產生的所述機率長條圖。
TW107130986A 2017-12-12 2018-09-04 估測圖像中的深度的方法 TWI775935B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762597904P 2017-12-12 2017-12-12
US62/597,904 2017-12-12
US15/907,242 US10740913B2 (en) 2017-12-12 2018-02-27 Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US15/907,242 2018-02-27

Publications (2)

Publication Number Publication Date
TW201928877A TW201928877A (zh) 2019-07-16
TWI775935B true TWI775935B (zh) 2022-09-01

Family

ID=66697088

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107130986A TWI775935B (zh) 2017-12-12 2018-09-04 估測圖像中的深度的方法

Country Status (5)

Country Link
US (3) US10740913B2 (zh)
JP (1) JP7257781B2 (zh)
KR (1) KR102521052B1 (zh)
CN (1) CN109919992B (zh)
TW (1) TWI775935B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020018703A1 (en) * 2018-07-17 2020-01-23 Futurewei Technologies, Inc. Prediction type signaling and temporal order signaling in point cloud coding (pcc)
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US10944991B2 (en) * 2018-10-03 2021-03-09 Samsung Electronics Co., Ltd. Prediction for matched patch index coding
EP3761220A1 (en) * 2019-07-05 2021-01-06 Everdrone AB Method for improving the interpretation of the surroundings of a vehicle
CN115797666A (zh) * 2021-09-09 2023-03-14 安霸国际有限合伙企业 用于使用卷积技术来加速散斑图像块匹配

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037044A1 (en) * 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
TWI604414B (zh) * 2016-05-31 2017-11-01 財團法人工業技術研究院 投影系統及其非平面自動校正方法與自動校正處理裝置

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615003A (en) 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
JPH08272970A (ja) * 1995-03-30 1996-10-18 Toppan Printing Co Ltd 画像認識装置
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5867250A (en) 1996-05-03 1999-02-02 Baron; William S. Apparatus and method for optically mapping front and back surface topographies of an object
WO1999058930A1 (en) 1998-05-14 1999-11-18 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6891627B1 (en) 2000-09-20 2005-05-10 Kla-Tencor Technologies Corp. Methods and systems for determining a critical dimension and overlay of a specimen
JP4213527B2 (ja) * 2003-06-25 2009-01-21 株式会社日立製作所 立体形状計測装置
JP2006098252A (ja) 2004-09-30 2006-04-13 Brother Ind Ltd ３次元情報取得方法
KR100648656B1 (ko) * 2004-12-14 2006-11-24 삼성전자주식회사 오차확산 처리방법 및 그 처리장치
EP1875162B1 (en) 2005-04-06 2014-06-11 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US7448009B2 (en) 2006-01-03 2008-11-04 Texas Instruments Incorporated Method of leakage optimization in integrated circuit design
US9122946B2 (en) 2006-01-24 2015-09-01 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
JP2010508553A (ja) 2006-10-31 2010-03-18 オーワイ モディネス エルティディ． 発光装置のための光取り出し構造
SG176440A1 (en) 2006-11-21 2011-12-29 Mantisvision Ltd 3d geometric modeling and 3d video content creation
US7930674B2 (en) 2007-03-29 2011-04-19 Agere Systems Inc. Modifying integrated circuit designs to achieve multiple operating frequency targets
US7496867B2 (en) 2007-04-02 2009-02-24 Lsi Corporation Cell library management for power optimization
US7849422B2 (en) 2007-06-20 2010-12-07 Lsi Corporation Efficient cell swapping system for leakage power reduction in a multi-threshold voltage process
US8646689B2 (en) 2007-12-28 2014-02-11 Cognex Corporation Deformable light pattern for machine vision system
EP2362963A2 (en) 2008-10-06 2011-09-07 Mantisvision Ltd. Method and system for providing three-dimensional and range inter-planar estimation
WO2011013373A1 (en) 2009-07-29 2011-02-03 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
EP2501288B1 (en) 2009-11-19 2016-12-21 Modulated Imaging Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
KR101832960B1 (ko) 2011-09-09 2018-02-28 엘지전자 주식회사 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
EP2823252A1 (en) 2012-03-09 2015-01-14 Galil Soft Ltd System and method for non-contact measurement of 3d geometry
JP2014021017A (ja) * 2012-07-20 2014-02-03 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9599558B2 (en) 2012-08-07 2017-03-21 Carl Zeiss Industrielle Messtechnik Gmbh Measuring device for measuring a measurement object and related method
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
CN105580052A (zh) 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
US9344619B2 (en) 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
CN105659106B (zh) 2013-10-23 2018-12-28 脸谱公司 使用动态结构光的三维深度映射
CN103824318B (zh) * 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
WO2015151098A2 (en) 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
JP6600348B2 (ja) 2014-07-08 2019-10-30 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 構造化光イメージング用の光パターンを調整するための方法およびシステム
JP2016024052A (ja) * 2014-07-18 2016-02-08 国立大学法人 鹿児島大学 ３次元計測システム、３次元計測方法及びプログラム
WO2016087915A2 (en) 2014-12-05 2016-06-09 Mantisvision Ltd. Markers in 3d data capture
CN104457607A (zh) 2014-12-10 2015-03-25 东北大学 一种面向深度测量的沙漏码结构光的编解码方法
US9712806B2 (en) 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
KR102330250B1 (ko) * 2015-01-22 2021-11-23 삼성전자주식회사 디스플레이 장치, 제어 장치 및 그 동작 방법
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
CN108271407B (zh) * 2015-06-09 2020-07-31 三菱电机株式会社 图像生成装置、图像生成方法以及图案光生成装置
JP6656611B2 (ja) * 2015-07-24 2020-03-04 公立大学法人広島市立大学 ３次元形状計測装置、診断システム及び３次元形状計測方法
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
JP6480902B2 (ja) 2016-10-06 2019-03-13 ファナック株式会社 投影パターン作成装置および３次元計測装置
US10108069B2 (en) 2017-01-24 2018-10-23 The Boeing Company Electromagnetic effect resistant spatial light modulator
CN108846841A (zh) 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037044A1 (en) * 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
TWI604414B (zh) * 2016-05-31 2017-11-01 財團法人工業技術研究院 投影系統及其非平面自動校正方法與自動校正處理裝置

Also Published As

Publication number Publication date
JP7257781B2 (ja) 2023-04-14
US10740913B2 (en) 2020-08-11
KR20190070242A (ko) 2019-06-20
US12095972B2 (en) 2024-09-17
JP2019105634A (ja) 2019-06-27
US20200242789A1 (en) 2020-07-30
CN109919992B (zh) 2024-06-04
KR102521052B1 (ko) 2023-04-12
US20190180459A1 (en) 2019-06-13
TW201928877A (zh) 2019-07-16
US20230116406A1 (en) 2023-04-13
US11551367B2 (en) 2023-01-10
CN109919992A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
TWI775935B (zh) 估測圖像中的深度的方法
CN109829391B (zh) 基于级联卷积网络和对抗学习的显著性目标检测方法
US20140192158A1 (en) Stereo Image Matching
US20180012105A1 (en) Localization and mapping method
CN111291768B (zh) 图像特征匹配方法及装置、设备、存储介质
Chen et al. A fast trilateral filter-based adaptive support weight method for stereo matching
US20150213331A1 (en) Emotion modification for image and video content
CN112836756A (zh) 图像识别模型训练方法、系统和计算机设备
CN106683043B (zh) 一种多通道光学探测系统的并行图像拼接方法、装置
Liu et al. Ground control point automatic extraction for spaceborne georeferencing based on FPGA
CN117333518A (zh) 激光扫描图像匹配方法、系统及计算机设备
US11525671B2 (en) High contrast structured light patterns for QIS sensors
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
Luo et al. Stereo matching and occlusion detection with integrity and illusion sensitivity
CN112419407B (zh) 基于云团边缘识别的云团位移矢量计算方法及装置
CN110807483B (zh) 基于fpga的模板匹配实现装置及方法
Fan et al. A multi-view super-resolution method with joint-optimization of image fusion and blind deblurring
Chang et al. Pixel-based adaptive normalized cross correlation for illumination invariant stereo matching
CN112541899A (zh) 证件的残缺检测方法、装置、电子设备及计算机存储介质
Jie et al. Psp-mvsnet: deep patch-based similarity perceptual for multi-view stereo depth inference
CN116824183B (zh) 基于多重特征描述符的图像特征匹配方法和装置
CN117557807B (zh) 基于加权滤波增强的卷积神经网络图像预测方法
CN111680722B (zh) 内容识别方法、装置、设备及可读存储介质
Shen et al. BFAST_CSP_KAZE computing model for effective image registration
Geng et al. Improved Stereo Matching based on Convolutional Neural Network

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent