TWI519128B - 利用多解析度程序產生堅固深度圖的系統與方法 - Google Patents
利用多解析度程序產生堅固深度圖的系統與方法 Download PDFInfo
- Publication number
- TWI519128B TWI519128B TW101144300A TW101144300A TWI519128B TW I519128 B TWI519128 B TW I519128B TW 101144300 A TW101144300 A TW 101144300A TW 101144300 A TW101144300 A TW 101144300A TW I519128 B TWI519128 B TW I519128B
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- depth map
- map
- scale
- level
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 65
- 230000006835 compression Effects 0.000 claims description 19
- 238000007906 compression Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本申請案係有關於並主張優先權於，美國臨時專利申請案No.61/565,839，名稱為“利用多解析度方法產生堅固深度圖的系統及方法”申請日：12/1/2011。上述申請案係共同轉讓，並列入本案之參考文件。
本發明係有關於分析影像資料之一般技術，及更特別地係關於利用場景偵測於深度估計程序之系統及方法。
對現今電子裝置的設計者及製造者而言，應用有效的方法以分析影像資料極具意義。然而，有效地分析電子裝置之影像資料對系統設計者將產生極大的挑戰。例如，增強需求以增加設備的功能性及執行能力，則需要更大的系統處理能力，並需要額外的硬體資源。由於增加製造成本及操作上的困難度，程序上的或硬體的需求增加同時造成相對的經濟損失。
再則，增強的設備功能以執行眾多先進的作業程序，可對系統使用者提供額外的好處，但是同時可能增加對眾多裝置部件控制及管理的需求。例如，增強的電子裝置以有效地分析數位影像資料，因為其中包含大量及高複雜度的數位資料，可於高效率的應用場合獲得的效益。
由於系統資源及快速增加的資料數量需求不斷增長，顯然研發新的技術以分析影像資料，對相關的電子技術而言是問題的重點。因此，基於所有上述理由，研發高效能的系統以分析影像資料，對目前電子裝置的設計者、製造者，及使用者而言，仍然是極具意義的辦法。
根據本發明，係揭示一利用多解析度程序產生堅固深度圖的系統及方法。於一實施例中，深度估計器藉由利用任何有效的技術起初產生等級2深度圖。例如，等級2深度圖可應用壓縮比以產生相對的精細刻度解析度。藉由利用任何有效的技術，深度估計器計算對應於等級2深度圖各別深度值之堅固可信度值。然後，根據各別的可信度值，深度估計器將深度值分類為高可信度深度值，中可信度深度值，及低可信度深度值。
藉由利用任何有效的技術，深度估計器同時產生等級1深度圖及等級0深度圖。例如，等級1深度圖可應用產生中級解析度的壓縮比，及等級0深度圖可應用產生相對的粗級解析度的壓縮比。藉由利用任何有效的技術，深度估計器由等級1深度圖及等級0深度圖計算對應於各別深度值之堅固可信度值。然後，根據預定的可靠度標準，由等級0深度圖及等級1深度圖，深度估計器利用經計算的可信度值，以確認任何可靠之深度值候選者。
接著藉由利用任何有效的技術，由等級1深度圖及等
級0深度圖，深度估計器以區塊執行縮放程序以匹配等級2深度圖之區塊大小。同時，藉由利用任何有效的技術，深度估計器執行幅度縮放程序，由等級1深度圖及等級0深度圖，以調整深度值以匹配等級2深度圖之深度值範圍。
然後，由等級1深度圖或等級0深度圖，深度估計器決定是否有任何額外的可靠深度值候選者存在。深度估計器標示出任何不可靠的深度值為淘汰者，係不適合於分佈最後最佳深度圖。根據任何有效的技術，深度估計器同時利用任何可靠深度值候選者以更新最佳深度值以產生後最佳深度圖。例如，深度值具有最佳可信度測量值可被挑選出來，或可利用加權或未加權平均方法以結合許多不同的可靠深度值。
由不同等級的深度圖，深度估計器有效地融合最佳深度值以產生最後最佳深度圖。最後，深度估計器可產生根據對應於最後最佳深度圖之最佳深度值之可信度圖可信度值。然後終止程序。因此，利用多解析度程序，本發明提供改善的系統及方法以產生深度圖。
本發明係有關於影像資料分析技術的改善方法。以下之說明係使任何熟習此項技藝之人士可利用本發明，並為申請案及其相關要件。任何熟習此項技藝之人士，當可對較佳實施例作各種之更動與修飾，及大原則適用於其他實
施例。然本發明較佳實施例並非用以限制本發明，因此本發明之保護範圍當視後附特點與原理之最寬範圍所界定者為準。
本發明包含一種利用多解析度程序產生堅固深度圖的系統及方法，包括深度估計器，以建立一深度圖金字塔結構，深度圖金字塔結構包括各個深度圖等級具有不同的解析度特徵之複數個深度圖等級，於一實施例中，深度圖等級包括精細刻度深度圖，中刻度深度圖粗刻度深度圖。深度估計器利用精細刻度可信特性估計精細刻度深度圖之深度值，及確認中刻度深度圖及粗刻度深度圖之深度值；深度估計器利用粗級可信特性，然後融合來自不同的深度圖等級之最佳深度值成為最佳深度圖。
關於第1圖，係說明根據本發明之相機裝置110實施例。於第1圖實施例，相機裝置110包括但不限定，捕捉子系統114，系統匯流排116，及控制模組118。於第1圖實施例，捕捉子系統114光學耦合於攝影目標112，並同時經由系統匯流排116與控制模組118電性耦合。
於另一實施例中，相機裝置110必然包括眾多其它該些有別於第1圖實施例說明之部件。再則，於某些實施例，本發明可以有別於第1圖之相機裝置110之任何適合類型的電子裝置加以實現。例如，相機裝置110可選擇應用攝影裝置，電腦設備，或消費性電子產品。
於第1圖實施例，當相機110之捕捉子系統114自動聚焦在目標112，相機使用者則需要相機裝置110捕捉對
應於目標112之影像資料。然後，較佳地，控制模組118通知捕捉子系統114經由系統匯流排116捕捉目標112之影像資料。然後捕捉之影像資料，經由系統匯流排116，被傳送至控制模組118，控制模組118並相應地執行眾多具有影像資料之程序及功能。系統匯流排116同時雙向傳送眾多訊息及控制信號於捕捉子系統114及控制模組118之間。
關於第2圖，根據本發明，係說明第1圖實施例捕捉子系統114之方塊圖。於第2圖實施例，捕捉子系統114較佳地包含但不限定，快門218，透鏡220，影像感應器224，紅色，綠色，及藍色(R/G/B)放大器228，類比/數位(A/D)轉換器230，及界面232。於另一實施例中，捕捉子系統114必然包括眾多其它該些有別於第2圖實施例說明之部件。
於第2圖實施例，捕捉子系統114，經由反射光以光學路徑236入射影像感應器224，捕捉對應於目標112之影像資料。影像感應器224，較佳地包括感光耦合元件(CCD)，可相應地產生一組對應於目標112之影像資料。影像資料隨後被傳送通過放大器228，類比/數位轉換器230，及界面232。從界面232，影像資料通過系統匯流排116到控制模組118以適合於處理及儲存。其它類型之影像捕捉感應器，例如互補金屬氧化物半導體(CMOS)或線性陣列同時一併於本發明提出以捕捉影像資料。相機110之利用性及功能性進一步說明於以下第3至9圖。
關於第3圖，根據本發明，係說明第1圖實施例之控制模組118方塊圖。於第3圖實施例，控制模組118較佳地包括但不限定，取景器308，中央處理單元(CPU)344，記憶體346，及一個或更多的輸入/輸出界面(s)(I/O)348。取景器308，中央處理單元344，記憶體346，及I/O 348較佳地每一個經由共用系統匯流排116耦合並通訊，並同時與捕捉子系統114通訊。於另一實施例中，控制模組118包括眾多其它該些有別於第3圖實施例說明之部件。
於第3圖實施例，中央處理單元344可包括任何適合的微程序器裝置。另一個選項，中央處理單元344可利用任何其它適合的技術。例如，中央處理單元344包括某些電子裝置-特殊積體電路(ASICs)或其它適合的電子裝置。記憶體346可為一個或更適合的儲存裝置，包括但不限定，唯讀記憶體，讀寫記憶體，及眾多類型的非揮發性記憶體，例如軟碟裝置，硬碟裝置，或快閃記憶體。I/O 348提供一個或更有效的界面以執行雙向通訊於相機裝置110及任何外部實體之間，外部實體包括系統使用者或其它的電子裝置。I/O 348可利用任何適合的輸入及/或輸出裝置。控制模組118之執行程序及利用性進一步說明於以下第4至9圖。
關於第4圖，根據本發明，係說明第3圖記憶體346實施例之方塊圖。於第4圖實施例，記憶體346包括但不限定，相機應用裝置412，作業系統414，深度估計器416，影像資料418，估計資料420，深度值422，及可信
度值424。於另一實施例中，記憶體346包括眾多其它該些有別於第4圖實施例說明之部件。
於第4圖實施例，相機應用裝置412包括程式指令並較佳地由中央處理單元344(第3圖)執行以處理相機裝置110之眾多功能及執行程序。相機應用裝置412的特殊特性及功能性較佳地，可依例如對應的相機裝置110類型及特別使用性因素變化。
於第4圖實施例，作業系統414較佳地控制及統籌相機裝置110之低等級功能。根據本發明，深度估計器416控制及統籌深度估計程序以於相機110中產生深度圖。於第4圖實施例，影像資料418包括一個或更多由相機裝置110捕捉的攝影目標影像112。估計資料420包括任何類型之資訊或資料以執行深度圖產生程序。
於第4圖實施例，深度值422代表於相機110及眾多攝影目標或場景部分間之距離。深度值422用以分佈深度圖，係於以下第5A圖中說明。可信度值424代表各別的深度值422正確的相對可能性。更多關於深度估計器416之執行程序係進一步說明於以下第5至9圖。
關於第5A圖，根據本發明，係說明簡要深度圖522實施例之圖示。第5A圖深度圖522係用以說明，並做為另一實施例，深度圖包括眾多其它該些有別於第5A圖實施例說明之部件及結構。例如，因簡化要求，第5A圖深度圖522只具有4個深度值。然而，深度圖具有任何數目之深度值於本發明一併被提出。
於第5A圖實施例，深度圖522對應一組特別的影像資料，其中各別深度值代表於相機110(第1圖)及眾多攝影目標或場景部分間之距離。於某些實施例，初始深度圖之初始深度值可以任何有效的方法直接由粗糙的影像資料確認。於第5A圖實施例，深度圖522包括深度值A526(a)，深度值B526(b)，深度值C526(c)，及深度值D526(d)。關於深度圖之產生細節係進一步說明於以下第6至9圖。
關於第5B圖，根據本發明，係說明捕捉散焦模糊影像518之實施例圖示。第5B圖實施例係用以說明，並為另一實施例，本發明可利用眾多其它的結構及元件以捕捉散焦模糊影像518。
於第5B圖實施例，相機110(請參照第2圖)之感應器224可捕捉攝影目標或場景112之散焦模糊影像518以執行深度估計程序。散焦模糊影像518可由調整透鏡220之位置而產生，該位置有別於，依目標112、透鏡220、及感應器224之相對位置而定之正確焦點對準的透鏡位置。
於一實施例，兩個不同的散焦模糊影像518可比較以獲得深度估計值。模糊差異可以兩個模糊影像518計算，例如，兩個現場深度的差異。已知匹配曲線及模糊差異之斜率可用以確認已知目標112之深度。
關於第5C圖，係舉例說明根據本發明實施例之匹配曲線714。第5C圖實施例係用以說明，並為另一實施例，本發明可利用具有該些有別於第5C圖實施例說明之
結構及參數之匹配曲線。
於某些實施例，模糊影像1及更散焦的模糊影像2被捕捉，清晰影像1可以與高斯核(例如，3 x 3高斯矩陣具有小的變異)捲積以產生捲積影像1。捲積影像1與模糊影像2比較。本程序重複直到兩個模糊影像匹配。然後迭代數目可以現場深度(或一現場深度(DOF，depth-of-field)之影像數目增加量)繪製成圖示以產生模糊匹配曲線，模糊匹配曲線可用以估計由任何焦點未對準位置到焦點對準位置之距離。關於上述深度估計技術係進一步說明於美國專利No.8,045,046 to Li et al.，該美國專利於此一併列入本案參考文件。
關於第6圖，根據本發明實施例，係說明多解析度金字塔結構614之圖示。第6圖多解析度金字塔614係用以說明，並為另一實施例，多解析度金字塔614可包括眾多其它該些有別於第6圖實施例說明之部件及結構。
於第6圖實施例，多解析度金字塔614包括等級2深度圖618，等級1深度圖622，及等級0深度圖628，其中每一個具有不同的解析度等級。於其它的實施例中，任何其它有效的解析度等級數目或結構可做類似應用。於第6圖實施例，所有的解析度等級618，622，及628係由同一筆影像資料壓縮，但每一個等級具有不同的壓縮比。例如，於某些實施例，等級0可應用壓縮比1/16，等級1可應用壓縮比1/8，及等級2可應用壓縮比1/4。壓縮比可以任何有效的方法達成。例如，次取樣壓縮技術可被利用。
於第6圖實施例，每一個等級618，622，及628包括一個或更多的區塊。例如，等級0具有單一區塊632，等級1具有4個區塊排列於2 x 2矩陣中，及等級2具有16個區塊排列於4 x 4矩陣中。每一個區塊代表預定數目的畫素。例如，某些實施例，每一個區塊代表16 x 16深度值。由於不同的壓縮比，3個不同的等級628，622，及618中每一個代表來自初始影像資料之相同區域。例如，等級0單一區塊632對應於等級1區塊636，640，644，及648。類似地，每一個等級1區塊對應來自等級2的4個區塊。例如，等級1區塊636對應來自等級2的區塊652，656，660，及664。
於第6圖實施例，所有的3個等級之每一個區塊具有合併的深度值。因此，等級0具有1個深度值，等級1具有4個深度值，及等級2具有16個深度值。於某另一實施例，3個等級可包括數量與說明於第6圖實施例之特別結構不同之深度值區塊。本發明有效地以堅固可信度測量技術估計眾多深度值，然後融合最佳深度值以產生最後之深度圖。關於多解析度金字塔利用性之細節進一步說明於以下第7至9圖。
關於第7A-7C圖，根據本發明實施例，係說明利用多解析度程序產生深度圖之方法步驟流程圖。第7圖實施例係用以說明，並為另一實施例，本發明利用眾多該些有別於第7圖實施例說明之步驟及流程。
於第7A圖實施例，於步驟714中，深度估計器
416(第4圖)或其它適合的實體藉由利用任何有效的技術產生等級2深度圖618。例如，等級2深度圖618可應用產生相對精細刻度解析度之壓縮比。於步驟718中，藉由利用任何有效的技術，深度估計器416可因此計算，對應於來自等級2深度圖618各別的深度值之堅固可信度值。於步驟722中，根據各別的可信度值，深度估計器416將深度值分類為高可信度深度值734，中可信度深度值730，及低可信度深度值726。第7A圖程序經由連結字母“A”及“B”隨後進行第7C圖程序。
於第7B圖實施例，於步驟738中，藉由利用任何有效的技術，深度估計器416或其它適合的實體產生等級1深度圖622及等級0深度圖628。例如，等級1深度圖622可應用產生中級解析度之壓縮比，及等級0深度圖628可應用產生相對粗級解析度的壓縮比。
於步驟742中，藉由利用任何有效的技術，深度估計器416隨後由等級1深度圖622及等級0深度圖628計算對應於各別深度值的堅固可信度值。於步驟750中，根據預定的可靠度標準，深度估計器416利用經計算的可信度值由等級0深度圖626及等級1深度圖622確認任何可靠深度值候選者。
於步驟750中，深度估計器416，藉由利用任何有效的技術，對來自等級1深度圖622及等級0深度圖628之區塊執行縮放程序，以匹配等級2深度圖618之區塊大小。例如，眾多空間插補技術諸如雙三次(bicubic)或樣條
(spline)插值方法可被利用。於某些實施例，影像邊緣保留摺積插補演算法可用以進行縮放，於mask-based 2X插補核與濾波器矩陣一起應用的場合。用於影像邊緣保留演算法實施例公式如下所示。
於步驟754中，藉由利用任何有效的技術，深度估計器416執行幅度縮放程序，以調整等級1深度圖622及等級0深度圖628深度值，以匹配等級2深度圖618之深度值範圍。例如，縮放程序可應用定理方法或資料驅動方法。經由連結字母“A”，第7B圖程序隨後進行第7C圖之步驟758。
於步驟758中，深度估計器416由等級1深度圖622或等級0深度圖628確認是否有任何額外的可靠深度值候選者存在。於步驟762中，深度估計器416標示出任何不可靠深度值為淘汰者而不適合分佈最後最佳深度圖。於步驟766中，根據任何有效的技術，深度估計器416利用任何可靠深度值候選者以更新最後最佳深度圖之最佳深度值。例如，具有最佳可信度測量值之深度值被選用，或加權或未加權平均方法可用以結合許多不同的可靠深度值。
此時，深度估計器416同時更新可信度值之可信度圖。
於步驟770中，由不同等級的深度圖618，622，及628，深度估計器416有效地融合最佳深度值以產生最後最佳深度圖。最後，於步驟774中，根據對應於最後最佳深度圖之最佳深度值之可信度值，深度估計器416產生可信度圖。第7圖程序隨後終止。本發明因而提供改善的系統及方法以利用多解析度程序產生深度圖。
關於第8A圖，根據本發明實施例，係為說明精細刻度可信特性之圖示。第8A圖實施例係用以說明，並為另一實施例，本發明應用有別於該些說明於第8A圖實施例之可信特性。
於第8A圖實施例，可信特性812包括相機模組/透鏡位置特性818，相機模組/透鏡位置特性818可包括特別相機110(第1圖)之任何操作特性或限制。例如，相機模組/透鏡位置特性818包括但不限定，光學特性，透鏡位置，縮放位置，相機校正等。於一實施例，相機模組/透鏡位置特性818可包括應用於已知相機110之縮放範圍。
於第8A圖實施例，可信特性812進一步包括實作特徵822，實作特徵822包括用以產生深度圖之任何特別演算法之參數或特性。例如，實作特徵822包括但不限定，應用的區塊大小及匹配核。於第8A圖實施例，深度估計器416可以加權或未加權方式選擇性結合可信特性812產可信度值，可信度值代表，例如等級2深度圖618(第6圖)之精細刻度深度圖對應的深度值精準的可能性。
關於第8B圖，根據本發明實施例，係說明粗級可信特性814之圖示。第8B圖實施例係用以說明，並為另一實施例，本發明可利用有別於該些說明於第8B圖實施例之可信特性。
第8B圖實施例，粗級可信特性814包括相機模組/透鏡位置特性818及實作特徵822，相機模組/透鏡位置特性818及實作特徵822類似該些說明於以上第8A圖中命名一致的特性。再則，粗級可信特性814包括統計特性826及測量特性830。於第8B圖實施例，測量特性830可包括根據適合測量資料之任何特性。例如，測量特性830包括但不限定，移動向量測量值及畫素強度測量值。
於第8B圖實施例，統計特性826包括由適合的統計分析程序獲得的任何有效的特性。例如，統計特性826包括但不限定優化比統計數據或絕對誤差和收斂技術，優化比統計數據或絕對誤差和收斂技術進一步說明於以下第8C圖。於第8B圖實施例，深度估計器416可以加權或未加權方式選擇性結合可信特性814以產生可信度值，可信度值代表，例如等級0深度圖626及等級1深度圖622(請參照第6圖)等相對粗刻度深度圖對應的深度值精準的可能性。
關於第8C圖，根據本發明實施例，係舉例說明絕對誤差和收斂技術。第8C圖實施例係用以說明，並為另一實施例，本發明可以有別於某些說明於第8C圖實施例之結構及參數以執行絕對誤差和收斂技術。
第8C圖係關於，利用說明於上述第5B至5C圖之模糊影像，由深度估計程序獲得的統計資訊。於第8C圖，水平軸為成對的散焦模糊影像SAD值，及垂直軸為深度估計程序之迭代收斂速度(請參照第5B至5C圖)。第8C圖進一步包括，可以任何有效的方法獲得的分類器曲線834，以表示哪些深度值可靠及哪些不可靠。於某些實施例，分類器曲線834可根據以下公式獲得。
於某些實施例，分類器834可根據觀察深度值資料之經驗統計數據產生。於第8C圖實施例，深度值高於分類器834被認定為可靠，當深度值低於分類器834被認定為不可靠。
關於第9圖，根據本發明，係說明簡要可信度圖922實施例之圖示。第9圖可信度圖922係用以說明，並為另一實施例，可信度圖可包括眾多其它有別於該些說明於第9圖實施例的部件及結構。例如，因簡化要求，第9圖可信度圖922只具有4個可信度值。第9圖可信度圖922之4個可信度值可對應於上述第5A圖深度圖522之4個深度值。然而，具有任何數目可信度值的可信度圖於本發明
中被一併提出。
於第9圖實施例，可信度圖922可以任何有效的方法產生。例如，可信度圖922可經由以上說明之第7C圖之步驟774產生。於第9圖實施例，可信度圖922包括可信度值A926(a)，可信度值B926(b)，可信度值C926(c)，及可信度值D926(d)。於某些實施例，可信度圖922可提供給眾多雜訊消減模組，可選擇雜訊消減模組以使，例如雜訊之深度值具有低於預定臨界值的可信度值。
本發明所揭露之某些實施例如上。任何熟習此項技藝之人士將可清楚其他實施例。例如，本發明當可利用有別於上述之結構及技術。再則，本發明當可利用以與有別於上述之系統結合。因此，根據上述實施例所做的該些及其他的更動皆視後附之申請專利範圍所界定者為準。
110‧‧‧相機裝置
112‧‧‧攝影目標
114‧‧‧捕捉子系統
116‧‧‧系統匯流排
118‧‧‧控制模組
218‧‧‧快門
220‧‧‧透鏡
224‧‧‧影像感應器
228‧‧‧放大器
230‧‧‧類比/數位(A/D)轉換器
232‧‧‧界面
236‧‧‧光學路徑
308‧‧‧取景器
344‧‧‧中央處理單元(CPU)
346‧‧‧記憶體
348‧‧‧輸入/輸出界面(s)(I/O)
412‧‧‧相機應用裝置
414‧‧‧作業系統
416‧‧‧深度估計器
418‧‧‧影像資料
420‧‧‧估計資料
422‧‧‧深度值
424‧‧‧可信度值
518‧‧‧散焦模糊影像
522‧‧‧深度圖
526(a)‧‧‧深度值A
526(b)‧‧‧深度值B
526(c)‧‧‧深度值C
526(d)‧‧‧深度值D
614‧‧‧多解析度金字塔
618‧‧‧深度圖
622‧‧‧深度圖
628‧‧‧深度圖
632‧‧‧區塊
636‧‧‧區塊
640‧‧‧區塊
644‧‧‧區塊
648‧‧‧區塊
652‧‧‧區塊
656‧‧‧區塊
660‧‧‧區塊
664‧‧‧區塊
714‧‧‧匹配曲線
726‧‧‧低可信度深度值
730‧‧‧中可信度深度值
734‧‧‧高可信度深度值
812‧‧‧可信特性
814‧‧‧粗級可信特性
818‧‧‧相機模組/透鏡位置特性
822‧‧‧實作特徵
826‧‧‧統計特性
830‧‧‧測量特性
922‧‧‧可信度圖
926(a)‧‧‧可信度值A
926(b)‧‧‧可信度值B
926(c)‧‧‧可信度值C
926(d)‧‧‧可信度值D
第1圖係根據本發明之相機裝置實施例方塊圖；第2圖係根據本發明第1圖之捕捉子系統實施例方塊圖；第3圖係根據本發明第1圖控制模組實施例方塊圖；第4圖係根據本發明第3圖記憶體實施例方塊圖；第5A圖係根據本發明之簡要深度圖實施例圖示；第5B圖係捕捉散焦模糊影像實施例圖示；第5C圖係匹配曲線實施例；第6圖係根據本發明實施例之多解析度金字塔結構
圖；第7A-7C圖係利用多解析度程序，根據本發明實施例之方法步驟流程圖以產生深度圖之圖示；第8A圖係根據本發明實施例之精細刻度可信特性圖；第8B圖係根據本發明實施例之粗級可信特性圖；第8C圖係說明根據本發明實施例之絕對誤差和收斂技術；及第9圖係根據本發明實施例之簡要可信度圖。
346‧‧‧記憶體
412‧‧‧相機應用裝置
414‧‧‧作業系統
416‧‧‧深度估計器
418‧‧‧影像資料
420‧‧‧估計資料
422‧‧‧深度值
424‧‧‧可信度值
Claims (18)
- 一種產生堅固深度圖之系統，包含：深度圖結構，包括複數個深度圖等級，各個具有不同的解析度特徵；及深度估計器，由該深度圖等級估計深度值，以確認分佈最佳之深度圖的最佳深度值，其中該深度圖等級包括精細刻度深度圖、中刻度深度圖、及粗刻度深度圖及其中該深度估計器係利用精細刻度可信特性由該精細刻度深度圖估計該深度值。
- 如專利申請範圍第1項之系統，其中該精細刻度可信特性包括相機模組/透鏡位置特性及實作特徵，該相機模組/透鏡位置特性包括光學特徵、透鏡位置、變焦位置、及相機校正參數，該實作特徵包括區塊尺寸及匹配核類型。
- 如專利申請範圍第項2之系統，其中該深度估計器利用該相機模組/透鏡位置特性、該實作特徵、及粗級可信特性以由該中刻度深度圖及該粗刻度深度圖估計該深度值。
- 如專利申請範圍第項3之系統，其中該粗級可信特性包括統計特性及測量特性，該測量特性包括移動向量測量及畫素強度測量，該統計特性包括優化比統計數據及絕對誤差和收斂技術。
- 如專利申請範圍第項4之系統，其中該絕對誤差和 收斂技術利用分類器曲線以表示哪些該深度值為可靠及哪些為不可靠，該分類器曲線係根據觀察深度值資料之經驗統計加以產生。
- 如專利申請範圍第1項之系統，其中該深度估計器係藉由施加第一壓縮比於初始影像資料產生該精細刻度深度圖。
- 如專利申請範圍第項6之系統，其中該第一壓縮比係1/4，該精細刻度深度圖具有一4X4區塊結構。
- 如專利申請範圍第項6之系統，其中該深度估計器係以選定之精細刻度可信特性估計該精細刻度深度圖。
- 如專利申請範圍第8項之系統，其中該深度估計器係將來自該精細刻度深度圖的深度值分類為低可信度深度值，中可信度深度值，及高可信度深度值之一。
- 如專利申請範圍第9項之系統，其中該深度估計器藉由施加第二壓縮比於該初始影像資料產生該中刻度深度圖，該深度估計器也藉由施加第三壓縮比於該初始影像資料產生該粗刻度深度圖。
- 如專利申請範圍第10項之系統，其中該第二壓縮比為1/8，該中刻度深度圖具有一2X2區塊結構，該第三壓縮比為1/16，該粗刻度深度圖具有一單一區塊結構。
- 如專利申請範圍第10項之系統，其中該深度估計器係以選定之粗級可信特性估計該中等級深度圖及該粗等級深度圖，以決定任何可靠深度值候選者。
- 如專利申請範圍第12項之系統，其中該深度估計 器執行一空間尺寸重訂程序以使該粗刻度深度圖及該中刻度深度圖之區塊尺寸與該精細刻度深度圖匹配。
- 如專利申請範圍第13項之系統，其中該深度估計器執行一幅度縮放程序以使該粗刻度深度圖及該中刻度深度圖之深度值範圍與該精細刻度深度圖匹配。
- 如專利申請範圍第14項之系統，其中該深度估計器，藉由利用選擇技術及平均技術之一以該可靠深度值候選者執行一更新程序。
- 如專利申請範圍第15項之系統，其中該深度估計器由該精細刻度深度圖、該中刻度深度圖、及該粗刻度深度圖之該最佳深度值執行一融合程序，以建立該最佳深度圖。
- 如專利申請範圍第16項之系統，其中該深度估計器產生對應於該最佳深度圖之最後可信度深度圖。
- 一種產生堅固深度圖之方法，包含執行以下步驟：建立深度圖結構，該深度圖結構包括複數個深度圖等級，每一個深度圖等級具有不同的解析度特徵；及利用深度估計器以由該深度圖等級估計深度值，以確認以散佈最佳深度值圖之最佳深度值，其中該深度圖等級包括精細刻度深度圖、中刻度深度圖、及粗刻度深度圖及其中該深度估計器係利用精細刻度可信特性由該精細刻度深度圖估計該深度值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161565839P | 2011-12-01 | 2011-12-01 | |
| US13/430,915 US9161010B2 (en) | 2011-12-01 | 2012-03-27 | System and method for generating robust depth maps utilizing a multi-resolution procedure |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201338500A TW201338500A (zh) | 2013-09-16 |
| TWI519128B true TWI519128B (zh) | 2016-01-21 |
Family
ID=47500912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101144300A TWI519128B (zh) | 2011-12-01 | 2012-11-27 | 利用多解析度程序產生堅固深度圖的系統與方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9161010B2 (zh) |
| EP (1) | EP2600618A3 (zh) |
| JP (1) | JP5454821B2 (zh) |
| KR (1) | KR101364421B1 (zh) |
| CN (1) | CN103139469B (zh) |
| BR (1) | BR102012030034B1 (zh) |
| TW (1) | TWI519128B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013172190A (ja) * | 2012-02-17 | 2013-09-02 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP6140935B2 (ja) | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
| US9214025B2 (en) | 2012-11-30 | 2015-12-15 | Adobe Systems Incorporated | Depth estimation using normalized displacement of image pairs |
| US9240048B2 (en) * | 2012-11-30 | 2016-01-19 | Adobe Systems Incorporated | Depth estimation using three-dimensional epipolar data structures |
| JP6520712B2 (ja) | 2013-09-24 | 2019-05-29 | 味の素株式会社 | 糖アミノ酸およびその用途 |
| US9418432B2 (en) | 2014-03-28 | 2016-08-16 | Sony Corporation | Imaging system with depth estimation mechanism and method of operation thereof |
| KR101882931B1 (ko) | 2014-07-10 | 2018-07-30 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법 |
| US9292926B1 (en) * | 2014-11-24 | 2016-03-22 | Adobe Systems Incorporated | Depth map generation |
| CN105721852B (zh) * | 2014-11-24 | 2018-12-14 | 奥多比公司 | 用于确定深度细化图像捕获指令的方法、存储设备和系统 |
| US10404969B2 (en) * | 2015-01-20 | 2019-09-03 | Qualcomm Incorporated | Method and apparatus for multiple technology depth map acquisition and fusion |
| EP3391647B1 (en) * | 2015-12-18 | 2023-11-01 | BOE Technology Group Co., Ltd. | Method, apparatus, and non-transitory computer readable medium for generating depth maps |
| WO2018147059A1 (ja) * | 2017-02-07 | 2018-08-16 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US10620316B2 (en) * | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
| CN108810317B (zh) * | 2017-05-05 | 2021-03-09 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置、计算机可读存储介质、终端 |
| CN108234858B (zh) * | 2017-05-19 | 2020-05-01 | 深圳市商汤科技有限公司 | 图像虚化处理方法、装置、存储介质及电子设备 |
| WO2019061064A1 (zh) | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| CN110349196B (zh) * | 2018-04-03 | 2024-03-29 | 联发科技股份有限公司 | 深度融合的方法和装置 |
| CN109410261B (zh) * | 2018-10-08 | 2021-12-10 | 浙江科技学院 | 基于金字塔池化模块的单目图像深度估计方法 |
| CN112102386A (zh) * | 2019-01-22 | 2020-12-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN111524075B (zh) * | 2020-03-26 | 2023-08-22 | 北京迈格威科技有限公司 | 深度图像滤波方法、图像合成方法、装置、设备及介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176107A (ja) | 1992-12-04 | 1994-06-24 | Canon Inc | 距離画像処理方法及び装置 |
| JPH1051675A (ja) * | 1996-07-29 | 1998-02-20 | Ikegami Tsushinki Co Ltd | フォーカス制御装置およびその方法および記憶媒体 |
| JP4517449B2 (ja) | 2000-05-10 | 2010-08-04 | 株式会社豊田中央研究所 | 画像における相関演算方法 |
| US20030235338A1 (en) | 2002-06-19 | 2003-12-25 | Meetrix Corporation | Transmission of independently compressed video objects over internet protocol |
| JP4069468B2 (ja) * | 2004-01-15 | 2008-04-02 | 充夫 松田 | 映像形成装置 |
| JP4792929B2 (ja) * | 2005-11-14 | 2011-10-12 | 株式会社ニコン | デジタルカメラ |
| US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
| DE102006055641B4 (de) | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes |
| JP2008309637A (ja) * | 2007-06-14 | 2008-12-25 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
| IL191615A (en) * | 2007-10-23 | 2015-05-31 | Israel Aerospace Ind Ltd | A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points |
| US8233077B2 (en) * | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
| JP5062531B2 (ja) * | 2008-06-03 | 2012-10-31 | コニカミノルタホールディングス株式会社 | 画像処理装置および画像処理方法 |
| EP2184713A1 (en) | 2008-11-04 | 2010-05-12 | Koninklijke Philips Electronics N.V. | Method and device for generating a depth map |
| US8164617B2 (en) | 2009-03-25 | 2012-04-24 | Cisco Technology, Inc. | Combining views of a plurality of cameras for a video conferencing endpoint with a display wall |
| US8643701B2 (en) * | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
| US8027582B2 (en) * | 2009-12-21 | 2011-09-27 | Sony Corporation | Autofocus with confidence measure |
| US8045046B1 (en) | 2010-04-13 | 2011-10-25 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
| EP2595116A1 (en) | 2010-05-07 | 2013-05-22 | Telefónica, S.A. | Method for generating depth maps for converting moving 2d images to 3d |
-
2012
- 2012-03-27 US US13/430,915 patent/US9161010B2/en active Active
- 2012-11-22 CN CN201210480343.3A patent/CN103139469B/zh active Active
- 2012-11-26 BR BR102012030034-6A patent/BR102012030034B1/pt active IP Right Grant
- 2012-11-27 TW TW101144300A patent/TWI519128B/zh active
- 2012-11-28 KR KR1020120136272A patent/KR101364421B1/ko active IP Right Grant
- 2012-11-28 EP EP12194524.0A patent/EP2600618A3/en not_active Withdrawn
- 2012-11-30 JP JP2012276192A patent/JP5454821B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2600618A3 (en) | 2015-04-01 |
| US9161010B2 (en) | 2015-10-13 |
| US20130142415A1 (en) | 2013-06-06 |
| CN103139469B (zh) | 2016-05-18 |
| BR102012030034B1 (pt) | 2021-05-25 |
| JP2013117969A (ja) | 2013-06-13 |
| BR102012030034A2 (pt) | 2013-11-12 |
| CN103139469A (zh) | 2013-06-05 |
| JP5454821B2 (ja) | 2014-03-26 |
| KR101364421B1 (ko) | 2014-02-17 |
| EP2600618A2 (en) | 2013-06-05 |
| KR20130061636A (ko) | 2013-06-11 |
| TW201338500A (zh) | 2013-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI519128B (zh) | 利用多解析度程序產生堅固深度圖的系統與方法 | |
| CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
| JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
| Im et al. | High quality structure from small motion for rolling shutter cameras | |
| Kim et al. | Radiometric alignment of image sequences | |
| CN111327887B (zh) | 电子装置及其操作方法，以及处理电子装置的图像的方法 | |
| CN103843033A (zh) | 图像处理设备和方法以及程序 | |
| CN107809610B (zh) | 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 | |
| US8749652B2 (en) | Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof | |
| TWI557688B (zh) | 利用散焦方形影像執行景深估測的系統與方法 | |
| US20220383530A1 (en) | Method and system for generating a depth map | |
| Shroff et al. | Variable focus video: Reconstructing depth and video for dynamic scenes | |
| US9020280B2 (en) | System and method for evaluating focus direction under various lighting conditions | |
| EP4068200A1 (en) | Imaging system and method | |
| Cao et al. | Single image multi-focusing based on local blur estimation | |
| Liu et al. | Three dimensional moving pictures with a single imager and microfluidic lens | |
| Xu et al. | Light field superresolution reconstruction in computational photography | |
| CN105678761B (zh) | 一种基于方向极值的噪声图像的散焦图估计方法 | |
| Li et al. | Learning to Synthesize Photorealistic Dual-pixel Images from RGBD frames | |
| Choi et al. | Exploring positional characteristics of dual-pixel data for camera autofocus | |
| Greeta et al. | Video Stabilization | |
| JP2019106215A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| JP2016194956A (ja) | データ処理装置、撮像装置、およびデータ処理方法 |