TWI402479B - 深度感測方法及應用其之系統 - Google Patents

深度感測方法及應用其之系統 Download PDF

Info

Publication number
TWI402479B
TWI402479B TW098143011A TW98143011A TWI402479B TW I402479 B TWI402479 B TW I402479B TW 098143011 A TW098143011 A TW 098143011A TW 98143011 A TW98143011 A TW 98143011A TW I402479 B TWI402479 B TW I402479B
Authority
TW
Taiwan
Prior art keywords
data
similarity
depth
feature
video data
Prior art date
Application number
TW098143011A
Other languages
English (en)
Other versions
TW201120410A (en
Inventor
Chih Pin Liao
Yao Yang Tsai
Jay Huang
Ko Shyang Wang
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098143011A priority Critical patent/TWI402479B/zh
Priority to US12/842,277 priority patent/US8525879B2/en
Publication of TW201120410A publication Critical patent/TW201120410A/zh
Application granted granted Critical
Publication of TWI402479B publication Critical patent/TWI402479B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

深度感測方法及應用其之系統
本發明是有關於一種深度感測系統之裝置,且特別是有關於一種應用動態調整參考遮罩(Mask)技術來找出較為可靠之深度資料之深度感測系統。
在科技發展日新月異的現今時代中,包括電腦動畫、數位遊戲、數位學習、行動應用與服務等之數位內容產業係蓬勃發展。在現有技術中,立體影像/視訊係已存在,並被多方期待能提升數位內容產業的服務品質。
一般來說,現有之深度資料感測系統利用雙攝影機技術,來對拍攝目標進行左右不同視角之左視訊資料及右視訊資料拍攝,並根據對應之左右視訊資料中,各相對應物體水平之偏移量來換算出各相對應物體的深度資料。一般來說,深度資料之準確性對立體影像資料之品質具有決定性之影響,因此,如何設計出可產生準確之深度資料的深度感測系統為業界不斷致力的方向之一。
本發明係有關於一種深度感測系統,其係應用深度估計裝置來估計左視角視訊資料及右視角視訊資料間之畫素資料的相似度資料;經由一參考遮罩(Mask)來根據一選定參考區域內之相似度資料產生收斂參數;及根據此收斂參數對此相似度資料進行循環疊代操作,以找出此左視角/右視角視訊資料中各畫素資料之映射資料。本發明相關之深度感測系統更應用此深度估計裝置驗證此 映射資料,並根據驗證結果來選擇性地調整參考遮罩之大小,以找出可靠度較高之畫素資料映射資料及對應產生之深度資訊。據此,相較於傳統深度感測系統,本發明相關之深度感測系統具有可產生可靠度較高之深度資訊之優點。
根據本發明之一方面,提出一種深度感測系統,包括雙攝影機裝置、水平校正裝置及深度估計裝置。雙攝影機裝置擷取第一及第二視訊資料,其分別對應至第一及第二視角,並各自包括r×c筆畫素資料,r及c為大於1之自然數。水平校正裝置對第一及第二視訊資料進行水平校正並輸出水平校正後之第一及第二視訊資料。深度估計裝置包括相似度估計模組、遞迴更新模組及控制模組。相似度估計模組對水平校正後之第一及第二視訊資料進行畫素資料比對,以找出初始相似度資料,初始相似度資料包括r×c組初始相似度元素,各r×c組初始相似度元素包括d筆初始相似度元素,d為大於1之自然數。遞迴更新模組以各筆初始相似度元素為中心,根據參考遮罩(Mask)圈選取多筆初始相似度元素進行加總運算,以得到疊代運算參數;並根據疊代運算參數對初始相似度資料進行n次疊代更新操作,以根據初始相似度資料產生更新相似度資料。更新相似度資料包括r×c組更新相似度元素,各r×c組更新相似度元素包括d筆相似度元素。控制模組判斷各r×c組更新相似度元素是否滿足特徵驗證條件,當r×c組更新相似度元素滿足該特徵驗證條件時,控制裝置係根據r×c組更新相似度元素 轉換得到深度分佈資料。
根據本發明之另一方面,提出一種深度感測方法,包括下列之步驟。首先擷取第一及第二視訊資料,其分別對應至第一及第二視角,各第一及第二視訊資料包括r×c筆畫素資料,r及c為大於1之自然數。接著對第一及第二視訊資料進行水平校正。然後對水平校正後之第一及第二視訊資料進行畫素資料比對,以找出初始相似度資料,初始相似度資料包括r×c組初始相似度元素,其中各r×c組初始相似度資料包括d筆初始相似度元素,d為大於1之自然數。接著以各筆相似度元素為中心,根據參考遮罩圈選取多筆相似度元素進行加總運算,以得到疊代運算參數。然後根據疊代運算參數對初始相似度資料進行n次疊代更新操作,以產生r×c組更新相似度元素,各r×c組更新相似度元素包括d筆相似度元素。接著判斷各r×c組更新相似度元素是否滿足一特徵驗證條件,若是,則根據r×c組更新相似度元素轉換得到深度分佈資料。
為讓本發明之上述內容能更明顯易懂,下文特舉一較佳實施例,並配合所附圖式,作詳細說明如下:
請參照第1圖,其繪示依照本發明實施例之深度感測系統的方塊圖。本實施例之深度感測系統1包括雙攝影機裝置10、水平校正裝置12及深度估計裝置14。雙攝影機裝置10用以擷取視訊資料V1及V2,其分別對應至第一視角及第二視角。舉例來說,視訊資料V1及V2 分別為針對相同拍攝目標所拍攝得到之左視角及右視角之視訊資料。視訊資料V1及V2例如包括r×c筆畫素資料,其中r及c為大於1之自然數。
水平校正裝置12用以對視訊資料V1及V2進行水平校正,並將水平校正後之視訊資料Vhc1及Vhc2提供至深度估計裝置14。
深度估計裝置14用以根據視訊資料Vhc1及Vhc2,來產生深度分佈資料Dd。請參照第2圖,其繪示乃第1圖之深度估計裝置14的詳細方塊圖。舉例來說,深度估計裝置14包括相似度估計模組14a、遞迴更新模組14b及控制模組14c。
相似度估計模組14a用以對視訊資料Vhc1及Vhc2進行畫素資料比對,以找出初始相似度資料Dis。舉例來說,初始相似度資料Dis包括r×c組初始相似度元素,各r×c組初始相似度元素包括d筆初始相似度元素,其中d為大於1之自然數。舉例來說,相似度估算模組14a以對應至左視角之視訊資料Vhc1中各r×c筆畫素資料為基礎,於對應至右視角之視訊資料Vhc2上選定包括d筆畫素資料之搜尋視窗(Search Window),並比較視訊資料Vhc1中各筆畫素資料與其搜尋視窗中之d筆畫素資料,以找出對應之d筆初始相似度元素。
在一個操作實例中,對於視訊資料Vhc1中對應至位置(R,C)之畫素資料Vhc1(R,C)來說,相似度估計模組14a以包括視訊資料Vhc2中對應至位置(R,C)、(R,C+1)、(R,C+2)、…、(R,C+d)之畫素資料Vhc2(R,C)、 Vhc2(R,C+1)、Vhc2(R,C+2)、…、Vhc2(R,C+d)做為對應之搜尋視窗,其中R及C分別為小於或等於r及c之自然數。相似度估計模組14a更將畫素資料Vhc1(R,C)與此搜尋視窗中各筆畫素資料Vhc2(R,C)-Vhc2(R,C+d)做比較,以對應地找出d筆初始相似度元素。
舉例來說,前述各r×c組初始相似度元素中之各d筆初始相似度元素可以下列方程式表示:L0 (x,y,z)=δ (Vhc1,Vhc2,x,y,z)| x=1,2,..,r;y=1,2,...,c;z=1,2,...,d其中δ 函數為影像的相似度函數。由於初始相似度資料Dis包括r×c組初始相似度元素,而各組初始相似度元素包括d筆初始相似度元素,初始相似度資料Dis中之r×c×d筆初始相似度元素L0 (x,y,z)| x=1,2,..,r;y=1,2,...,c;z=1,2,...,d可以一三維相似度空間來表示,如第3圖所示。
遞迴更新模組14b以前述三維相似度空間中之各筆相似度元素為中心,根據一個參考遮罩(Mask)M圈選取多筆相似度元素進行加總運算,以得到疊代運算參數Pn (n=0,1,...,N)。遞迴更新裝置14b更根據疊代運算參數Pn 對初始相似度資料Dis進行N次疊代更新操作,以根據初始相似度資料Dis產生更新相似度資料Dus,N為大於1之自然數。相似於初始相似度資料Dis,更新相似度資料Dus包括r×c組初始相似度元素,其中各r×c組更新相似度元素包括d筆更新相似度元素。
舉例來說,遞迴更新模組14b根據下列函式來根據疊代運算參數Pn 對初始相似度資料Dis進行疊代更新操 作:Ln+1 (x,y,z)=L0 (x,y,z)×Pn | n=0,1,...,N
疊代運算參數Pn 係相關於累加函式Sn (x,y,z),舉例來說,疊代運算參數Pn 及累加函式Sn (x,y,z)例如分別滿足下列方程式: 其中x+r’、y+c’及z+d’表示以座標(x,y,z)為中心,大小為r’×c’×d’的參考遮罩M,以與畫素資料Vhc1(x,y)對應之相似度元素L0 (x,y,z)為中心點圈,於第3圖所示之三維相似度空間中所圈選出之參考範圍;α為固定之參數;累加函式Sn (x,y,z)表示對此圈選出之參考範圍進行相似度元素之累加操作;函式表示在另一圈選出之參考範圍φ(x,y,z)中,累加函式Sn (x,y,z)的參考加總參數。
控制模組14c接收更新相似度資料Dus,並判斷更新相似度資料Dus中各r×c組更新相似度元素是否滿足一特徵驗證條件。在一個操作實例中,此特徵驗證條件為各r×c組更新相似度元素中是否有明顯具有獨一性之一筆更新相似度元素,而控制模組14c例如應用將各r×c組更新相似度元素中之d筆更新相似度元素減去其加總平均值,並判斷求得之數值是否大於一臨界值之方式, 來判斷各r×c組更新相似度元素中是否具有明顯具有獨一性之更新相似度元素。
當各r×c組更新相似度元素包括一筆具有獨一性之更新相似度元素時,表示可經由更新相似度資料Dus中之此r×c筆具有獨一性之更新相似度元素,來將視訊資料Vhc1中各r×c筆畫素資料映射至視訊資料Vhc2中之r×c筆畫素資料。據此,控制模組14c可以得到視訊資料Vhc1中各r×c筆畫素資料之水平位移量,此些水平位移量用以指示視訊資料Vhc1中各r×c筆畫素資料相對於視訊資料Vhc2中具有相同影像內容之畫素資料的水平位移。基於視訊資料Vhc1及Vhc2間畫素資料之水平距離係相關於其對應之影像內容的深度,控制模組14c可根據前述水平位移量來產生深度分佈資料Dd。
當各r×c組更新相似度元素中不包括任何具有獨一性之更新相似度元素時,表示各r×c組更新相似度元素無法明確地指出視訊資料Vhc1及Vhc2中各r×c筆畫素資料間之對應關係。據此,控制模組14c無法得到視訊資料Vhc1中各r×c筆畫素資料之水平位移量及對應之深度分佈資料Dd。在這個情況下,控制模組14c調整參考遮罩M之大小,來試圖在進行累加函數Sn (x,y,z)之計算時,參考數量更多之筆更新相似度元素,以試圖經由放大參考遮罩M之大小來框選出較多筆畫素資料(即是視訊資料V1中較大之畫面區域),藉此提升參考到視訊資料V1中有紋理特徵(Texture)之畫面區域之機會。
之後,控制模組14c回傳參考遮罩M之大小(M_size) 至遞迴更新模組14b,以驅動遞迴更新模組14b根據調整後之參考遮罩M重新計算疊代參數Pn 及根據重新計算後之疊代參數Pn 重新產生更新相似度資料。控制模組14c更根據此重新產生之更新相似度資料Dus,並判斷更新相似度資料Dus中各r×c組更新相似度元素是否滿足前述特徵驗證條件。若是,則控制模組14c可根據更新相似度資料Dus產生深度分佈資料Dd;若否,則控制模組14c再次調整參考遮罩M之大小,並重複執行前述操作。據此,本發明實施例之深度感測系統1可經由動態調整參考遮罩M大小之方法,而找出可靠度較高之相關於視訊資料Vhc1及Vhc2之相似度資料,並據以找出可靠度較高之深度分佈資料Dd。
在一個例子中,本發明實施例之深度感測系統1更包括特徵分析裝置16及範圍估計裝置18,其分別用以分析出水平校正後之視訊資料Vhc1及Vhc2中之特徵區域,及根據前述特徵區域分析結果來估計視訊資料Vhc1及Vhc2可能之深度範圍,以產生深度範圍資料Ddr。
更詳細的說,特徵分析裝置16接收水平校正裝置12提供之視訊資料Vhc1及Vhc2進行分析,以於視訊資料Vhc1中找出特徵區域資料Dca1,並於視訊資料Vhc2中找出特徵區域資料Dca2,其中各特徵區域資料Dca1及Dca2包括多個相互對應之特徵點資料。舉例來說,特徵分析裝置16係以經由物件分割技術,來找出多筆特徵點資料以指示視訊資料Vhc1中若干之影像內容物件,藉此得到特徵區域資料Dca1。舉例來說,特徵區域資料Dca1 包括視訊資料Vhc1中用以顯示使用者的手部(通常具有最淺之深度)之視訊資料及視訊資料中之背景區域(通常具有最深之深度)之視訊資料。相同之物件分割技術亦被應用在視訊資料Vhc2中,以在視訊資料Vhc2中找出特徵區域資料Dca2,其中包括多個與特徵區域資料Dca1中之此些特徵點資料相對應之特徵點資料。
請參照第4圖,其繪示乃第1圖之範圍估計裝置18的詳細方塊圖。深度範圍估計裝置18例如包括估計模組18a、統計模組18b及運算模組18c。估計模組18a計算特徵區域資料Dca1中各特徵點與特徵區域資料特徵區域資料Dca2中各相對應之特徵點間的多筆水平位移量,並據以轉換得到多筆深度資料。相似於前述控制模組14c之操作,估計模組18a根據視訊資料Vhc1中此些特徵區域資料Dca1及視訊資料Vhc2中此些特徵區域資料Dca2間的水平位移量,來找出用以指示其對應之多筆估計深度之深度資料Ddc。
統計模組18b根據深度資料Ddc轉換得到深度統計分佈資料Ddch,用以統計出對應至多個可能深度,其上所累計之特徵點數目。舉例來說,深度統計分佈資料Ddch可以一統計長條圖(Histogram)來表示,用以指示深度值與其上之特徵點數量的關係。
運算模組18c用以根據一臨界條件,從深度統計分佈資料Ddch中找出最小深度值及最大深度值,並根據最小及最大深度,決定對應至視訊資料Vhc1及Vhc2之深度範圍資料Ddr,並將深度範圍資料Ddr輸出至深度估計 裝置14。舉例來說,此臨界條件為對應至相同深度值之特徵點臨界數量。在搜尋最小深度值時,運算模組18c例如從深度統計分佈資料Ddch中對應之最小深度開始進行搜尋,一旦搜尋到對應之特徵點數量大於或等於此特徵點臨界數量時,運算模組18c係其做為最小深度值。相似地,在搜尋最大深度值時,運算模組18c係從深度統計分佈資料Ddch中對應之最大深度開始進行搜尋,以找到對應之特徵點數量大於或等於此特徵點臨界數量之最大深度。
據此,深度估計裝置14可參考深度範圍資料Ddr來產生深度分佈資料Dd。舉例來說,深度估計裝置14中之相似度估算模組14a可以根據深度範圍資料Ddr來決定數值d(即其欲進行相似度計算之搜尋視窗大小)。
請參照第5圖,其繪示依照本發明實施例之深度感測方法的流程圖。首先如步驟(a),雙攝影機裝置10擷取視訊資料V1及V2,其分別對應至第一視角(例如是左視角)及第二視角(例如是右視角),各視訊資料V1及V2包括r×c筆畫素資料。接著如步驟(b),水平校正裝置12對視訊資料V1及V2進行水平校正,以提供水平校正後之視訊資料Vhc1及Vhc2。
然後如步驟(c),深度估計裝置14中之相似度估算模組14a對視訊資料Vhc1及Vhc2進行畫素資料比對,以找出初始相似度資料Dis,其中包括r×c×d筆初始相似度元素。接著如步驟(d),深度估計裝置14中之遞迴更新模組14b以各筆相似度元素為中心,根據參考遮罩圈M 選取多筆相似度元素進行加總運算,以得到疊代運算參數Pn
接著如步驟(e),遞迴更新模組14b更根據疊代運算參數Pn 對初始相似度資料Dis進行n次疊代更新操作,以根據r×c組初始相似度元素(即r×c×d筆初始相似度元素)即是產生r×c組更新相似度元素(即r×c×d筆初始相似度元素)。然後如步驟(f),控制模組14c判斷各r×c組更新相似度元素是否滿足一特徵驗證條件;若是則執行步驟(g),控制裝置14c根據r×c組更新相似度元素轉換得到深度分佈資料Dd;若否則執行步驟(h),控制模組14c調整參考遮罩M之大小。之後則重複執行步驟(d)、(e)及(f),以重複執行運算得到疊代運算參數Pn 、產生該r×c組更新相似度元素及判斷各r×c組更新相似度元素是否滿足此特徵驗證條件之步驟。於步驟(f)後,若各r×c組更新相似度元素滿足此特徵驗證條件則執行步驟(g);若各r×c組更新相似度元素不滿足此特徵驗證條件,則重複執行步驟(h)及(d)-(f)。
請參照第6圖,其繪示依照本發明實施例之深度感測方法的部份流程圖。首在一個例子中,於步驟(b)及(c)之間更例如包括步驟(i)-(1),用以計算出深度範圍資料Ddr,以加速步驟(c)之操作。如步驟(i),特徵分析裝置16對水平校正後之視訊資料Vhc1及Vhc2進行分析,以於視訊資料Vhc1中找出特徵區域資料Dca1及於視訊資料Vhc2找出特徵區域資料Dca2,其中特徵區域資料Dca1及Dca2中包括彼此對應之若干對(Pair)特徵點。接著如 步驟(j),估計模組18a計算特徵區域資料Dca1及Dca2中各對應特徵點之間的水平位移量,並據以轉換得到對應至各特徵點之深度資料Ddc。
然後如步驟(k),統計模組18b根據深度資料Ddc轉換得到深度統計分佈資料Ddch。之後如步驟(1),運算模組18c根據一臨界條件,從深度統計分佈資料Ddch中找出最小深度值及最大深度值,並根據最小及最大深度決定對應至視訊資料Vch1及Vch2之深度範圍資料Ddr。
本發明實施例之種深度感測系統係應用深度估計裝置來估計左視角視訊資料及右視角視訊資料間之畫素資料的相似度資料;經由參考遮罩來根據一選定參考區域內之相似度資料產生收斂參數;及根據此收斂參數對此相似度資料進行循環疊代操作,以找出此左視角/右視角視訊資料中各畫素資料之映射資料。本發明實施例之深度感測系統更應用此深度估計裝置驗證此映射資料,並根據驗證結果來選擇性地調整參考遮罩之大小,以找出可靠度較高之畫素資料映射資料及對應產生之深度資訊。據此,相較於傳統深度感測系統,本發明實施例之深度感測系統具有可產生可靠度較高之深度資訊之優點。
另外,本發明實施例之深度感測系統更應用特徵分析裝置及範圍估計裝置來找出左視角視訊資料及右視角視訊資料可能之深度範圍。據此,本發明實施例之深度感測系統更具有可提升找出初始相似度資料及深度資訊之操作速度的優點。
綜上所述,雖然本發明已以一較佳實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1‧‧‧深度感測系統
10‧‧‧雙攝影機裝置
12‧‧‧水平校正裝置
14‧‧‧深度估計裝置
16‧‧‧特徵分析裝置
18‧‧‧範圍估計裝置
14a‧‧‧相似度估算模組
14b‧‧‧遞迴更新模組
14c‧‧‧控制模組
18a‧‧‧估計模組
18b‧‧‧統計模組
18c‧‧‧運算模組
第1圖繪示依照本發明實施例之深度感測系統的方塊圖。
第2圖繪示乃第1圖之深度估計裝置14的詳細方塊圖。
第3圖繪示乃初始相似度資料Dis中r×c×d筆初始相似度元素的示意圖。
第4圖繪示乃第1圖之範圍估計裝置18的詳細方塊圖。
第5圖繪示依照本發明實施例之深度感測方法的流程圖。
第6圖繪示依照本發明實施例之深度感測方法的部份流程圖。
(a)-(h)‧‧‧流程步驟

Claims (8)

  1. 一種深度感測系統,包括:一雙攝影機裝置,用以擷取一第一視訊資料及一第二視訊資料,該第一及該第二視訊資料分別對應至一第一視角及一第二視角,各該第一及該第二視訊資料包括r×c筆畫素資料,其中r及c為大於1之自然數;一水平校正裝置,用以對該第一及該第二視訊資料進行水平校正,並輸出水平校正後之該第一及該第二視訊資料;一深度估計裝置,包括:一相似度估計模組,用以對該水平校正裝置提供之該第一及該第二視訊資料進行畫素資料比對,以找出一初始相似度資料,其中該初始相似度資料包括r×c組初始相似度元素,其中各該r×c組初始相似度元素包括d筆初始相似度元素,其中d為大於1之自然數;一遞迴更新模組,以各該筆初始相似度元素為中心,根據一參考遮罩(Mask)圈選取多筆初始相似度元素進行加總運算,以得到一疊代運算參數,該遞迴更新裝置根據該疊代運算參數對該初始相似度資料進行n次疊代更新操作,以產生一更新相似度資料,其中該更新相似度資料包括r×c組更新相似度元素,各該r×c組更新相似度元素包括d筆相似度元素;及一控制模組,用以判斷各該r×c組更新相似度元素是否滿足一特徵驗證條件,其中當該r×c組更新相似度元素滿足該特徵驗證條件時,該控制裝置係根據該r ×c組更新相似度元素,轉換得到一深度分佈資料;一特徵分析裝置,用以接收並對該水平校正裝置提供之該第一及該第二視訊資料進行分析,以分別根據該第一及該第二視訊資料中找出一第一特徵區域資料及一第二特徵區域資料,該些第一特徵區域資料分別與該些第二特徵區域資料對應,該些第一特徵區域資料與該些第二特徵區域資料對應至複數個特徵點;以及一深度範圍估計裝置,該深度範圍估計裝置包括:一估計模組,用以接收並計算該第一特徵區域資料及對應之該第二特徵區域資料間之一水平位移量,並據以轉換得到一深度資料;一統計模組,用以根據該深度資料轉換得到一筆深度統計分佈資料;及一運算模組,用以比較該些特徵點之數量與一第一臨界條件所對應之一臨界數量,以從該筆深度統計分佈資料中找出一最小深度值及一最大深度值,並根據該最小及該最大深度,決定對應至該第一及該第二視訊資料之一深度範圍資料;其中,該深度估計裝置係參考該深度範圍資料來決定該深度分佈資料。
  2. 如申請專利範圍第1項所述之深度感測系統,其中當該r×c組更新相似度元素不滿足該特徵驗證條件時,該控制模組調整該參考遮罩之大小,並驅動該遞迴更新模組根據調整後之該調整參考遮罩,再次計算該疊代參數及根據重新計算後之該疊代參數再次產生包括該 r×c組更新相似度元素之該更新相似度資料。
  3. 如申請專利範圍第2項所述之深度感測系統,其中該控制模組更用以判斷再次得到之該r×c組更新相似度元素是否滿足該特徵驗證條件;其中,當再次得到之各該r×c組更新相似度元素滿足該特徵驗證條件時,該控制模組係根據再次得到之該r×c組更新相似度元素轉換得到該深度分佈資料。
  4. 如申請專利範圍第3項所述之深度感測系統,其中當再次得到之各該r×c組更新相似度元素仍不滿足該特徵驗證條件時,該控制模組再次調整該參考遮罩之大小,並驅動該遞迴更新模組根據再次調整後之該調整參考遮罩,再次計算該疊代參數及根據重新計算後之該疊代參數再次產生包括該r×c組更新相似度元素之該更新相似度資料。
  5. 一種深度感測方法,包括:擷取一第一視訊資料及一第二視訊資料,該第一及該第二視訊資料分別對應至一第一視角及一第二視角,各該第一及該第二視訊資料包括r×c筆畫素資料,其中r及c為大於1之自然數;對該第一及該第二視訊資料進行水平校正;對水平校正後之該第一及該第二視訊資料進行畫素資料比對,以找出一初始相似度資料,其中該初始相似度資料包括r×c組初始相似度元素,其中各該r×c組初始相似度資料包括d筆初始相似度元素,其中d為大於1之自然數; 以各筆相似度元素為中心,根據一參考遮罩圈(Mask)選取多筆相似度元素進行加總運算,以得到一疊代運算參數;根據該疊代運算參數對該初始相似度資料進行n次疊代更新操作,以產生r×c組更新相似度元素,其中各該r×c組更新相似度元素包括d筆相似度元素;判斷各該r×c組更新相似度元素是否滿足一特徵驗證條件;以及當該r×c組更新相似度元素滿足該特徵驗證條件時,根據該r×c組更新相似度元素,轉換得到一深度分佈資料;其中在找出該初始相似度資料之步驟之前,更包括:對水平校正後之該第一及該第二視訊資料進行分析,以於該第一視訊資料中找出一第一特徵區域資料及於該第二視訊資料找出一第二特徵區域資料,該第一特徵區域資料與該第二特徵區域資料對應,該些第一特徵區域資料與該些第二特徵區域資料對應至複數個特徵點;計算該第一特徵區域資料及對應之該第二特徵區域資料間之一水平位移量,並據以轉換得到一深度資料;根據該深度資料轉換得到一筆深度統計分佈資料;及比較該些特徵點之數量與一第一臨界條件所對應之一特徵點臨界數量,以從該筆深度統計分佈資料中找出一最小深度值及一最大深度值,並根據該最小及該最大 深度,決定對應至該第一及該第二視訊資料之一深度範圍資料。
  6. 如申請專利範圍第5項所述之深度感測方法,更包括:當該r×c組更新相似度元素並不滿足該特徵驗證條件時,調整該參考遮罩之大小;其中,於調整該參考遮罩之大小後,重複執行運算得到該疊代運算參數之步驟、產生該r×c組更新相似度元素之步驟及判斷各該r×c組更新相似度元素是否滿足該特徵驗證條件之步驟。
  7. 如申請專利範圍第6項所述之深度感測方法,更包括:當再次得到之各該r×c組更新相似度元素滿足該特徵驗證條件時,根據再次得到之該r×c組更新相似度元素轉換得到該深度分佈資料。
  8. 如申請專利範圍第7項所述之深度感測方法,更包括:當再次得到之各該r×c組更新相似度元素仍不滿足該特徵驗證條件時,再次執行調整該參考遮罩之大小之步驟;其中,於調整該參考遮罩之大小後,重複執行運算得到該疊代運算參數之步驟、產生該r×c組更新相似度元素之步驟及判斷各該r×c組更新相似度元素是否滿足該特徵驗證條件之步驟。
TW098143011A 2009-12-15 2009-12-15 深度感測方法及應用其之系統 TWI402479B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098143011A TWI402479B (zh) 2009-12-15 2009-12-15 深度感測方法及應用其之系統
US12/842,277 US8525879B2 (en) 2009-12-15 2010-07-23 Depth detection method and system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098143011A TWI402479B (zh) 2009-12-15 2009-12-15 深度感測方法及應用其之系統

Publications (2)

Publication Number Publication Date
TW201120410A TW201120410A (en) 2011-06-16
TWI402479B true TWI402479B (zh) 2013-07-21

Family

ID=44142465

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098143011A TWI402479B (zh) 2009-12-15 2009-12-15 深度感測方法及應用其之系統

Country Status (2)

Country Link
US (1) US8525879B2 (zh)
TW (1) TWI402479B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI591584B (zh) 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
TWI503618B (zh) 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
US10491916B2 (en) * 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
WO2015130320A1 (en) * 2014-02-28 2015-09-03 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
CN108917721B (zh) * 2018-04-19 2021-06-11 北京控制工程研究所 一种失稳卫星星箭对接环双目测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931150B2 (en) * 2000-05-04 2005-08-16 Microsoft Corporation System and method for progressive stereo matching of digital images
TW200719871A (en) * 2005-11-30 2007-06-01 Univ Nat Kaohsiung Applied Sci A real-time face detection under complex backgrounds
CN101563709A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 校准照相机系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446548A (en) 1993-10-08 1995-08-29 Siemens Medical Systems, Inc. Patient positioning and monitoring system
JP3539788B2 (ja) 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US6487304B1 (en) 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6608923B1 (en) 1999-06-19 2003-08-19 Microsoft Corporation System and method for rectifying images of three dimensional objects
US7050928B2 (en) 2004-08-25 2006-05-23 Microsoft Corporation Relative range camera calibration
US6718062B1 (en) 2000-05-30 2004-04-06 Microsoft Corporation System and method for matching curves of multiple images representing a scene
US6771810B1 (en) 2000-06-16 2004-08-03 Microsoft Corporation System and method for estimating the epipolar geometry between images
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
KR100424287B1 (ko) 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
US7031497B2 (en) * 2001-11-05 2006-04-18 Koninklijke Philips Electronics N.V. Method for computing optical flow under the epipolar constraint
US6771303B2 (en) 2002-04-23 2004-08-03 Microsoft Corporation Video-teleconferencing system with eye-gaze correction
CA2455359C (en) 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
US7486815B2 (en) 2004-02-20 2009-02-03 Microsoft Corporation Method and apparatus for scene learning and three-dimensional tracking using stereo video cameras
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7697749B2 (en) 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
US7477236B2 (en) 2005-04-29 2009-01-13 Microsoft Corporation Remote control of on-screen interactions
KR100752758B1 (ko) 2005-10-19 2007-08-29 (주) 인텍플러스 영상 측정 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931150B2 (en) * 2000-05-04 2005-08-16 Microsoft Corporation System and method for progressive stereo matching of digital images
TW200719871A (en) * 2005-11-30 2007-06-01 Univ Nat Kaohsiung Applied Sci A real-time face detection under complex backgrounds
CN101563709A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 校准照相机系统

Also Published As

Publication number Publication date
US8525879B2 (en) 2013-09-03
US20110141274A1 (en) 2011-06-16
TW201120410A (en) 2011-06-16

Similar Documents

Publication Publication Date Title
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
EP3794552A1 (en) Motion compensation of geometry information
US20100142828A1 (en) Image matching apparatus and method
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
CN107958446B (zh) 信息处理设备和信息处理方法
TW201308252A (zh) 深度測量之品質提升
TW201028964A (en) Depth calculating method for two dimension video and apparatus thereof
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
TWI402479B (zh) 深度感測方法及應用其之系統
JP2009139995A (ja) ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
TWI457853B (zh) 提供深度資訊之影像處理方法及其影像處理系統
US20210256299A1 (en) System and method for correspondence map determination
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN111402345B (zh) 基于多目全景图像的模型生成方法及装置
JP6431404B2 (ja) 姿勢推定モデル生成装置及び姿勢推定装置
KR20200054344A (ko) 스테레오 카메라를 이용한 인스턴스 객체별 거리값 검출 장치 및 방법
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5200042B2 (ja) 視差推定装置およびそのプログラム
WO2017032096A1 (en) Method for predicting stereoscopic depth and apparatus thereof
JP2005339535A (ja) 相違度の計算
JP4998905B2 (ja) 三次元地形データ高精度化装置、三次元地形データ高精度化方法及びプログラム
JP2012234431A (ja) 境界線検出装置、境界線検出方法、及びプログラム
TWI485653B (zh) 成像系統及方法