TW202011353A - 深度資料處理系統的操作方法 - Google Patents

深度資料處理系統的操作方法 Download PDF

Info

Publication number
TW202011353A
TW202011353A TW108105029A TW108105029A TW202011353A TW 202011353 A TW202011353 A TW 202011353A TW 108105029 A TW108105029 A TW 108105029A TW 108105029 A TW108105029 A TW 108105029A TW 202011353 A TW202011353 A TW 202011353A
Authority
TW
Taiwan
Prior art keywords
depth
depth map
pixel
map
processing unit
Prior art date
Application number
TW108105029A
Other languages
English (en)
Other versions
TWI705417B (zh
Inventor
孫昊
林建華
林崇仰
Original Assignee
大陸商虹軟科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商虹軟科技股份有限公司 filed Critical 大陸商虹軟科技股份有限公司
Publication of TW202011353A publication Critical patent/TW202011353A/zh
Application granted granted Critical
Publication of TWI705417B publication Critical patent/TWI705417B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

深度資料處理系統包含第一深度擷取裝置、第二深度擷取裝置及深度處理單元。透過第一深度擷取裝置產生第一深度圖，透過第二深度擷取裝置產生第二深度圖，深度處理單元將第一深度圖與第二深度圖配準以取得第一深度圖中每一畫素在第二深度圖中的對應座標，及深度處理單元根據第一深度圖中每一畫素在第二深度圖中的對應座標融合第一深度圖的深度資料及第二深度圖的深度資料以產生優化深度圖。

Description

深度資料處理系統的操作方法
本發明是有關於一種深度資料處理系統，特別是一種能夠結合兩張以上的深度圖以優化深度資料的深度資料處理系統。
由於電子裝置的效能進步以及多媒體技術的發展，現今已有越來越多的應用透過三維顯示技術來提供使用者豐富的視覺效果，甚至還透過實境擴增(augmented reality)的應用，將虛擬世界與真實世界融合，提供用戶更多新奇的體驗。為了能夠透過電子裝置捕捉到真實世界的樣貌，在現有技術的電子裝置中，除了透過常見的攝像鏡頭來取得外界的影像資料之外，也常會透過深度感測器來感測外界物體的距離。在取得外界物體的距離資料之後，電子裝置就能夠進一步的辨識物體的運動，達到動作辨識的功能，或者是能夠藉以計算出不同焦距的影像，又或者是應用在實境虛擬中以提供電子裝置產生對應的影像畫面。
然而，在現有技術中，由於單一深度感測器所能夠擷取物體深度的範圍有限，且深度感測器可能會受限於其硬體的特性，而在紋理重複出現的區域或是在黑色吸光的區域產生較大的誤差，甚至無法判斷出有效的深度值。此外，單一的深度資料沒有比較基準，因此也不容易驗證深度值的正確性，而可能造成後續應用的誤判。
本發明的一實施例提供一種深度資料處理系統的操作方法。深度資料處理系統包括第一深度擷取裝置、第二深度擷取裝置及深度處理單元。
深度資料處理系統的操作方法包括透過第一深度擷取裝置產生第一深度圖，透過第二深度擷取裝置產生第二深度圖，深度處理單元將第一深度圖與第二深度圖配準以取得第一深度圖中每一畫素在第二深度圖中的對應座標，及深度處理單元根據第一深度圖中每一畫素在第二深度圖中的對應座標融合第一深度圖的深度資料及第二深度圖的深度資料以產生優化深度圖。
第1圖是本發明一實施例的深度資料處理系統100的示意圖。深度資料處理系統100包括第一深度擷取裝置110、第二深度擷取裝置120及深度處理單元130。
深度資料處理系統100可以透過第一深度擷取裝置110產生第一深度圖D1，並透過第二深度擷取裝置120產生第二深度圖D2。在第1圖的實施例中，第一深度擷取裝置110可以例如透過內部的深度感測器112來產生第一深度圖D1，深度感測器112可以是飛時測距(time of fly，ToF)的感測器，或者是結構光(structured light)的感測器，因此第一深度擷取裝置110可以直接透過深度感測器112所感測結果進行分析並產生第一深度圖D1。
此外，第二深度擷取裝置120則可以包括一般常用的可見光攝像頭122及124，並將攝像頭122及124所擷取的圖像傳送給深度處理單元130，而深度處理單元130則可將攝像頭122及124所擷取的圖像作為左眼圖像和右眼圖像，並利用雙眼視覺的演算法來產生第二深度圖D2。然而本發明並不限定第二深度擷取裝置120須包括兩個攝像頭122及124或需使用雙眼視覺演算法來產生第二深度圖D2。在本發明的其他實施例中，第二深度擷取裝置120也可透過單一個攝像頭所擷取的圖像來產生第二深度圖D2，或者利用其他的相關演算法來計算產生第二深度圖D2。
也就是說，在第1圖的實施例中，第一深度擷取裝置110可以包括專門設計用來產生深度資料的硬體設備，而第二深度擷取裝置120則可以包括原先用來拍攝影像的一般攝像頭，因此第二深度擷取裝置120的攝像頭122及124在擷取圖像之後，還需要透過深度處理單元130做進一步的運算處理，才能夠產生深度資料處理系統100所需的第二深度圖D2。如此一來，除了第一深度擷取裝置110之外，深度資料處理系統100就可以利用原先電子裝置上所具備的攝像裝置來產生額外的深度資料以進行優化，而可以減少額外的硬體設備。
在產生了第一深度圖D1及第二深度圖D2之後，深度處理單元130可將第一深度圖D1與第二深度圖D2配準以取得第一深度圖D1中每一畫素在第二深度圖D2中的對應座標，並根據第一深度圖D1中每一畫素在第二深度圖D2中的對應座標融合第一深度圖D1的深度資料及第二深度圖D2的深度資料以產生優化深度圖DA。
在本發明的有些實施例中，深度處理單元130可根據第一深度擷取裝置110的內部參數，將第一深度圖D1中每一畫素的座標轉換到對應於第一深度擷取裝置110的第一三維坐標系中以取得第一深度圖D1中每一畫素的第一三維座標。接著深度處理單元130便可根據第一深度擷取裝置110及第二深度擷取裝置120的外部參數，將第一深度圖D1中每一畫素的第一三維座標轉換成對應於第二深度擷取裝置120的第二三維坐標系的第二三維座標。最後深度處理單元130可根據第二深度擷取裝置120的內部參數，將第一深度圖D1中每一畫素的第二三維座標轉換成第一深度圖D1中每一畫素在第二深度圖D2中的對應座標。
第2圖為本發明一實施例的第一深度圖D1及第二深度圖D2的對照關係圖。在第2圖中，以第一深度圖D1中的畫素P1為例，當畫素P1的深度值接近無限大時，畫素P1可以例如對應到三維空間中的點A，而點A在第二深度圖D2中則會落在畫素PA的位置。當畫素P1的深度值是Zd 時，畫素P1會對應到三維空間中的點B，而點B在第二深度圖D2中則會落在畫素PB的位置。再者，當畫素P1的深度是第一深度擷取裝置110所能夠取得的最小有效深度值Zmin 時，畫素P1可以對應到三維空間中的點C，而點C在第二深度圖D2中則會落在畫素PC的位置。
也就是說，第一深度圖D1的畫素P1會因為其在空間中深度大小的不同，而對應到第二深度圖D2中的不同位置。在本發明的有些實施例中，畫素P1在第二深度圖D2中所對應的畫素與第二深度圖D2中畫素PA之間的距離Δx可以用式1表示。
Figure 02_image001
式1
在式1中，參數B代表第一深度圖D1所對應的攝像頭及第二深度圖D2所對應的攝像頭之間的基線距離，參數f2代表第二深度擷取裝置120的焦距，而參數Z則是第二深度圖D2中，畫素P1的深度值。根據式1及第2圖的內容可知，當深度值Z為無限大時，畫素P1在第二深度圖D2中會對應到畫素PA的位置，因此距離Δx會接近0。當深度值Z是最小有效深度Zmin 時，畫素P1在第二深度圖D2中會對應到畫素PC的位置，而距離Δx即相當於第2圖中所示的距離Δxmin 。
在此情況下，若畫素PA在第二深度圖D2中的座標可表示成(xmax ,ymax )，而畫素PC在第二深度圖D2中的座標可表示成(xmin ,ymin )，則畫素PB在第二深度圖D2中的座標則可表示成(xd ,yd )，並可由式2及式3推得。
Figure 02_image003
式2
Figure 02_image005
式3
如此一來，深度處理單元130就可以取得第一深度圖D1中每一畫素在第二深度圖D2中的對應座標。在本發明的有些實施例中，深度處理單元130可以用查表的方式來減少複雜的運算。
在取得第一深度圖D1中每一畫素在第二深度圖D2中的對應座標之後，深度處理單元130就可以根據第一深度圖D1中每一畫素在第二深度圖D2中的對應座標將第一深度圖D1的深度資料及第二深度圖D2的深度資料融合以產生優化的深度圖。
第3圖為本發明一實施例的第一深度圖D1的部分示意圖，而第4圖是本發明一實施例的第二深度圖D2的部分示意圖。由於第一深度圖D1即第二深度圖D2是分別透過第一深度擷取裝置110及第二深度擷取裝置120產生，因此兩者的內容可能略有差異，而能夠互相補充而產生優化深度圖DA。第5圖是根據第一深度圖D1及第二深度圖D2所產生的優化深度圖DA。
此外，在第3圖至第5圖中，畫素中的三角形表示此畫素屬於深度圖中的前景，畫素中的圓圈表示此畫素屬於深度圖中的背景，畫素中的正方形表示此畫素屬於深度圖中的計算錯誤的部分(不合理的深度值)，而畫素中若是空白沒有圖形則表示此畫素在深度圖中尚未被賦值。
倘若第一深度圖D1中的畫素PD1A 在第二深度圖D2的對應座標是對應到第二深度圖D2中的畫素PD2A ，且畫素PD2A 並未被賦予深度值，此時深度處理單元130便可根據畫素PD1A 的深度值對優化深度圖DA中對應的畫素PDAA 賦予深度值。如此一來，在優化深度圖DA中，對應於畫素PD1A 及畫素PD2A 的畫素PDAA 就會根據畫素PD1A 的深度值來賦值，因此被注記成圓圈。
相似地，倘若第一深度圖D1中的畫素PD1B 在第二深度圖D2的對應座標是對應到第二深度圖D2中的畫素PD2B ，且畫素PD1B 並未被賦予深度值，而此時深度處理單元130便可根據畫素PD2B 的深度值對優化深度圖DA中對應的畫素PDAB 賦予深度值。如此一來，在優化深度圖DA中，對應於畫素PD1B 及畫素PD2B 的畫素PDAB 就會根據畫素PD2B 的深度值來賦值，因此被注記成圓圈。
此外，倘若第一深度圖D1中的畫素PD1C 在第二深度圖D2的對應座標是對應到第二深度圖D2中的畫素PD2C ，且畫素PD2C 已被賦予了不合理的深度值時，深度處理單元130便可根據畫素PD1C 的深度值來對對優化深度圖DA中對應的畫素PDAC 賦予深度值。如此一來，在優化深度圖DA中，對應於畫素PD1C 及畫素PD2C 的畫素PDAC 就會根據畫素PD1C 的深度值來賦值，因此從原先注記的正方形改為被注記成圓圈。
在本發明的有些實施例中，由於第一深度擷取裝置110是以專門設計用來產生深度資料的硬體設備來產生第一深度圖D1，因此第一深度圖D1的置信度可能會高於第二深度圖D2的置信度。在此情況下，優化深度圖DA可以是以第一深度圖D1為主，並透過第二深度圖D2來對第一深度圖D1來進行補充產生。而在第一深度圖D1及第二深度圖D2都已經賦予深度值的情況下，深度處理單元130也可優先根據第一深度圖D1中的深度資料來對深度圖DA中的畫素賦值。然而在本發明的其他實施例中，深度處理單元130也可以根據系統實際上的情況，改成透過第二深度圖D2來對第一深度圖D1來進行補充以產生優化深度圖DA，或者是選擇適當的權重來綜合兩者的深度資料。
透過上述的方式，深度處理單元130就可以讓第一深度圖D1及第二深度圖D2互相補充，進而減少第一深度圖D1及第二深度圖D2中的空白畫素和具有不合理深度值的畫素，使得優化深度圖DA中有更多的畫素能夠被賦予有效的深度值，而讓深度資料處理系統100能夠產生更加完整且正確的深度圖。
此外，當第一深度圖D1與第二深度圖D2的解析度不同，例如第一深度圖D1的解析度小於第二深度圖D2的解析度時，第一深度圖D1中的每一個畫素在第二深度圖D2中的對應座標就可能會對應到第二深度圖D2中的多個畫素。舉例來說，第6圖是本發明一實施例的第一深度圖D1’及第二深度圖D2’的對應關係圖。
在第6圖中，第一深度圖D1’中的畫素PD1’在第二深度圖D2中的對應座標會實質上會對應到第二深度圖D2中的多個畫素PD2’A 、PD2’B 、PD2’C 及PD2’D ，在此情況下，深度資料處理系統100便會根據第一深度圖D1中畫素PD1’的深度值及第二深度圖D2中畫素PD2’A 、PD2’B 、PD2’C 及PD2’D 的深度值來對優化深度圖DA中對應於畫素PD2’A 、PD2’B 、PD2’C 及PD2’D 的畫素來進行賦值。也就是說，深度資料處理系統100可以根據第一深度圖D1’及第二深度圖D2’的解析度大小關係，調整不同深度圖之間畫素的對應關係。
此外，雖然在第1圖的實施例中，第一深度擷取裝置110是以專門設計用來產生深度資料的硬體設備來產生第一深度圖D1，而第二深度擷取裝置120則是用一般攝像用的攝像鏡頭來擷取圖像，並透過軟體分析來產生第二深度圖D2，然而本發明並不限定第一深度擷取裝置110須透過專門設計用來產生深度資料的硬體設備。第7圖是本發明另一實施例的深度資料處理系統200的示意圖。深度資料處理系統100及200具有相似的結構，並可根據相似的原理操作，然而深度資料處理系統200可包括第一深度擷取裝置210、第二深度擷取裝置220及深度處理單元230，且第一深度擷取裝置210及第二深度擷取裝置220可同樣透過一般攝像用的可見光的攝像頭來擷取圖像，並透過深度處理單元230來產生第一深度圖D1及第二深度圖D2。
也就是說，在第7圖中，第一深度擷取裝置210可透過至少一個攝像頭，例如但不限於兩個攝像頭212及214，來擷取第一圖像IMGR1及IMGL1，而深度處理單元230則可根據第一圖像IMGR1及IMGL1產生第一深度圖D1。相似地，第二深度擷取裝置220則可透過攝像頭222及224擷取第二圖像IMGR2及IMGL2，而深度處理單元230則可根據第二圖像IMGR2及IMGL2來產生第二深度圖D2。
在第1圖及第8圖的實施例中，深度資料處理系統300可包括兩個深度擷取裝置，然而本發明並不以此為限。在本發明的有些實施例中，深度資料處理系統還可以包括更多的深度擷取裝置。第8圖是本發明另一實施例的深度資料處理系統300的示意圖。深度資料處理系統100及300具有相似的結構，並可根據相似的原理操作，然而深度資料處理系統300可包括第一深度擷取裝置310、第二深度擷取裝置320、深度處理單元330及第三深度擷取裝置340。第一深度擷取裝置310、第二深度擷取裝置320及第三深度擷取裝置340可以是透過一般攝像用的可見光的攝像頭來擷取圖像，並透過深度處理單元330來產生第一深度圖D1、第二深度圖D2及第三深度圖D3，然而本發明並不以此為限。
此外，在第8圖的實施例中，深度處理單元330可根據第一深度圖D1、第二深度圖D2及第三深度圖D3的深度資料來產生優化深度圖。舉例來說，深度處理單元330可將第一深度圖圖D1與第二深度圖D2配準以取得第一深度圖D1中每一畫素在第二深度圖D2中的對應座標，並以相同的方式將第三深度圖圖D3與第二深度圖D2配準以取得第三深度圖D3中每一畫素在第二深度圖D2中的對應座標，接著再根據第一深度圖D1及第三深度圖D3中每一畫素在第二深度圖D2中的對應座標融合第一深度圖D1的深度資料、第二深度圖D2及第三深度圖D3的深度資料以產生優化深度圖。
由於深度資料處理系統100及200能夠將相異的深度圖加以融合以彌補單張深度圖中的缺陷，因此能夠產生優化的深度圖，不僅讓深度資料更加精準，也能夠提供更大廣範圍的深度資料。
第9圖是本發明一實施例的操作深度資料處理系統100(或200)的方法400的流程圖。方法400包括步驟S410至S440。
S410： 透過第一深度擷取裝置110(或210)產生第一深度圖D1；
S420： 透過第二深度擷取裝置120(或220)產生第二深度圖D2；
S430： 深度處理單元130(或230)將第一深度圖D1與第二深度圖D2配準以取得第一深度圖D1中每一畫素在第二深度圖D2中的對應座標；及
S440： 深度處理單元130(或230)根據第一深度圖D1中每一畫素在第二深度圖D2中的對應座標融合第一深度圖D1的深度資料及第二深度圖D2的深度資料以產生優化深度圖。
第10圖是本發明一實施例中，步驟S430所包括的子步驟S432至S436的流程圖。
S432： 根據第一深度擷取裝置110(或210)的內部參數，將第一深度圖D1中每一畫素的座標轉換到對應於第一深度擷取裝置110(或210)的第一三維坐標系中以取得第一深度圖D1中每一畫素的第一三維座標；
S434： 根據第一深度擷取裝置110(或210)及第二深度擷取裝置120(或220)的外部參數，將第一深度圖D1中每一畫素的第一三維座標轉換成對應於第二深度擷取裝置120(或220)的第二三維坐標系的第二三維座標；
S436： 根據第二深度擷取裝置120(或220)的內部參數，將第一深度圖D1中每一畫素的第二三維座標轉換成第一深度圖D1中每一畫素在第二深度圖D2中的對應座標。
以第2圖為例，深度處理單元130可以在步驟S432至S436中將第一深度圖D1及第二深度圖D2所對應的三維座標配準之後，根據式2及式3，將第一深度圖D1中每一畫素的第二三維座標轉換成第一深度圖D1中每一畫素在第二深度圖D2中的對應座標。
此外，在步驟S440中，當第一深度圖的解析度小於第二深度圖的解析度，且第一深度圖中第一畫素在第二深度圖中的對應座標是對應到第二深度圖中多個第二畫素時，可根據第一畫素的深度值及與多個第二畫素的深度值來對優化深度圖中對應於多個第二畫素的多個第三畫素賦予深度值。以第6圖為例，深度資料處理系統100便會根據第一深度圖D1中畫素PD1’的深度值及第二深度圖D2中畫素PD2’A 、PD2’B 、PD2’C 及PD2’D 的深度值來對優化深度圖DA中對應於畫素PD2’A 、PD2’B 、PD2’C 及PD2’D 的畫素來進行賦值。也就是說，深度資料處理系統100可以根據第一深度圖D1’及第二深度圖D2’的解析度大小關係，調整不同深度圖之間畫素的對應關係。
再者，在步驟S440中，當第一深度圖中第一畫素在第二深度圖中的對應座標是對應到第二深度圖中的第二畫素，且第二畫素未被賦予深度值時，則可根據第一畫素的深度值對優化深度圖中對應於第一畫素及第二畫素的第三畫素賦予深度值。另外，當第一深度圖中第一畫素在第二深度圖中的對應座標是對應到第二深度圖中的第二畫素，且第二畫素已被賦予不合理的深度值時，則可根據第一畫素的深度值來對優化深度圖中對應於第一畫素及第二畫素的第三畫素賦予深度值。
以第3圖至第5圖為例，第一深度圖D1中的畫素PD1B 在第二深度圖D2的對應座標是對應到第二深度圖D2中的畫素PD2B ，且畫素PD1B 已並未被賦予深度值，此時深度處理單元130便可在子步驟S444中，根據畫素PD2B 的深度值對優化深度圖DA中對應的畫素PDAB 賦予深度值。
此外，第一深度圖D1中的畫素PD1C 在第二深度圖D2的對應座標是對應到第二深度圖D2中的畫素PD2C ，且畫素PD2C 已被賦予了不合理的深度值，此時深度處理單元130便可在子步驟S446中，根據畫素PD1C 的深度值來對對優化深度圖DA中對應的畫素PDAC 賦予深度值。
透過方法400，深度資料處理系統100及200能夠將相異的深度圖加以融合以彌補單張深度圖中的缺陷，因此能夠產生優化的深度圖，不僅讓深度資料更加精準，也能夠提供更大廣範圍的深度資料。
此外，方法400也可應用在深度資料處理系統300，並透過與步驟S430相同的方式將透過第三深度擷取裝置340所產生的第三深度圖圖D3與第二深度圖D2配準以取得第三深度圖D3中每一畫素在第二深度圖D2中的對應座標，接著再根據第一深度圖D1及第三深度圖D3中每一畫素在第二深度圖D2中的對應座標融合第一深度圖D1的深度資料、第二深度圖D2及第三深度圖D3的深度資料以產生優化深度圖。
綜上所述，本發明的實施例所提供的深度資料處理系統及深度資料處理系統的操作方法，可以將相異深度圖中的深度資料加以融合補充，因此能夠產生優化的深度圖，不僅提供更加精準的深度資料，也能夠提供較大範圍的深度資料，使得深度資料能夠更有效率地被各種應用使用。 以上該僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、200、300:深度資料處理系統 110、210、310:第一深度擷取裝置 120、220、320:第二深度擷取裝置 130、230、330:深度處理單元 340:第三深度擷取裝置 112:深度感測器 122、124、212、214、222、224:攝像頭 D1、D1’:第一深度圖 D2、D2’:第二深度圖 D3:第三深度圖 DA:優化深度圖 A、B、C:點 P1、PA、PB、PC、PD1A、PD1B、:畫素 PD1C、PD2A、PD2B、PD2C、PDAA、PDAB、PDAC、PD1’、 PD2’A、PD2’B、PD2’C、PD2’DB:基線距離 Zd、Zmin:深度值 400:方法 S410至S440:步驟 S432至S436:子步驟
第1圖是本發明一實施例的深度資料處理系統的示意圖。 第2圖為本發明一實施例的第一深度圖及第二深度圖的對照關係圖。 第3圖為本發明一實施例的第一深度圖的部分示意圖。 第4圖為本發明一實施例的第二深度圖的部分示意圖。 第5圖是根據第一深度圖及第二深度圖所產生的優化深度圖。 第6圖是本發明一實施例的第一深度圖及第二深度圖的對應關係圖。 第7圖是本發明另一實施例的深度資料處理系統的示意圖。 第8圖是本發明另一實施例的深度資料處理系統的示意圖。 第9圖是第1圖或第2圖的深度資料處理系統的操作方法流程圖。 第10圖是第9圖的步驟中的子步驟流程圖。
400:方法
S410至S440:步驟

Claims (11)

  1. 一種深度資料處理系統的操作方法，該深度資料處理系統包含一第一深度擷取裝置、一第二深度擷取裝置及一深度處理單元，及該方法包含： 透過該第一深度擷取裝置產生一第一深度圖； 透過該第二深度擷取裝置產生一第二深度圖； 該深度處理單元將該第一深度圖與該第二深度圖配準以取得該第一深度圖中每一畫素在該第二深度圖中的對應座標；及 該深度處理單元根據該第一深度圖中每一畫素在該第二深度圖中的該對應座標融合該第一深度圖的一深度資料及該第二深度圖的一深度資料以產生一優化深度圖。
  2. 如請求項1所述的方法，其中將該第二深度圖與該第一深度圖配準以取得該第一深度圖中每一畫素在該第二深度圖中的該對應座標的步驟包含： 根據該第一深度擷取裝置的一內部參數，將該第一深度圖中每一畫素的座標轉換到對應於該第一深度擷取裝置的一第一三維坐標系中以取得該第一深度圖中每一畫素的一第一三維座標； 根據該第一深度擷取裝置及該第二深度擷取裝置的一外部參數，將該第一深度圖中每一畫素的該第一三維座標轉換成對應於該第二深度擷取裝置的一第二三維坐標系的一第二三維座標；及 根據該第二深度擷取裝置的一內部參數，將該第一深度圖中每一畫素的該第二三維座標轉換成該第一深度圖中每一畫素在該第二深度圖中的該對應座標。
  3. 如請求項1所述的方法，其中該深度處理單元根據該第一深度圖中每一畫素在該第二深度圖中的該對應座標融合該第一深度圖的深度資料及該第二深度圖的深度資料以產生該優化深度圖包含： 當該第一深度圖中一第一畫素在該第二深度圖中的對應座標是對應到該第二深度圖中的一第二畫素，且該第二畫素未被賦予深度值時，根據該第一畫素的深度值對該優化深度圖中對應於該第一畫素及該第二畫素的一第三畫素賦予深度值。
  4. 如請求項1所述的方法，其中該深度處理單元根據該第一深度圖中每一畫素在該第二深度圖中的該對應座標融合該第一深度圖的該深度資料及該第二深度圖的該深度資料以產生該優化深度圖包含： 當該第一深度圖中第一畫素在該第二深度圖中的一對應座標是對應到該第二深度圖中的一第二畫素，且該第二畫素已被賦予不合理的深度值時，根據該第一畫素的一深度值來對該優化深度圖中對應於該第一畫素及該第二畫素的一第三畫素賦予深度值。
  5. 如請求項1所述的方法，其中該深度處理單元根據該第一深度圖中每一畫素在該第二深度圖中的該對應座標融合該第一深度圖的該深度資料及該第二深度圖的該深度資料以產生該優化深度圖包含： 當該第一深度圖的解析度小於該第二深度圖的解析度，且該第一深度圖中第一畫素在該第二深度圖中的一對應座標是對應到該第二深度圖中的複數個第二畫素時，根據該第一畫素的深度值及與複些第二畫素的深度值來對該優化深度圖中對應於複些第二畫素的複些第三畫素賦予深度值。
  6. 如請求項1所述的方法，另包含： 該第一深度擷取裝置透過至少一攝像頭擷取至少一第一圖像； 該深度處理單元根據至少一第一圖像產生該第一深度圖。
  7. 如請求項6所述的方法，其特徵在於該深度處理單元是根據雙眼視覺演算法產生該第二深度圖。
  8. 如請求項1或6所述的方法，另包含： 該第二深度擷取裝置透過至少一攝像頭擷取至少一第二圖像；及 該深度處理單元根據至少一第二圖像產生該第二深度圖。
  9. 如請求項1所述的方法，另包含： 該第一深度擷取裝置透過一深度感測器產生該第一深度圖； 該第二深度擷取裝置透過至少一攝像頭擷取至少一圖像；及 該深度處理單元根據該至少一圖像產生該第二深度圖。
  10. 如請求項9所述的方法，其中該第一深度擷取裝置是利用飛時測距(time of fly，ToF)以產生該第一深度圖，或透過分析一結構光以產生該第一深度圖。
  11. 一種深度資料處理系統的操作方法，該深度資料處理系統包含一第一深度擷取裝置、一第二深度擷取裝置、一第三深度擷取裝置及一深度處理單元，及該方法包含： 透過該第一深度擷取裝置產生一第一深度圖； 透過該第二深度擷取裝置產生一第二深度圖； 透過該第三深度擷取裝置產生一第三深度圖； 該深度處理單元將該第一深度圖與該第二深度圖配準以取得該第一深度圖中每一畫素在該第二深度圖中的對應座標； 該深度處理單元將該第三深度圖與該第二深度圖配準以取得該第三深度圖中每一畫素在該第二深度圖中的對應座標；及 該深度處理單元根據該第一深度圖中每一畫素在該第二深度圖中的該對應座標及該第三深度圖中每一畫素在該第二深度圖中的該對應座標融合該第一深度圖的一深度資料、該第二深度圖的一深度資料及該第三深度圖的一深度資料以產生一優化深度圖。
TW108105029A 2018-09-13 2019-02-15 深度資料處理系統的操作方法 TWI705417B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811067113.8A CN110895822B (zh) 2018-09-13 2018-09-13 深度数据处理系统的操作方法
CN201811067113.8 2018-09-13

Publications (2)

Publication Number Publication Date
TW202011353A true TW202011353A (zh) 2020-03-16
TWI705417B TWI705417B (zh) 2020-09-21

Family

ID=69773042

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108105029A TWI705417B (zh) 2018-09-13 2019-02-15 深度資料處理系統的操作方法

Country Status (5)

Country Link
US (1) US10964040B2 (zh)
JP (1) JP6883608B2 (zh)
KR (1) KR20200031019A (zh)
CN (1) CN110895822B (zh)
TW (1) TWI705417B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10965929B1 (en) * 2019-01-04 2021-03-30 Rockwell Collins, Inc. Depth mapping and parallel distortion correction for mixed reality
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
US11943418B2 (en) * 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN111563924B (zh) * 2020-04-28 2023-11-10 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111862185A (zh) * 2020-07-24 2020-10-30 唯羲科技有限公司 一种从图像中提取平面的方法
CN114170290A (zh) * 2020-09-10 2022-03-11 华为技术有限公司 图像的处理方法及相关设备
WO2022087983A1 (zh) * 2020-10-29 2022-05-05 深圳市大疆创新科技有限公司 测距方法、测距装置与可移动平台

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453119B2 (ja) 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
US8213683B2 (en) * 2008-08-26 2012-07-03 National Taiwan University Driving support system with plural dimension processing units
KR101666854B1 (ko) * 2010-06-14 2016-10-17 삼성전자주식회사 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
CN102387374B (zh) * 2010-08-30 2015-07-29 三星电子株式会社 用于获得高精度深度图的设备和方法
JP5864950B2 (ja) 2011-08-15 2016-02-17 キヤノン株式会社 三次元計測装置、三次元計測方法およびプログラム
JP5515018B2 (ja) * 2011-12-06 2014-06-11 本田技研工業株式会社 環境認識装置
WO2013148308A1 (en) * 2012-03-28 2013-10-03 Intel Corporation Systems, methods, and computer program products for low-latency warping of a depth map
JP6222898B2 (ja) 2012-07-03 2017-11-01 キヤノン株式会社 ３次元計測装置及びロボット装置
KR101429349B1 (ko) 2012-09-18 2014-08-12 연세대학교 산학협력단 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
WO2014106626A1 (en) * 2013-01-03 2014-07-10 Icrealisations Bvba Dual sensor system and related data manipulation methods and uses
KR20140105689A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
JP6526955B2 (ja) 2014-10-27 2019-06-05 株式会社日立製作所 センサ情報統合方法、及びその装置
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US10260866B2 (en) * 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
CN105374019B (zh) * 2015-09-30 2018-06-19 华为技术有限公司 一种多深度图融合方法及装置
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
CN106162147B (zh) * 2016-07-28 2018-10-16 天津大学 基于双目Kinect深度相机系统的深度恢复方法
CN108377379B (zh) * 2016-10-20 2020-10-09 聚晶半导体股份有限公司 影像深度信息的优化方法与影像处理装置
CN107403447B (zh) * 2017-07-14 2020-11-06 梅卡曼德（北京）机器人科技有限公司 深度图像获取方法
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置

Also Published As

Publication number Publication date
KR20200031019A (ko) 2020-03-23
US20200090358A1 (en) 2020-03-19
CN110895822B (zh) 2023-09-01
US10964040B2 (en) 2021-03-30
CN110895822A (zh) 2020-03-20
JP6883608B2 (ja) 2021-06-09
TWI705417B (zh) 2020-09-21
JP2020042772A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
TWI705417B (zh) 深度資料處理系統的操作方法
US8355565B1 (en) Producing high quality depth maps
WO2022000992A1 (zh) 拍摄方法、装置、电子设备和存储介质
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
US9325968B2 (en) Stereo imaging using disparate imaging devices
EP2328125B1 (en) Image splicing method and device
US11663691B2 (en) Method and apparatus for restoring image
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN100527165C (zh) 一种以动态投影为背景的实时目标识别方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN105026997A (zh) 投影系统、半导体集成电路及图像修正方法
CN109413399B (zh) 使用深度图合成对象的装置及其方法
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
US20180114349A1 (en) Augmented reality system and method
TWI785162B (zh) 提供影像的方法及用於支持所述方法的電子裝置
AU2007249585B2 (en) Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
US20170289516A1 (en) Depth map based perspective correction in digital photos
WO2019003854A1 (ja) 画像処理装置、画像変換方法
TWI662694B (zh) 三維影像攝取方法及系統
US20230005213A1 (en) Imaging apparatus, imaging method, and program
CN107633498A (zh) 图像暗态增强方法、装置及电子设备
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법