TWI486551B - 三維資料擷取方法及其系統 - Google Patents

三維資料擷取方法及其系統 Download PDF

Info

Publication number
TWI486551B
TWI486551B TW102137943A TW102137943A TWI486551B TW I486551 B TWI486551 B TW I486551B TW 102137943 A TW102137943 A TW 102137943A TW 102137943 A TW102137943 A TW 102137943A TW I486551 B TWI486551 B TW I486551B
Authority
TW
Taiwan
Prior art keywords
image
regions
object image
corrected
dimensional
Prior art date
Application number
TW102137943A
Other languages
English (en)
Other versions
TW201516375A (zh
Inventor
Tzung Han Lin
Original Assignee
Univ Nat Taiwan Science Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan Science Tech filed Critical Univ Nat Taiwan Science Tech
Priority to TW102137943A priority Critical patent/TWI486551B/zh
Priority to CN201310750111.XA priority patent/CN104574350B/zh
Priority to US14/183,539 priority patent/US9886759B2/en
Publication of TW201516375A publication Critical patent/TW201516375A/zh
Application granted granted Critical
Publication of TWI486551B publication Critical patent/TWI486551B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Description

三維資料擷取方法及其系統
本發明是有關於一種資料擷取方法及其系統，且特別是有關於一種三維資料擷取方法及其系統。
在電腦圖學(computer graphics)的領域中，針對物體外觀輪廓的幾何量測技術在現今的應用上，舉凡工業設計、逆向工程、醫學影像處理、刑事鑑定、數位文物典藏、文物遺跡考古等均有三維取像與資料分析的需求。此外，近來由於三維掃描器與三維印表機引發的製造革命，更顯示三維幾何資料擷取的重要性。
傳統雷射式的三維掃描器設計大多包含可承載物體的旋轉機構(rotating mechanism)或移動機構(moving mechanism)等傳動元件(transmission component)，其利用位置的改變以擷取更大範圍的物體之三維資料。此類的設計往往需要更高的製造成本以及額外的校正程序。另一方面，以投射結構光(structured light)等無需傳動元件的測量法僅能達到固定的解析度，無法針對局部或特定區域的特徵進行更高解析度的三維資料擷取。因此，如何 以低成本的元件以及可調變的解析度快速精確地擷取物體的三維資料已成為亟欲解決的問題之一。
本發明提供一種三維資料擷取方法及其裝置，其利用可調變的解析度以快速精確地擷取一受測物體的三維資料。
本發明提出一種三維資料擷取方法，包括下列步驟。首先，將雷射光投射於受測物體之表面上的多個區域，以在每一所述區域分別產生多個特徵點。接著，針對每一所述區域，同步自第一方向以及第二方向擷取受測物體與所述特徵點，以產生對應於第一方向的第一物體影像以及對應於第二方向的第二物體影像，再將第一物體影像以及第二物體影像進行處理，以取得第一物體影像以及第二物體影像中所述特徵點的二維座標。之後，根據每一所述區域所對應的第一物體影像以及第二物體影像中所述特徵點的二維座標，獲得受測物體的三維資料。
在本發明的一實施例中，在針對每一所述區域，將第一物體影像以及第二物體影像進行處理，以取得第一物體影像以及第二物體影像中所述特徵點的二維座標之前，上述三維資料擷取方法更包括下列步驟。自第一方向以及第二方向擷取校正物的影像，以產生對應於第一方向的第一校正影像以及對應於第二方向的第二校正影像。接著，將第一校正影像以及第二校正影像進行處理，以產生對應於第一校正影像的第一內部參數、第一外部參 數、第一鏡頭變形參數以及對應於第二校正影像的第二內部參數、第二外部參數、第二鏡頭變形參數，其中第一外部參數與第二外部參數同時對應於一座標系統。
在本發明的一實施例中，上述針對每一所述區域，將第一物體影像以及第二物體影像進行處理，以取得第一物體影像以及第二物體影像中所述特徵點的二維座標的步驟包括：針對每一所述區域，根據第一鏡頭變形參數以及第二鏡頭變形參數，分別將第一物體影像以及第二物體影像進行反扭曲運算，以產生第一修正物體影像以及第二修正物體影像；針對每一所述區域，取得多個第一特徵點以及多個第二特徵點的二維座標，其中所述第一特徵點為第一修正物體影像中的所述特徵點，所述第二特徵點為第二修正物體影像中的所述特徵點；針對每一所述區域，根據每一所述第一特徵點以及每一所述第一特徵點所對應的第一極線，自第二修正物體影像中取得每一所述第一特徵點的對應點的二維座標，以及根據每一所述第二特徵點以及每一所述第二特徵點所對應的第二極線，自第一修正物體影像中取得每一所述第二特徵點的對應點的二維座標。
在本發明的一實施例中，上述根據每一所述區域所對應的第一物體影像以及第二物體影像中所述特徵點的二維座標，獲得受測物體的三維資料的步驟包括：根據第一投影矩陣、第二投影矩陣、每一所述區域所對應之所述第一特徵點的二維座標、每一所述區域所對應之所述第一特徵點的所述對應點的二維座標、 每一所述區域所對應之所述第二特徵點的二維座標、每一所述區域所對應之所述第二特徵點的所述對應點的二維座標，獲得受測物體的三維資料，其中第一投影矩陣為第一內部參數與第一外部參數所組合而成的矩陣，第二投影矩陣為第二內部參數與第二外部參數所組合而成的矩陣。
在本發明的一實施例中，在根據每一所述區域所對應的第一物體影像以及第二物體影像中所述特徵點的二維座標，獲得受測物體的三維資料之後，上述三維資料擷取方法更包括下列步驟：根據受測物體的三維資料，產生多個三角網格，據以建構受測物體的三維模型。
本發明提出一種三維資料擷取方法，包括投光裝置、第一影像擷取裝置、第二影像擷取裝置以及影像處理裝置。投光裝置用以投射雷射光於受測物體之表面上的多個區域，以在每一所述區域分別產生多個特徵點。針對每一所述區域，第一影像擷取裝置以及第二影像擷取裝置用以同步自第一方向以及第二方向擷取受測物體與所述特徵點，以產生對應於第一方向的第一物體影像以及對應於第二方向的第二物體影像。針對每一所述區域，影像處理裝置用以將第一物體影像以及第二物體影像進行處理，以取得第一物體影像以及第二物體影像中所述特徵點的二維座標，又根據每一所述區域所對應的第一物體影像以及第二物體影像中所述特徵點的二維座標，獲得受測物體的三維資料。
在本發明的一實施例中，第一影像擷取裝置以及第二影 像擷取裝置更擷取一校正物的影像，以產生對應於第一方向的第一校正影像以及第二方向的第二校正影像。影像處理裝置將第一校正影像以及第二校正影像進行處理，以產生對應於第一校正影像的第一內部參數、第一外部參數、第一鏡頭變形參數以及對應於第二內部參數、第二外部參數、第二鏡頭變形參數，其中第一外部參數與第二外部參數同時對應於一座標系統。
在本發明的一實施例中，針對每一所述區域，影像處理裝置根據第一鏡頭變形參數以及第二鏡頭變形參數，分別將第一物體影像以及第二物體影像進行反扭曲運算，以產生第一修正物體影像以及第二修正物體影像。針對每一所述區域，影像處理裝置又取得多個第一特徵點以及多個第二特徵點的二維座標，其中所述第一特徵點為第一修正物體影像中的所述特徵點，所述第二特徵點為第二修正物體影像中的所述特徵點。針對每一所述區域，影像處理裝置再根據每一所述第一特徵點以及每一所述第一特徵點所對應的第一極線，自第二修正物體影像中取得每一所述第一特徵點的對應點的二維座標，以及根據每一所述第二特徵點以及每一所述第二特徵點所對應的第二極線，自第一修正物體影像中取得每一所述第二特徵點的對應點的二維座標。
在本發明的一實施例中，影像處理裝置根據第一投影矩陣、第二投影矩陣、每一所述區域所對應之所述第一特徵點的二維座標、每一所述區域所對應之所述第一特徵點的所述對應點的二維座標、每一所述區域所對應之所述第二特徵點的二維座標、 每一所述區域所對應之所述第二特徵點的所述對應點的二維座標，獲得受測物體的三維資料，其中第一投影矩陣為第一內部參數與第一外部參數所組合而成的矩陣，第二投影矩陣為第二內部參數與第二外部參數所組合而成的矩陣。
在本發明的一實施例中，影像處理裝置更根據受測物體的三維資料，產生多個三角網格，據以建構受測物體的三維模型。
基於上述，本發明的三維資料擷取方法及其裝置可藉由投光裝置將雷射光投射於受測物體的多個區域，以在受測物體上產生多個特徵點，同時藉由兩個影像擷取裝置自不同方向同步擷取受測物體以及特徵點的多組影像，並且藉由影像處理裝置來計算特徵點在多組影像中的二維座標，據以獲得受測物體的三維資料。此外，本發明可依受測物體的輪闊複雜度來調整投光裝置的移動速度、轉動姿態以及反覆掃描的次數，以調整水平方向以及垂直方向的掃描解析度。此三維資料擷取方法及其裝置不僅可在低成本的考量下達到可調變解析度的功效，更可即時對影像進行處理，以增強本發明在實際應用中的適用性。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧三維資料擷取系統
110‧‧‧投光裝置
120A、120B‧‧‧第一影像擷取裝置、第二影像擷取裝置
130‧‧‧影像處理裝置
A‧‧‧受測物體
M‧‧‧區域
S201~S207、S401~S415‧‧‧三維資料擷取的流程
S301~S305‧‧‧影像校正方法的流程
l ' i ‧‧‧極線
x i 、x' k ‧‧‧第一特徵點、第一特徵點x i 的對應點
x' k 、x' k +1 ‧‧‧第二特徵點
圖1為根據本發明之一實施例所繪示的三維資料擷取系統的 示意圖。
圖2為根據本發明之一實施例所繪示的三維資料擷取方法的流程圖。
圖3為根據本發明之一實施例所繪示的影像校正方法的流程圖。
圖4為根據本發明之一實施例所繪示的三維資料擷取方法的流程圖。
圖5A與圖5B分別為同步所擷取的第一修正物體影像以及第二修正物體影像之局部放大示意圖。
圖1為根據本發明之一實施例所繪示的三維資料擷取系統的示意圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹三維資料擷取系統的所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，三維資料擷取系統100包括投光裝置110、第一影像擷取裝置120A、第二影像擷取裝置120B以及影像處理裝置130。在本範例實施例中，三維資料擷取系統100可針對受測物體A進行掃描，以獲得受測物體A的三維資料。
在本實施例中，投光裝置110為線光源(linear light source)，其用以投射雷射光於受測物體A。當投光裝置110投射例如是紅色雷射光於受測物體A時，受測物體A的表面會產生直 線狀或曲線狀的紅色狹縫區域。此外，投光裝置110可由使用者任意操作或是以運動機構(motion mechanism)帶動，使得雷射光可投射於受測物體A的表面之任意位置。
在本實施例中，第一影像擷取裝置120A以及第二影像擷取裝置120B可以是採用電荷耦合元件(charge coupled device,CCD)鏡頭的照相機，並且兩者皆有固定焦距，但本發明不限於此。在本實施例中，第一影像擷取裝置120A以及第二影像擷取裝置120B可以鎖在一個固定的支架上，使得兩者之間的相對位置固定。換句話說，第一影像擷取裝置120A以及第二影像擷取裝置120B的視角方向具有固定的夾角，在此將第一影像擷取裝置120A以及第二影像擷取裝置120B的視角方向分別定義為「第一方向」以及「第二方向」。第一影像擷取裝置120A以及第二影像擷取裝置120B用以同步且連續擷取受測物體A的影像。
在本實施例中，影像處理裝置130可以為個人電腦、筆記型電腦、智慧型手機、平板電腦，本發明不以此為限。影像處理裝置130包括記憶體以及處理器。記憶體用以儲存第一影像擷取裝置120A以及第二影像擷取裝置120B所擷取的影像，而處理器用於處理記憶體中所儲存的影像。此外，影像處理裝置130可利用有線傳輸或是無線傳輸的方式取得第一影像擷取裝置120A以及第二影像擷取裝置120B所擷取的影像。
圖2為根據本發明之一實施例所繪示的三維資料擷取方法的流程圖，而圖2的三維資料擷取方法可以圖1的三維資料擷 取系統100的各元件實現。
請同時參照圖1以及圖2，首先，投光裝置110投射雷射光於受測物體A之表面上的多個區域，以在每一所述區域分別產生多個特徵點(步驟S201)。在本實施例中，受測物體A為表面具有不規則輪廓的人形石膏像，而所述區域即為投光裝置110投射雷射光於受測物體A時，受測物體A之表面上所產生的直線狀或曲線狀的狹縫區域。以圖1為例，當投光裝置110投射紅色雷射光於受測物體A時，受測物體A的表面上會產生紅色的區域M。由於受測物體A的表面具有不規則輪廓，區域M上會形成多個亮點(未繪示)，或多段曲線亮帶，而所述亮點或亮帶即為特徵點。由於投光裝置110可由使用者任意操作或是以運動機構帶動，當投光裝置110將雷射光投射於受測物體A之表面上的另一區域時，另一區域上亦會形成多個特徵點。為了擷取受測物體A的完整三維資料，投光裝置110將對受測物體A之表面上的所有區域投射雷射光，以產生多條曲線以及特徵點。然而，為了方便說明，本實施例僅將針對區域M進行論述。
接著，針對每一區域，第一影像擷取裝置120A以及第二影像擷取裝置120B分別同步自第一方向以及第二方向擷取受測物體A與所述特徵點，以分別產生第一物體影像以及第二物體影像(步驟S203)。舉例而言，當受測物體A的表面上產生區域M時，第一影像擷取裝置120A以及第二影像擷取裝置120B即會同步自第一方向以及第二方向擷取受測物體A、區域M以及區域M 上的特徵點，而第一影像擷取裝置120A以及第二影像擷取裝置120B可產生出一組影像，即為第一物體影像以及第二物體影像。當受測物體A的表面產生另一區域時，第一影像擷取裝置120A以及第二影像擷取裝置120B亦會同步自第一方向以及第二方向擷取受測物體A、另一區域以及另一區域上的特徵點，而產生另一組第一物體影像以及第二物體影像。以此類推，當投光裝置110在步驟S201中投射雷射光於受測物體A之表面上的其它多個區域時，第一影像擷取裝置120A以及第二影像擷取裝置120B將會產生多組第一物體影像以及第二物體影像。
接著，針對每一所述區域，影像處理裝置130將第一物體影像以及第二物體影像進行處理，以取得第一物體影像以及第二物體影像中所述特徵點的二維座標(步驟S205)。也就是說，影像處理裝置130利用有線傳輸或是無線傳輸的方式取得每一區域的一組第一物體影像以及第二物體影像後，影像處理裝置130會先將第一影像擷取裝置120A以及第二影像擷取裝置120B所造成的影像變形對各組第一物體影像以及第二物體影像進行校正。在校正的程序當中，第一影像擷取裝置120A以及第二影像擷取裝置120B將會產生多個校正參數。由於所述特徵點為受測物體A之表面輪廓所形成的亮點，影像處理裝置130可利用例如是亮度值來偵測各組第一物體影像以及第二物體影像中的特徵點，以取得所有特徵點的二維座標。
之後，影像處理裝置130將根據每一區域所對應的第一 物體影像以及第二物體影像中各個特徵點的二維座標，獲得受測物體A的三維資料(步驟S207)。在本實施例中，影像處理裝置130可根據第一影像擷取裝置120A以及第二影像擷取裝置120B所產生的校正參數以及每一區域所對應的第一物體影像以及第二物體影像中各個特徵點的二維座標，以奇異值分解(singular value decomposition,SVD)的方式取得受測物體A的三維資料。
關於步驟S205中的校正參數與所有特徵點的二維座標之計算方式，以及步驟S207中利用所有特徵點的二維座標取得受測物體A的三維資料的計算方式，將在以下段落中做更進一步的說明。
圖3為根據本發明之一實施例所繪示的影像校正方法的流程圖。
請同時參照圖1以及圖3，首先，第一影像擷取裝置120A以及第二影像擷取裝置120B分別自第一方向以及第二方向擷取校正物的影像，以分別產生第一校正影像以及第二校正影像(步驟S301)。詳言之，在本實施例中，三維資料擷取系統100將利用校正物來針對第一影像擷取裝置120A以及第二影像擷取裝置120B進行校正參數計算程序。在本實施例中，校正物為具有參考圖案的平板，而此參考圖案可以例如是棋盤格。第一影像擷取裝置120A以及第二影像擷取裝置120B擷取校正物的影像後，則會分別產生第一校正影像以及第二校正影像。
接著，影像處理裝置130將對第一校正影像以及第二校 正影像進行處理，以產生對應於第一校正影像的第一內部參數、第一外部參數、第一鏡頭變形參數以及對應於第二校正影像的第二內部參數、第二外部參數、第二鏡頭變形參數，其中第一外部參數與第二外部參數同時對應於一座標系統(步驟S303)。此步驟的主要目的是取得第一影像擷取裝置120A以及第二影像擷取裝置120B對所擷取的影像產生變形的參數。在此，第一內部參數與第一外部參數可組合而成第一投影矩陣，而第二內部參數與第二外部參數可組合而成第二投影矩陣。
詳言之，在此的第一鏡頭變形參數以及第二鏡頭變形參數則分別為第一影像擷取裝置120A以及第二影像擷取裝置120B中的鏡頭扭曲變形係數(distortion coefficients)，其通常是由多項式表示，用於描述鏡頭所導致的桶狀(barrel)或針狀(pincushion)變形。另一方面，內部參數(intrinsic parameters)可用來描述相機座標(camera coordinates)與影像座標(image coordinates)之間的轉換關係，也就是利用針孔(pinhole)成像原理將相機座標投影到成像平面(projective plane)，通常以3×3的矩陣表示。第一影像擷取裝置120A以及第二影像擷取裝置120B的外部參數(extrinsic parameters)則是用來描述三維世界座標(world coordinate)與三維相機座標之間的轉換關係，其可以一個旋轉與平移的3×4複合矩陣表示。第一投影矩陣與第二投影矩陣可分別以方程式(1.1)與方程式(1.2)表示：
接著，影像處理裝置130針對每一所述區域，根據第一鏡頭變形參數以及第二鏡頭變形參數，分別將第一物體影像以及第二物體影像進行反扭曲運算(undistortion)，以產生第一修正物體影像以及第二修正物體影像(步驟S305)。也就是說，影像處理裝置130在利用第一鏡頭變形參數以及第二鏡頭變形參數分別將第一物體影像以及第二物體影像進行反扭曲運算後，所產生的第一修正物體影像以及第二修正物體影像可將影像修正回近似針孔投影的數學模型。
圖4為根據本發明之一實施例所繪示的三維資料擷取方法的流程圖。
請同時參照圖1以及圖4，投光裝置110投射雷射光於受測物體A之表面上的多個區域，以在每一所述區域分別產生多個特徵點(步驟S401)，並且第一影像擷取裝置120A以及第二影像擷取裝置120B將分別同步且連續自第一方向以及第二方向擷取受測物體A與特徵點，以產生多組第一物體影像以及第二物體影像(步驟S403)。也就是說，當投光裝置110所投射的雷射光掃過受測物體A之表面的同時，第一影像擷取裝置120A以及第二影像擷取裝置120B將分別同步且連續擷取受測物體A與特徵點。在此，所述區域的位置可任由使用者決定，並且投光裝置110的移動速度以及轉動姿態將影響第一物體影像以及第二物體影像的數量。舉例來說，以第一影像擷取裝置120A以及第二影像擷取裝置 120B固定的影像擷取頻率而言，當投光裝置110的移動速度越快，則第一影像擷取裝置120A以及第二影像擷取裝置120B在水平方向所擷取的第一物體影像以及第二物體影像的數量越少；當投光裝置110的轉動姿態越少，第一影像擷取裝置120A以及第二影像擷取裝置120B在垂直方向所擷取的第一物體影像以及第二物體影像的數量同樣地越少。
接著，影像處理裝置130將針對每一區域，根據第一鏡頭變形參數以及第二鏡頭變形參數，分別將第一物體影像以及第二物體影像進行反扭曲運算，以產生第一修正物體影像以及第二修正物體影像(步驟S405)，使得第一物體影像以及第二物體影像可被修正為接近針孔投影狀態。步驟S405請參照圖3的相關說明，於此不再贅述。
之後，影像處理裝置130自每一區域所對應的一組第一物體影像以及第二物體影像分別取得多個第一特徵點以及多個第二特徵點的二維座標(步驟S407)，其中第一特徵點為第一修正物體影像中的特徵點，第二特徵點為第二修正物體影像中的特徵點。以下僅針對單一組第一修正物體影像以及第二修正物體影像來進行說明。
圖5A與圖5B分別為同步所擷取的第一修正物體影像以及第二修正物體影像之局部放大圖。影像處理裝置130將採用一門檻值於第一修正物體影像以及第二修正物體影像中過濾每一條水平線上的最亮點。此最亮點的座標在y方向(垂直方向)的數 值為整數，在x方向(水平方向)的數值為浮點數。而影像處理裝置130可參考例如是所有畫素的亮度值之高斯分佈(Gaussian distribution)，以在x方向逼近出最亮點的所在的子畫素(sub-pixel)之座標。圖5A的空心圓圈點即為自第一修正物體影像所過濾出的亮點，也就是前述的第一特徵點；圖5B的空心圓圈點即為自第二修正物體影像所過濾出的亮點，也就是前述的第二特徵點。
請再參照圖4，在步驟S407之後，影像處理單元130將針對每一區域，根據第一特徵點以及第一特徵點所對應的第一極線，自第二修正物體影像中取得第一特徵點的對應點之二維座標，或是根據第二特徵點以及第二特徵點所對應的第二極線，自第一修正物體影像中取得第二特徵點的對應點之二維座標(步驟S409)。在此，將第一特徵點以及第一特徵點的對應點或是第二特徵點以及第二特徵點的對應點稱為「對應組」。
詳言之，根據電腦視覺理論，若三維空間內的某個空間點可同時被兩個不同位置的相機所拍攝，則兩部相機的中心、兩部相機分別所拍攝到的一組對應點，以及前述的三維空間點可在空間上以極線幾何(epipolar geometry)來描述，也就是存在一個基礎矩陣(fundamental matrix)的轉換關係。應用此概念，當受測物體A的表面上存在一個特徵點X，而若特徵點X同時被第一影像擷取裝置120A以及第二影像擷取裝置120B所擷取，並且經由影像處理裝置130進行校正後，產生例如是圖5A的第一修正物 體影像以及圖5B的第二修正物體影像。若特徵點X投影於第一修正物體影像中形成第一特徵點x i ，則第一特徵點x i 與第一影像擷取裝置120A之中心點的連線再與第二影像擷取裝置120B之中心點所連成的平面，將會與第二修正物體影像產生交集(intersection)。
假設圖5A中的第一特徵點x i 可以透過基礎矩陣在圖5B中形成一條極線l ' i ，此極線l ' i 即為前述之第一極線。極線l ' i 以及第二特徵點x' k 與第二特徵點x' k +1 的連線可以交集出一個點x' i ，在此的點x' i 即為第一特徵點x i 的對應點。換言之，第一特徵點x i 以及點x' i 即為前述所定義之「對應組」。值得注意的是，第二特徵點x' k 以及第二特徵點x' k +1 需與極線l ' i 足夠接近(例如距離小於1.414個畫素)，點x' i 才將被視為有效的對應點。另一方面，由圖5B上的第二特徵點亦可在圖5A中透過第二極線(未繪示)找到第二特徵點的對應點。
影像處理裝置130在同一組第一修正物體影像以及第二修正物體影像收集到所有對應組的二維座標後，將對其它組的第一修正物體影像以及第二修正物體影像進行相同的步驟。接著，影像處理裝置130根據第一投影矩陣、第二投影矩陣、每一所述區域所對應的所有對應組之二維座標，獲得受測物體A的三維資料(步驟S411)。以受測物體A的表面上的特徵點X為例，若特徵點X投影於第一修正物體影像中形成第一特徵點x，在理想狀態下將會滿足方程式(2.1)：x ×[PX ]=0 方程式(2.1) 同理，對於第一特徵點x於第二修正物體影像中的對應點x'，在理想狀態下將會滿足方程式(2.2)：x ' ×[P ' X ]=0 方程式(2.2)其中P與P'分別為方程式(1.1)的第一投影矩陣以及方程式(1.2)的第二投影矩陣，而第一特徵點x以及第一特徵點x的對應點x'可以表示為方程式(3.1)與方程式(3.2)的形式：x =[x y l] T 方程式(3.1)x '=[x 'y ' l]T 方程式(3.2)因此，由於影像處理單元130已在先前的步驟中取得第一投影矩陣P、第二投影矩陣P'以及對應組x與x'，並且可整理為方程式(4)： 因此影像處理單元130可藉由奇異值分解獲得特徵點X的三維資料。
值得注意的是，由於雷射光在受測物體A的表面產生多個特徵點，接著透過上述演算方式將所述特徵點的三維資料計算出來，使用者或是運動機構更可以藉由反覆揮動雷射光以在x方向產生更多的特徵點，進而提升x方向的掃描解析度(scan resolution)；亦可以藉由些微傾斜的雷射線以在y方向產生更多的特徵點，進而提升y方向的掃描解析度。因此，使用者或是運動機構可根據受測物體的輪廓複雜程度而調整投光裝置110的掃瞄 解析度。例如，受測物體A的外觀包含了具有複雜外觀的臉部以及簡單幾何外觀基座，若投光裝置110以較高的解析度掃瞄基座，則會產生過多不必要的特徵點，若以較低的解析度掃瞄臉部外觀，則可能因取樣不足而無法表現出臉部的外觀。
據此，在步驟S411之後，使用者或是運動機構可判斷是否決定結束擷取受測物體A的三維資料(步驟S413)。舉例而言，使用者可根據影像處理裝置130已取得的受測物體A之三維資料的個數來判斷是否足夠建構受測物體A的三維模型。當使用者認為受測物體A的三維資料不足，三維資料擷取系統100將回到步驟S401，以重新對受測物體A進行更多的三維資料擷取。
當使用者認為受測物體的三維資料已足夠，三維資料擷取系統100將停止對受測物體A進行三維資料擷取。此時，影像處理裝置130將根據受測物體A的三維資料，產生多個三角網格(triangular mesh)，據以建構受測物體A的三維模型(步驟S415)。由於現今電腦圖學的領域中已存在多種三角網格化(triangulation)的演算方法，於此不再贅述。
綜上所述，本發明的三維資料擷取方法及其裝置可藉由投光裝置將雷射光投射於受測物體的多個區域，以在受測物體上產生多個特徵點，同時藉由兩個影像擷取裝置自不同方向同步擷取受測物體以及特徵點的多組影像，並且藉由影像處理裝置來計算特徵點在多組影像中的二維座標，據以獲得受測物體的三維資料。此外，本發明可依受測物體的輪闊複雜度來調整投光裝置的 移動速度、轉動姿態以及反覆掃描的次數，以調整水平方向以及垂直方向的掃描解析度。此三維資料擷取方法及其裝置不僅可在低成本的考量下達到可調變解析度的功效，更可即時對影像進行處理，以增強本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S201~S207‧‧‧三維資料擷取方法的流程

Claims (10)

  1. 一種三維資料擷取方法，適於擷取一受測物體的三維資料，該三維資料擷取方法包括：投射一雷射光於該受測物體之表面上的多個區域，以在每一所述區域分別產生多個特徵點，其中該雷射光的移動速度、轉動姿態以及投射次數關聯於該受測物體之該表面的輪闊複雜度；針對每一所述區域，同步自一第一方向以及一第二方向擷取該受測物體與所述特徵點，以產生對應於該第一方向的一第一物體影像以及對應於該第二方向的一第二物體影像；針對每一所述區域，將該第一物體影像以及該第二物體影像進行處理，以取得該第一物體影像以及該第二物體影像中所述特徵點的二維座標；以及根據每一所述區域所對應的該第一物體影像以及該第二物體影像中所述特徵點的二維座標，獲得該受測物體的三維資料。
  2. 如申請專利範圍第1項所述的三維資料擷取方法，其中在針對每一所述區域，將該第一物體影像以及該第二物體影像進行處理，以取得該第一物體影像以及該第二物體影像中所述特徵點的二維座標的步驟之前，該三維資料擷取方法更包括：自該第一方向以及該第二方向擷取一校正物的影像，以產生對應於該第一方向的一第一校正影像以及對應於該第二方向的一第二校正影像；以及將該第一校正影像以及該第二校正影像進行處理，以產生對 應於該第一校正影像的一第一內部參數、一第一外部參數、一第一鏡頭變形參數以及對應於該第二校正影像的一第二內部參數、一第二外部參數、一第二鏡頭變形參數，其中該第一外部參數與該第二外部參數同時對應於一座標系統。
  3. 如申請專利範圍第2項所述的三維資料擷取方法，其中針對每一所述區域，將該第一物體影像以及該第二物體影像進行處理，以取得該第一物體影像以及該第二物體影像中所述特徵點的二維座標的步驟包括：針對每一所述區域，根據該第一鏡頭變形參數以及該第二鏡頭變形參數，分別將該第一物體影像以及該第二物體影像進行一反扭曲運算，以產生一第一修正物體影像以及一第二修正物體影像；針對每一所述區域，取得多個第一特徵點以及多個第二特徵點的二維座標，其中所述第一特徵點為該第一修正物體影像中的所述特徵點，所述第二特徵點為該第二修正物體影像中的所述特徵點；以及針對每一所述區域，根據每一所述第一特徵點以及每一所述第一特徵點所對應的一第一極線，自該第二修正物體影像中取得每一所述第一特徵點的一對應點的二維座標，以及根據每一所述第二特徵點以及每一所述第二特徵點所對應的一第二極線，自該第一修正物體影像中取得每一所述第二特徵點的一對應點的二維座標。
  4. 如申請專利範圍第3項所述的三維資料擷取方法，其中根據每一所述區域所對應的該第一物體影像以及該第二物體影像中所述特徵點的二維座標，獲得該受測物體的三維資料的步驟包括：根據該第一投影矩陣、該第二投影矩陣、每一所述區域所對應之所述第一特徵點的二維座標、每一所述區域所對應之所述第一特徵點的所述對應點的二維座標、每一所述區域所對應之所述第二特徵點的二維座標、每一所述區域所對應之所述第二特徵點的所述對應點的二維座標，獲得該受測物體的三維資料，其中該第一投影矩陣為該第一內部參數與該第一外部參數所組合而成的矩陣，該第二投影矩陣為該第二內部參數與該第二外部參數所組合而成的矩陣。
  5. 如申請專利範圍第1項所述的三維資料擷取方法，其中在根據每一所述區域所對應的該第一物體影像以及該第二物體影像中所述特徵點的二維座標，獲得該受測物體的三維資料的步驟之後，該三維資料擷取方法更包括：根據該受測物體的三維資料，產生多個三角網格，據以建構該受測物體的三維模型。
  6. 一種三維資料擷取系統，適於擷取一受測物體的三維資料，該三維資料擷取系統包括：一投光裝置，投射一雷射光於該受測物體之表面上的多個區域，以在每一所述區域分別產生多個特徵點，其中該投光裝置的移動速度、轉動姿態以及投射次數關聯於該受測物體之該表面的 輪闊複雜度；一第一影像擷取裝置以及一第二影像擷取裝置，針對每一所述區域，同步自一第一方向以及一第二方向擷取該受測物體與所述特徵點，以產生對應於該第一方向的一第一物體影像以及對應於該第二方向的一第二物體影像；一影像處理裝置，針對每一所述區域，將該第一物體影像以及該第二物體影像進行處理，以取得該第一物體影像以及該第二物體影像中所述特徵點的二維座標，又根據每一所述區域所對應的該第一物體影像以及該第二物體影像中所述特徵點的二維座標，獲得該受測物體的三維資料。
  7. 如申請專利範圍第6項所述的三維資料擷取系統，其中該第一影像擷取裝置以及該第二影像擷取裝置更擷取一校正物的影像，以產生對應於該第一方向的一第一校正影像以及對應於該第二方向的一第二校正影像，並且該影像處理裝置將該第一校正影像以及該第二校正影像進行處理，以產生對應於該第一校正影像的一第一內部參數、第一外部參數、一第一鏡頭變形參數以及對應於該第二校正影像的一第二內部參數、一第二外部參數、一第二鏡頭變形參數，其中該第一外部參數與該第二外部參數同時對應於一座標系統。
  8. 如申請專利範圍第7項所述的三維資料擷取系統，其中該影像處理裝置針對每一所述區域，根據該第一鏡頭變形參數以及該第二鏡頭變形參數，分別將該第一物體影像以及該第二 物體影像進行一反扭曲運算，以產生一第一修正物體影像以及一第二修正物體影像，該影像處理裝置又針對每一所述區域，取得多個第一特徵點以及多個第二特徵點的二維座標，其中所述第一特徵點為該第一修正物體影像中的所述特徵點，所述第二特徵點為該第二修正物體影像中的所述特徵點，以及該影像處理裝置再針對每一所述區域，根據每一所述第一特徵點以及每一所述第一特徵點所對應的一第一極線，自該第二修正物體影像中取得每一所述第一特徵點的一對應點的二維座標，以及根據每一所述第二特徵點以及每一所述第二特徵點所對應的一第二極線，自該第一修正物體影像中取得每一所述第二特徵點的一對應點的二維座標。
  9. 如申請專利範圍第8項所述的三維資料擷取系統，其中該影像處理裝置根據該第一投影矩陣、該第二投影矩陣、每一所述區域所對應之所述第一特徵點的二維座標、每一所述區域所對應之所述第一特徵點的所述對應點的二維座標、每一所述區域所對應之所述第二特徵點的二維座標、每一所述區域所對應之所述第二特徵點的所述對應點的二維座標，獲得該受測物體的三維資料，其中該第一投影矩陣為該第一內部參數與該第一外部參數所組合而成的矩陣，該第二投影矩陣為該第二內部參數與該第二外部參數所組合而成的矩陣。
  10. 如申請專利範圍第6項所述的三維資料擷取系統，其中 該影像處理裝置更根據該受測物體的三維資料，產生多個三角網格，據以建構該受測物體的三維模型。
TW102137943A 2013-10-21 2013-10-21 三維資料擷取方法及其系統 TWI486551B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102137943A TWI486551B (zh) 2013-10-21 2013-10-21 三維資料擷取方法及其系統
CN201310750111.XA CN104574350B (zh) 2013-10-21 2013-12-31 三维数据撷取方法及其系统
US14/183,539 US9886759B2 (en) 2013-10-21 2014-02-19 Method and system for three-dimensional data acquisition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102137943A TWI486551B (zh) 2013-10-21 2013-10-21 三維資料擷取方法及其系統

Publications (2)

Publication Number Publication Date
TW201516375A TW201516375A (zh) 2015-05-01
TWI486551B true TWI486551B (zh) 2015-06-01

Family

ID=52825835

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102137943A TWI486551B (zh) 2013-10-21 2013-10-21 三維資料擷取方法及其系統

Country Status (3)

Country Link
US (1) US9886759B2 (zh)
CN (1) CN104574350B (zh)
TW (1) TWI486551B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712002B (zh) * 2018-11-27 2020-12-01 國立交通大學 三維人臉重建方法
TWI781109B (zh) * 2016-08-02 2022-10-21 南韓商三星電子股份有限公司 立體三角測量的系統和方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170127049A1 (en) * 2015-10-30 2017-05-04 Industrial Technology Research Institute Object scanning method
CN105466397B (zh) * 2015-12-22 2018-09-25 广东工业大学 多尺度双轴旋转激光影像三维重构系统及其方法
CN105979117B (zh) * 2016-04-28 2018-11-27 大连成者科技有限公司 基于激光线的弯曲书页图像展平方法
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) * 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
TWI616715B (zh) * 2016-06-24 2018-03-01 聚晶半導體股份有限公司 多鏡頭模組的調校方法及其系統
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
EP3392834B1 (en) * 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
CN107610179B (zh) * 2017-09-04 2021-01-05 苏州佳世达电通有限公司 一种影像撷取装置的校正方法
US10706530B2 (en) 2017-09-11 2020-07-07 International Business Machines Corporation Object detection
EP3486606A1 (de) * 2017-11-20 2019-05-22 Leica Geosystems AG Stereokamera und stereophotogrammetrisches verfahren
CN107920191B (zh) * 2017-11-24 2019-08-23 广东腾德同普科技股份有限公司 物证痕迹获取设备
JP7004244B2 (ja) * 2017-12-27 2022-01-21 オムロン株式会社 画像処理システム、画像処理方法、及びそのプログラム
EP3788319A1 (en) * 2018-04-30 2021-03-10 Path Robotics, Inc. Reflection refuting laser scanner
CN108692661A (zh) * 2018-05-08 2018-10-23 深圳大学 基于惯性测量单元的便携式三维测量系统及其测量方法
CN109141387A (zh) * 2018-09-04 2019-01-04 信利光电股份有限公司 一种3d绘测装置
US10964015B2 (en) 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
JP7121936B2 (ja) * 2019-02-28 2022-08-19 日本電気株式会社 カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415051B1 (en) * 1999-06-24 2002-07-02 Geometrix, Inc. Generating 3-D models using a manually operated structured light source
CN100429476C (zh) * 2006-12-20 2008-10-29 北京航空航天大学 一种双传感器激光视觉三维测量系统校准方法
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266146A (ja) 1992-03-19 1993-10-15 Matsushita Electric Ind Co Ltd 物体形状の表現装置
US6028672A (en) 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US6208347B1 (en) * 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
KR100233621B1 (ko) 1997-10-24 1999-12-01 조성욱 광학창을 이용한 비접촉식 3차원 미소형상 측정방법
US6366357B1 (en) * 1998-03-05 2002-04-02 General Scanning, Inc. Method and system for high speed measuring of microscopic targets
CA2267519A1 (en) * 1999-04-13 2000-10-13 Inspeck Inc. Optical full human body 3d digitizer
US6556706B1 (en) 2000-01-28 2003-04-29 Z. Jason Geng Three-dimensional surface profile imaging method and apparatus using single spectral light condition
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
US20050068523A1 (en) * 2003-08-11 2005-03-31 Multi-Dimension Technology, Llc Calibration block and method for 3D scanner
WO2005027039A2 (en) * 2003-09-08 2005-03-24 Laser Projection Technologies, Inc. 3d projection with image recording
US8050491B2 (en) * 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
JP4447970B2 (ja) 2004-06-14 2010-04-07 キヤノン株式会社 物体情報生成装置および撮像装置
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
US8243123B1 (en) * 2005-02-02 2012-08-14 Geshwind David M Three-dimensional camera adjunct
US20070065002A1 (en) * 2005-02-18 2007-03-22 Laurence Marzell Adaptive 3D image modelling system and apparatus and method therefor
ATE518113T1 (de) * 2005-03-11 2011-08-15 Creaform Inc Selbstreferenziertes system und vorrichtung zum dreidimensionalen scannen
WO2007142643A1 (en) * 2006-06-08 2007-12-13 Thomson Licensing Two pass approach to three dimensional reconstruction
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
WO2009065227A1 (en) 2007-11-23 2009-05-28 Numeq Inc. Three-dimensional surface measuring scanner
CA2731680C (en) * 2008-08-06 2016-12-13 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
US8760510B2 (en) * 2008-11-26 2014-06-24 Robert T. Aloe Apparatus and methods for three-dimensional imaging using a static light screen
CN101572787B (zh) 2009-01-04 2010-08-04 四川川大智胜软件股份有限公司 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
US9322646B2 (en) * 2010-04-09 2016-04-26 The Trustees Of The Stevens Institute Of Technology Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
WO2011156810A2 (en) * 2010-06-11 2011-12-15 The Florida International University Board Of Trustees Second generation hand-held optical imager
TW201312080A (zh) 2011-09-09 2013-03-16 Jung-Tang Huang 非接觸式測量實物長度的方法
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
US9196089B2 (en) * 2012-05-17 2015-11-24 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
WO2013174671A1 (en) * 2012-05-22 2013-11-28 Telefonica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
US9279662B2 (en) * 2012-09-14 2016-03-08 Faro Technologies, Inc. Laser scanner
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415051B1 (en) * 1999-06-24 2002-07-02 Geometrix, Inc. Generating 3-D models using a manually operated structured light source
CN100429476C (zh) * 2006-12-20 2008-10-29 北京航空航天大学 一种双传感器激光视觉三维测量系统校准方法
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Leotta, Matthew J., Austin Vandergon, and Gabriel Taubin. "Interactive 3D scanning Without Tracking." Proceedings of Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI) :205-212, Oct-2007 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781109B (zh) * 2016-08-02 2022-10-21 南韓商三星電子股份有限公司 立體三角測量的系統和方法
TWI712002B (zh) * 2018-11-27 2020-12-01 國立交通大學 三維人臉重建方法

Also Published As

Publication number Publication date
US9886759B2 (en) 2018-02-06
TW201516375A (zh) 2015-05-01
CN104574350A (zh) 2015-04-29
US20150109418A1 (en) 2015-04-23
CN104574350B (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
TWI486551B (zh) 三維資料擷取方法及其系統
TWI489082B (zh) 用於校正雷射量測裝置的方法及其系統
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN104335005B (zh) 3d扫描以及定位系统
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
JP6747292B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN108286945B (zh) 基于视觉反馈的三维扫描系统和方法
TW201717613A (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN110390719A (zh) 基于飞行时间点云重建设备
CN108648225B (zh) 目标图像获取系统与方法
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
Lv et al. Build 3D Scanner System based on Binocular Stereo Vision.
WO2009120073A2 (en) A dynamically calibrated self referenced three dimensional structured light scanner
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
GB2515178A (en) Improvements in and relating to imaging of the eye
JP2015233266A (ja) 画像処理システム、情報処理装置、プログラム
KR20130081037A (ko) 인체 치수 측정 시스템 및 그 방법
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
KR20220005428A (ko) 이동식 스캐너를 사용한 텍스처 모델 생성
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
Lin Resolution adjustable 3D scanner based on using stereo cameras
KR20130019080A (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법