TWI749376B - ３ｄ相機的校正方法 - Google Patents

Abstract

一種3D相機的校正方法，利用表面顏色對比的立體物件和背景，一次拍攝2D相機的影像圖及3D相機的點雲圖，分離及記錄立體物件和背景點雲的原始顏色，換算物件和背景點雲在2D相機影像中的像素位置的轉換顏色資訊，計算物件和背景點雲變色的缺失分數，優化座標系統的轉換參數減少缺失分數，以快速校正3D相機。

Description

3D相機的校正方法

本發明有關一種3D相機的校正方法，尤其關於利用已校正的2D相機，校正3D相機座標系統的方法。

隨著人工智慧的快速發展，工廠利用設置3D(Three-Dimension)相機，使機器手臂界視覺自動化進行加工組裝製造作業，提高工廠生產效率，而3D相機的座標系統與機器手臂的座標系統正確的相對關係，影響工廠生產的精密性。

先前技術校正2D相機間座標系統時，通常使用黑白棋盤方格圖或其衍生的各種變形，將黑白棋盤方格圖置於2D相機的視野中，紀錄已知尺寸的黑白棋盤方格角點在影像中成像的位置，並移動黑白棋盤方格圖到多個位置拍攝，即可校正2D相機間座標系統的轉換關係。而3D相機又稱為深度(Depth)相機，可能會同時帶有RGB彩色資訊或單色灰階資訊等2D資訊，當3D相機帶有品質良好的2D資訊時，通常會利用3D相機的2D資訊，並以前述2D相機間的校正方式，完成3D相機間座標系統轉換關係的校正。

假如3D相機不帶有彩色資訊，或2D資訊不足以進行精準辨識定位時，則會以黑白棋盤方格圖形狀的3D資訊進行校正。黑白棋盤方格圖的形狀3D資訊為深度圖(Depth Map)或點雲圖(Point Cloud)兩種位置資 訊，深度圖與點雲圖可以透過相機的內部參數進行換算，實質上屬於相同的3D資訊。利用黑白棋盤方格圖上每個角點位於同一平面上的原理，計算3D相機偵測與2D相機偵測到的黑白棋盤方格角點之間的轉換關係，即可得到3D相機與2D相機之間的座標系統轉換參數進行校正。

然而，前述先前技術進行座標系統轉換關係校正時，因為3D相機的3D資訊，通常在中間部位較為精確，邊緣位置資訊的精度亦會隨著邊緣距離跟著下降，並無法得到精準的黑白棋盤方格圖邊緣位置資訊，致使座標系統間轉換產生誤差，並無法精確校正3D相機的座標系統。此外，校正3D相機尚需移動黑白棋盤方格圖到多個位置進行拍攝，無法快速完成校正。因此，3D相機在校正的方法上，仍有問題亟待解決。

本發明的目的提供一種3D相機的校正方法，利用表面顏色對比的立體物件和背景，拍攝2D相機的影像圖及3D相機的點雲圖，換算物件和背景點雲在2D相機影像中的像素位置的顏色資訊，計算物件和背景點雲變色的缺失分數，優化轉換參數減少缺失分數至小於閥值，以快速校正3D相機。

為了達到前述發明的目的，本發明的3D相機的校正方法，利用預先校正2D相機座標系統，並在2D相機鄰近設置需要校正的3D相機，接著放置例如黑白表面顏色對比的立體物件和背景到3D相機與2D相機的共同視野，控制2D相機拍攝影像圖及3D相機拍攝點雲圖，分離3D相機拍攝的立體物件點雲與背景點雲，及紀錄立體物件點雲與背景點雲的原始顏色，藉由預設的轉換參數，計算立體物件點雲和背景點雲轉換至2D相機座 標系統的坐標值，再根據換算立體物件點雲和背景點雲，在2D相機影像圖中立體物件或背景的像素位置，得到各點雲的轉換顏色資訊，比對各點雲的轉換顏色與原始顏色，計算變色點雲的缺失分數，然後檢查缺失分數小於預設的閥值，則完成校正3D相機的座標系統與2D相機的座標系統的轉換關係。

本發明3D相機的校正方法，預先校正2D相機與一機器手臂間的座標系統轉換關係，經由已校正的2D相機，進而獲得3D相機的座標系統與該機器手臂的座標系統的轉換關係。本發明3D相機的校正方法，初始預設轉換參數為將影像圖及點雲圖重疊，而改變預設的轉換參數，即變換點雲圖對影像圖重疊位置。

本發明3D相機的校正方法，檢查缺失分數不小於預設的閥值，則優化轉換參數減少缺失分數，改變預設的轉換參數，回至預設的轉換參數步驟，重複計算缺失分數。其中該缺失分數，為比對轉換顏色與原始顏色不同顏色形成變色，一變色點雲視為一缺失分數，而點雲的轉換顏色與原始顏色不變色，則不計缺失分數。缺失分數可分別計算物件點雲和背景點雲的變色缺失分數，再相加為變色缺失分數。

10‧‧‧機器手臂

11‧‧‧基座

12‧‧‧軸節

13‧‧‧端末部

14‧‧‧工具

15‧‧‧致動馬達

16‧‧‧控制裝置

17‧‧‧2D相機

18‧‧‧3D相機

20‧‧‧校正裝置

30‧‧‧立體物件

31‧‧‧背景

32‧‧‧影像圖

33‧‧‧點雲圖

圖1 為本發明機器手臂與2D相機的校正示意圖。

圖2 為本發明利用2D相機校正3D相機的示意圖。

圖3 為本發明2D相機拍攝立體物件的影像圖。

圖4 為本發明拍攝立體物件的影像及點雲的重疊圖。

圖5 為本發明拍攝立體物件的影像圖及點雲圖的重疊圖。

圖6 為本發明3D相機的校正方法的流程圖。

有關本發明為達成上述目的，所採用之技術手段及其功效，茲舉較佳實施例，並配合圖式加以說明如下。

如圖1所示，為本發明機器手臂與2D相機的校正示意圖。圖1中，本發明的機器手臂10一端為固定的基座11，串接多軸節12形成另一端活動的端末部13，端末部13上設工具14，各軸節12設致動馬達15，並連線至控制裝置16。機器手臂10經由控制裝置16控制各軸節12的致動馬達15轉動角度，移動機器手臂10端末部13的工具14。本發明的機器手臂10利用固定的基座11作為基準點，形成機器手臂10的手臂座標系統R。並藉由機器手臂10已知的各軸節12與端末部13的工具14長度，以及控制各肘節12致動馬達15轉動的角度，利用控制裝置16計算出工具14的移動位置，定位工具14在手臂座標系統R的座標，以精確控制移動工具14。

本發明另在機器手臂10的工作環境中安裝2D相機17，2D相機17視窗拍攝的空間自成相機座標系統C，並將2D相機17拍攝的資訊，連線至控制裝置16進行處理。將黑白棋盤方格圖或其衍生的各種變形的校正裝置20設置在機器手臂10的工作環境中，並使校正裝置20出現在2D相機17的視野內。校正裝置20與機器手臂10具有已知相對位置關係，利用2D相機17拍攝及紀錄已知尺寸的校正裝置20在影像中成像的位置，並控制機器手臂10接觸多個黑白棋盤方格角點，即可如先前技術預先完成校正2D相機17的座標系統C與機器手臂10間的座標系統R的轉換關係。本實施例雖以2D相機 17安裝在機器手臂10外舉例說明，但本發明包含且不限於本實施例，2D相機17亦可固定在機器手臂10上，利用固定相對位置關係，達到預先完成校正2D相機17與機器手臂10間的座標系統轉換關係。

請同時參考圖2至圖5，圖2為本發明利用2D相機校正3D相機的示意圖，圖3為本發明2D相機拍攝立體物件的影像圖，圖4為本發明拍攝立體物件的影像及點雲的重疊圖，圖5為本發明拍攝立體物件的影像圖及點雲圖的重疊圖。圖2中，在已校正的2D相機17鄰近設置需要校正的3D相機18，3D相機18視窗拍攝的空間自成相機座標系統T，並將3D相機18拍攝的資訊，連線至控制裝置16進行控制及處理。接著將表面顏色對比的立體物件30和背景31，例如本實施例的立體物件30為白色，背景31為黑色等，但本發明包含且不限於黑白對比顏色，放置立體物件30和背景31到3D相機18與2D相機17的共同視野，同時控制2D相機17拍攝的立體物件30影像圖32(參圖3)，3D相機18拍攝立體物件30的點雲圖33(參圖4)。其中立體物件30和背景31的對比表面顏色，影像圖32及點雲圖33呈現立體物件30和背景31的強烈對比的顏色，是為了讓3D相機18與2D相機17的影像處理容易區別辨識。另外本實施例雖以三板式的立體物件30舉例說明，但本發明包含且不限於本實施例，只要立體物件均可適用。

利用對比表面顏色，將3D相機18拍攝的立體物件30點雲與背景31點雲分離，紀錄立體物件30點雲與背景31點雲的原始顏色。圖4中，藉由初始預設的轉換參數，將影像圖32及點雲圖33重疊，計算立體物件30點雲和背景31點雲轉換至2D相機17座標系統C的坐標值，以2D相機17的影像圖32為準，根據換算立體物件30點雲和背景31點雲，在2D相機17影像圖 32中立體物件30或背景31的像素位置，得到各點雲的轉換顏色資訊。然後將各點雲的轉換顏色與記錄的原始顏色比對，例如立體物件30點雲像素位置位在影像圖32的背景31位置，或背景31點雲像素位置位在影像圖32的立體物件30位置，其轉換顏色與原始顏色不同顏色形成變色，一變色點雲視為一缺失分數，而點雲的轉換顏色與原始顏色不變色，則不計缺失分數，計算點雲的變色缺失分數，或分別計算物件點雲和背景點雲的變色缺失分數，再相加為變色缺失分數。

接著檢查缺失分數如不小於預設的閥值，3D相機18尚未完成校正，改變預設的轉換參數，亦即變換點雲圖33對影像圖32重疊位置，重複前述計算變色步驟，持續優化減少缺失分數，直到缺失分數小於預設的閥值，即影像圖32中立體物件30的影像及點雲圖33中立體物件30的點雲接近重疊(參圖5)，即可由轉換參數，獲得3D相機18的座標系統T與2D相機17的座標系統C的轉換關係，完成校正3D相機18的座標系統T與2D相機17的座標系統C的轉換關係。同時經由已校正的2D相機17，獲得3D相機18的座標系統T與機器手臂的座標系統R的轉換關係。

如圖6所示，為本發明3D相機的校正方法流程圖。本發明3D相機的校正方法的詳細步驟說明如下：首先步驟S1，預先校正2D相機座標系統，並在2D相機鄰近設置需要校正的3D相機；步驟S2，將表面顏色對比的立體物件和背景，放置到3D相機與2D相機的共同視野；接著步驟S3，控制2D相機拍攝影像圖，3D相機拍攝點雲圖；在步驟S4，將3D相機拍攝的立體物件點雲與背景點雲分離，紀錄立體物件點雲與背景點雲的原始顏色；步驟S5，藉由預設的轉換參數，計算立體物件點雲和背景點雲轉換至2D相機 座標系統的坐標值；步驟S6，根據換算立體物件點雲和背景點雲，在2D相機影像圖中立體物件或背景的像素位置，得到各點雲的轉換顏色資訊；在步驟S7，將各點雲的轉換顏色與原始顏色比對，計算變色點雲的缺失分數；步驟S8，檢查缺失分數如不小於預設的閥值，則至步驟S9，優化轉換參數減少缺失分數，改變預設的轉換參數，回至步驟S5重複前述計算缺失分數步驟，如檢查缺失分數小於預設的閥值，則至步驟S10，完成校正3D相機的座標系統與2D相機的座標系統的轉換關係。

因此，本發明3D相機的校正方法，即可利用表面顏色對比的立體物件和背景，一次拍攝2D相機的影像圖及3D相機的點雲圖，分離及記錄立體物件和背景點雲的原始顏色，重疊影像圖及點雲圖，換算物件和背景點雲在2D相機影像中的像素位置的轉換顏色資訊，計算物件和背景點雲變色的缺失分數，持續數位計算優化轉換參數減少缺失分數至小於閥值，使影像圖中立體物件的影像及點雲圖中立體物件的點雲接近重疊，取得座標系統的轉換參數，藉由一次拍攝及快速數位計算，達到快速校正3D相機的發明目的。

以上所述者，僅為用以方便說明本發明之較佳實施例，本發明之範圍不限於該等較佳實施例，凡依本發明所做的任何變更，於不脫離本發明之精神下，皆屬本發明申請專利之範圍。

16‧‧‧控制裝置

17‧‧‧2D相機

18‧‧‧3D相機

30‧‧‧立體物件

31‧‧‧背景

Claims (9)

1. 一種3D相機的校正方法，包含：預先校正2D相機座標系統，並在2D相機鄰近設置需要校正的3D相機；放置表面顏色對比的立體物件和背景到3D相機與2D相機的共同視野；控制2D相機拍攝影像圖，3D相機拍攝點雲圖；分離3D相機拍攝的立體物件點雲與背景點雲，紀錄立體物件點雲與背景點雲的原始顏色；藉由預設的轉換參數，計算立體物件點雲和背景點雲轉換至2D相機座標系統的坐標值；根據換算立體物件點雲和背景點雲，在2D相機影像圖中立體物件或背景的像素位置，得到各點雲的轉換顏色資訊；比對各點雲的轉換顏色與原始顏色，計算變色點雲的缺失分數；檢查缺失分數小於預設的閥值，則完成校正3D相機的座標系統與2D相機的座標系統的轉換關係。
2. 如申請專利範圍第1項所述之3D相機的校正方法，其中預先校正2D相機座標系統，為校正2D相機與一機器手臂間的座標系統轉換關係。
3. 如申請專利範圍第2項所述之3D相機的校正方法，其中經由該已校正的2D相機，獲得3D相機的座標系統與該機器手臂的座標系統的轉換關係。
4. 如申請專利範圍第1項所述之3D相機的校正方法，其中該立體物件為白色，背景為黑色的對比表面顏色。
5. 如申請專利範圍第1項所述之3D相機的校正方法，其中該檢查缺失分數不小於預設的閥值，則優化轉換參數減少缺失分數，改變預設的轉換參數， 回至預設的轉換參數步驟，重複計算缺失分數。
6. 如申請專利範圍第5項所述之3D相機的校正方法，其中該預設的轉換參數，初始預設為將影像圖及點雲圖重疊。
7. 如申請專利範圍第5項所述之3D相機的校正方法，其中該改變預設的轉換參數，即變換點雲圖對影像圖重疊位置。
8. 如申請專利範圍第1項所述之3D相機的校正方法，其中該缺失分數，比對轉換顏色與原始顏色不同顏色形成變色，一變色點雲視為一缺失分數，而點雲的轉換顏色與原始顏色不變色，則不計缺失分數。
9. 如申請專利範圍第8項所述之3D相機的校正方法，其中該缺失分數為分別計算物件點雲和背景點雲的變色缺失分數，再相加為變色缺失分數。

Images