TWI550425B - 三維點雲融合二維影像的方法、裝置與儲存媒體 - Google Patents

Description

三維點雲融合二維影像的方法、裝置與儲存媒體

本發明是有關於一種姿態估測的方法，其適用於具有對稱性的待測工件以進行姿態估測，且特別是有關於一種三維點雲融合二維影像的方法、裝置與儲存媒體。

近年來，三維感測元件被廣泛應用於工業自動化的應用當中，最常見的應用則是對於工件的取放。為了達成彈性且正確地取放工件的目標，一般藉由三維感測元件所擷取的三維點雲進行姿態估測，並分析出工件擺放的位置與角度，進而提供機器手臂進行自動化地上下料與加工。

然而，由於三維感測元件所擷取的三維點雲無法辨識物體表面的顏色與圖案資訊，而且其不具有方向性。再者，在加工產業中，許多工件又具有高度對稱的特性，造成無法從三維點雲中得到工件正確的姿態資訊，使得在姿態估測的結果無法建立正確的姿態估測模型，進而造成姿態估測錯誤而影響夾取的正確性。

由上可知，解決對於對稱性工件姿態估測的問題，以提高對工件夾取的準確度，是本領域技術人員所亟欲達成的目標。

本發明提供一種三維點雲融合二維影像的方法。其中一實施例包括：取得待測工件的二維影像與三維點雲，對此二維影像進行一圖樣特徵分析，取得待測工件的一方向性。依照取得的方向性對三維點雲進行分割，破壞三維點雲的對稱性，藉以根據分割後的三維點雲對待測工件進行一姿態估測。

本發明提供一種三維點雲融合二維影像的裝置，適用於對具有對稱性的待測工件進行姿態估測。在其中一實施例中包括：三維感測元件、影像擷取單元與處理單元。三維感測元件用於擷取待測工件的三維點雲。影像擷取單元用於擷取待測工件的二維影像。處理單元用於對二維影像進行一圖樣特徵分析，取得待測工件的一方向性，並依照所得到的方向性對三維點雲進行分割。

本發明提供一種儲存程式的電腦可讀取之儲存媒體，當電腦載入該程式並執行後，以完成本發明一實施例之三維點雲融合二維影像之方法。

基於上述，本發明結合三維點雲與二維影像的方向性，並藉由分割三維點雲以破壞三維點雲的對稱性，產生具有姿態唯一性的三維點雲，以提升三維點雲對待測工件進行姿態估測的正 確性。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10‧‧‧待測工件

100‧‧‧三維點雲融合二維影像的裝置

102‧‧‧移動裝置

104‧‧‧資料處理中心

106‧‧‧取像裝置

108‧‧‧數位相機

110‧‧‧雷射掃瞄器

112‧‧‧處理單元

114‧‧‧儲存媒體

116‧‧‧通訊單元

118‧‧‧顯示單元

S210、S230、S250、S270、S290‧‧‧三維點雲融合二維影像的方法步驟

S310、S330、S350、S370、S390‧‧‧圖樣特徵分析方法的步驟

60‧‧‧區域

S710、S730、S750‧‧‧三維點雲分割方法的步驟

80‧‧‧特徵

801‧‧‧待測工件

802‧‧‧標準三維點雲

804‧‧‧標準三維點雲

805‧‧‧待測工件的三維點雲

900‧‧‧方形工件

902‧‧‧二維影像

904‧‧‧圖樣特徵

906‧‧‧三維點雲

908‧‧‧具方向性的三維點雲

910‧‧‧具唯一性的三維點雲

912‧‧‧標準三維點雲

圖1a是根據本發明一實施例所繪示的三維點雲融合二維影像的裝置示意圖。

圖1b是根據本發明一實施例所繪示的三維點雲融合二維影像的裝置的方塊圖。

圖2是根據本發明一實施例所繪示的三維點雲融合二維影像的方法流程圖。

圖3是根據本發明一實施例所繪示的圖樣特徵分析方法的流程圖。

圖4a~4b是根據本發明一實施例所繪示的對圖樣特徵進行影像處理的結果示意圖。

圖5a~5b是根據本發明一實施例所繪示的影像投影結果示意圖。

圖6a~6b是根據本發明一實施例所繪示的藉由影像投影結果分析圖像特徵的灰階分布示意圖。

圖7是根據本發明一實施例所繪示的三維點雲分割方法的流程圖。

圖8a~8c是根據本發明一實施例所繪示的姿態估測的示意圖。

圖9a~9d是根據本發明一實施例所繪示的姿態估測流程的示意圖。

本發明提供一種三維點雲融合二維影像的方法、裝置與儲存媒體，可解決對稱性工件於姿態估測的問題，並提升姿態估測的正確性。

本發明提出一種三維點雲融合二維影像的方法，藉由二維影像分析出待測工件的方向性，再將其方向性融合至三維點雲中，並對三維點雲進行分割。其分割的目的在於破壞三維點雲的對稱性，以提高姿態估測的正確性。藉由本發明所提出的方法，可以使配合的立體視覺導引機械手臂(Vision Guided Robot，VGR)系統能由姿態估測的結果，精準地計算工件的位置與姿態，進而大幅提昇工件抓取、搬運和組裝之能力。

圖1a是根據本發明一實施例所繪示的三維點雲融合二維影像的裝置示意圖；圖1b是根據本發明一實施例所繪示的三維點雲融合二維影像的裝置的方塊圖。

請同時參照圖1a與圖1b，在此實施例中，三維點雲融合二維影像的裝置100至少包括移動裝置102與資料處理中心104。必須暸解的是，圖1a與圖1b所示的裝置非用以限制可採用三維 點雲融合二維影像的裝置，在其他實施例中，移動裝置102也可以更改為固定裝置。

移動裝置102包括一取像裝置106，其中取像裝置106在一個實施例中可以為數位相機108與雷射掃瞄器110，但並非以此為限制。

數位相機108用以擷取待測工件10的二維影像。然而必須了解的是，本發明亦不限於此，在本發明另一實施例中，數位相機108更可以是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)、旋轉變焦式(Pan/Tilt/Zoom，PTZ)攝影機或數位監控器(Digital Video Recorder，DVR)等可獲得二維影像的影像擷取單元。

雷射掃瞄器110是用以擷取待測工件10的三維點雲。然而必須了解的是，本發明不限於此，在本發明另一實施例中，雷射掃瞄器110更可以是雷射測距儀或類似Microsoft Kinect的體感裝置，其為可獲得三維點雲資料的三維感測元件。

移動裝置102用以根據資料處理中心104的姿態估測指令，透過取像裝置106對待測工件10擷取三維點雲與二維影像，並將該些資訊傳送至資料處理中心104以進行本發明的三維點雲融合二維影像的方法，並透過資料處理中心104回傳的姿態估測結果與作動指令，驅動移動裝置102或其他設備對待測工件10進行夾取或其他動作。

資料處理中心104包括處理單元112與儲存媒體114。在本範例實施例中，資料處理中心104更包括通訊單元116與顯示單元118。

處理單元112可以是一個處理器電路或是任何以硬體型式或韌體型式執行的多個邏輯閘或控制指令，以實現本發明所揭露的三維點雲融合二維影像的方法。在另一實施例中，本發明所提供的三維點雲融合二維影像的方法，亦可以採用軟體模組(未繪示)形式儲存於儲存媒體114中，並可透過處理單元112載入此軟體模組執行後，以完成本發明所揭露的三維點雲融合二維影像的方法。

依據本實施例的三維點雲融合二維影像的方法，可執行於硬體、韌體或安裝在硬體如處理器或微處理器的軟體或電腦程式碼。機器可執行的程式碼儲存於記錄媒介如光碟、隨機存取記憶體、軟碟、硬碟或磁性光學碟，或可於網路下載原先被儲存於遠端記錄媒介，或非暫存式機器可讀取媒介且將儲存於區域的記錄媒介，使得此處所敘述的系統可使用一般用途的電腦，或特殊處理器或可程式化的專用硬體，作為儲存於記錄媒介的軟體，則例如特殊功能積體電路(ASIC)或可程式化邏輯閘陣列(FPGA)。如同本實施例技術領域中的通常知識，當電腦、處理器或硬體實施本發明的處理方法以存取及執行的軟體或電腦程式碼時，電腦、處理器、微處理器控制器或可程式化硬體，包括記憶體元件如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、拇指碟等， 皆可儲存或接收軟體或電腦程式碼。

儲存媒體114用以暫存取像裝置106所取得的三維點雲與二維影像，以提供這些資訊給處理單元112進行本發明實施例的三維點雲融合二維影像的方法。在另一實施例中，儲存媒體114更可以儲存一軟體模組(未繪示)，該軟體模組用以當處理單元112載入執行後，完成本發明所揭露的三維點雲融合二維影像的方法。此處的儲存媒體114可以是靜態隨機存取記憶體(Static Random Access Memory，SRAM)、動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)或是任何可用來儲存電子訊號或資料的記憶體或儲存裝置。

通訊單元116用以傳送或接收連接移動裝置102與資料處理中心104之間的訊息。例如，資料處理中心104透過通訊單元116接收取像裝置106所取得的三維點雲與二維影像，或資料處理中心104透過通訊單元116發送對移動裝置102作動的控制指令。此通訊單元116可以採用無線方式構成通聯，則移動裝置102與資料處理中心104之間分別配置無線或有線信號收發裝置。而無線方式可以是例如採用近距離的無線通信方式，如IEEE 802.11標準的Wi-Fi、ZigBee、超寬頻(Ultra Wide Band)、近距離無線通訊(NFC)或藍牙(Blue Tooth)等。

顯示單元118用以顯示取像裝置106所取得的三維點雲與二維資訊，並可透過本發明所揭露的三維點雲融合二維影像的方法將結果顯示於其上，以供使用者監看。顯示單元118在一實施例中可以是任何形式的顯示器。

圖2是根據本發明一實施例所繪示的三維點雲融合二維影像的方法流程示意圖。

請參照圖2，當實施此三維點雲融合二維影像的執行裝置，欲對一具有對稱性的待測工件進行姿態估測時，在步驟S210中，利用例如雷射掃瞄器掃描待測工件以擷取待測工件的三維點雲。接著，在步驟S230中，經由例如處理單元對三維點雲進行教導，所謂教導是藉由預先儲存用於姿態估測的一標準工件模型進行比對。在步驟S250中，利用例如數位相機擷取待測工件的二維影像。並在步驟S270中，處理單元對二維影像進行圖樣特徵分析，以取得待測工件的方向性。在本發明另一實施例中，步驟S270中的圖樣特徵分析亦可對二維影像進行一圖樣比對(Pattern Matching)以取得方向性。最終步驟S290再利用方向性將三維點雲分割或捨去部分點雲資料，以破壞其對稱性而取得正確姿態之唯一性。

圖3是根據本發明一實施例所繪示的圖樣特徵分析方法的流程示意圖。

請參照圖3，在步驟S310中，處理單元112首先對待測工件的二維影像進行定位，並產生二維影像至少一個圖樣特徵。在本實施例中，處理單元對待測工件(例如活塞)的二維影像產生二個圖樣特徵。

在步驟S330中，處理單元舉例對這些圖樣特徵進行二值化(Binarization)處理，但不以此為限。

在步驟S350中，處理單元對所述二值化處理後的圖樣特徵進行閉合(Close)處理，但不以此為限。

在步驟S370中，處理單元對所述閉合處理後的圖樣特徵進行反向(Invert)處理，但不以此為限。

圖4a~4b是根據本發明一實施例所繪示的對圖樣特徵進行影像處理的結果示意圖，待測工件舉例為活塞。

請再參照圖3，在步驟S390中，處理單元對上述步驟S330~S370影像處理完後的圖樣特徵進行影像投影，以產生分別對應該些影像處理完後的圖樣特徵的多個灰階分布，並藉由一門檻值從該些灰階分布中，決定出對應圖樣特徵中的一目標特徵，並藉由此目標特徵來分辨待測工件的方向性。

請參照圖4a~4b，圖4a~4b為本實施例經由例如上述圖3的影像處理步驟S330~S370所產生的結果示意圖，然而必須要暸解的是，本發明並不限定上述圖3的步驟S330~S370的圖樣特徵影像處理方式，影像處理方式更可以包括或另外採用其他本領域技術人員所習知的影像處理或形態學(Morphology)等技術。

圖5a~5b是根據本發明一實施例所繪示的影像投影結果示意圖。圖6a~6b是根據本發明一實施例所繪示的藉由影像投影結果，分析圖像特徵的灰階分布示意圖。

請同時參照圖5a~5b、圖6a~6b並搭配參照圖4a~4b，圖5a與圖5b分別為對應圖4a與圖4b進行影像投影所得到的結果，其為分別根據圖4a與圖4b中每一單位橫軸的灰階值所產生，並 藉由圖5a與圖5b的影像投影結果產生對應的灰階分布圖，如圖6a與圖6b所示。

在一個實施範例中，處理單元根據上述投影結果，以一預設的門檻值對投影結果進行分析此門檻值的數量，並從所取得的圖樣特徵中決定出一目標特徵，用於分辨待測工件的方向性。

在本實施例中，圖6b的區域60中有一段連續為零的灰階分布(指標22~32)，處理單元即可以此分辨出具對稱性的待測工件的方向性。當處理單元已獲得待測工件的方向性時，即可依照其方向性對三維點雲進行分割，以破壞其對稱性。

圖7是根據本發明一個實施例所繪示的三維點雲分割方法的流程示意圖。

請參照圖7，在步驟S710中，處理單元112依照上述二維影像所求得的方向性與三維點雲作匹配，以取得三維點雲的方向性。接著在步驟S730中，由上述藉由灰階分布所求得二維影像中的目標特徵與三維點雲進行融合。

最後在步驟S750中，處理單元112對三維點雲進行分割或忽略或刪除部分點雲，以破壞對應該待測工件的三維影像的對稱性。在本實施例中，三維點雲分割的方法為保留具有目標特徵的區域，而忽略或刪除其他的圖樣特徵，藉以產生具有姿態唯一性的三維點雲。然而必須了解的是，本發明並不限定三維點雲的分割方法，三維點雲的分割方法更可以是其他可破壞三維影像的對稱性的分割方法。

以下將針對採用本發明實施例所提出三維點雲融合二維影像的方法，運用在分析待測工件的方向性，並將其方向性融合至三維點雲中，以對三維點雲進行分割的實際範例之中。藉由本發明實施例所提出的方法，可以使待測工件的姿態估測的結果，精準地計算工件的位置與姿態，進而大幅提昇工件抓取、搬運和組裝之能力。

在運用本發明實施例所提出三維點雲融合二維影像的方法實施例中，如圖8a~8c，為根據本發明一實施例所繪示的姿態估測的示意圖。

請參照圖8a~8c，在傳統方法中，當欲對待測工件801(舉例為活塞)進行姿態估測時，會使用預先儲存於系統中對應此待測工件801的標準三維點雲802(圖中以線條繪出外型是為便於顯示與說明，實際是由多數掃瞄點所組成)進行姿態估測。然而，由於三維點雲不具有方向性，且待測工件801與標準三維點雲802兩者所對應的特徵80又極為微小，不易分辨，導致在傳統方法中，對於具有對稱性的待測工件801的姿態估測容易發生錯誤，如圖8a所示。而正確的比對結果，應如圖8b所示。

然而，透過本發明實施例所提出的三維點雲融合二維影像的方法，如圖8c所示，可對標準三維點雲802進行分割，以產生具有姿態唯一性的標準三維點雲804。待測工件801亦透過本發明實施例的方法產生一具有唯一性的待測工件的三維點雲805，並可藉由標準三維點雲804與待測工件的三維點雲805來進行姿態 估測，以提高姿態估測的正確性。

在運用本發明實施例所提出三維點雲融合二維影像的方法實施例中，圖9a~9d是根據本發明實施例所繪示的姿態估測流程的示意圖。

請參照圖9a~9d，根據本發明三維點雲融合二維影像的方法，當欲對方形工件900進行姿態估測時，首先會擷取其二維影像902，並擷取二維影像902上的圖樣特徵904(箭頭圖樣)。如圖9a所示。並將圖樣特徵904與方形工件900的三維點雲906作匹配，產生一具方向性的三維點雲908，如圖9b所示。

接著，對三維點雲908進行分割，產生一具唯一性的三維點雲910，如圖9c所示。

最後，利用上述分割後的三維點雲910與事先建立好的標準三維點雲912進行姿態估測，以得到正確之工件姿態。

綜上所述，本發明多個範例實施例所提出的三維點雲融合二維影像的方法、裝置與儲存媒體，可以藉由破壞三維點雲的對稱性，進而產生具有唯一性或方向性的三維點雲，以進行後續姿態估測，並可提升姿態估測的正確性，使得立體視覺導引機械手臂(Vision Guided Robot，VGR)系統由能更精準地計算工件的位置與姿態，大幅提昇工件抓取、搬運和組裝之能力。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍 當視後附的申請專利範圍所界定者為準。

S210、S230、S250、S270、S290‧‧‧三維點雲融合二維影像的方法步驟

Claims (14)

1. 一種三維點雲融合二維影像的方法，適用於對待測工件之姿態估測，包括：取得該待測工件的二維影像與三維點雲；對該二維影像進行圖樣特徵分析，取得該待測工件的方向性；以及根據該方向性對該三維點雲進行分割，破壞該三維點雲的對稱性，再根據該分割後的三維點雲對該待測工件進行該姿態估測；其中該圖樣特徵分析包括：對該二維影像取得至少一個圖樣特徵；對該至少一個圖樣特徵進行影像處理；對該影像處理後的該至少一個圖樣特徵進行影像投影；取得對應該影像處理後的該至少一個圖樣特徵的至少一個灰階分布；以及藉由門檻值從該至少一個灰階分布中，決定該至少一個圖樣特徵中的目標特徵，以決定該待測工件的該方向性；其中依照該方向性對該三維點雲進行分割的方法步驟包括：根據該二維影像的該方向性與該三維點雲進行匹配；根據該二維影像的該目標特徵與該三維點雲進行融合；以及對該三維影像進行分割，破壞對應該待測工件的該三維點雲的該對稱性。
2. 如申請專利範圍第1項所述的三維點雲融合二維影像的方法，其中對該二維影像取得至少一個圖樣特徵的步驟包括一定位處理。
3. 如申請專利範圍第1項所述的三維點雲融合二維影像的方法，其中該影像處理包括對該至少一個圖樣特徵進行二值化處理。
4. 如申請專利範圍第3項所述的三維點雲融合二維影像的方法，其中該影像處理包括對該二值化處理後的該至少一個圖樣特徵進行形態學處理。
5. 如申請專利範圍第4項所述的三維點雲融合二維影像的方法，其中該影像處理包括對該形態學處理後的該至少一個圖樣特徵進行反相處理。
6. 如申請專利範圍第1項所述的三維點雲融合二維影像的方法，其中該圖樣特徵分析包括對該二維影像進行圖樣比對。
7. 一種三維點雲融合二維影像的裝置，適用於對待測工件之姿態估測，該裝置包括：三維感測元件，用於擷取該待測工件的三維點雲；影像擷取單元，用於擷取該待測工件的二維影像；以及處理單元，用於對該二維影像進行圖樣特徵分析，取得該待測工件的方向性，並依照該方向性對該三維點雲進行分割，其中該圖樣特徵分析包括：對該二維影像取得至少一個圖樣特徵，對該至少一個圖樣特徵進行影像處理， 對該影像處理後的該至少一個圖樣特徵進行影像投影，取得對應該影像處理後的該至少一個圖樣特徵的至少一個灰階分布，以及藉由門檻值從該至少一個灰階分布中，決定該至少一個圖樣特徵中的目標特徵，以決定該待測工件的該方向性，其中依照該方向性對該三維點雲進行分割的運作包括：根據該二維影像的該方向性與該三維點雲進行匹配，根據該二維影像的該目標特徵與該三維點雲進行融合，以及對該三維影像進行分割，破壞對應該待測工件的該三維點雲的對稱性。
8. 如申請專利範圍第7項所述的三維點雲融合二維影像的裝置，其中對該二維影像取得至少一個圖樣特徵的步驟包括定位處理。
9. 如申請專利範圍第7項所述的三維點雲融合二維影像的裝置，其中該影像處理包括對該至少一個圖樣特徵進行二值化處理。
10. 如申請專利範圍第9項所述的三維點雲融合二維影像的裝置，其中該影像處理包括對該二值化處理後的該至少一個圖樣特徵進行形態學處理。
11. 如申請專利範圍第10項所述的三維點雲融合二維影像的裝置，其中該影像處理包括對該形態學處理後的該至少一個圖樣特徵進行反相處理。
12. 如申請專利範圍第7項所述的三維點雲融合二維影像的裝置，其中該圖樣特徵分析包括對該二維影像進行圖樣比對。
13. 如申請專利範圍第7項所述的三維點雲融合二維影像的裝置，其中該三維感測元件是雷射掃瞄器、雷射測距儀、體感裝置之一或其組合。
14. 如申請專利範圍第7項所述的三維點雲融合二維影像的裝置，其中該影像擷取單元是電荷耦合元件、互補性氧化金屬半導體、旋轉變焦式攝影機、數位監控器、數位相機之一或其組合。