TW201909118A

TW201909118A - 線狀物的三維測量方法與裝置

Info

Publication number: TW201909118A
Application number: TW107124411A
Authority: TW
Inventors: 黒澤昭夫; 坂本淳一
Original assignee: 日商倉敷紡績股份有限公司
Priority date: 2017-07-20
Filing date: 2018-07-16
Publication date: 2019-03-01
Also published as: JP7159159B2; JPWO2019017360A1; WO2019017360A1

Abstract

本發明提供一種三維測量方法，可對線狀物實現高速且高精度的匹配處理。線狀物的三維測量方法，包括：獲取第1影像30及第2影像40的步驟，第1影像與第2影像是線狀物21～23的彩色影像、且自不同的視點所拍攝；第1提取步驟，在所述第1影像上提取特定顏色的所述線狀物21作為第1線像；第2提取步驟，在所述第2影像上提取所述特定顏色的所述線狀物21作為第2線像；在所述第1線像上選擇關注點36的步驟；在所述第2影像上求出與所述關注點相對應的核線的步驟；以及在所述第2影像上求出所述第2線像與所述核線的交點，設為所述關注點的對應點46的步驟。

Description

線狀物的三維測量方法與裝置

本發明是有關於一種對引線（wire）或電纜（cable）等的線狀物，以立體方式測量形狀的三維測量方法與裝置。

作為利用兩台攝影機的視差來測量三維位置的方法，自先前以來是使用立體方式的三維測量方法。這是在視點不同的兩個影像上求出欲測量的點的對應點，根據各影像上的對應點及兩台攝影機的位置關係，藉由三角測量的原理，算出測量點的三維位置的方法。在所述立體方式中，找出各影像上的對應點的匹配處理是資訊處理的負荷最重，最耗費成本的步驟（process）。因此，為了進行匹配處理的改良，已提出各種方法。

關於立體方式的線狀物的三維測量，在專利文獻1中，記載有如下方法來作為半導體封裝體的外部引線的形狀測量方法：在一個影像中的外部引線像上獲取測量取樣點，將另一個影像中的核線（epipolar line）與外部引線像的交點設為測量取樣點的對應點。再者，所謂核線是指：將連結一個影像的視點與測量點而成的直線投影至另一個影像上的直線，所述測量點必定是投影至另一個影像上的核線上。又，在專利文獻2中，記載有如下方法：藉由利用兩台攝影機拍攝多個線狀物，將兩個影像中的明線（bright line）的傾斜度及明線間的距離作為特徵進行核對，來確定對應點。

[現有技術文獻] [專利文獻] [專利文獻1] 日本專利特開平5-026640 [專利文獻2] 日本專利特開平2-309202

[發明所欲解決之課題] 但是，在專利文獻1所述的方法中，存在如下問題：當同樣的線狀物在畫面內存在多個時，會檢測出多個與核線的交點，從而無法唯一地確定對應點。在專利文獻2所述的方法中，存在如下問題：必須對於多條明線（bright line）計算特徵的不一致度，從而不適用於高速處理、或有可能錯誤識別特徵為相同程度的彼此的直線。

本發明是考慮到所述情況而完成的，目的在於提供一種三維測量方法與裝置，可對線狀物實現高速的匹配處理。

[解決課題之手段] 本發明的線狀物的三維測量方法是立體方式的線狀物的三維測量方法，包括：獲取第1影像及第2影像的步驟，所述第1影像及第2影像是線狀物的彩色影像、且自互不相同的視點所拍攝；第1提取步驟，在所述第1影像上提取特定顏色的所述線狀物作為第1線像；第2提取步驟，在所述第2影像上提取所述特定顏色的所述線狀物作為第2線像；在所述第1線像上選擇關注點的步驟；在所述第2影像上求出與所述關注點相對應的核線的步驟；以及在所述第2影像上求出所述第2線像與所述核線的交點，設為所述關注點的對應點的步驟。並且，可基於第1影像上的關注點的座標及第2影像上的對應點的座標，算出關注點（對應點）的三維座標。

藉由所述方法，即使在多個線狀物混合存在的情況下，亦可藉由首先利用顏色提取欲測量的線狀物，來實現高速的匹配處理。

較佳為，所述線狀物的三維測量方法更包括：預先製作顏色表（color table）的步驟，所述顏色表對於所述線狀物的每個種類記錄有與顏色的對應關係，且所述特定的顏色是根據欲提取的所述線狀物的種類，參照所述顏色表而確定。藉此，容易指定所測量的線狀物，且容易一面改變所提取的顏色，一面依次指定多個線狀物。

更佳為，所述顏色表是基於在實際的測量環境中，實際拍攝所述線狀物的影像的顏色而製作。第1影像及第2影像上的線狀物的顏色，是根據測量環境中的照明的種類或配置、線狀物的光澤度或方向等各種主要因素而變化。藉由在顏色表中預先記錄在實際的測量條件下可獲得線狀物的影像的範圍的顏色，可減少提取線狀物時的錯誤識別。

較佳為，所述第1提取步驟包括：所述第1線像的細線化操作；所述第2提取步驟包括：所述第2線像的細線化操作。藉此，以後的影像處理變得容易，可更準確地求出對應點等。

較佳為，所述線狀物是互不相同的顏色的線狀物。更佳為，所述線狀物是具有互不相同的顏色的覆膜的電纜。本發明的三維測量方法，適合於自如上所述的經顏色區分的線狀物混合存在多個的情況之中，關注於特定的線狀物而進行三維測量。例如，適合作為利用機械手（robot hand）依次挑選線束（wire harness）的各電纜時的機器人視覺（robot vision）。又，由於電線等柔軟的線狀物的形狀或位置容易因振動等而變化，故而欲利用機器人等進行處理（handling），必須持續追蹤其變形，因為特別要求高速處理。

本發明的線狀物的三維測量裝置，是包括立體攝影機及運算部的線狀物的三維測量裝置。並且，所述立體攝影機包括：第1攝影機及第2攝影機，所述第1攝影機與所述第2攝影機均為彩色攝影機。並且，所述運算部是：在所述第1攝影機所拍攝的第1影像上，提取特定顏色的線狀物作為第1線像；在所述第2攝影機所拍攝的第2影像上，提取所述特定顏色的所述線狀物作為第2線像；在所述第1線像上選擇關注點；在所述第2影像上求出與所述關注點相對應的核線；在所述第2影像上求出所述第2線像與所述核線的交點，設為所述關注點的對應點。

[發明的效果] 根據本發明的線狀物的三維測量方法或裝置，即使在多個線狀物混合存在的情況下，也首先利用顏色來提取欲測量的線狀物。藉此，匹配處理的負荷得以減輕，可實現高速的匹配處理。

基於圖式，對本發明的線狀物的三維測量方法與裝置的一個實施方式進行說明。再者，在以下的說明中，有時將線狀物的三維測量方法簡稱為｢測量方法｣，將線狀物的三維測量裝置簡稱為｢測量裝置｣。

參照圖1，本實施方式的測量裝置10包括：立體攝影機11、運算部15、記憶部16、以及輸入輸出部17。

立體攝影機11包括：第1攝影機12、第2攝影機13、以及攝影機控制部14。第1攝影機12是拍攝作為彩色的二維影像的第1影像的彩色攝影機。第2攝影機13是拍攝作為彩色的二維影像的第2影像的彩色攝影機，相對於第1攝影機的相對位置被固定。攝影機控制部14對第1攝影機及第2攝影機進行控制，而進行與運算部15的通信。攝影機控制部例如，自運算部接收拍攝命令而對第1攝影機及第2攝影機發送拍攝命令，將第1影像及第2影像傳輸至運算部。

運算部15除了與攝影機控制部14的通信以外，對自立體攝影機11接收到的第1影像及第2影像進行處理而算出線狀物的三維位置。記憶部16除了記憶立體攝影機所拍攝的第1影像及第2影像、對象物的顏色表以外，亦記憶運算所需要的中間資料及運算結果等。輸入輸出部17接受來自操作者的指令，或對操作者顯示測量結果。

參照圖2，在本實施方式的測量方法中，利用第1攝影機12及第2攝影機13來拍攝電線21～電線23。並且，只要對於電線21上的某點P，獲得朝向第1攝影機所拍攝的第1影像30的投影點Q、朝向第2攝影機所拍攝的第2影像40的投影點R，即可利用已知的第1攝影機及第2攝影機的位置資訊，算出點P的三維位置。第1攝影機及第2攝影機的位置資訊，可藉由預先校準兩個攝影機而獲取。

圖2是以黑白顏色而描繪，但作為測量對象的3根電線21～電線23經顏色區分，具有：互不相同的顏色、例如紅色、藍色、黃色等的包覆層。成為測量對象的線狀物只要是線狀的物體，即無特別限定，但較佳為互不相同的顏色的線狀物，更佳為經顏色區分的電線或光纖線的電纜，特佳為線束的電纜。

圖3中表示本實施方式的測量方法的流程圖。以下，對各步驟進行說明。

首先，在測量之前，製作顏色表。顏色表是對於可成為測量對象的線狀物的每個種類記錄有其顏色的表。圖8中，表示將對於電線的每個種類，利用紅綠藍（Red Green Blue，RGB）的三原色的亮度表示其顏色的顏色表作為一個例子。顏色表是記憶於記憶部16中。

在測量時，利用立體攝影機11拍攝電線21～電線23。電線21～電線23是藉由第1攝影機12而拍攝成第1影像30。與此同時，電線21～電線23是藉由第2攝影機13，而自與第1攝影機不同的視點，拍攝成第2影像40。第1影像及第2影像被傳輸至運算部15，記憶於記憶部16中。

運算部自立體攝影機11獲取第1影像30及第2影像40。此時，參照圖4(a)，在第1影像30上，映現有3根電線21～電線23的像31～像33。同樣地，參照圖4(b)，在第2影像40上，映現有3根電線21～電線23的像41～像43。

其次，運算部在第1影像30上，提取特定的電線21作為第1線像。參照圖5，提取所述第1線像的步驟（第1提取步驟）包括：藉由顏色的提取操作、二進制化操作、雜訊去除操作、以及細線化操作。

在藉由顏色的提取操作中，運算部自顏色表中獲取欲測量的電線21的顏色，在第1影像30上僅提取所述特定顏色的線狀物21的像31作為第1線像34。具體而言，將第1影像的各畫素的顏色與所述特定的顏色進行比較，當判斷為兩者相同時留下所述畫素，當判定為兩者不同時則刪去所述畫素。判斷顏色是相同還是不同，可藉由兩者的差是否為規定值以下來進行。例如，自顏色表獲取與電線21相對應的RGB值，將第1影像的各畫素的RGB值與其進行比較，若RGB的各值的差為規定值以下，則判斷為所述畫素是與電線21相同的顏色。規定值可考慮到RGB的階度數、或不同種類的電線間的顏色不同的程度等來確定。

其次，使第1影像30二進制化。這是使用適當的臨限值，將各畫素的值替換成0或1的操作。藉由二進制化操作，使得以後的影像處理變得容易。二進制化操作亦可與藉由顏色的提取操作同時進行。可藉由將判定為相同顏色的畫素設為1，將判斷為不同顏色的畫素設為0，來進行二進制化。

其次，對第1影像30進行雜訊去除操作。已藉由所述藉由顏色的提取操作而提取第1線像34，但在第1影像中殘留有攝影機的散粒雜訊（shot noise）等的孤立的畫素。又，對於1個畫素的RGB用的拍攝元件的位置實際上稍有偏離，因此，有可能在電線的像31～像33的輪廓部等的顏色急遽變化的部分，影像的顏色產生混亂，而仍然殘留孤立的畫素。藉由去除如上所述的畫素，可獲得更準確的第1線像34。

其次，使第1線像34細線化。這是一面保持第1線像的連結性，一面使線寬變細為1的操作。細線化操作的方法，可使用選擇位於線寬的中心的畫素等的公知的方法。藉此，以後的影像處理變得容易，可更準確地求出對應點等。

圖6(a)中表示所獲得的第1線像34。已提取第1線像的第1影像30是記憶於記憶部16中。

返回至圖3，對第2影像40亦進行與第1影像30同樣的操作，而提取第2線像44（第2提取步驟）。圖6(b)中表示第2線像44。已提取第2線像的第2影像是記憶於記憶部16中。

參照圖7(a)，其次，運算部在第1影像30的第1線像34上，選擇關注點Q。點Q是電線21的點P（圖2）的朝向第1影像的投影點。

參照圖7(b)，其次，運算部在第2影像40上，求出與第1影像30的關注點Q相對應的核線45。並且，求出第2線像44與核線45的交點R，將其設為與關注點Q相對應的點。點R是電線21的點P（圖2）的朝向第2影像的投影點。

藉由以上的步驟，已對於圖2所示的電線21的點P，獲得朝向第1影像30的投影點Q及朝向第2影像40的投影點R，因此，運算部算出點P的三維位置。

其次，在第1線像34上選擇新的關注點，重複進行選擇關注點以後的步驟。作為下一個關注點，可選擇與前一個關注點連結的鄰接點。藉由一面以如上所述的方式挪動關注點Q，即，一面使點P在電線21上移動，一面求出三維位置，來進行電線21的三維測量。

在對於電線21已獲得必需的資訊的時點，結束所述重複處理。繼而，在進行其他電線、例如電線22的三維測量時，自顏色表獲取電線22的顏色，對於第1攝影機及第2攝影機所拍攝的最初的第1影像及第2影像，重複進行第1提取步驟之後的步驟。

此處，對顏色表進一步進行詳細說明。

圖8所例示的顏色表，是對於線狀物的每個種類記載1個RGB值的表，亦可對於一種線狀物預先記載多個RGB值，若判定為與任一RGB值為同色，則判定為是該線狀物。又，顏色亦可藉由RGB以外的色彩系統（color system）來記錄。例如，亦可基於國際照明委員會（Commission Internationale de L’Eclairage，CIE）所制定的CIELAB色彩系統以L^* ､ a^* ､ b^* 來表現。即使來自立體攝影機的輸出為RGB值，亦容易進行色彩系統之間的換算。

又，在所述實施方式中，若畫素的RGB值與顏色表的RGB值的差為規定值以下，則判斷為所述畫素的顏色與表的顏色相同，但亦可將判斷為是同色的顏色的範圍記錄於顏色表中。當記錄顏色的範圍時，以L^* a^* b^* 的值來表現，更容易設定對光量變化為穩健（robust）的臨限值範圍，從而更佳。例如，藉由預先採用寬廣的L^* 值的臨限值範圍，且縮小a^* 值、b^* 值的臨限值範圍，即使線狀物的明亮度一定程度發生變化，亦可與其他顏色的電纜不混淆地視為同色。

又，顏色表較佳為基於在實際的測量環境中，實際拍攝線狀物時的影像的顏色來製作。具體而言，利用手或機械手握持線狀物等，一面在第1攝影機或第2攝影機之前在各種位置或方向上移動，一面進行拍攝，而自影像獲取所述線狀物的顏色資訊。第1影像及第2影像上的線狀物的顏色，根據測量環境中的照明的種類或配置、線狀物的光澤度或方向等各種主要因素而變化。藉由在顏色表中，預先記錄在實際的測量條件下可拍攝線狀物的影像的範圍的顏色，可減少提取線狀物時的錯誤識別。

本發明並不限於所述實施方式，在其技術思想的範圍內可進行各種變形。

例如，本發明的測量方法除電纜以外，亦可應用於絲線、彩色鉛筆或圓珠筆備用筆芯等的書寫工具、以及其他各種線狀物。

又，例如，所述實施方式中的步驟或操作，在其可能的情況下，亦可更換或省略執行的順序。

又，例如，本發明的測量方法並不排除與立體方式中的公知的匹配方法的並用。當在多個線狀物中存在多個同色的線狀物時，存在：並用關注於測量對象物的形狀及其他特徵的匹配方法的優點。

10‧‧‧線狀物的三維測量裝置（測量裝置）

11‧‧‧立體攝影機

12‧‧‧第1攝影機

13‧‧‧第2攝影機

14‧‧‧攝影機控制部

15‧‧‧運算部

16‧‧‧記憶部

17‧‧‧輸入輸出部

21～23‧‧‧電線（線狀物）

30‧‧‧第1影像

31～33‧‧‧第1影像上的電線21～電線23的像

34‧‧‧第1線像

40‧‧‧第2影像

41～43‧‧‧第2影像上的電線21～電線23的像

44‧‧‧第2線像

45‧‧‧核線

P‧‧‧電線21上的點

Q‧‧‧點P的朝向第1影像的投影（關注點）

R‧‧‧點P的朝向第2影像的投影（對應點）（第2線像44與核線45的交點）

圖1是作為本發明的一個實施方式的三維測量裝置的功能方塊圖。圖2是用以說明作為本發明的一個實施方式的三維測量方法的圖。圖3是作為本發明的一個實施方式的三維測量方法的步驟流程圖。圖4(a)是由立體攝影機拍攝的第1影像，圖4(b)是由立體攝影機拍攝的第2影像。圖5是作為本發明的一個實施方式的三維測量方法的第1提取步驟的操作流程圖。圖6(a)是已提取第1線像的第1影像，圖6(b)是已提取第2線像的第2影像。圖7(a)是已選擇關注點的第1影像，圖7(b)是已求出核線與第2線像的交點的第2影像。圖8是顏色表的一個例子。

Claims

一種線狀物的三維測量方法，其特徵在於，包括：獲取第1影像及第2影像的步驟，所述第1影像與所述第2影像是線狀物的彩色影像、且自不同的視點所拍攝；第1提取步驟，在所述第1影像上提取特定顏色的所述線狀物作為第1線像；第2提取步驟，在所述第2影像上提取所述特定顏色的所述線狀物作為第2線像；在所述第1線像上選擇關注點的步驟；在所述第2影像上求出與所述關注點相對應的核線的步驟；以及在所述第2影像上求出所述第2線像與所述核線的交點，設為所述關注點的對應點的步驟。
如申請專利範圍第1項所述的線狀物的三維測量方法，更包括：預先製作顏色表的步驟，所述顏色表對於所述線狀物的每個種類記錄有與顏色的對應關係；且所述特定顏色是根據所述線狀物的種類，參照所述顏色表而確定。
如申請專利範圍第2項所述的線狀物的三維測量方法，其中，所述顏色表是基於在實際的測量環境中，實際拍攝所述線狀物的影像的顏色而製作。
如申請專利範圍第1項至第3項中任一項所述的線狀物的三維測量方法，其中，所述第1提取步驟包含：所述第1線像的細線化操作；所述第2提取步驟包含：所述第2線像的細線化操作。
如申請專利範圍第1項至第3項中任一項所述的線狀物的三維測量方法，其中，所述線狀物是互不相同的顏色的線狀物。
如申請專利範圍第4項中任一項所述的線狀物的三維測量方法，其中，所述線狀物是互不相同的顏色的線狀物。
如申請專利範圍第6項所述的線狀物的三維測量方法，其中，所述線狀物是具有互不相同的顏色的包覆層的電纜。
一種線狀物的三維測量裝置，其特徵在於，包括：立體攝影機；以及運算部，其中，所述立體攝影機包括：第1攝影機及第2攝影機，所述第1攝影機與所述第2攝影機均為彩色攝影機，所述運算部是：在所述第1攝影機所拍攝的第1影像上，提取特定顏色的線狀物作為第1線像，在所述第2攝影機所拍攝的第2影像上，提取所述特定顏色的所述線狀物作為第2線像，在所述第1線像上選擇關注點，在所述第2影像上求出與所述關注點相對應的核線，在所述第2影像上求出所述第2線像與所述核線的交點，設為所述關注點的對應點。