KR20200137003A

KR20200137003A - 선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법

Info

Publication number: KR20200137003A
Application number: KR1020207031454A
Authority: KR
Inventors: 모토요시 기타이; 도시히사 사토
Original assignee: 구라시키 보세키 가부시키가이샤
Priority date: 2018-03-30
Filing date: 2019-03-11
Publication date: 2020-12-08
Also published as: JPWO2019188198A1; WO2019188198A1; EP3779355A1; CN111919086A; US20210025698A1; EP3779355A4; TW201942540A

Abstract

이 선형물의 3차원 계측 장치는, 선형물을 촬상하는 스테레오 카메라(11)와, 선형물을 사이에 끼고 스테레오 카메라(11)의 대향에 위치하는 투과광 조사 부재(50)와, 선형물의 3차원 형상을 취득하는 연산부를 갖고, 스테레오 카메라(11)는, 투과광 조사 부재(50)로부터 광이 조사된 선형물의 투과광 화상을 취득하고, 연산부는, 투과광 화상에 의거하여 선형물의 3차원 형상을 취득한다.

Description

선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법

이 발명은, 와이어, 케이블 등의 선형물에 대해서, 스테레오 방식으로 형상을 계측하는, 선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법에 관한 것이다.

2대의 카메라의 시차를 이용하여 3차원 위치를 계측하는 방법으로서 스테레오 방식의 3차원 계측 방법이 종래부터 이용되고 있다. 이는, 시점이 상이한 2개의 화상 상에서 계측하고 싶은 점의 대응점을 구하고, 각 화상 상의 대응점 및 2대의 카메라의 위치 관계로부터 3각 측량의 원리에 의해서, 계측점의 3차원 위치를 산출하는 방법이다. 이 스테레오 방식에서는, 각 화상 상의 대응점을 찾아내는 매칭 처리가 가장 정보 처리의 부하가 무겁고, 비용이 드는 프로세스이다. 그 때문에, 매칭 처리의 개량을 목적으로서, 여러 가지의 방법이 제안되어 있다.

일본국 특허공개 평 5-026640호 공보(특허 문헌 1)에는, 스테레오 방식에 의한 선형물의 3차원 계측에 관하여, 반도체 패키지의 외부 리드의 형상 계측 방법으로서, 한쪽의 화상에 있어서의 외부 리드상(像) 상에 계측 샘플링점을 두고, 다른 쪽의 화상에 있어서의 에피폴라·라인(에피폴라선)과 외부 리드상의 교점을 계측 샘플링점의 대응점으로 하는 것이 기재되어 있다. 에피폴라선이란 한쪽의 화상의 시점과 계측점을 잇는 직선을 다른 쪽의 화상 상에 투영한 직선을 말하며, 그 계측점은 반드시 다른 쪽의 화상 상의 에피폴라선 상에 투영되어 있다.

일본국 특허공개 평 2-309202호 공보(특허 문헌 2)에는, 다수의 선형물을 2대의 카메라로 촬상하고, 2개의 화상 중의 휘선의 기울기와 휘선 간의 거리를 특징으로서 조합함으로써, 대응점을 결정하는 것이 기재되어 있다.

일본국 특허공개 평 5-026640호 공보 일본국 특허공개 평 2-309202호 공보

그러나, 특허 문헌 1에 기재된 방법에서는, 같은 선형물이 화면 내에 복수 존재할 경우, 에피폴라선과의 교점이 복수 검출되어, 대응점을 일의로 결정할 수 없는 경우가 있다. 특허 문헌 2에 기재된 방법에서는, 복수의 휘선에 대해서 특징의 불일치도를 계산할 필요가 있어 고속 처리에는 적합하지 않거나, 특징이 같은 정도의 직선끼리를 오인식할 가능성이 있다.

또한, 선형물이 모양이나 색 편차를 갖는 경우에는, 반사광으로 화상이 흐트러지는 등 하여, 화상에 있어서 선형물을 정확하게 인식할 수 없는 경우가 있다.

본 발명은 상기를 고려하여 이루어진 것이며, 선형물에 대해서, 보다 정확하게 고속의 매칭 처리를 실현할 수 있는 선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법을 제공하는 것을 목적으로 한다.

이 선형물의 3차원 계측 장치에 있어서는, 선형물을 촬상하는 스테레오 카메라와, 상기 선형물을 사이에 끼고 상기 스테레오 카메라의 대향에 위치하는 투과광 조사 부재와, 상기 선형물의 3차원 형상을 취득하는 연산부를 갖고, 상기 스테레오 카메라는, 상기 투과광 조사 부재로부터 광이 조사된 상기 선형물의 투과광 화상을 취득하고, 상기 연산부는, 상기 투과광 화상에 의거하여 상기 선형물의 3차원 형상을 취득한다.

여기서, 투과광이란, 즉 선형물에 차폐되지 않고 선형물이 없는 공간을 통과하여 카메라에 도달하는 광(백라이트, 또는, 배면 조사광)을 의미하며, 반드시 물체 중을 통과하는 광만을 의미하지 않는다. 또, 투과광 화상이란, 즉 상기의 광을 카메라로 촬상한 화상(백라이트 화상, 또는, 배면 조사광 화상)이다.

다른 형태에 있어서는, 상기 스테레오 카메라는, 상기 투과광 조사 부재로부터 광을 조사하지 않고 촬상한 상기 선형물의 반사광 화상을 취득하고, 상기 연산부는, 상기 투과광 화상 및 상기 반사광 화상에 의거하여 상기 선형물의 3차원 형상을 취득한다.

다른 형태에 있어서는, 상기 스테레오 카메라는, 제1 카메라, 및, 제2 카메라를 포함하고, 상기 투과광 조사 부재로부터 광이 조사되어 있지 않은 상태에서, 상기 제1 카메라를 이용하여 촬상된 상기 선형물의 제1 반사광 화상, 및, 상기 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 반사광 화상을 취득하고, 상기 투과광 조사 부재로부터 상기 선형물에 광이 조사된 상태에서, 상기 제1 카메라를 이용하여 촬상된 상기 선형물의 제1 투과광 화상, 및, 상기 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 투과광 화상을 취득하고, 상기 연산부는, 상기 제1 반사광 화상 및 상기 제1 투과광 화상을 이용하여, 제1 보완 화상을 취득하고, 상기 제2 반사광 화상 및 상기 제2 투과광 화상을 이용하여, 제2 보완 화상을 취득하고, 상기 제1 보완 화상 및 상기 제2 보완 화상을 이용하여, 상기 선형물의 3차원 형상을 취득한다.

다른 형태에 있어서는, 상기 제1 카메라 및 상기 제2 카메라가 컬러 카메라이다.

다른 형태에 있어서는, 상기 투과광 조사 부재는, 상기 선형물에 조사하는 광의 색 변경이 가능한 기능을 갖는다.

다른 형태에 있어서는, 상기 스테레오 카메라는, 상기 투과광 조사 부재로부터 상기 선형물의 색과 상이한 색의 광을 조사하여, 상기 제1 투과광 화상 및 상기 제2 투과광 화상을 취득한다.

이 선형물의 3차원 계측 방법에 있어서는, 제1의 위치에 배치된 제1 카메라를 이용하여 촬상된 선형물의 제1 반사광 화상, 및, 제1의 위치와는 상이한 제2의 위치에 배치된 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 반사광 화상을 취득하는 공정과, 상기 선형물을 사이에 끼고, 상기 제1 카메라 및 제2 카메라의 대향에 위치하는 투과광 조사 부재로부터 광을 상기 선형물에 조사한 상태에서, 상기 제1 카메라를 이용하여 촬상된 상기 선형물의 제1 투과광 화상, 및, 상기 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 투과광 화상을 취득하는 공정과, 상기 제1 반사광 화상 및 상기 제1 투과광 화상을 이용하여, 제1 보완 화상을 취득하는 공정과, 상기 제2 반사광 화상 및 상기 제2 투과광 화상을 이용하여, 제2 보완 화상을 취득하는 공정과, 상기 제1 보완 화상 및 상기 제2 보완 화상을 이용하여, 상기 선형물의 3차원 형상을 취득하는 공정을 구비한다.

다른 형태에 있어서는, 상기 선형물이 복수의 선체를 갖고, 상기 투과광 조사 부재는, 상기 복수의 선체의 어느 색과도 상이한 색의 광을 조사한다.

다른 형태에 있어서는, 상기 투과광 조사 부재는, 컬러 조명이다.

이 발명의 선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법에 의하면, 선형물에 대해서, 보다 정확하게 고속의 매칭 처리를 실현할 수 있는 선형물의 3차원 계측 장치, 및, 선형물의 3차원 계측 방법을 제공할 수 있다.

도 1은, 실시의 형태 1의 3차원 계측 장치의 기능 블록도이다.
도 2는, 실시의 형태 1인 3차원 계측 방법을 설명하기 위한 제1 도면이다.
도 3은, 실시의 형태 1인 3차원 계측 방법을 설명하기 위한 제2 도면이다.
도 4는, 실시의 형태 1인 3차원 계측 방법의 공정 플로우도이다.
도 5는, 실시의 형태 1의 스테레오 카메라로 촬상된 제1 반사광 화상이다.
도 6은, 실시의 형태 1의 스테레오 카메라로 촬상된 제2 반사광 화상이다.
도 7은, 실시의 형태 1의 3차원 계측 방법의 제1 선상 추출 공정의 조작 플로우도이다.
도 8은, 제1 선상이 추출된 제1 반사광 화상이다.
도 9는, 제2 선상이 추출된 제2 반사광 화상이다.
도 10은, 착목점이 선택된 제1 반사광 화상이다.
도 11은, 에피폴라선과 제2 선상의 교점이 구해진 제2 반사광 화상이다.
도 12는, 색 테이블의 일례이다.
도 13은, 실시의 형태 2의 3차원 형상(보완 3D 화상)을 얻는 공정을 나타낸 기능 블록도이다.

본 발명에 의거한 각 실시의 형태의 선형물의 3차원 계측 방법, 및, 선형물의 3차원 계측 장치에 대해서, 이하, 도면을 참조하면서 설명한다. 또한, 이하에 있어서, 선형물의 3차원 계측 방법을 간단히 「계측 방법」이라고 하고, 선형물의 3차원 계측 장치를 간단히 「계측 장치」라고 하는 경우가 있다.

이하에 설명하는 실시의 형태에 있어서, 개수, 양 등을 언급하는 경우, 특별히 기재가 있는 경우를 제외하고, 본 발명의 범위는 반드시 그 개수, 양 등에 한정되지 않는다. 동일한 부품, 상당 부품에 대해서는, 동일한 참조 번호를 붙이고, 중복되는 설명은 반복하지 않는 경우가 있다. 실시의 형태에 있어서의 구성을 적절히 조합하여 이용하는 것은 당초부터 예정되어 있는 것이다. 도면에 있어서는, 실제의 치수 비율로는 기재하고 있지 않고, 구조의 이해를 용이하게 하기 위해서, 일부 비율을 다르게 하여 기재하고 있다.

(실시의 형태 1)

도 1 및 도 2를 참조하여, 본 실시의 형태의 선형물의 3차원 계측 방법, 및, 선형물의 3차원 계측 장치에 대해 설명한다. 도 1은, 3차원 계측 장치의 기능 블록도, 도 2는, 3차원 계측 방법을 설명하기 위한 제1 도면이다.

이하의 실시의 형태에서는, 선형물의 일례로서 와이어 하네스(W)를 이용하는 경우에 대해 설명한다. 이 와이어 하네스(W)는, 선체로서 전선(21~23)을 포함하고 있다.

본 실시의 형태의 계측 장치(10)는, 스테레오 카메라(11), 연산부(15), 기억부(16), 입출력부(17)를 구비한다. 연산부(15)는, 스테레오 카메라(11)와 별체의 PC나 화상 처리 장치여도 되고, 스테레오 카메라에 내장되어 있는 연산 기능을 갖는 하드웨어 등이어도 된다. 도 2에 나타내는 바와 같이, 스테레오 카메라(11)를 이용하여, 와이어 하네스(W)에 포함되는 전선(21~23)의 화상을 촬상한다. 이 계측 장치(10)는, 와이어 하네스(W)를 사이에 끼고 스테레오 카메라(11)와는 대향하는 위치에, 투과광 조사 부재(50)가 설치되어 있다. 이 투과광 조사 부재(50)에 대해서는, 실시의 형태 2에서 상세하게 설명한다.

스테레오 카메라(11)는, 제1 카메라(12), 제2 카메라(13), 카메라 제어부(14)를 포함한다. 제1 카메라(12)는, 컬러의 2차원 화상인 제1 반사광 화상을 촬상하는 컬러 카메라이다. 제2 카메라(13)는, 컬러의 2차원 화상인 제2 반사광 화상을 촬상하는 컬러 카메라이며, 제1 카메라에 대한 상대 위치가 고정되어 있다. 카메라 제어부(14)는, 제1 카메라 및 제2 카메라를 제어하여, 연산부(15)와의 통신을 행한다. 카메라 제어부는, 예를 들면, 연산부로부터 촬상 지시를 수신하여 제1 카메라 및 제2 카메라에 촬상 지시를 송신하고, 제1 반사광 화상 및 제2 반사광 화상을 연산부에 전송한다.

연산부(15)는, 카메라 제어부(14)와의 통신 외에, 스테레오 카메라(11)로부터 수신한 제1 반사광 화상 및 제2 반사광 화상을 처리하여 선형물의 3차원 위치(3D 화상)를 산출한다. 기억부(16)는, 스테레오 카메라가 촬상한 제1 반사광 화상 및 제2 반사광 화상, 대상물의 색 테이블을 기억하는 것 외에, 연산에 필요한 중간 데이터나 연산 결과 등을 기억한다. 입출력부(17)는, 작업자로부터의 지령을 받아들이거나, 작업자에 대해서 계측 결과를 표시한다.

도 3을 참조하면, 본 실시의 형태의 계측 방법에서는, 전선(21~23)을 제1 카메라(12) 및 제2 카메라(13)로 촬상한다. 전선(21) 상에 있는 점(P)에 대해서, 제1 카메라에 의한 제1 반사광 화상(30)으로의 투영점(Q)과, 제2 카메라에 의한 제2 반사광 화상(40)으로의 투영점(R)이 얻어지면, 기지(旣知)의 제1 카메라(12) 및 제2 카메라(13)의 위치 정보를 이용하여, 점(P)의 3차원 위치를 산출할 수 있다. 제1 카메라(12) 및 제2 카메라(13)의 위치 정보는, 미리 2개의 카메라를 캘리브레이션 해 둠으로써 취득할 수 있다.

도 3은 흑백으로 그려져 있는데, 계측 대상인 3개의 전선(21~23)은 색으로 분류되어 있으며, 서로 상이한 색, 예를 들면 적색, 청색, 황색 등의 피복을 갖는다. 계측 대상이 되는 선형물은, 선상의 물체이면 특별히 한정되지 않는데, 바람직하게는 서로 상이한 색의 선형물이고, 더 바람직하게는 색으로 분류된 전선이나 광섬유선의 케이블이며, 특히 바람직하게는 와이어 하네스의 케이블이다.

도 4에 본 실시의 형태의 계측 방법의 플로우도를 나타낸다. 이하, 각 공정에 대해 설명한다. 계측에 앞서, 색 테이블을 작성한다. 색 테이블은, 계측 대상이 될 수 있는 선형물의 종류마다 그 색을 기록한 테이블이다. 도 12에, 전선의 종류마다, 그 색을 적녹청(RGB)의 3원색의 휘도로 나타낸 색 테이블을 일례로서 나타낸다. 색 테이블은 기억부(16)에 기억된다.

계측 시에는, 스테레오 카메라(11)로 전선(21~23)을 촬상한다. 전선(21~23)은 제1 카메라(12)에 의해서 제1 반사광 화상(30)에 촬상된다. 그와 동시에, 전선(21~23)은 제2 카메라(13)에 의해서, 제1 카메라와는 상이한 시점으로부터, 제2 반사광 화상(40)에 촬상된다. 제1 반사광 화상 및 제2 반사광 화상은 연산부(15)에 전송되고, 기억부(16)에 기억된다.

연산부(15)는, 스테레오 카메라(11)로부터 제1 반사광 화상(30) 및 제2 반사광 화상(40)을 취득한다. 이 때, 도 5를 참조하면, 제1 반사광 화상(30)에는 3개의 전선(21~23)의 상(31~33)이 찍혀 있다. 마찬가지로, 도 6을 참조하면, 제2 반사광 화상(40)에는 3개의 전선(21~23)의 상(41~43)이 찍혀 있다.

연산부(15)는, 제1 반사광 화상(30) 상에서, 특정 전선(21)을 제1 선상으로서 추출한다. 도 7을 참조하면, 이 제1 선상을 추출하는 공정(제1 선상 추출 공정)은, 색에 의한 추출 조작, 이치화 조작, 노이즈 제거 조작, 세선화 조작을 포함한다.

색에 의한 추출 조작에서는, 연산부는 계측하고자 하는 전선(21)의 색을 색 테이블로부터 취득하고, 제1 반사광 화상(30) 상에서 그 특정 색의 선형물(21)의 상(31)만을 제1 선상(34)으로서 추출한다. 구체적으로는, 제1 반사광 화상(30)의 각 화소의 색을 그 특정 색과 비교하여, 양자가 같다고 판단되는 경우에는 그 화소를 남기고, 양자가 상이하다고 판단되는 경우에는 그 화소를 소거한다.

색이 같은지 상이한지의 판단은, 양자의 차가 소정의 값 이하인지 아닌지에 따라 행할 수 있다. 예를 들면, 전선(21)에 대응하는 RGB 값을 색 테이블로부터 취득하고, 제1 반사광 화상(30)의 각 화소의 RGB 값을 그것과 비교하여, RGB의 각 값의 차가 소정의 값 이하이면, 그 화소는 전선(21)과 같은 색인 것으로 판단한다. 소정의 값은, RGB의 계조수나, 상이한 종류의 전선 간에서의 색의 차이의 정도 등을 고려하여 정할 수 있다.

다음으로, 제1 반사광 화상(30)을 이치화한다. 이는 적당한 역치를 이용하여, 각 화소의 값을 0이나 1로 치환하는 조작이다. 이치화 조작에 의해서 이후의 화상 처리가 용이해진다. 이치화 조작은 색에 의한 추출 조작과 동시에 행해도 된다. 같은 색으로 판단한 화소를 1로 하고, 상이한 색으로 판단한 화소를 0으로 함으로써 이치화할 수 있다.

다음으로, 제1 반사광 화상(30)에 대해서 노이즈 제거 조작을 행한다. 상기 색에 의한 추출 조작에 의해서 제1 선상(34)이 추출되었는데, 제1 반사광 화상(30)에는 카메라의 쇼트 노이즈 등에 의한 고립된 화소가 남아 있다. 또, 1개의 화소에 대한 RGB용 촬상 소자의 위치가 실제로는 조금 어긋나 있기 때문에, 전선의 상(31~33)의 윤곽부 등, 색이 급준하게 변화하는 부분에서 화상의 색이 흐트러져, 역시 고립된 화소가 남아 있을 가능성이 있다. 이러한 화소를 제거함으로써, 보다 정확한 제1 선상(34)을 얻을 수 있다.

다음으로, 제1 선상(34)을 세선화한다. 이는 제1 선상의 연결성을 유지하면서 선폭을 1로 가늘게 하는 조작이다. 세선화 조작 방법은, 선폭의 중심에 위치하는 화소를 선택하는 등, 공지의 방법을 이용할 수 있다. 이에 의해, 이후의 화상 처리가 용이해지고, 대응점 등을 보다 정확하게 구할 수 있다.

도 8에, 얻어진 제1 선상(34)을 나타낸다. 제1 선상이 추출된 제1 반사광 화상(30)은 기억부(16)에 기억된다.

도 4로 돌아오면, 제2 반사광 화상(40)에 대해서도 제1 반사광 화상(30)과 같은 조작을 행하여, 제2 선상(44)을 추출한다(제2 선상 추출 공정). 도 9에, 얻어진 제2 선상(44)을 나타낸다. 제2 선상이 추출된 제2 반사광 화상(40)은 기억부(16)에 기억된다.

도 10을 참조하면, 다음으로 연산부(15)는, 제1 반사광 화상(30)의 제1 선상(34) 상에 착목점(Q)을 선택한다. 점(Q)은 전선(21)의 점(P)(도 2)의 제1 반사광 화상으로의 투영점이다.

도 11을 참조하면, 다음으로 연산부(15)는, 제2 반사광 화상(40) 상에서, 제1 반사광 화상(30)의 착목점(Q)에 대응하는 에피폴라선(45)을 구한다. 제2 선상(44)과 에피폴라선(45)의 교점(R)을 구하고, 이것을 착목점(Q)에 대응하는 점으로 한다. 점(R)은 전선(21)의 점(P)(도 3)의 제2 반사광 화상으로의 투영점이다.

이상의 공정에 의해, 도 3에 나타낸 전선(21)의 점(P)에 대해서, 제1 반사광 화상(30)으로의 투영점(Q)과, 제2 반사광 화상(40)으로의 투영점(R)이 얻어졌으므로, 연산부는 점(P)의 3차원 위치를 산출한다.

다음으로, 제1 선상(34) 상에 새로운 착목점을 선택하고, 착목점 선택 이후의 공정을 반복한다. 다음의 착목점으로는, 이전의 착목점에 연결된 인접점을 선택할 수 있다. 이와 같이 하여 착목점(Q)을 어긋나게 하면서, 즉 점(P)을 전선(21) 상에서 이동시키면서 3차원 위치를 구함으로써, 전선(21)의 3차원 계측을 행한다.

전선(21)에 대해 필요한 정보가 얻어진 시점에서, 상기 반복 처리를 종료한다. 이에 의해, 전선(21)에 대한 3D 화상을 얻을 수 있다. 계속해서 다른 전선, 예를 들면 전선(22)의 3차원 계측을 행하는 경우는, 전선(22)의 색을 색 테이블로부터 취득하고, 제1 카메라 및 제2 카메라가 촬상한 당초의 제1 반사광 화상 및 제2 반사광 화상에 대해서, 제1 선상 추출 공정으로부터 후의 공정을 반복한다.

여기서, 색 테이블에 대해서, 더 자세하게 설명한다.

도 12에 예시한 색 테이블은, 선형물의 종류마다 1개의 RGB 값이 기재된 것이었는데, 선형물 1종류에 대해서 복수의 RGB 값을 기재해 두어, 어느 한 RGB 값과 동색으로 판단되면, 당해 선형물이라고 판단해도 된다. 색은 RGB 이외의 표색계로 기록되어 있어도 된다. 예를 들면, 국제조명위원회(CIE)가 책정한 CIE LAB 표색계에 의거하여 L^*, a^*, b^*로 표현되어 있어도 된다. 스테레오 카메라(11)로부터의 출력이 RGB 값이어도, 표색계 간의 환산은 용이하다.

상기 실시의 형태에서는, 화소의 RGB 값과 색 테이블의 RGB 값의 차가 소정의 값 이하이면, 그 화소의 색과 테이블의 색이 같다고 판단했는데, 동색이라고 판단하는 색의 범위를 색 테이블에 기록해 두어도 된다. 색의 범위를 기록하는 경우, L^*a^*b^*의 값으로 표현되어 있는 것이, 광량 변화에 로버스트한 역치 범위를 설정하기 쉬워, 보다 바람직하다. 예를 들면, L^* 값의 역치 범위를 넓게 취해 두고, a^* 값, b^*값의 역치 범위를 좁게 함으로써, 선형물의 밝기가 일정 정도 변화해도, 타색의 케이블과 혼동하지 않고 동색으로 간주할 수 있다.

색 테이블은, 바람직하게는, 실제 계측 환경에 있어서, 실제로 선형물을 촬상했을 때의 화상의 색에 의거하여 작성된다. 구체적으로는, 선형물을 손이나 로봇 핸드로 드는 등 하여, 제1 또는 제2 카메라의 앞에서 여러가지 위치·방향으로 움직이면서 촬상하고, 화상으로부터 그 선형물의 색 정보를 취득한다. 제1 및 제2 반사광 화상 상의 선형물의 색은, 계측 환경에 있어서의 조명의 종류나 배치, 선형물의 광택도나 방향 등, 여러 가지의 요인에 의해서 변화한다. 색 테이블에, 실제 계측 조건 하에서 선형물의 화상이 찍을 수 있는 범위의 색을 기록해 둠으로써, 선형물을 추출할 때의 오인식을 줄일 수 있다.

(실시의 형태 2)

도 2에 나타낸 바와 같이, 스테레오 카메라(11)를 이용하여 전선(21~23)의 3차원 위치(3D 화상)를 취득한다. 여기서, 제1 반사광 화상(30) 및 제2 반사광 화상(40)을 취득하는 경우에는, 자연광 또는 보통 조명 장치를 이용하여 전선(21~23)의 화상을 취득하고 있다. 전선(21~23)의 표면에는, 제조 공정에서 이용되는 탈크라 불리는 흰 가루가 부착되어 있는 경우가 있다.

이 탈크를 제거하지 않고 전선(21~23)의 화상을 취득하고자 했을 경우에는, 탈크가 부착된 흰 부분이 다른 영역보다 강하게 반사하는, 제1 반사광 화상(30) 및 제2 반사광 화상(40)에 색 편차가 생기는 경우가 있다. 탈크의 부착뿐만 아니라, 개개의 전선의 착색에 불량이 있음으로써, 제1 반사광 화상(30) 및 제2 반사광 화상(40)에 색 편차가 생기는 경우가 있다.

화상에 색 편차가 생기면, 색 튐이 발생하여, 같은 선형물인지 아닌지의 식별이 곤란하게 되는 것이 생각된다.

부착되어 있는 탈크를 제거하는 작업, 및, 전선의 착색 불량의 개소를 수정하는 작업 등의 수복 작업은 번잡하다. 특히, 로봇 핸드를 이용하여 자동적으로, 와이어 하네스의 위치 검출, 색 검출 등의 작업을 행하는 공정에 있어서는, 상기 수복 작업은, 일련의 흐름을 정지하는 공정이며, 로봇 핸드를 이용한 자동화의 작업 효율을 현저하게 저하시키는 요인이 될 수 있다.

그래서, 본 실시의 형태에서는, 도 2에 나타낸 바와 같이, 와이어 하네스(W)를 사이에 끼고 스테레오 카메라(11)와는 대향하는 위치에 투과광 조사 부재(50)를 설치하고, 이 투과광 조사 부재(50)를 백라이트(배면 조사 광조사 부재)로 이용함으로써, 선형물의 윤곽을 알 수 있는 화상을 얻음으로써, 색 튐 개소의 화상의 보정을 가능하게 하는 것이다.

투과광 조사 부재(50)는, 선형물의 실루엣을 촬상할 수 있는 장치 또는 부재이면 되고, 조명 장치 또는 반사재이다. 조명 장치는, 통상의 조명이면 되고, 카메라의 시야를 균일하게 비출 수 있는 면조명이 특히 바람직하다. 반사재는, 종이, 천, 수지 등, 표면이 확산 반사면인 여러 가지의 재질을 이용할 수 있다. 특히, 균등에 가까운 확산 반사 특성을 갖는 반사판이 바람직하다. 유연성을 갖는 반사재이면, 롤 형상으로 하고, 색이 전환되는 구조로 해도 된다. 사용하지 않을 때는, 시야 범위 외에 슬라이드 또는 회전하는 등 하여 퇴피 가능한 구조로 해도 된다. 그 자체가 발광하지 않는 반사재를 이용하는 경우는, 실내 조명 등의 환경광을 광원으로서 이용해도 된다. 반사재에 대해서 광을 조사하는 조명 장치를 별도 구비해도 된다.

투과광 조사 부재로부터 광을 조사한다는 것은, 투과광 조사 부재 자체가 발광하는 경우도, 투과광 조사 부재가 반사판 등으로 간접적으로 광을 조사하는 경우도 양쪽 모두 포함한다.

도 13을 참조하면서, 본 실시의 형태에 있어서의 선형물의 3차원 계측 방법 및 장치에 대해 설명한다. 도 13은, 본 실시의 형태의 3차원 형상(보완 3D 화상)을 얻는 공정을 나타내는 기능 블록도이다.

상기 실시의 형태 1과 마찬가지로, 스테레오 카메라(11)를 이용하여, 제1 반사광 화상(30) 및 제2 반사광 화상(40)을 취득한다. 제1 반사광 화상(30) 및 제2 반사광 화상(40)을 취득할 때에는, 실내광이나 태양광 등의 환경광이 선형물에 대해서 조사된 상태에서 취득하면 된다. 보다 안정적으로 반사광 화상을 취득하기 위해서는, 선형물에 대해서 광을 조사하는 반사광 조사 부재를 갖는 것이 바람직하다. 반사광 조사 부재에는 램프, LED 등의 통상의 조명을 이용할 수 있다. 보다 바람직하게는, 스테레오 카메라(11)와 같은 측으로부터 선형물에 대해서 균일한 광을 조사 가능한 확산광 조명이다.

다음으로, 투과광 조사 부재(50)를 스테레오 카메라(11)를 향해서 조사하여 백라이트 촬영을 행한다. 이에 의해, 전선의 윤곽이 명확하게 나타난 제1 투과광 화상(30a) 및 제2 투과광 화상(40a)이 얻어지고, 기억부(16)에 기억된다.

연산부(15)에서는, 제1 반사광 화상(30)과 제1 투과광 화상(30a)을 이용하여, 제1 반사광 화상(30) 중에 있어서의 선형물의 끊어진 영역이 제1 투과광 화상(30a)으로 보완된, 제1 보완 화상(30a)을 얻을 수 있다. 마찬가지로, 제2 반사광 화상(40)과 제2 투과광 화상(40a)을 이용하여, 제2 반사광 화상(40) 중에 있어서의 선형물의 끊어진 영역이 제2 투과광 화상(40a)으로 보완되어, 제2 보완 화상(40a)을 얻을 수 있다. 이와 같이 하여 얻어진, 제1 보완 화상(30a) 및 제2 보완 화상(40a)을 이용하여, 연산부(15)에서는, 선형물의 3차원 형상(60)이 산출된다.

본 실시의 형태에 있어서는, 제1 카메라 및 제2 카메라는 흑백 카메라 또는 컬러 카메라이다. 선형물의 3차원 형상을 취득할 때에 화상의 색 정보를 이용하는 경우는, 컬러 카메라를 이용하는 것이 바람직하다.

(투과광 조사 부재(50))

상기 실시의 형태에 있어서는, 와이어 하네스(W)를 구성하는 전선(21~23)이, 적색, 청색, 황색의 피복을 갖는 경우에는, 투과광 조사 부재(50)의 광원에는, 보통의 조명광을 이용함으로써, 전선(21~23)의 실루엣을 얻을 수 있다. 그러나, 예를 들면, 전선이 백색의 경우에는, 실루엣을 잘 얻을 수 없는 경우도 생각된다.

그래서, 투과광 조사 부재(50)에 이용되는 광원의 색에는, 전선(21~23)의 피복에 이용되어 있는 색 이외의 색의 광을 조사하면 된다. 이에 의해, 명확하게 전선(21~23)의 실루엣을 얻을 수 있다. 따라서, 투과광 조사 부재(50)는, 선형물에 조사하는 광의 색을 변경 가능한 기능을 갖고 있으면 좋다.

투과광 조사 부재(50)에 이용되는 광원에 RGB(적, 녹, 청) 광원을 이용해도 된다. RGB(적, 녹, 청)의 각 색을 순차 조사함으로써, 명확하게 전선(21~23)의 실루엣을 얻을 수 있다.

예를 들면, 다색의 전선(적색·청색)을 묶은 와이어 하네스를 적색의 백라이트(투과광)를 이용하여 촬상했을 경우, 휘도의 차이를 이용하여 이치화 처리를 함으로써, 청색 전선만의 3차원 형상을 취득할 수 있다. 또한, 색 정보를 사용하지 않는(흑백 화상의) 경우, 에피폴라선과의 교점이 복수 나오므로, 그 중에서 올바른 대응점을 기하 정보 등으로부터 찾아낼 필요가 있다. 대응점을 찾아내는 수법은, 종래 기술을 적절히 이용함으로써 실현될 수 있다.

투과광 화상 2장(스테레오 카메라 중의 2대의 카메라로 촬상한 제1 투과광 화상 및 제2 투과광 화상)만으로도 선형물의 3차원 형상을 취득 가능하다. 그러나, 투과광 조사 부재(50)로부터의 광의 조사 가감에 따라서는, 선형물의 윤곽을 분명히 인식할 수 없는 것이 있기 때문에, 이들 투과광 화상 2장에 더하여 제1 반사광 화상 및 제2 반사광 화상을 이용하여 취득한 반사광 화상을 2장 이용한 보완 화상에 의한 삼차원 계측이 보다 정밀도가 높다.

로봇 핸드를 이용한 전선(21~23)의 파지 제어에 있어서는, 제1 반사광 화상(30) 및 제2 반사광 화상(40) 중에는, 색 편차가 생긴 개소가 존재했다고 해도, 보완 화상을 이용함으로써, 색 편차 개소에도 전선이 존재하는 것이 분명해진다. 따라서, 색 편차 개소에 전선이 존재하는 것이 명확하면, 그 색 편차 개소의 위치 정보에 의거하여, 색 편차 개소를 파지하는 제어를 행해도 된다.

본 실시의 형태의 계측 방법은, 케이블 외에, 실, 색연필·볼펜 교환 심 등의 필기구, 그 외 여러 가지의 선형물에 적용 가능하다.

상기 실시의 형태에 있어서의 공정이나 조작은, 그것이 가능한 경우에는, 실행하는 순서를 바꾸거나 생략해도 된다.

본 실시의 형태의 계측 방법은, 스테레오 방식에 있어서의 공지의 매칭 방법과의 병용을 배제하는 것은 아니다. 다수의 선형물 중에 동색의 선형물이 복수 있는 경우에는, 계측 대상물의 형상 그 외의 특징에 착목한 매칭 방법을 병용하는 메리트가 있다.

이번 개시된 각 실시의 형태는 모든 점에서 예시이며 제한적인 것은 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 설명이 아니라 청구의 범위에 의해서 나타내어지고, 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

10 선형물의 3차원 계측 장치
11 스테레오 카메라
12 제1 카메라
13 제2 카메라
14 카메라 제어부
15 연산부
16 기억부
17 입출력부
21~23 전선(선형물)
30 제1 반사광 화상
30a 제1 투과광 화상
30A 제1 보완 화상
31~33 제1 반사광 화상 상의 전선(21~23)의 상
34 제1 선상
40 제2 반사광 화상
40a 제2 투과광 화상
40A 제2 보완 화상
41~43 제2 반사광 화상 상의 전선(21~23)의 상
44 제2 선상
45 에피폴라선
50 투과광 조사 부재
60 3차원 형상(보완 3D 화상)
P 전선(21) 상의 점
Q 점(P)의 제1 반사광 화상으로의 투영점(착목점)
R 점(P)의 제2 반사광 화상으로의 투영점(대응점).

Claims

선형물을 촬상하는 스테레오 카메라와,
상기 선형물을 사이에 끼고 상기 스테레오 카메라의 대향에 위치하는 투과광 조사 부재와,
상기 선형물의 3차원 형상을 취득하는 연산부를 갖고,
상기 스테레오 카메라는, 상기 투과광 조사 부재로부터 광이 조사된 상기 선형물의 투과광 화상을 취득하고,
상기 연산부는, 상기 투과광 화상에 의거하여 상기 선형물의 3차원 형상을 취득하는, 선형물의 3차원 계측 장치.
청구항 1에 있어서,
상기 스테레오 카메라는,
상기 투과광 조사 부재로부터 광을 조사하지 않고 촬상한 상기 선형물의 반사광 화상을 취득하고,
상기 연산부는, 상기 투과광 화상 및 상기 반사광 화상에 의거하여 상기 선형물의 3차원 형상을 취득하는, 선형물의 3차원 계측 장치.
청구항 1 또는 청구항 2에 있어서,
상기 스테레오 카메라는, 제1 카메라, 및, 제2 카메라를 포함하고,
상기 투과광 조사 부재로부터 광이 조사되어 있지 않은 상태에서, 상기 제1 카메라를 이용하여 촬상된 상기 선형물의 제1 반사광 화상, 및, 상기 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 반사광 화상을 취득하고,
상기 투과광 조사 부재로부터 상기 선형물에 광이 조사된 상태에서, 상기 제1 카메라를 이용하여 촬상된 상기 선형물의 제1 투과광 화상, 및, 상기 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 투과광 화상을 취득하고,
상기 연산부는,
상기 제1 반사광 화상 및 상기 제1 투과광 화상을 이용하여, 제1 보완 화상을 취득하고,
상기 제2 반사광 화상 및 상기 제2 투과광 화상을 이용하여, 제2 보완 화상을 취득하고,
상기 제1 보완 화상 및 상기 제2 보완 화상을 이용하여, 상기 선형물의 3차원 형상을 취득하는, 선형물의 3차원 계측 장치.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 제1 카메라 및 상기 제2 카메라가 컬러 카메라인, 선형물의 3차원 계측 장치.
청구항 4에 있어서,
상기 투과광 조사 부재는, 상기 선형물에 조사하는 광의 색 변경이 가능한 기능을 갖는, 선형물의 3차원 계측 장치.
청구항 5에 있어서,
상기 스테레오 카메라는, 상기 투과광 조사 부재로부터 상기 선형물의 색과 상이한 색의 광을 조사하여, 상기 제1 투과광 화상 및 상기 제2 투과광 화상을 취득하는, 선형물의 3차원 계측 장치.
제1의 위치에 배치된 제1 카메라를 이용하여 촬상된 선형물의 제1 반사광 화상, 및, 제1의 위치와는 상이한 제2의 위치에 배치된 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 반사광 화상을 취득하는 공정과,
상기 선형물을 사이에 끼고, 상기 제1 카메라 및 제2 카메라의 대향에 위치하는 투과광 조사 부재로부터 광을 상기 선형물에 조사한 상태에서, 상기 제1 카메라를 이용하여 촬상된 상기 선형물의 제1 투과광 화상, 및, 상기 제2 카메라를 이용하여 촬상된 상기 선형물의 제2 투과광 화상을 취득하는 공정과,
상기 제1 반사광 화상 및 상기 제1 투과광 화상을 이용하여, 제1 보완 화상을 취득하는 공정과,
상기 제2 반사광 화상 및 상기 제2 투과광 화상을 이용하여, 제2 보완 화상을 취득하는 공정과,
상기 제1 보완 화상 및 상기 제2 보완 화상을 이용하여, 상기 선형물의 3차원 형상을 취득하는 공정을 구비하는, 선형물의 3차원 계측 방법.
청구항 7에 있어서,
상기 선형물이 복수의 선체를 갖고,
상기 투과광 조사 부재는, 상기 복수의 선체의 어느 색과도 상이한 색의 광을 조사하는, 선형물의 3차원 계측 방법.
청구항 7 또는 청구항 8에 있어서,
상기 투과광 조사 부재는 컬러 조명인, 선형물의 3차원 계측 방법.