JP7407584B2 - コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ - Google Patents

Description

本発明は、ケーブルの先端に装着されるコネクタを自動的に分類する方法に関する。

コネクタ（端子、プラグ、アダプタ等）とは、電線や光ファイバ等（ケーブル）を端子台や様々な機器に接続するためにケーブルの先端に装着される部品である。このコネクタには多岐にわたる接続先に対応するように様々な種類が存在する。

従来、部品の種類を自動判別し、欠陥検査等を行うことが知られている（例えば、特許文献１参照。）。

ＷＯ２０１６／１４３１０６

しかし、ケーブルの先端に装着されたコネクタを分類する技術はなかった。

そこで、本発明の目的は、ケーブルの先端に装着されたコネクタを正確に分類するコネクタ分類方法を提供することである。

本発明に係るコネクタ分類方法は、先端にコネクタが装着されたケーブルを撮像したコネクタ画像を取得する画像取得工程と、
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別工程と、
を有する。

本発明に係るコネクタ分類方法によれば、ケーブルの先端に装着されたコネクタを正確に分類することができる。

実施の形態１に係るコネクタ分類カメラの構成を示すブロック図である。 図１のコネクタ分類カメラでコネクタを撮影してコネクタの分類を行う様子を示す概略図である。 先端にコネクタが装着された電線の一例を示す概略図である。 図１のコネクタ分類カメラの詳細な構成を示すブロック図である。 実施の形態１に係るコネクタ分類方法のフローチャートである。 実施の形態２に係るコネクタ分類カメラにおける１０種類のコネクタのテンプレート画像を示す概略図である。 図６のａのタイプのコネクタの挿入方向を軸として０度（ａ）、７２度（ｂ）、１４４度（ｃ）回転させた場合の軸に垂直な方向から見たコネクタ画像である。

第１の態様に係るコネクタ分類方法は、先端にコネクタが装着されたケーブルを撮像したコネクタ画像を取得する画像取得工程と、
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別工程と、
を有する。

上記構成によれば、ケーブルの先端に装着されたコネクタを正確に分類することができる。

第２の態様に係るコネクタ分類方法は、上記第１の態様において、前記コネクタ判別情報は、判別するコネクタの種類毎に登録したテンプレート画像であり、
前記判別工程は、前記テンプレート画像と前記コネクタ画像とのマッチング処理によって前記コネクタを判別してもよい。

第３の態様に係るコネクタ分類方法は、上記第２の態様において、前記テンプレート画像は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなってもよい。

第４の態様に係るコネクタ分類方法は、上記第１の態様において、前記コネクタ判別情報は、判別するコネクタの種類毎に登録したコネクタの１以上の幾何的特徴量であり、
前記判別工程は、前記幾何的特徴量と前記コネクタ画像との比較に基づいて前記コネクタを判別してもよい。

第５の態様に係るコネクタ分類方法は、上記第４の態様において、前記幾何的特徴量は、コネクタの側面を複数の異なる角度から撮像したコネクタ回転画像に基づいて抽出した特徴量からなってもよい。

第６の態様に係るコネクタ分類方法は、上記第１の態様において、前記コネクタ判別情報は、判別する複数種類のコネクタについて取得した学習用画像であり、
前記判別工程は、予め前記学習用画像を用いて機械学習させた学習済みモデルに前記コネクタ画像を入力したときの出力結果に基づいて前記コネクタを判別してもよい。

第７の態様に係るコネクタ分類方法は、上記第６の態様において、前記学習用画像が、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなってもよい。

第８の態様に係るコネクタ付きケーブルの把持方法は、上記第１から第７のいずれかの態様に係る方法によってコネクタを分類する工程と、
前記分類した結果に基づいて前記コネクタの把持位置を求める工程と、
前記把持位置をロボットハンドで把持する工程と、
を有する。

上記構成によれば、コネクタ付きケーブルの種類を判別し自動的にロボットハンドで把持することができる。

第９の態様に係るコネクタ分類カメラは、先端にコネクタが装着されたケーブルを撮像したコネクタ画像を取得する画像取得部と、
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別部と、
を備える。

以下、実施の形態に係るコネクタ分類カメラ及びコネクタ分類方法について、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。

（実施の形態１）
図１は、実施の形態１に係るコネクタ分類カメラ１０の構成を示すブロック図である。このコネクタ分類カメラ１０は、撮像部１１と、画像処理部２１と、記憶部２２を備えている。
図２は、コネクタ分類カメラ１０によってケーブルである電線１の先端に装着されたコネクタ２を分類する様子を示す概略図である。コネクタ分類カメラ１０では、撮像部１１によって電線１の先端部周辺を撮像し、電線１の先端に装着されたコネクタ２を含むコネクタ画像を取得する。取得したコネクタ画像を画像処理部２１で判別処理を行い、コネクタ判別結果を得る。判別処理では、コネクタ画像と予め作成して記憶部２２に記憶されたコネクタ判別情報とに基づいてコネクタ２の種類を判別する。なお、得られたコネクタ判別結果は、記憶部２２に記憶してもよいし、外部の制御装置等に出力してもよい。
このコネクタ分類カメラ１０によれば、電線１の先端に装着されたコネクタ２を正確に分類することができる。

以下に、実施の形態を構成する部材等について説明する。

＜コネクタ＞
コネクタ２は、電線１の先端に装着されており、機器等へ電線１を接続するための部材である。図３にコネクタ付き電線３の一例を示す。形状によって区別できるものであれば対象とするコネクタは特に限定されない。好ましくは、１本の電線に装着するタイプのピン型の圧着端子（コンタクト）である。ピン型圧着端子は細かな形状の違いで多数のバリエーションがある。概形は殆どが細長い直方体形状であり、人間の目視であっても判別が容易ではない。従って、本発明に係るコネクタ分類カメラ及びコネクタ分類方法の高い実施効果が期待できる。
また、電線１はフレキシブルであるため、コネクタ画像は毎回、回転角度、位置及び向きが異なる画像として取得される。本発明はそのような状況でも安定してコネクタ分類が可能である。

＜撮像部＞
撮像部１１は、コネクタ画像を撮像できるものであれば何でもよい。撮像部１１は、通常、ＣＭＯＳやＣＣＤ等の撮像素子と、撮像素子を制御する撮像制御手段を含む。撮像素子はエリアセンサが好ましい。また、撮像部１１は、別途レンズ等の光学系を備えるのがよい。コネクタ２は凹凸のある形状で位置や向きが変化するため、光学系は被写界深度の深いものが好ましい。

＜制御部（コンピュータ装置）＞
制御部２０は、例えば、コンピュータ装置である。このコンピュータ装置としては、汎用的なコンピュータ装置を用いることができ、例えば、図４に示すように、画像処理部２１、記憶部２２、表示部２３を含む。なお、さらに、入力装置、記憶装置、インタフェース等を含んでもよい。
制御部２０によって、撮像部１１を制御する。

＜画像処理部＞
画像処理部２１は、コネクタ画像からコネクタの種類を判別する処理を実行する。画像処理部２１の実施手段は特に限定されないが、具体的にはカメラに内蔵した小型ＰＣ上で動作するソフトウェアであってもよい。好ましくはカメラ内のＦＰＧＡ上に実装された画像処理ロジックである。より高速に画像を処理できるからである。ＦＰＧＡ上には学習済みモデルを実装してもよい。あるいは、画像処理部２１は、例えば、中央処理演算子（ＣＰＵ）、マイクロコンピュータ、又は、コンピュータで実行可能な命令を実行できる処理装置であってもよい。この場合には、画像処理を実行するプログラムを、例えば、記憶部２２から読み出して画像処理部２１において実行してもよい。
また、画像処理部２１は、図１に示すようにカメラ内部に設ける場合に限られない。例えば、画像処理部をカメラ外部に設けてカメラと有線又は無線の通信手段でデータをやり取りしてもよい。

＜記憶部＞
記憶部２２の形態は特に限定されないが、例えば、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、フラッシュＳＳＤ、ハードディスク、ＵＳＢメモリ、磁気ディスク、光ディスク、光磁気ディスク等のであってもよい。また、書き換え可能なＤＲＡＭ等の記憶装置を用いることができる。記憶部２２には、判別処理に必要なソフトウェアのプログラム２５や、コネクタ種類ごとに記録したコネクタ判別情報２８である幾何的特徴量２８ａやテンプレート画像２８ｂ等のデータベース２７を記憶する。なお、制御部２０がネットワークに接続されている場合には、必要に応じてプログラム２５をネットワークからダウンロードしてもよい。記憶部２２は、好ましくはＤＤＲ４等の高速なメモリがよい。大量の画像を記録するにはＳＳＤを用いてもよい。

＜プログラム＞
プログラム２５には、画像取得部２５ａと判別部２５ｂとを含んでいればよい。画像取得部２５ａ及び判別部２５ｂは、実行時には記憶部２２から読み出されて画像処理部２１で実行される。
＜画像取得部＞
画像取得部２５ａによって、撮像部１１で取得したコネクタ画像を取り込む。
＜判別部＞
判別部２５ｂによって、コネクタ画像とコネクタ判別情報とを対比してコネクタ画像に撮影されているコネクタを判別する。具体的には、コネクタ画像から幾何的特徴量を抽出し、抽出した幾何的特徴量とコネクタ判別情報の幾何的特徴量２８ａとを比較して一致するか否かを判別し、コネクタを判別する。あるいは、テンプレート画像２８ｂとのマッチング度合が十分に満たされるか否かを判別し、コネクタを判別する。

＜データベース＞
データベース２７には、コネクタ画像からコネクタを判別するために用いられるコネクタ判別情報２８として、例えば、幾何的特徴量２８ａとテンプレート画像２８ｂとを含んでいてもよい。幾何的特徴量２８ａは、実施の形態３で後述するように、判別するコネクタの長さ等の特徴量である。テンプレート画像２８ｂは、実施の形態２で後述するように、判別するコネクタの種類毎に登録したコネクタ画像である。
なお、判別結果であるコネクタ判別結果２９を記憶してもよい。

＜コネクタ分類方法＞
次に、コネクタ分類方法について、図５を用いて説明する。
図５は、実施の形態１に係るコネクタ分類方法のフローチャートである。
（１）先端にコネクタが装着された電線を撮像したコネクタ画像を取得する（Ｓ０１：画像取得工程）。
（２）コネクタ画像と予め作成したコネクタ判別情報とに基づいてコネクタの種類を判別する（Ｓ０２：判別工程）。
このコネクタ分類方法では、予め作成したコネクタ判別情報とカメラで撮影したコネクタ画像とを用いて行う。

（実施の形態２）
図６は、実施の形態２に係るコネクタ分類方法における１０種類のコネクタのテンプレート画像を示す概略図である。
実施の形態２に係るコネクタ分類方法において、コネクタ判別情報は、判別するコネクタの種類毎に登録したテンプレート画像であってもよい。図６のａ～ｊに示す１０種類のタイプのコネクタを判別する場合、テンプレート画像はａ～ｊタイプそれぞれに対して作成する。コネクタは、周方向に沿ってそれぞれ特徴のある形状を有するので、好ましくは、テンプレート画像は、各タイプのコネクタ側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなる。具体的には、各タイプのコネクタを１つ用意し、そのコネクタを、挿入方向を軸として回転させながらカメラでコネクタの側方から撮影する。なお、側方とはコネクタの挿入方向を軸としたときにその円周方向のいずれかの位置である。

図７は、図６のａタイプのコネクタの回転画像の一部を示した図である。０ｄｅｇ（ａ）を正面としたときに、７２ｄｅｇ回転したときの画像（ｂ）、１４４ｄｅｇ回転したときの画像（ｃ）をそれぞれ表している。何度単位で回転させるかは、特に指定はないが、画像の分解能や対象とするコネクタ形状から決めればよい。例えば、回転させたときに画像上でコネクタ形状に有意な変化が表れる角度で回転させればよい。好ましくは、一般的なコネクタの形状から、５度～３０度の範囲内で回転させるのがよい。記憶しておくコネクタ判別情報の量と判別精度をバランスよく両立させることができるからである。これを１０種類のコネクタタイプに対して行い、各タイプのコネクタ回転画像を予め取得する。取得した各タイプのコネクタ回転画像は、コネクタ種類のラベリングを行って、テンプレート画像として記憶手段に記憶しておく。

判別工程においては、撮影したコネクタ画像を、テンプレート画像と順次マッチングすることによって、コネクタを判別することができる。画像のマッチングには公知のテンプレートマッチング手法を用いることができる。このとき、画像上の電線部分とコネクタ部分を分離して処理することが好ましい。分離するには、画像の色情報等を用いればよい。コネクタ部分は金属色であるのに対し、電線部分は赤や青等の被覆色であることが多いため、これらの色情報を用いて分離することができる。なお、マッチングにコネクタ及び電線の色情報を用いてもよい。コネクタ自体の色に特徴がある場合や、特定のコネクタに特定の色の電線が接続されている場合に有効である。マッチングに色情報を用いない場合は、コネクタ画像及びテンプレート画像をグレースケール画像に変換しておけばよい。さらに画像の明るさを正規化しておくのがより好ましい。マッチング精度を高めるために、コネクタを回転させてコネクタ画像を複数取得してもよい。多対多のマッチングを行うことで、より正確にコネクタを判別できる。
また、判別の対象となるコネクタ画像は、コネクタの挿入方向を軸として回転させた回転角度の異なる複数のコネクタ画像を用いてもよい。これによって、より正確にコネクタを判別できる。

（実施の形態３）
実施の形態３に係るコネクタ分類方法において、コネクタ判別情報は、判別するコネクタの種類毎に登録したコネクタの１以上の幾何的特徴量であってもよい。幾何的特徴量とは、例えば、コネクタの長さ、幅、輪郭線の周囲長、面積、凹凸の数、アスペクト比、その他輪郭線から得られる特徴、スケルトン（中心線）形状及びそれらの組合せであってもよい。例えば、図６のａ～ｊに示す１０種類のタイプのコネクタを判別する場合、幾何的特徴量は、ａ～ｊタイプのそれぞれに対して作成する。好ましくは、幾何的特徴量は、各コネクタタイプに対して、コネクタの側面を複数の異なる角度から撮像したコネクタ回転画像毎に抽出するのがよい。コネクタ回転画像は上記の説明と同様であるため省略する。判別工程においては、撮影したコネクタ画像から幾何的特徴量を算出し、記憶部２２に登録したタイプごとの幾何的特徴量と比較し、最も一致するタイプを当該コネクタの種類として判定すればよい。このとき複数の特徴量との比較手法は、網羅的に比較して一致スコアを計算してもよいし、ＤＰマッチング手法等を用いて一致度を計算してもよい。

（実施の形態４）
実施の形態４に係るコネクタ分類方法において、コネクタ判別情報は、判別する複数種類のコネクタについて取得した学習用画像であってもよい。学習用画像とは、機械学習に用いる学習用データのことである。例えば、図６のａ～ｊに示す１０種類のタイプのコネクタを判別する場合、学習用画像はａ～ｊタイプそれぞれに対して準備する。好ましくは、学習用画像は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像から作成するのがよい。コネクタ回転画像は上記の説明と同様であるため省略する。回転画像を作成する際の単位角度は、より小さくてもよい。機械学習を用いる場合、テンプレートマッチングと異なり、回転画像全てを記憶する必要がないからである。なお、学習用画像は、あらかじめ対応するコネクタの種類がわかっている教師付きデータであってもよい。

判別工程では、予め前記学習用画像を用いて機械学習させた学習済みモデルに前記コネクタ画像を入力したときの出力結果に基づいて前記コネクタを判別する。学習済みモデルは、コネクタ画像を入力したときに、そのコネクタが予め学習したどのコネクタ種類であるかを出力（推論）する推論ネットワークである。学習済みモデルを作成する方法には、既知の機械学習手法を用いることができる。例えば、判別部のプログラムとして、入力層、中間層、出力層を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いて、コネクタ画像とコネクタ判別情報とを入力情報として用い、コネクタ判別結果を出力情報として得られるように各重み係数を機械学習させてもよい。機械学習方法としては、好ましくは、画像を対象とする学習に対して高い性能を発揮するディープラーニング（深層学習）を用いるのがよい。最近では、ディープラーニングを利用する環境を比較的簡単に構築することができる。このコネクタ分類方法では、コネクタ画像及びコネクタ判別情報として、例えば、コネクタの挿入方向を軸とする回転角度の異なる複数の回転画像を用い、ディープラーニングを行うことにより、さらに正確にコネクタを分類できる。コネクタは、周方向に沿ってそれぞれ特徴のある形状を有するため、回転角度の異なる回転画像を用いることが有効と考えられる。例えば、１種類のコネクタあたり５０～１００枚程度の回転画像を用いて学習することが好ましい。
好ましくは、学習済みモデルとして、上記学習済み畳み込みニューラルネットワークをコネクタ分類カメラに内蔵したＦＰＧＡ上に実装するのがよい。他に処理ＰＣ等を準備する必要がなく、省スペースで手軽に高速なＡＩ処理システムを構築することができる。

（実施の形態５）
実施の形態５に係るコネクタ付き電線の把持方法では、上記のいずれかの方法によってコネクタを分類し、分類した結果に基づいてコネクタの把持位置を求め、その把持位置をロボットハンドで把持することを特徴とする。これによって、コネクタ付き電線をロボットハンドで自動的に把持することができる。自動的にコネクタを判別することで、コネクタ毎に適切な把持位置を把持することができ、その後のロボットによるコネクタ接続作業時に正確に位置合わせが可能であるとともに、把持位置が不適切なことによる接続失敗を抑制できる。

（変形例）
なお、コネクタ回転画像は、挿入方向を軸として回転するだけでなく、カメラに対する仰俯角を変化させながら取得してもよい。

なお、本開示においては、前述した様々な実施の形態及び／又は実施例のうちの任意の実施の形態及び／又は実施例を適宜組み合わせることを含むものであり、それぞれの実施の形態及び／又は実施例が有する効果を奏することができる。

本発明に係るコネクタ分類方法によれば、様々な種類が存在するコネクタを自動的に判別することができる。このため、判別したコネクタの種類に応じてロボットハンドによる把持、コネクタの接続作業の自動化等に有用である。

１ 電線
２ コネクタ
３ コネクタ付き電線
１０ コネクタ分類カメラ
１１ 撮像部
２０ 制御部
２１ 画像処理部
２２ 記憶部
２３ 表示部
２５ プログラム
２５ａ 画像取得部
２５ｂ 判別部
２７ データベース
２８ コネクタ判別情報
２８ａ 幾何的特徴量
２８ｂ テンプレート画像
２９ コネクタ判別結果

Claims (7)

1. 先端にコネクタが装着されたコネクタ付きケーブルの前記コネクタを分類する工程と、
   前記分類した結果に基づいて前記コネクタの把持位置を求める工程と、
   前記コネクタの前記把持位置をロボットハンドで把持する工程と、
   を有し、
   前記コネクタを分類する工程は、
   先端にコネクタが装着されたケーブルを撮像したコネクタ画像を取得する画像取得工程と、
   前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別工程と、
   を有する、コネクタ付きケーブルの把持方法。
2. 前記コネクタ判別情報は、判別するコネクタの種類毎に登録したテンプレート画像であり、
   前記判別工程は、前記テンプレート画像と前記コネクタ画像とのマッチング処理によって前記コネクタを判別する、請求項１に記載のコネクタ付きケーブルの把持方法。
3. 前記テンプレート画像は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなる、請求項２に記載のコネクタ付きケーブルの把持方法。
4. 前記コネクタ判別情報は、判別するコネクタの種類毎に登録したコネクタの１以上の幾何的特徴量であり、
   前記判別工程は、前記登録した幾何的特徴量と前記コネクタ画像から抽出した幾何的特徴量との比較に基づいて前記コネクタを判別する、請求項１に記載のコネクタ付きケーブルの把持方法。
5. 前記登録した幾何的特徴量は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像に基づいて抽出した特徴量からなる、請求項４に記載のコネクタ付きケーブルの把持方法。
6. 前記コネクタ判別情報は、判別する複数種類のコネクタについて取得した学習用画像であり、
   前記判別工程は、予め前記学習用画像を用いて機械学習させた学習済みモデルに前記コネクタ画像を入力したときの出力結果に基づいて前記コネクタを判別する、請求項１に記載のコネクタ付きケーブルの把持方法。
7. 前記学習用画像が、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなる、請求項６に記載のコネクタ付きケーブルの把持方法。