JP5963262B2 - 対象物認識装置、方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、バラ積みされた巻ばね等、側面形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で、各対象物を認識する対象物認識装置、方法、プログラム、及び記録媒体に関する。

従来からＣＡＤデータを基に製作された物体がＣＡＤデータ通りに作られているかを位置合わせする装置が知られている。位置合わせする際には基準となるＣＡＤデータの位置合わせ面と非接触計測データの位置合わせ面に対応する対象点群を対応付けて位置合わせを行っている。（特許文献１）
また、パレット上に位置決めが困難なワークを積載し、このワークをロボット等により自動的に加工機械に供給する場合に、対象となるワークのモデルを予め作成し、対象物体であるワークにモデルを当てはめ、その一致度合いを判断するマッチング方法がある。（特許文献２）
しかしながら、何れの従来技術においても、物体やワークの形状に関するＣＡＤデータを予めデータベースに蓄積しておく必要があるため、取り扱われる物体やワークの種類が多い場合には、各物体やワーク毎にそれぞれＣＡＤデータが必要となるため、データ量が多くなってしまうという問題がある。

また、バラ積みされたワークは重なり合っている場合が多く、一部分しか見えない状態ではＣＡＤデータとのマッチングが困難になる。更に、重なり合っているワークの部分は、エッジ検出した場合に分断されているため、どれが繋がっていて一つの部品であるかを認識することが困難であるという問題もある。

これに対し、ＣＡＤモデルがない場合であっても、画像情報から重なり合ったワークの部品形状から、その繋がりや重なりを推定して一つのワークとして認識することができるワーク形状推定装置も提案されている。（特許文献３）
しかし、このワーク形状推定装置は、ボルト等連続した輪郭を備えたワークに適用され、エッジ検出が前提となるため、巻ばねのように外形が複雑で、隙間があり、奥が見えて平面部が少ない対象物では、一般に画像処理で用いられる明確な特徴がなく、適用が困難であるという問題が有る。

特開２００１−８２９５１号公報 特開平９−５３９１５号公報 特開２０１０−９１４２９号公報

解決しようとする問題点は、巻ばね等の外形が複雑で、隙間があり、奥が見える対象物の認識が困難であった点である。

本発明は、巻ばね等の外形が複雑で、隙間があり、奥が見える対象物の認識を可能とするため、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する対象物認識装置であって、前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出処理部と、前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出処理部と、前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化処理部と、前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化処理部とを備えたことを対象物認識装置の特徴とする。

本発明は、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する対象物認識方法であって、前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出ステップと、前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出ステップと、前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化ステップと、前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化ステップとを備えたことを対象物認識方法の特徴とする。

本発明は、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する機能をコンピュータに実現させる対象物認識プログラムであって、前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出機能と、前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出機能と、前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化機能と、前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化機能とを前記機能として備えたことを対象物認識プログラムの特徴とする。

本発明は、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する機能を実現させるための対象物認識プログラムを坦持したコンピュータ読み取り可能な記録媒体であって、前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出機能と、前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出機能と、前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化機能と、前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化機能とを前記機能とする対象物認識プログラムを坦持したことを記録媒体の特徴とする。

本発明の対象物認識装置は、上記構成であるから、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で、画像処理によって得られたハイライトから抽出した複数の特徴量から選択した特定の特徴量によりハイライトを仮グループ化し、複数の特徴量から選択した特定の他の特徴量によりグループ化することで対象物の形状に対応するハイライトのグループを得ることができ、各対象物を認識することができる。

本発明の対象物認識方法は、上記構成であるから、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で、画像処理によって得られたハイライトから抽出した複数の特徴量から選択した特定の特徴量によりハイライトを仮グループ化し、複数の特徴量から選択した特定の他の特徴量によりグループ化することで対象物の形状に対応するハイライトのグループを得ることができ、各対象物を認識することができる。

本発明の対象物認識プログラムは、上記構成であるから、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で、画像処理によって得られたハイライトから抽出した複数の特徴量から選択した特定の特徴量によりハイライトを仮グループ化し、複数の特徴量から選択した特定の他の特徴量によりグループ化することで対象物の形状に対応するハイライトのグループを得ることができ、各対象物を認識する機能をコンピュータに実現させることができる。

本発明の記録媒体は、上記構成であるから、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で、画像処理によって得られたハイライトから抽出した複数の特徴量から選択した特定の特徴量によりハイライトを仮グループ化し、複数の特徴量から選択した特定の他の特徴量によりグループ化することで対象物の形状に対応するハイライトのグループを得ることができ、各対象物を認識する機能を実現させるための対象物認識プログラムを坦持し、コンピュータに読み取らせることができる。

対象物認識装置のブロック図である。（実施例１） （Ａ）は、カメラの画像データ、（Ｂ）は、（Ａ）の二値化画像データ、（Ｃ）は、側面ハイライトの画像データ、（Ｄ）は、端面ハイライトの画像データである。（実施例１） 側面ハイライトの面積等を示す説明図である。（実施例１） 側面ハイライトの湾曲を示す説明図である。（実施例１） 座標の回転を示す説明図である。（実施例１） 側面ハイライトの湾曲方向を示す説明図である。（実施例１） 側面ハイライトの湾曲方向を示す説明図である。（実施例１） 側面ハイライト情報からの端面の検出を示す説明図である。（実施例１） 端面ハイライトの結合を示す画像データである。（実施例１） 端面ハイライトの検出を示す画像データである。（実施例１） 側面ハイライトのグループ化及び端面ハイライトの検出を示す画像データである。（実施例１） 側面ハイライトのグループ化及び端面ハイライトの検出を示す画像データである。（実施例１） 側面ハイライト及び端面ハイライトの検出に係るフローチャートである。（実施例１） 側面ハイライトの仮グループ化に係るフローチャートである。（実施例１） 側面ハイライトのグループ化に係るフローチャートである。（実施例１）

巻ばね等の外形が複雑で、隙間があり、奥が見える対象物の認識を可能とするため、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する対象物認識装置１であって、ばら積みの巻ばね３・・・全体にＬＥＤスポットライト７により照明光を当てた状態でカメラ９により撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出処理部１３と、巻ばね３の形状に対応させるための形状等の複数の特徴量を各ハイライトから抽出する特徴量抽出処理部１７と、複数の特徴量から選択した特定の特徴量によりハイライトを複数１組毎の仮グループとする仮グループ化処理部１９と、仮グループとされたハイライトを複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化処理部２１とを備えたことにより実現した。

［対象物認識装置］
図１は、対象物認識装置のブロック図である。

図１の本発明実施例１の対象物認識装置１は、例えば巻ばね３・・・の認識を行うものである。各巻ばね３は、外形が複雑で、隙間があり、奥が見える形状であり、側面形状に空間部が存在して輪郭を分断された同一形状の対象物、すなわち、リング状の端面と空間部が存在して輪郭を分断された側面とを備えた同一形状の対象物の一例である。この各巻ばね３が、トレー５内にばら積みされ、不規則に集合している。このばら積みの各巻ばね３の中で、対象物認識装置１は、各巻ばね３を認識する。この巻ばね３の認識とは、カメラ画像から個々の巻ばね３がどこに存在するかを検出することである。

トレー５内の巻ばね３・・・に、照明具として、例えばＬＥＤスポットライト７により照明光が当てられ、この集合した対象物全体であるばら積みの巻ばね３・・・の全体に照明光を当てた状態でカメラ９により撮像され、画像データが対象物認識装置１へ入力され、データ記憶部１１に記憶保持される。

ここで、認識方法の概要を述べておく。巻ばねは、その形状に、
・平面部が少ない
・同じような形状が連続している
・隙間があり奥が見えてしまう
などの特徴があるため、一般に画像処理で用いられる形状特徴に乏しい。したがって、巻ばねが三次元的にばら積みされている場合は、汎用的な画像処理手法による認識は困難であった。

これに対し、本発明実施例の手法では、照明によって巻ばねに生じるハイライト（図２）に着目して認識する。通常、ハイライトは元の物体を隠してしまうものとして画像処理では敬遠されることが多い。しかし、巻ばねでは規則的にハイライトができることを利用し、認識処理を単純化することに成功した。

認識処理ではまず、カメラ画像を二値化することによってハイライト部分を抽出する。巻ばねが寝ている場合には側面ハイライトが抽出され、立っている場合には端面ハイライトが主に抽出される。面積（ピクセル数）によって側面ハイライトと端面ハイライトとを分ける。面積が小さいもの、あるいは中途半端なものは、認識に利用するには不適切なハイライト（ノイズや複数のハイライトが結合してしまったものなど）として無視する。続いて、側面ハイライトについては、同一巻ばねに属するものをグルーピングする。グルーピングができれば、その巻ばねを認識できたと言ってよい。

同一の巻ばねに属するハイライトは、
・距離が近接している
・形状が類似している
・一定間隔で一直線上に並んでいる
という性質があるので、これを利用してグルーピングを行う。距離の近接はハイライト重心間の距離をチェックし、形状の類似はハイライト面積（ピクセル数）・ハイライトに対する画像楕円の長軸方向・湾曲情報を表す三次元画像モーメント等を用いる。一定間隔で一直線上に並んでいることは、ハイライト重心を見てチェックする。一定数以上のハイライトを同一のグループにまとめることができれば、一つの巻ばねを認識したとみなす。

寝ているばねでありながら少数の側面ハイライトしか検出できないものは、他の巻ばねの下に一部が隠されているなどの状況であり、ピッキングには適さないと予想される。したがって、この時点で認識できなくてもかまわない（ピッキング作業が進むにつれて認識される）。

端面ハイライトについては、それが一つ検出できれば、巻ばねを一つ認識できたと言える。端面はほぼ円形をしており、画像上は巻ばねの傾きに応じた楕円形になるとみなせる。そこで、楕円当てはめに成功したものを端面として検出する。本手法を実装し認識を行った結果の例は、後述する。

対象物認識装置１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータで構成され、データ記憶部１１の他、ハイライト抽出処理部１３と、ハイライト判別処理部１５と、特徴量抽出処理部１７と、仮グループ化処理部１９と、グループ化処理部２１と、端面ハイライト検出部２２と、登録部２３とを備えている。なお、対象物が球状等で有ればハイライト判別処理部１５は、省略することもできる。

ハイライト抽出処理部１３は、画像を二値化処理して各反射形状のハイライトを抽出するものである。

すなわち、カメラ９による画像データをデータ記憶部１１から読み出し、二値化処理してハイライトを抽出する。

ハイライト判別処理部１５は、ハイライトを抽出した二値化画像データに面積の閾値処理を施し巻ばね３の側面に対応する側面のハイライト（以下、「側面ハイライト」と称する。）と巻ばね３の端面に対応する端面のハイライト（以下、「端面ハイライト」と称する。）とを判別するものである。

すなわち、データ記憶部１１から二値化画像データを読み出し、ラべリングにより得られた領域から面積の閾値により側面ハイライトと端面ハイライトとを抽出する。抽出した側面ハイライト及び端面ハイライトは、データ記憶部１１に記憶される。

特徴量抽出処理部１７は、巻ばね３の側面形状（対象物の形状）に対応させるための複数の特徴量を各側面ハイライト（ハイライト）から抽出するものである。

すなわち、データ記憶部１１から側面ハイライトを順に読み出し、各側面ハイライトから、特徴量としてハイライトの形状、ハイライトの直線的な並び、間隔、及び数を抽出する。側面ハイライトの形状は、例えば、側面ハイライトの面積と側面ハイライトの長軸方向と側面ハイライトの湾曲情報としている。

湾曲情報は、後述のように楕円の当てはめによる湾曲の大きさや向きとし、さらに精度を高めるために、後述のように画像モーメントを導入することもできる。画像モーメントでは、後述のように側面ハイライトの湾曲の大きさを３次モーメントとし、向きを３次モーメントの正負とする。

仮グループ化処理部１９は、複数の特徴量から選択した特定の特徴量により側面ハイライトを複数１組毎の仮グループとする処理を行う。

すなわち、データ記憶部１１から側面ハイライトを順に読み出し、特徴量として特定した形状の近さにより側面ハイライトを複数１組毎の仮グループとする処理を行う。この仮グループ化処理部１９は、形状を側面ハイライトの面積と側面ハイライトの長軸方向と側面ハイライトの湾曲情報とする処理を行う。

この場合、仮グループ化処理部１９は、側面ハイライトの一つを選択すると共に近傍の側面ハイライトをリストアップしてから上記の仮グループとする処理を行う。

グループ化処理部２１は、仮グループとされた側面ハイライトを複数の特徴量から選択した特定の他の特徴量によりグループとして決定する処理を行う。

すなわち、データ記憶部１１から仮グループを順に読み出し、特徴量として選択した他の特徴量として側面ハイライトの直線的な並び、間隔、及び数により仮グループをグループとして決定する処理を行う。

この場合、グループ化処理部２１は、仮グループを順次選択すると共にこの選択された仮グループ毎にグループとして決定する処理を行う。

端面ハイライト検出部２２は、判別された端面のハイライトから端面のハイライトを決定するものである。本実施例の端面ハイライト検出部２２は、ノイズとして除外された面積の大きなハイライトに収縮処理をかけ且つ端面のハイライトとみなす閾値範囲に入っていることにより大きなハイライトを切り離してそれぞれ端面のハイライトとする。この端面のハイライトから後述のように端面ハイライトが決定される。具体的には後述する。

決定された側面ハイライトのグループ及び端面ハイライトは、登録部２３に登録される。

したがって、ばら積みされた巻ばね３・・・を夫々認識することが可能となり、ばら積みされた巻ばね３・・・のロボットによるピッキングの自動化等に供することができる。
［ハイライトの抽出と判別］
図２（Ａ）は、カメラの画像データ、（Ｂ）は、（Ａ）の二値化画像データ、（Ｃ）は、側面ハイライトの画像データ、（Ｄ）は、端面ハイライトの画像データである。

ハイライトの抽出と判別は、ＬＥＤスポットライト７の照明光が巻ばね３に当たることでできるハイライトに着目する。カメラ９で捉えた図２（Ａ）の画像データに二値化処理を施すと図２（Ｂ）のようにハイライトが抽出できる。図２（Ｂ）の二値化画像データに対し、ハイライトの面積で閾値処理を施し、ノイズを除去し、図２（Ｃ）の側面ハイライトと図２（Ｄ）の端面ハイライトとを判別する。
［側面ハイライトのグルーピング］
（楕円当てはめによるグルーピング）
本発明実施例のハイライトのグルーピングは、後述の画像モーメントによるものであり、制御フローチャートも画像モーメントによる処理である。しかし、楕円当てはめによるグルーピングを排除するものではなく、画像モーメントによるグルーピングの前に若干精度は落ちるものの、グループ化できる可能性のあるものとしてその手順を先に述べておく。

図３は、側面ハイライトの面積等を示す説明図、図４は、側面ハイライトの湾曲を示す説明図である。

側面ハイライトは、端面ハイライトと異なり、一つのハイライトから巻ばね３の情報を得ることは困難である。そこで、同一の巻ばね３について側面ハイライトのグルーピングを行う。

この場合、グルーピングに必要な各側面ハイライトのパラメータ（特徴量）を求めることになる。以下で計算方法を説明する。

・ハイライトの面積、長軸方向、ハイライト間距離（図３）
ハイライトの面積ｈ_area [pixel]、長軸方向ｈ_laxis [deg]は画像のモーメントから計算することができる。また、画像モーメントからハイライトの重心座標を計算することができる。ここで、ハイライトの重心座標間の距離をハイライト間距離ｄ_r[pixel]と定義する。

・ハイライトの湾曲（図４）
ハイライトの湾曲を求めるために、ハイライトのスケルトンを抽出する。抽出したスケルトンを構成する点群に楕円を当てはめ、当てはめた楕円の中心とスケルトン間で最短距離となるスケルトン上の点を求める。当てはめた楕円中心と求めたスケルトン上の点を結ぶ直線の長さを、湾曲の大きさｃ_mag [pixel]とし、向きをハイライトの湾曲の向きｃ_dir [deg]とする。

次に、以下のパラメータについて閾値を設定し、側面ハイライトのグルーピングを行う。

・ハイライトの面積：ｈ_area [pixel]
・ハイライトの長軸方向：ｈ_laxis [deg](0≦ｈ_laxis<180°)
・ハイライトの湾曲の大きさ：ｃ_mag [pixel]
・ハイライトの湾曲の向き：ｃ_dir [deg](0≦ｃ_dir<360°)
・ハイライト間距離：ｄ_r[pixel]
ハイライトのグルーピングの手順は、以下の通りである。

（１）検出したすべての側面ハイライトからハイライトを一つ選ぶ(基準ハイライト)
（ａ）基準ハイライトの湾曲が大きい場合
i．基準ハイライト以外のハイライトで湾曲が大きいハイライトを選ぶ。
ii．ハイライトの面積ｈ_area、長軸方向ｈ_laxis、ハイライト間距離ｄ_r、湾曲の向きｃ_dirを比較し、条件を満たす場合に基準ハイライトのグループに含める。
iii．すべてのハイライトに対してi、iiを行う。
（ｂ）基準ハイライトの湾曲が小さい場合
i．基準ハイライト以外のハイライトで湾曲が小さいハイライトを選ぶ。
ii．ハイライトの面積ｈ_area、長軸方向ｈ_laxis、ハイライト間距離ｄ_rを比較し、条件を満たす場合に基準ハイライトのグループに含める。
iii．すべてのハイライトに対してi、iiを行う。
（２）基準ハイライトを変えて（１）を行う。
（３）すべてのハイライトに対して（１）を行ったらグルーピング終了。

湾曲の大きさによるグルーピング手順の違いは、パラメータに湾曲の向きｃ_dirが含まれるか否かのみである。これは、湾曲が小さいハイライトは、湾曲の向きが同一グループでも全く異なり、グルーピングに悪影響を与えるためである。また、湾曲の大きさｃ_magをグルーピングのパラメータに直接加えず、大きいか小さいかの二通りにしか分けていない。これは、湾曲の大きさについてはノイズの影響が大きく、グルーピングのパラメータに加えるとグルーピングに失敗しやすくなってしまうためである。

ここまでの手順により、仮グループとする。

しかし、上記の手順だけではグループの重複や巻ばねが並列に並んでいる場合にグルーピングの失敗が起こる。

そこで、同一グループではハイライトが直線に並ぶことや隣接するハイライト間距離が等間隔であること、同一巻ばねを表すグループが重複した場合グループに含まれるハイライト数が多いものを採用することの条件を加えてグルーピングの結果を修正し、最終的なグルーピングとする。

（画像モーメントによる湾曲情報及びグルーピング）
図５は、座標の回転を示す説明図、図６は、側面ハイライトの湾曲方向を示す説明図、図７は、側面ハイライトの湾曲方向を示す説明図である。

図３、図４の上記では、各側面ハイライトのスケルトンに楕円を当てはめ、その楕円より湾曲の大きさや向きを求めた。しかし、湾曲の大きさが小さいときは楕円当てはめによる湾曲情報の精度に限界がある。

これに対し、画像モーメントを用いて湾曲情報を得ることで精度が向上する。

まず、湾曲の大きさを3次モーメントμ´_２１とする。図５のようにｘｙ座標を反時計回りにθ回転させた座標をx´y´座標と定義すると、μ´_２１の値は式(１)で求められる。ただし、θは式(２)で表される。

ただし、μは元の座標系における画像の(i+j)次モーメントである．

このままでは画像の拡大・縮小の影響を受けてしまうため、式（３）のように無次元化する。

次に、巻ばね３の側面ハイライトの形は通常湾曲しているので、その方向を判別する。ハイライトの長手方向は、画像楕円の長軸方向として判別できるので、それに直交する短軸方向のどちら側に湾曲しているかが問題となる。θだけ座標軸を回転すると、長軸方向がx´軸、短軸方向がy´軸となる。

側面ハイライトの典型的な形状として三日月形を想定すると、x´軸方向にはほぼ対称であり、y´軸方向のどちらかに湾曲することとなる。

・三日月形の両端付近では、x´は正負両方の値をとり絶対値は大きい。Y´は正負いずれかの値をとり、この符号が湾曲の向きと対応する。

・三日月形の中心付近では、x´は正負両方の値をとり絶対値は小さい。Y´は正負いずれかの値をとり、両端付近と異符号となる。

ここで、x´^２y´の積分に対応するμ^´ _２１を計算すると、x´^２の重みつきでy´を積分するわけであるから、両端付近の符号が大きな重みがかかり、結果的に湾曲の向きが分かる。すなわち、
・μ^´ _２１<0のとき：y´軸負方向に両端が突き出た湾曲（図６）
・μ^´ _２１>0のとき：y´軸正方向に両端が突き出た湾曲（図７）
となる。

以上より、ハイライトの湾曲の大きさに関係なく、ハイライトの湾曲の大きさと向きを、グルーピングのパラメータに用いる。すなわち、ハイライトのグルーピングアルゴリズムは以下のようになる。

（１）検出したすべての側面ハイライトからハイライトを一つ選ぶ(基準ハイライト)
（ａ）基準ハイライト以外のハイライトを選ぶ。
（ｂ）ハイライトの面積ｈ_area、長軸方向ｈ_laxis、ハイライト間距離dr、湾曲の大きさ、湾曲の向きを比較し、条件を満たす場合に基準ハイライトのグループに含める。
（ｃ）すべてのハイライトに対して(a),(b)を行う。
（２）基準ハイライトを変えて（１）を行う。
（３）すべてのハイライトに対して（１）を行ったらグルーピング終了
画像モーメントは画像全体の情報の総和として求まるので、ロバストなグルーピングができる。
［側面ハイライト情報からの端面の検出］
図８は、側面ハイライトの情報からの端面の検出を示す説明図である。

巻ばねが傾いている場合は側面と端面が見えるため、側面の情報からさらに端面検出を行うこともできる。側面ハイライトには、水平では湾曲せず、傾きが垂直に近づくほど湾曲が大きくなる特徴がある。このことから、大きく湾曲しているハイライトを含むグループの巻ばねは端面が見えている可能性がある。グループの向きｇ_dir、湾曲の方向ｃ_dirにより端面の位置を推定し、ROI(Region of Interest)を設定し、RANSAC(RANdom Sample Consensus)[Fischler1981]により端面を検出できる。

端面の形状を楕円と仮定すると巻ばねが傾いている場合は端面の形状が歪む。そのため、図８のように、巻ばねの向きから端面の長軸・短軸方向がある程度推定できる。

すなわち、RANSACで得られる楕円の短軸の向きの範囲をｇ_dirに対して、±Δφという制約を加えることができる。以下に、RANSACによる端面検出アルゴリズムを示す。

（１）二値化しCanny法でエッジを検出する。
（２）エッジからランダムに5点選択し、5点を通る楕円の式を求める。
（３）楕円の短軸の向きが[ｇ_dir −Δφ, ｇ_dir +Δφ]の範囲に入っているか確認する。
（４）（３）を満たせば、選んだ５点以外のすべての点について求めた楕円との距離を求め、設定したしきい値より距離が小さい点の個数を数え、その合計を楕円の得点とする。
（５）（２）から（４）を数回繰り返し、複数の楕円を検出する。
（６）得られた複数の楕円から、最も得点の高い楕円を端面形状として採用する。
[端面ハイライトによる認識]
端面ハイライト近傍に注目してROIを設定し、端面検出を行う。巻ばね３が直立状態の場合、端面の形状は歪まないため、検出楕円に制約は加えない。

設定したROIにおいて輪郭抽出を行い，楕円あてはめを行うことで端面を検出する。画像にノイズが多い場合には，上記と同様のRANSACを用いて検出をすることも可能である。

上記では、エッジから5点の座標を選択し楕円を導出した。巻ばねのグループの向きと検出楕円の短軸の向きは等しいはずであるが、5点の座標を用いた場合、向きが正しくない楕円も導出してしまう。このため、無駄にRANSACによる計算を行なうことになる。

そこで、楕円の向きは側面ハイライトのグループの向きからわかっているため、４点の座標と角度から楕円を導出することにしてもよい。すなわち、RANSACによる端面検出アルゴリズムは以下のようになる。

（１）二値化しCanny法でエッジを検出する。
（２）エッジからランダムに４点選択し、４点を通り、楕円の向きがグループの向きとなる楕円の式を求める。
（３）選んだ４点以外のすべての点について求めた楕円との距離を求め、設定した閾値より距離が小さい点の個数を数え、その合計を楕円の得点とする。
（４）（２）から（３）を数回繰り返し、複数の楕円を検出する。
（５）得られた複数の楕円から、最も得点の高い楕円を端面形状として採用する。

これにより同等の計算時間でRANSACによる楕円検出数を増やすことができるので、楕円検出の成功率が向上する。
［直立した巻ばねが並んだときの認識］
図９は、端面ハイライトの結合を示す画像データ、図１０は、端面ハイライトの検出を示す画像データである。

図９のように、直立した巻ばねが並んでいる場合は、端面ハイライトの面積が大きくなり、上記［ハイライトの抽出と判別］での説明におけるハイライト抽出でノイズとみなされてしまう。

そこでハイライト面積が大きい時は収縮処理によりハイライトの切り離しを行う。以下に、アルゴリズムを示す。

（１）ハイライトに収縮処理をかける。
（２）ハイライト面積が端面ハイライトとみなす範囲に入っているか確認する。
（３）（１）（２）を繰り返す。
（４）（２）を満たせば、ハイライトが切り離されたとみなす。
（５）切り離されたハイライトを別々の端面ハイライトとする。

図９の端面ハイライトの結合においては、ハイライトがつながり、ハイライト面積が大きくなるため、ノイズとされてしまう。

これに対し、上記アルゴリズムで切り離しを行った場合、図１０のように、ハイライト面積が大きい場合でも別々の巻ばねであると認識することができた。
［側面ハイライトのグループ化及び端面ハイライトの検出結果］
図１１、図１２は、側面ハイライトのグループ化及び端面ハイライトの検出を示す画像データある。図１１は、楕円当てはめによる側面ハイライトの認識及びハイライトの切り離しを行なわない端面ハイライトの認識アルゴリズムによる画像データであり、図１２は、画像モーメントによる湾曲情報を用いた側面ハイライトの認識及びハイライトの切り離しを行なった端面ハイライトの認識アルゴリズムによる画像データである。

図１１、図１２の何れの場合も、画像中の四角で囲まれた部分の認識ができている。特に図１２の場合は、図１１の場合に比較してグルーピング可能な数が増加している。グルーピングの成功率と端面検出の成功率は若干向上している。
［対象物認識方法、プログラム、及び記録媒体］
図１３〜図１５は、側面ハイライト及び端面ハイライトの検出に係るフローチャートである。

対象物認識装置１でのデータの処理が開始されると、ステップＳ１（以下、各ステップをＳにより略称する。）において、二値化処理が実行される。この処理では、カメラ９による画像データが二値化処理により二値化画像データとされ、Ｓ２ヘ移行する。

Ｓ２では、ハイライト抽出の処理により、二値化画像データにおいてラベリングにより得られた領域から、面積によって側面ハイライトと端面ハイライトとを抽出し、Ｓ３、Ｓ４ヘ移行する。ハイライトの抽出では、各側面ハイライトから前記の特徴量が抽出され記憶される。

Ｓ３では、「側面ハイライトの仮グルーピング」の処理により、すべての側面ハイライトを対象に仮グルーピングが行なわれてＳ５ヘ移行する。Ｓ３での仮グルーピングは、図１４のサブルーチンで実行される。

Ｓ４では、「端面ハイライトの検出」が行われる。Ｓ４での端面ハイライトの検出は、上記の通りである。

Ｓ５では、「側面ハイライトのグルーピング」の処理により、側面ハイライトがグループ化され、処理は終了する。Ｓ５の詳細は、図１５のサブルーチンで説明する。

図１３のＳ３を実行する図１４のサブルーチンでは、Ｓ３１の「ハイライトを一つ選ぶ」の処理により、側面ハイライトの一つが読み出され、Ｓ３２ヘ移行する。

Ｓ３２では、「近傍のハイライトをリストアップ」の処理により、Ｓ３１で選ばれた一つの側面ハイライトに対し、ハイライト間距離、連続数等の閾値により近傍のハイライトを順にリストアップし、Ｓ３３ヘ移行する。このリストアップは、一つの側面ハイライトに対し、近傍の側面ハイライトを１個ずつリストとして読み込む。

Ｓ３３では、「形状が近い？」の判断処理により、リストアップされた側面ハイライトのグループに対し、側面ハイライトの形状が近いか否かにより判別される。「形状が近い」か否かは、ハイライト面積（ピクセル数）、ハイライトの長軸方向、湾曲情報（三次画像モーメント）が近いかどうかで判断される。形状が近いと判断されれば（ＹＥＳ）、Ｓ３４ヘ移行し、形状が近くないと判断されれば（ＮＯ）、Ｓ３５ヘ移行する。

Ｓ３４では、「仮グループに入れる」の処理により、形状が近い側面ハイライトが仮グループとして記憶され、Ｓ３５ヘ移行する。

Ｓ３５では、「近傍のハイライトをすべて調べ終えた？」の判断処理が行われ、調べ終えていないと判断されれば（ＮＯ）、Ｓ３２へ処理が戻され、Ｓ３２、Ｓ３３、Ｓ３５が繰り返される。調べ終えたと判断されれば（ＹＥＳ）、Ｓ３６へ移行する。

Ｓ３６では、「ハイライトをすべて調べ終えた？」の判断処理が行われ、調べ終えていないと判断されれば（ＮＯ）、Ｓ３１へ処理が戻され、Ｓ３１、Ｓ３２、Ｓ３３、Ｓ３５、Ｓ３６が繰り返される。調べ終えたと判断されれば（ＹＥＳ）、仮グルーピングの処理は終了する。

図１３のＳ５を実行する図１５のサブルーチンでは、Ｓ５０１の「仮グループを一つ選ぶ」の処理により、Ｓ３で仮グループ化された側面ハイライトの仮グループの一つが読み出され、Ｓ５０２ヘ移行する。

Ｓ５０２では、「直線状に並んでいない構成ハイライトを削除」の処理により、Ｓ５０１で選ばれた仮グループを構成する側面ハイライトで、構成ハイライトがほぼ同一直線上に乗っているか確認し、乗っていないものは削除し、Ｓ５０３ヘ移行する。巻ばね３の側面ハイライトは、ほぼ同一直線上に乗っている性質を利用して判断するものである。

Ｓ５０３では、「構成ハイライトが少ない？」の判断処理が行われる。Ｓ５０２での削除の結果、巻ばね３の側面ハイライトを構成するには数が少ないと思われる仮グループか否かを判断する。構成ハイライトが少ないと判断されれば（ＹＥＳ）、Ｓ５０４ヘ移行し、構成ハイライトが少なくないと判断されれば（ＮＯ）、Ｓ５０５ヘ移行する。

Ｓ５０４では、「仮グループを削除」の処理により、側面ハイライトを構成するには数が少ないと思われる仮グループがデータとして削除され、Ｓ５０５ヘ移行する。

Ｓ５０５では、「すべての仮グループを調べ終えた？」の判断処理が行われ、調べ終えていないと判断されれば（ＮＯ）、Ｓ５０１へ処理が戻され、Ｓ５０１〜Ｓ５０５が繰り返される。調べ終えたと判断されれば（ＹＥＳ）、Ｓ５０６へ移行する。

Ｓ５０６では、「構成ハイライト数の多い順（同じならハイライト面積の大きい順）でソート」の処理が行われる。この処理により、直線上に並んだ所定数の仮グループ群が、構成ハイライト数の多い順に整列され、Ｓ５０７ヘ移行する。但し、構成ハイライト数が同じ時は、ハイライト面積の大きい順に並べられ、Ｓ５０７ヘ移行する。

Ｓ５０７では、「仮グループを順に一つ選ぶ」の処理により、Ｓ５０５でソートされた仮グループの一つが順に読み出され、Ｓ５０８ヘ移行する。

Ｓ５０８では、「登録済み他グループと重複する構成ハイライトを消す」の処理により、既にグループとして決定された側面ハイライトに対しデータとして重複する構成ハイライトを現処理の仮グループから削除され、Ｓ５０９ヘ移行する。

Ｓ５０９では、「ハイライト間距離が一定でない構成ハイライトを消す」の処理が行われる。巻ばね３の側面において素線間距離は一定であるため、距離が一定でないハイライトをノイズとして除去し、Ｓ５１０ヘ移行する。

Ｓ５１０では、「構成ハイライト数が基準の範囲内？」の判断処理が行われる。巻ばね３の側面において素線の連続数は決まっており、仮グループを構成する側面ハイライトの数が、基準を越えていたり、少ない時は、グループとしての登録から排除される。したがって、Ｓ５１０で構成ハイライト数が基準の範囲内であると判断されれば（ＹＥＳ）、Ｓ５１１へ移行し、基準の範囲内ではないと判断されれば（ＮＯ）、Ｓ５１２へ移行する。

Ｓ５１１では、「グループとして登録」の処理により、処理された仮グループがグループとして決定され、登録部２３（図１）に登録され、Ｓ５１２へ移行する。

Ｓ５１２では、「すべての仮グループを調べ終えた？」の判断処理が行われ、調べ終えていないと判断されれば（ＮＯ）、Ｓ５０７へ処理が戻され、Ｓ５０７〜Ｓ５１２が繰り返される。調べ終えたと判断されれば（ＹＥＳ）、グルーピングの処理は終了する。

このようにして、ばら積みの巻ばね３を認識する機能を対象物認識装置１としてのコンピュータに実現させる対象物認識プログラムであって、ばら積みの巻ばね３・・・全体にＬＥＤスポットライト７により照明光を当てた状態でカメラ９により撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出機能Ｓ１、Ｓ２と、抽出されたハイライトに面積の閾値処理を施し巻ばね３の側面に対応する側面ハイライトと巻ばね３の端面に対応する端面ハイライトとを判別するハイライト判別機能Ｓ２と、巻ばね３の形状に対応させるための形状等の複数の特徴量を各側面ハイライトから抽出する特徴量抽出機能Ｓ２と、複数の特徴量から選択した特定の特徴量により側面ハイライトを複数１組毎の仮グループとする仮グループ化機能Ｓ３と、仮グループとされた側面ハイライトを複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化機能Ｓ５とを前記機能として備えた。

したがって、ばら積みされた巻ばね３・・・の認識を正確に行わせることができ、ばら積みの巻ばね３・・・のピッキングの自動化等に供することができる。

対象物認識プログラムは、前記機能として、前記判別された端面のハイライトから端面のハイライトを決定する端面ハイライト検出機能Ｓ４を備えた。

したがって、端面ハイライトからも巻ばね３・・・の認識を行わせることができる。

この場合、端面ハイライト検出機能Ｓ４は、ノイズとして除外された面積の大きなハイライトに収縮処理をかけ且つ端面のハイライトとみなす閾値範囲に入っていることにより大きなハイライトを切り離してそれぞれ端面のハイライトとする。

このため、端面ハイライトから巻ばね３・・・の認識をより正確に行わせることができる。

本発明実施例は、ばら積みの巻ばね３を認識する対象物認識方法であって、ばら積みの巻ばね３・・・全体にＬＥＤスポットライト７により照明光を当てた状態でカメラ９により撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出ステップＳ１、Ｓ２と、抽出されたハイライトに面積の閾値処理を施し巻ばね３の側面に対応する側面ハイライトと巻ばね３の端面に対応する端面ハイライトとを判別するハイライト判別ステップＳ２と、巻ばね３の形状に対応させるための形状等の複数の特徴量を前記各ハイライトから抽出する特徴量抽出ステップＳ２と、前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化ステップＳ３と、前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化ステップＳ５とを備えた。

したがって、上記同様に、巻ばね３・・・のピッキングの自動化等に供することができる。

本発明実施例は、ばら積みの巻ばね３を認識する機能を実現させるための前記対象物認識プログラムを坦持したコンピュータ読み取り可能な記録媒体とした。

したがって、巻ばね３・・・のピッキングの自動化等のために、対象物認識プログラムをコンピュータに読み取らせることができる。

［その他］
本発明は、対象物として巻ばねに限らず、その他、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で各対象物を認識する場合、例えば、巻ばねと同一形状であるがばね性を有しない対象物、矩形体、球体等で形状に空間部が存在して輪郭を分断された対象物の認識にも適用することができる。

本発明は、対象物のピッキングに限らず、対象物を認識する必要のある場合、例えば対象物の集合毎の分類等にも広く適用することができる。

１ 対象物認識装置
３ 巻ばね（対象物）
７ ＬＥＤスポットライト
９ カメラ
１３ ハイライト抽出処理部
１５ ハイライト判別処理部
１７ 特徴量抽出処理部
１９ 仮グループ化処理部
２１ グループ化処理部
２２ 端面ハイライト検出部
Ｓ１ ハイライト抽出機能、ハイライト抽出ステップ
Ｓ２ ハイライト抽出機能、ハイライト判別機能、特徴量抽出機能、ハイライト抽出ステップ、ハイライト判別ステップ、特徴量抽出ステップ
Ｓ３ 仮グループ化機能、仮グループ化ステップ
Ｓ４ 端面ハイライト検出機能
Ｓ５ グループ化機能、グループ化ステップ

Claims (21)

1. 形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する対象物認識装置であって、
   前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出処理部と、
   前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出処理部と、
   前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化処理部と、
   前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化処理部と、
   を備えたことを特徴とする対象物認識装置。
2. 請求項１記載の対象物認識装置であって、
   前記対象物は、端面と空間部が存在して輪郭を分断された側面とを備え、
   前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別処理部を備え、
   前記特徴量抽出処理部は、前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する処理を行い、
   前記仮グループ化処理部は、前記複数の特徴量から選択した特定の特徴量により前記側面のハイライトを複数１組毎の仮グループとする処理を行い、
   前記グループ化処理部は、前記仮グループとされた側面のハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定する処理を行う、
   ことを特徴とする対象物認識装置。
3. 請求項２項記載の対象物認識装置であって、
   前記判別された端面のハイライトから端面のハイライトを決定する端面ハイライト検出部を備えた、
   ことを特徴とする対象物認識装置。
4. 請求項３項記載の対象物認識装置であって、
   前記端面ハイライト検出部は、ノイズとして除外された面積の大きなハイライトに収縮処理をかけ且つ端面のハイライトとみなす閾値範囲に入っていることにより大きなハイライトを切り離してそれぞれ端面のハイライトとする、
   ことを特徴とする対象物認識装置。
5. 請求項１〜４の何れか１項記載の対象物認識装置であって、
   前記特徴量抽出処理部は、前記特徴量として前記ハイライトの形状、ハイライトの直線的な並び、間隔、及び数を抽出する、
   ことを特徴とする対象物認識装置。
6. 請求項５記載の対象物認識装置であって、
   前記特徴量抽出処理部は、前記形状を前記ハイライトの面積と前記ハイライトの長軸方向と前記ハイライトの湾曲情報として抽出する、
   ことを特徴とする対象物認識装置。
7. 請求項６記載の対象物認識装置であって、
   前記特徴量抽出処理部は、前記湾曲情報として前記ハイライトの湾曲及び向きを楕円の当てはめにより求める、
   ことを特徴とする対象物認識装置。
8. 請求項６又は７記載の対象物認識装置であって、
   前記特徴量抽出処理部は、前記湾曲情報として前記ハイライトの湾曲の大きさ及び向きを画像モーメントにより求める、
   ことを特徴とする対象物認識装置。
9. 請求項５〜８の何れか１項項記載の対象物認識装置であって、
   前記仮グループ化処理部は、前記特徴量として特定した形状の近さにより前記ハイライトを複数１組毎の仮グループとする処理を行う、
   ことを特徴とする対象物認識装置。
10. 請求項６〜９記載の対象物認識装置であって、
    前記仮グループ化処理部は、前記形状を前記ハイライトの面積と前記ハイライトの長軸方向と前記ハイライトの湾曲情報とする処理を行う、
    ことを特徴とする対象物認識装置。
11. 請求項１〜１０の何れか１項記載の対象物認識装置であって、
    前記仮グループ化処理部は、前記ハイライトの一つを選択すると共に近傍のハイライトをリストアップしてから前記仮グループとする処理を行う、
    ことを特徴とする対象物認識装置。
12. 請求項５〜１１の何れか１項記載の対象物認識装置であって、
    前記グループ化処理部は、前記他の特徴量として前記ハイライトの直線的な並び、間隔、及び数により前記仮グループをグループとして決定する処理を行う、
    ことを特徴とする対象物認識装置。
13. 請求項１２記載の対象物認識装置であって、
    前記グループ化処理部は、前記仮グループを順次選択すると共にこの選択された仮グループ毎に前記グループとして決定する処理を行う、
    ことを特徴とする対象物認識装置。
14. 請求項１〜１３の何れか１項記載の対象物認識装置であって、
    前記対象物は、巻ばねである、
    ことを特徴とする対象物認識装置。
15. 形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する対象物認識方法であって、
    前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出ステップと、
    前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出ステップと、
    前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化ステップと、
    前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化ステップと、
    を備えたことを特徴とする対象物認識方法。
16. 請求項１５記載の対象物認識方法であって、
    前記対象物は、端面と空間部が存在して輪郭を分断された側面とを備え、
    前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別ステップを備え、
    前記特徴量抽出ステップは、前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する処理を行い、
    前記仮グループ化ステップは、前記複数の特徴量から選択した特定の特徴量により前記側面のハイライトを複数１組毎の仮グループとする処理を行い、
    前記グループ化ステップは、前記仮グループとされた側面のハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定する処理を行う、
    ことを特徴とする対象物認識方法。
17. 形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記各対象物を認識する機能をコンピュータに実現させる対象物認識プログラムであって、
    前記集合した対象物全体に照明光を当てた状態でカメラにより撮像された画像を二値化処理して各反射形状のハイライトを抽出するハイライト抽出機能と、
    前記対象物の形状に対応させるための複数の特徴量を前記各ハイライトから抽出する特徴量抽出機能と、
    前記複数の特徴量から選択した特定の特徴量により前記ハイライトを複数１組毎の仮グループとする仮グループ化機能と、
    前記仮グループとされたハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定するグループ化機能と、
    を前記機能として備えたことを特徴とする対象物認識プログラム。
18. 請求項１７記載の対象物認識プログラムであって、
    前記対象物は、端面と空間部が存在して輪郭を分断された側面とを備え、
    前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別機能を前記機能として備え、
    前記特徴量抽出機能は、前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する処理を実現し、
    前記仮グループ化機能は、前記複数の特徴量から選択した特定の特徴量により前記側面のハイライトを複数１組毎の仮グループとする処理を実現し、
    前記グループ化機能は、前記仮グループとされた側面のハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定する処理を実現する、
    ことを特徴とする対象物認識プログラム。
19. 請求項１８項記載の対象物認識プログラムであって、
    前記機能は、前記端面のハイライトから端面のハイライトを決定する端面ハイライト検出機能を備えた、
    ことを特徴とする対象物認識プログラム。
20. 請求項１９項記載の対象物認識プログラムであって、
    前記端面ハイライト検出機能は、ノイズとして除外された面積の大きなハイライトに収縮処理をかけ且つ端面のハイライトとみなす閾値範囲に入っていることにより大きなハイライトを切り離してそれぞれ端面のハイライトとする、
    ことを特徴とする対象物認識プログラム。
21. 請求項１７〜２０の何れか1項記載の対象物認識プログラムを坦持したことを特徴とする記録媒体。