JPH09212653A - 画像認識装置 - Google Patents

Abstract

(57)【要約】 【構成】 空間コード画像からワーク集合体の輪郭を求
め、輪郭からワーク間の隙間の位置を推定する。ワーク
集合体の濃淡画像を撮影し、隙間の推定位置に対して微
分を行い隙間を抽出し、ハフ変換により隙間を表す直線
を求める。 【効果】 ワーク集合体から個々のワークを切り出すこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の利用分野】この発明は画像認識装置に関し、特
に対象物の輪郭と対象物の輪郭内の隙間の双方を求める
ようにした画像認識装置に関する。この発明は、例えば
ピッキングロボット等の搬送装置での搬送対象の物品の
認識に用いる。

【０００２】

【従来技術】発明者の一人は、空間コード画像から搬送
対象のワークの輪郭を求めることを提案した。この方式
では、液晶シャッタアレイとストロボとを組み合わせた
プロジェクタにより空間をコード化し、カメラで撮影し
て空間コード画像を作成する。さらにワークの背景のパ
レット等を空間コード画像から除去するため、パレット
よりもやや高い位置に平坦な反射板を配置し、反射板の
空間コード画像を予め撮影して記憶する。求めたワーク
の空間コード画像に対して、反射板の空間コード画像を
マスクとして用い、反射板の空間コード画像よりも空間
コード値の高い領域をワークの空間コード画像から抽出
する。

【０００３】なおカメラからの視線方向が同じ場合、空
間コード値が大きいほど、３次元空間で上にあるものと
仮定する。これは空間コード値の規約に過ぎず、逆に空
間コード値が高いほど下にあるように定めても良い。ま
た空間コード値を単にコード値と呼ぶことがある。

【０００４】このようにすると反射板よりも上にある物
品のみが空間コード画像に表れ、パレット等の背景は除
去される。そして対象物のワークのみの空間コード画像
が得られると、これからワークの輪郭を求めることがで
きる。ワークの輪郭はこの場合ワーク上面の輪郭であ
り、多くの場合ワークは直方体等の形状をなすので、ワ
ーク上面の各頂点の３次元座標をワークの輪郭のデータ
として用いる。

【０００５】上記の議論では物品（ワーク）は１個であ
り、認識の対象物は１個のワークからなるものとして説
明した。しかしながら対象物が複数のワークの集合体で
あり、しかもワークがほぼ密着している場合、ワーク間
の隙間を求め、ワーク集合体の輪郭から個々のワークを
切り出すことは困難である。これはほぼ密着したワーク
間の隙間は、空間コード画像ではコード値の誤差相当の
乱れに過ぎないからである。

【０００６】

【発明の課題】この発明の課題は、対象物の輪郭と輪郭
内部の隙間の双方を認識できる画像認識装置を提供する
ことにある（請求項１〜３）。請求項２での課題は、隙
間検出での誤差を除き、正確に隙間を検出できるように
することにある。請求項３での課題は、隙間が濃淡画像
での水平走査方向や垂直走査方向から傾いている場合に
も、隙間位置を正確に求め得るようにすることにある。
また請求項３では、隙間と模様との識別をより確実にす
ることを追加の課題とする。

【０００７】

【発明の構成】この発明は、空間コード画像から対象物
の輪郭を求めるようにした画像認識装置において、対象
物の濃淡画像を求めるための手段と、求めた濃淡画像の
画像データを微分して対象物の輪郭内の隙間位置を求め
るための手段とを設けたことを特徴とする。

【０００８】また好ましくは、求めた対象物の輪郭に対
して、対象物を構成する個々の物品の仮想的な組合せか
ら定まる輪郭を当てはめ、対象物の輪郭に当てはまる組
合せから物品間の隙間の候補位置を求めるための手段を
設ける。さらに好ましくは、前記微分手段で求めた隙間
位置を、隙間を表す直線に変換するための直線変換手段
を設ける。

【０００９】なおこの発明において、濃淡画像はカラ
ー,モノクロームのいずれでも良く、撮影光は可視光に
限らない。また濃淡画像は画素の２次元配列をなし、か
つ画素が明暗,色調等のデータを持つものであれば良
い。

【００１０】

【発明の作用と効果】請求項１の発明について、作用を
示す。ストロボと液晶シャッタアレイ等の組合せを光源
として、投光パターンを変化させながらカメラで対象物
を撮影すると、空間コード画像が得られる。空間コード
画像での画像データは空間コード値であり、これは光源
からの各点への方向を表す。一方空間コード画像での画
素の位置は、カメラから見た視線方向を表し、空間コー
ド値と視線方向とから、３角測量法等により対象物の３
次元位置を求めることができる。この結果、ワーク集合
体の輪郭が３次元空間で得られる。

【００１１】次に対象物の濃淡画像を微分すると、即ち
画像データに微分演算子を作用させると、隙間が求ま
る。微分演算子の種類は実施例に示すキルシュオペレー
タに限らず任意であり、微分の種類は１階に限らず,２
階等でも良い。濃淡画像の微分で隙間が求まるのは、ワ
ークが互いに密着している場合でも、ワーク間の境界に
は鋭い明暗等の変化があるためである。なおワーク間の
隙間が小さい場合、隙間での空間コード値の変化は僅か
であり、空間コード画像から隙間を求めることは一般に
困難である。そしてワーク集合体の輪郭が求まり、ワー
ク間の隙間が求まれば、ワーク集合体から個々のワーク
を切り出し、個々のワークの位置を求めることができ
る。この結果、例えばワークの搬送の場合、個々のワー
クを認識して取り出すことができる。

【００１２】請求項２の発明に移ると、隙間の認識での
誤差要因は、ワーク表面の模様である。例えばワークが
ケースであるとして、ケースの模様、特にケースを横断
あるいは縦断する直線模様が、濃淡画像で隙間に類似し
た結果を与える。しかしながらワーク集合体の輪郭は空
間コード画像から求めることができ、有り得るワークの
種類は多くの場合事前に分かっている。そこで有り得る
ワークの種類からそれらの組合せを仮想的に求め、その
輪郭と空間コード画像から求めた輪郭との一致／不一致
を検討する。すると輪郭と一致するワークの組合せは、
通常は少数しかなく、これから隙間の有り得る位置を推
定することができる。そして隙間の推定位置を微分手段
と組み合わせれば、ケースの模様等による誤差を除くこ
とができる。例えば隙間の位置を先に推定し、推定位置
に対して微分を行う。あるいは、濃淡画像の微分を先に
行い、ワークの組合せから求めた隙間の推定位置と一致
するものを抽出する。

【００１３】請求項３の発明の作用を示すと、ワーク間
の隙間は多くの場合直線である。しかし濃淡画像での水
平走査方向や垂直走査方向から隙間方向が傾いている
と、微分のみでは隙間の方向を正確に求めることが難し
い。これは微分演算子では、濃淡画像での画像データの
勾配方向を例えば９０度単位、あるいは４５度単位程度
でしか求めることができず、傾きの方向に対する分解能
が低いためである。そこで微分手段により隙間の位置を
隙間上の複数の点に対して求め、直線の方程式を当ては
め、あるいは実施例に示すハフ変換等を用いると、複数
の点の座標から隙間をなす直線を求めることができる。

【００１４】さらに隙間位置から隙間を表す直線への変
換手段を設けると、隙間と模様との識別がより確実にな
る。隙間と紛らわしい模様が対象物に存在する場合、微
分だけでは隙間と模様とを識別できない。しかし例えば
直線の候補位置の一部に模様がある場合、直線に変換す
ると、模様では変換不能となり、隙間と模様をより正確
に識別できる。

【００１５】これらの結果、この発明では以下の効果が
得られる。 1) 対象物の輪郭と、輪郭内での隙間を求めることがで
きる（請求項１〜３）。この結果、対象から個々の物品
を切り出すことができる。 2) 対象物の模様と隙間とを分離し、隙間を正確に求め
ることができる（請求項２，３）。 3) 隙間が任意の方向を向き、濃淡画像での水平走査方
向や垂直走査方向から傾いている場合でも、隙間を求め
ることができる（請求項３）。

【００１６】

【実施例】図１〜図９により、実施例を説明する。図１
にワーク０２,０３に対するプロジェクタ１０やカメラ
８の配置を、図２に画像認識装置の構造を、図３に認識
対象のワーク０２,０３の配置を示す。これらの図にお
いて、０１はパレットで、その上面には複数のワーク０
２,０３が配置され、これらのワークを総称してワーク
集合体０４と呼ぶ。２は制御対象のピッキングロボット
で、４はワーク０２,０３を把持して移動させるための
アーム、６は画像認識装置でここではピッキングロボッ
ト２と一体とする。８はカメラ、１０は液晶シャッタア
レイ１２とストロボ１４とからなるプロジェクタであ
る。

【００１７】図２に移り、画像認識装置６の構造を説明
すると、２０はフロントエンドプロセッサでカメラ８と
プロジェクタ１０を制御し、また画像認識装置６全体の
制御を行う。２２はフレームメモリで、ここではワーク
集合体０４の空間コード画像や、パレット０１からなる
背景に対する空間コード画像,及びワーク集合体０４の
濃淡画像を記憶する。ただしフレームメモリ２２はこれ
らの画像を同時に記憶するだけの容量は必要ではなく、
例えば空間コード画像の処理が終った後に濃淡画像を撮
影する場合、これらの画像の内で必要な記憶容量の大き
なものを記憶するだけの容量があれば良い。２４は空間
コード画像処理部で、空間コード画像を処理して、背景
のパレット０１等を分離し、かつワーク集合体０４の上
面の輪郭を求めて、例えば輪郭の頂点座標（３次元）を
メモリ２６に記憶させる。この結果、空間コード画像か
ら得られたデータは、メモリ２６に輪郭上面の頂点座標
として貯えられる。

【００１８】２８は隙間推定処理部で、ワーク０２,０
３の形態を組み合わせて、空間コード画像処理部２４で
求めたワーク集合体０４の輪郭に当てはめ、当てはまる
組合せを求める。即ちパレット０１上に有り得るワーク
の種類と、その３次元での形態を隙間推定処理部２８が
記憶し、これらの形態を組み合わせてワーク集合体０４
の輪郭とほぼ一致するものを求める。例えば図３のワー
ク集合体０４の場合、ワークの候補を上面が正方形ある
いはアスペクト比が１：２の長方形の２種類として、 1) 隙間が無い、 2) 図３の奥行き方向に輪郭中央部に沿って隙間があ
る、 3) 図３の横方向に輪郭中央部に沿って隙間がある、 の３種類に限られる。そして隙間推定処理部は、推定し
た隙間の位置（上記の例では2)，3)の２種類）と、隙間
に垂直な方向を示す方向ベクトル（図７のベクトルＰ
1，Ｐ2）とを微分処理部３０に出力する。

【００１９】フレームメモリ２２には空間コード画像の
他に、ワーク集合体０４の濃淡画像（ここではモノクロ
ームで例えば２５６階調）を記憶し、微分処理部３０が
濃淡画像を微分する。微分を行う領域はワーク集合体０
４の上面画像全体ではなく、隙間推定処理部２８で求め
た隙間の推定位置の周囲である。微分は濃淡画像の画像
データにキルシュオペレータ等の微分演算子を作用させ
ることで行い、キルシュオペレータの内容は図７に示
す。また微分演算子を作用させる方向は、隙間推定処理
部２８で求めた方向ベクトルの向きで、微分演算子を作
用させると濃淡の変化位置が演算子の作用方向に沿って
シフトすることがあるので、演算子を往復して作用さ
せ、２回の微分結果を加算して、隙間位置を求める。

【００２０】微分処理部３０の出力は、隙間上の点の座
標であり、隙間の方向が隙間推定処理部２８で求めた方
向ベクトルに垂直な場合、隙間推定処理部２８で隙間を
表す直線を求めることができる。しかしながらワーク０
２,０３が濃淡画像の水平走査方向や垂直走査方向、従
って実際にはカメラ８の水平走査方向と垂直走査方向、
に対し傾いている場合、隙間推定処理部２８で隙間の方
向を正確に求めるのは困難である。これは微分演算子で
は、濃淡画像での画像データの勾配方向を例えば９０度
単位や４５度（実施例で用いたキルシュオペレータの場
合）程度の分解能でしか求めることができないからであ
る。これらの結果、隙間上の画素の位置を求めることは
できるが、隙間を構成する直線自体のデータを得ること
ができない。そこでハフ変換処理部３２は、微分処理部
３０で求めた隙間上の画素の位置から、隙間を表す直線
を求める。ハフ変換では、ワーク集合体０４の上面に対
応した平面での（ｘ,ｙ）座標を、その点（ｘ，ｙ）を
通る直線に対する、原点からの垂線の足の長さρと垂線
の足の方向θの組合せに変換する。一点を通る直線は無
数にあり、座標（ｘ,ｙ）はρとθの関数に変換され
る。ここで隙間上の複数の点が判明している場合、ρと
θの関数も複数あり、これらの交点からρとθが定ま
り、隙間の直線が求まる。なお隙間上の複数の点の座標
から隙間を表す直線への変換は、ハフ変換には限らな
い。例えば複数の点の座標を求めて、最小２乗法により
これらの点を通る直線の式を求めても良い。さらにハフ
変換処理部３２等の、隙間上の点の座標から隙間の式へ
の変換部は設けなくても良い。

【００２１】ワーク集合体０４の隙間と紛らわしい位置
に模様がある場合にも、ハフ変換は有効である。模様が
集合体０４の上面を貫通せず、一部にのみある場合、ハ
フ変換すると、有るべき直線の一部にしか隙間と紛らわ
しいデータが無いため、変換不能となる。そこで隙間と
紛らわしい直線の一部にのみ模様がある場合、ハフ変換
で模様か隙間かを識別できる。

【００２２】ハフ変換処理部３２の出力はワーク集合体
０４の上面輪郭の内部での隙間の式であり、これにメモ
リ２６に記憶した輪郭座標を合成処理部３４で合成し、
結果を例えば出力メモリ３６に貯え、ピッキングロボッ
ト２の制御に利用する。合成処理部３４の出力は、ワー
ク集合体０４の輪郭と輪郭内の隙間であり、これは個々
のワーク０２,０３の種類と位置を表している。

【００２３】図４以下に、実施例の動作を示す。空間コ
ード画像の作成を図４に示す。液晶シャッタアレイ１２
を制御して、図４の左側のように投光パターンを変化さ
せ、各パターンでのポジ画像とネガ画像とを撮影し、こ
れらの差分画像を求める。空間コード画像のデータが例
えば８ビットの場合、投光パターンは明／暗の変化が１
回（ＭＳＢ）から１２８回（ＬＳＢ）までの８種類で、
１つの投光パターンは画像データでの１つのビットプレ
ーンに対応し、その投光パターンで明となる領域に対し
てビットが１となり、暗となる領域に対してビットの値
は０となる。８種類の投光パターンに対応して各画素に
８ビット幅の画像データが得られ、これは図５に示すよ
うに、プロジェクタ１０から見て空間を例えば２５６種
類に分割してコード化することに等しい。図５におい
て、Ｃ１〜Ｃ２５５の記号は空間コード値を表し、空間
コード画像での各画素の位置はカメラ８から見た視線方
向を示し、画素の値は空間コード値で、プロジェクタ１
０から見て空間を２５６種類に分割したものである。そ
して視線方向と空間コード値が定まれば、視線方向と空
間コード値に対応した平面との交点から３次元空間での
位置が定まる。

【００２４】次に実施例では、図５に示した平坦で模様
の無い反射板０５を、パレット０１上に置いた際の空間
コード画像を、背景空間コード画像として予め撮影し、
フレームメモリ２２に記憶する。図６に示すように、ワ
ーク０２,０３を載せた際の実空間コード画像６０から
背景空間コード画像６２を差分回路６４で差分し、実空
間コード画像６０での空間コード値が背景空間コード画
像６２での空間コード値よりも高い画素のみをピックア
ップする。そしてアンド回路６６で、このような画素に
対する、実空間コード画像６０での空間コード値をワー
クの空間コード画像６８として出力する。この画像では
パレット０１等の背景は除去されており、パレット０１
よりも高い位置にあるワーク０２,０３のみの空間コー
ド画像が得られる。

【００２５】隙間の決定を図７に示す。メモリ２６には
ワーク集合体０４の上面の各頂点Ａ,Ｂ,Ｃ,Ｄ等の３次
元座標があり、ワーク０２,０３の組合せから仮想的に
求まる輪郭の頂点座標を当てはめ、実際の輪郭にフィッ
トするものを探す。図にはフィットする組合せが２種類
存在する場合を示す。隙間推定処理部２８は隙間の位置
と隙間に垂直な方向ベクトルＰ1,Ｐ2を出力し、微分は
隙間の推定位置を含む領域に対して行い、例えば８２,
８４が微分の対象領域で、この領域にキルシュオペレー
タを作用させる。図７にはこのオペレータを３×３に簡
単化したものを示し、微分の方向を４５度ずつ変えた８
種類の演算子、図のＰ1’に対応した演算子、を用い
る。そして方向ベクトルＰ1に対してそれと同じ方向の
演算子と逆方向の演算子を用い、濃淡画像を２つの演算
子で２回微分し、微分結果を加算する。これはキルシュ
オペレータを作用させると、明暗の変化位置がシフトす
るためで、加算により隙間の中央部の位置を取り出す。
次に微分値が有意値か否かをチェックする。これは、微
分対象領域の所定数以上の点で、所定値以上の微分値が
得られたか否かで判別する。例えば図７の場合、左側の
組合せ１が正しく、右側の組合せ２が正しくないとし
て、微分結果の左側の画像８６ではほぼ連続した線とな
り、右側の画像８８では孤立点のあつまりとなる。この
ようにして隙間の存在とおおまかな位置を求める。

【００２６】次に図８,図９に示すハフ変換により、隙
間を表す直線を求める。隙間上の点の座標が、輪郭上面
において図８の（ｕ,ｖ）,（ｕ',ｖ'）であるとして、
これらの２点を通る直線ｌを求める。この直線を表すパ
ラメータは、原点からの垂線の足の長さρと垂線の足の
方向θである。直線が点（ｕ,ｖ）を通ることから、ρ
とθは図９の曲線ａ上に有り、同様に点（ｕ',ｖ'）を
通るので図９の曲線ｂ上に有り、ρとθは２つの曲線の
交点で定まる。このため、隙間上の２点以上の座標から
隙間の直線を求めることができ、ワーク集合体０４の輪
郭から個々のワーク０２,０３間の隙間を求めることが
できる。

【００２７】さらにハフ変換は、図７の組合せ１，２が
正しいかどうかの判別にも有効である。例えば組合せ１
が正しいとして、組合せ２での微分対象領域８４に模様
があり、微分手段で濃淡の変化を検出したとする。しか
しこの模様が領域８４を直線状に貫通していない限り、
ハフ変換をすれば変換不能になり、このことから模様と
隙間とを識別することができる。

【００２８】なおここでは特定の実施例を示したがこれ
に限るものではなく、例えばハフ変換処理部３２は設け
なくても良く、微分演算子の種類は任意である。

【図面の簡単な説明】

【図１】 実施例の画像認識装置の正面図

【図２】 実施例の画像認識装置のブロック図

【図３】 実施例で画像認識するワークの斜視図

【図４】 空間コード画像の作成を示す特性図

【図５】 空間コードの割当を示す図

【図６】 実施例での空間コード画像の背景の除去を
示す図

【図７】 実施例での隙間の決定アルゴリズムを示す
フローチャート

【図８】 ハフ変換の原理を示す図

【図９】 ハフ変換の原理を示す図

【符号の説明】

２ ピッキングロボット ０１ パレッ
ト ４ アーム ０２ ワーク ６ 画像認識装置 ０３ ワーク ８ カメラ ０４ ワーク
集合体 １０ プロジェクタ ０５ 反射
板 １２ 液晶シャッタアレイ １４ ストロボ ２０ フロントエンドプロセッサ ６０ 実空
間コード画像 ２２ フレームメモリ ６２ 背景
空間コード画像 ２４ 空間コード画像処理部 ６４ 差分
回路 ２６ メモリ ６６ アン
ド回路 ２８ 隙間推定処理部 ６８ ワー
クの空間コード画像 ３０ 微分処理部 ８２ 微分
対象領域 ３２ ハフ変換処理部 ８４ 微分
対象領域 ３４ 合成処理部 ３６ 出力メモリ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 空間コード画像から対象物の輪郭を求め
   るようにした画像認識装置において、 対象物の濃淡画像を求めるための手段と、 求めた濃淡画像の画像データを微分して対象物の輪郭内
   の隙間位置を求めるための手段とを設けたことを特徴と
   する、画像認識装置。
2. 【請求項２】 求めた対象物の輪郭に対して、対象物を
   構成する個々の物品の仮想的な組合せから定まる輪郭を
   当てはめ、対象物の輪郭に当てはまる組合せから物品間
   の隙間の候補位置を求めるための手段を設けたことを特
   徴とする、請求項１の画像認識装置。
3. 【請求項３】 前記微分手段で求めた隙間位置を、隙間
   を表す直線に変換するための直線変換手段を設けたこと
   を特徴とする、請求項１または２の画像認識装置。