JPH11114860A

JPH11114860A - 認識方法及びピッキング装置

Info

Publication number: JPH11114860A
Application number: JP9304938A
Authority: JP
Inventors: Shinji Inagaki; 真次稲垣
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 1997-10-20
Filing date: 1997-10-20
Publication date: 1999-04-27

Abstract

(57)【要約】【課題】対象物にマーク等を付すことなく、重なりあ
った複数の対象物の中の１つを容易に取出す。【解決手段】画像取り込み部（１４Ａ、１４Ｂ）によ
り重なりあった複数の対象物の画像が取り込まれると、
輪郭追跡部１４Ｃではその取り込まれた画像の輪郭追跡
により該画像の輪郭を求め、設定部１４Ｄでは求められ
た輪郭上に検出円の検出中心を設定し、認識部（１４
Ｅ、１４Ｇ、１４Ｊ）では設定された検出円の円周と画
像の輪郭との交点の数が予め定めた個数になっているか
否かを判定することにより、検出形状の外周に重なって
いる取出し可能な１つの対象物を認識する。そして、ロ
ボット部では認識部により認識された取出し可能な対象
物を検出中心を掴んで取り出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、認識方法及びピッ
キング装置に係り、更に詳しくは、重なりあった複数の
対象物の中から取り出し可能な対象物を認識する認識方
法及び認識された取出し可能な対象物を取り出すピッキ
ング装置に関する。

【０００２】

【従来の技術】ピッキング装置は、重なり合って山積み
になった部品（対象物）をカメラで撮影し、部品を１つ
ずつ取り出す装置である。この種の装置では、重なり合
って山積みになった部品を撮影した画像に基づいて取出
し可能な対象物を認識することがなされている。かかる
画像処理を利用したピッキング装置としては、例えば、
特開平５−１３４７３１号公報に開示されるように、対
象物としてのワークに予めマークを付け、そのマークを
含む対象物を撮像して得た白黒濃淡画像と所定のマーク
参照モデル（テンプレート画像）とのパターンマッチン
グにより取出し可能な対象物を認識して、その対象物を
ロボットのハンドにより把持させて取出すものが知られ
ている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記公
報に開示されたピッキング装置にあっては、ワークを認
識するためには、その前提としてマークがワークに付け
られている必要があり、このため、Ｏリング、輪ゴム等
のマークを付すことが困難な対象物には適用ができない
という不都合があった。また、マークをワークの１つ１
つに付けていたので、生産性を低下させ、またマークが
邪魔になるような場合には、後でマークを取り外す作業
が必要となり、ますます生産性を低下させるという不都
合もあった。

【０００４】本発明は、かかる事情の下になされたもの
で、その第１の目的は、対象物にマーク等を付すことな
く、重なりあった複数の対象物の中から取り出し可能な
対象物を確実に認識することができる認識方法を提供す
ることにある。

【０００５】また、本発明の第２の目的は、対象物にマ
ーク等を付すことなく、重なりあった複数の対象物の中
の１つを容易に取出すことができるピッキング装置を提
供することにある。

【０００６】

【課題を解決するための手段】請求項１に記載の発明
は、重なりあった複数の対象物の中から取り出し可能な
対象物を認識する認識方法であって、重なりあった複数
の対象物の画像を取り込む第１工程と；前記画像の輪郭
追跡を行って前記画像の輪郭を求める第２工程と；前記
求めた輪郭上に所定の検出図形の検出中心を設定する第
３工程と；前記検出図形の外周と前記画像の輪郭との交
点の数が予め定めた個数になっているか否かを判定する
ことにより、前記検出図形の外周に重なっている対象物
が１つであるか否かを認識する第４工程とを含む。

【０００７】これによれば、第１工程において、重なり
あった複数の対象物の画像が取り込まれ、第２工程にお
いて、その画像の輪郭追跡を行って該画像の輪郭が求め
られ、第３工程において、求めた輪郭上に所定の検出図
形の検出中心が設定される。そして、第４工程におい
て、設定された検出図形の外周と前記画像の輪郭との交
点の数が予め定めた個数になっているか否かを判定する
ことにより、前記検出図形の外周に重なっている対象物
が１つであるか否かが認識される。ここで、検出図形の
外周と対象物の輪郭との交点の数は、検出図形内にある
対象物の数が多いほど数が増える。従って、第４工程に
おいて、交点の数を検出することにより、検出図形と重
なっている対象物が１つであるか否かが認識される。従
って、対象物にマーク等を付すことなく、重なりあった
複数の対象物の中から取り出し可能な対象物を確実に認
識することができる。

【０００８】この場合において、請求項２に記載の発明
の如く、前記第４工程において、前記交点の個数が予め
定めた個数である場合に、前記交点部の幅に基づいて前
記検出図形の外周に重なっている対象物が１つであるか
否かを更に判定しても良い。これによれば、複数の対象
物が重なりあって存在する場合、検出図形の外周が、そ
の複数の対象物の重なり部に設定される場合があるが、
かかる場合にその重なり幅が対象物の線幅より大きくな
るので、これを検出することにより、検出図形の外周と
重なっている複数の対象物を誤って１つの対象物である
と認識するのを防止することが可能になる。これによ
り、請求項１に比べても検出図形と重なっている対象物
が１つであるか否かをより確実に認識することが可能と
なる。

【０００９】上記請求項１又は２に記載の各発明におい
て、請求項３に記載の発明の如く、前記第４工程におい
て、前記検出図形の外周に重なっている対象物が１つで
あると判定された場合に、前記第３工程で設定した検出
図形と相似の第２の検出図形の検出中心を同一点に設定
し、この第２の検出図形の外周と前記画像の輪郭との交
点の数及び該交点部の幅の少なくとも一方に基づいて前
記第２の検出図形の外周に重なっている対象物が１つで
あるか否かを更に判定するようにしても良い。これによ
れば、対象物が例えば棒状の対象物である場合に、第３
工程で設定された検出図形（便宜上、以下「第１の検出
図形」という）の外周が対象物が折り重なっている部分
にのみ交点を持つ場合があるが、かかる場合であっても
検出中心が同一点に設定された相互に相似の２つの検出
図形を用いることにより、第２の検出図形は折り重なっ
た部分以外の位置で対象物との交点を持つ。従って、第
１の検出図形と重なっている対象物が１つであるか否か
を請求項１、２の場合に比べてもより一層確実に認識す
ることが可能になる。

【００１０】請求項４に記載の発明は、上記請求項１〜
３に記載の各発明において、前記第４工程の判定の結
果、前記検出図形の外周に重なっている対象物が１つで
ないと認識された場合に、前記検出中心の位置を前記画
像の輪郭上で移動したの後、前記第２工程から第４工程
の処理を繰り返す第５工程とを更に含むことを特徴とす
る。

【００１１】これによれば、最初に設定した検出中心の
位置で、取り出し可能な対象物を認識できない場合で
も、対象物の画像の輪郭上を検出中心を移動させなが
ら、対象物の重なりをチェックすることにより、検出図
形内部の対象物の数が１つになった検出図形の検出中心
の位置を確実に認識できるようになる。従って、マーク
などを付けることなく、重なり合って山積みになった対
象物の中から取り出し可能な対象物を確実に認識でき
る。

【００１２】請求項５に記載の発明は、重なりあった複
数の対象物の中から任意の一つを取出すピッキング装置
であって、重なりあった複数の対象物の画像を取り込む
画像取り込み部と；前記取り込まれた画像の輪郭追跡を
行って前記画像の輪郭を求める輪郭追跡部と；前記求め
られた輪郭上に所定の検出図形の検出中心を設定する設
定部と；前記検出図形の外周と前記画像の輪郭との交点
の数が予め定めた個数になっているか否かを判定するこ
とにより、前記検出図形の外周に重なっている取出し可
能な１つの対象物を認識する認識部と；前記認識部によ
り認識された取出し可能な対象物の前記検出中心位置を
掴んで取り出すロボット部とを備える。

【００１３】これによれば、画像取り込み部により重な
りあった複数の対象物の画像が取り込まれると、輪郭追
跡部ではその取り込まれた画像の輪郭追跡を行って該画
像の輪郭を求める。次に、設定部では求められた輪郭上
に所定の検出図形の中心である検出中心を設定し、認識
部では設定された検出図形の外周と画像の輪郭との交点
の数が予め定めた個数になっているか否かを判定するこ
とにより、検出図形の外周に重なっている取出し可能な
１つの対象物を認識する。そして、ロボット部では認識
部により認識された取出し可能な対象物を検出中心を掴
んで取り出す。ここで、検出図形の外周と対象物の輪郭
との交点の数は、検出図形内にある対象物の数が多いほ
ど数が増えるので、認識部により交点の数に基づき検出
図形と重なっている対象物が１つであるか否かが判定さ
れ、検出図形内部にある対象物が１つであるときに、ロ
ボット部によりその対象物を取り出すことができるよう
になる。従って、対象物にマーク等を付すことなく、重
なりあった複数の対象物の中の１つを容易に取出すこと
が可能になる。

【００１４】この場合において、請求項６に記載の発明
の如く、前記認識部は、前記交点の個数が予め定めた個
数である場合に、前記交点部の幅に基づいて前記検出図
形の外周に重なっている対象物が１つであるか否かを更
に判定しても良い。これによれば、複数の対象物が重な
りあって存在する場合、検出図形の外周が、その複数の
対象物の重なり部に設定されることがあるが、かかる場
合に、その重なり幅が対象物の線幅より大きくなるの
で、認識部でこれを検出することにより、検出図形の外
周と重なっている複数の対象物を誤って１つの対象物で
あると認識するのを防止することが可能となり、これに
より誤って複数の対象物を取り出すのを防ぐことが可能
となる。

【００１５】上記請求項５又は６に記載の各発明におい
て、請求項７に記載の発明の如く、前記認識部は、前記
検出図形の外周に重なっている取出し可能な１つの対象
物を認識した場合に、前記検出図形と相似の第２の検出
図形の検出中心を同一点に設定し、この第２の検出図形
の外周と前記画像の輪郭との交点の数及び該交点部の幅
の少なくとも一方に基づいて前記認識した対象物が他の
対象物に重なっていないか否かを更に判定するようにし
ても良い。これによれば、対象物が例えば棒状対象物で
ある場合に、先に設定された検出図形（便宜上、以下、
「第１の検出図形」という）の外周が対象物が折り重な
っている部分にのみ交点を持つ場合があるが、かかる場
合でも検出中心が同一点に設定された相互に相似の２つ
の検出図形を用いることにより、第２の検出図形は折り
重なった部分以外の位置で対象物との交点を持つ。ま
た、仮に第２の検出図形が折り重なった部分以外に交点
を持たない場合、すなわち複数の対象物がほぼ重なりあ
っている場合であっても、第２の検出図形の外周と画像
の輪郭との交点部の幅に基づいて認識した対象物が他の
対象物に重なっていないか否かが更に正確に判定され、
結果的に誤って複数の対象物を取り出すのをより確実に
防ぐことが可能となる。

【００１６】請求項８に記載の発明は、請求項５〜７に
記載の各発明において、前記認識部は、前記設定された
検出中心における判定の結果、取出し可能な１つの対象
物を認識できなかった場合に、前記検出中心の位置を前
記画像の輪郭上で移動して前記検出図形の外周に重なっ
ている取出し可能な１つの対象物の認識ための処理を繰
り返すことを特徴とする。

【００１７】これによれば、認識部では、最初に設定し
た検出中心の位置で、取り出し可能な対象物を認識でき
ない場合でも、対象物の画像の輪郭上を検出中心を移動
させながら、対象物の重なりをチェックすることによ
り、検出図形内部の対象物の数が１つになった検出図形
の検出中心の位置を確実に認識できるようになる。従っ
て、マークなどを付けることなく、重なり合って山積み
になった対象物の中から取り出し可能な対象物を確実に
認識し、これを取り出すことが可能になる。

【００１８】

【発明の実施の形態】

《第１の実施形態》以下、本発明の第１の実施形態を図
１ないし図１０を用いて説明する。

【００１９】図１には、第１の実施形態に係るピッキン
グ装置の外観が示されている。このピッキング装置１０
は、台上に載置されたトレーＴ内に重なり合って山積み
状態で収納された複数の対象物Ｗを撮影するカメラ部
（テレビカメラ）１２と、カメラ部１２からの対象物Ｗ
の画像信号に基づき複数の対象物Ｗの中から取出し可能
な対象物Ｗを認識し、認識した対象物Ｗを掴んで所定の
位置に移動させるような制御信号を出力する物体認識装
置１４と、この物体認識装置１４からの上記制御信号に
基づき、その取出し可能と認識された部品を掴んで移動
させるロボット部としてのピッキング用ロボット部１６
との３部分から主として構成されている。

【００２０】前記ピッキング用ロボット部１６は、従来
から比較的多く用いられているアームが水平間接型の機
構となったスカラ型ロボットである。このピッキング用
ロボット部１６は、垂直な間接軸を介して連結された複
数部分からなるアーム部と、そのアーム部の先端部に連
結される作動軸５７とを備え、この作動軸５７の先端部
にチャック部材等の作業部材が装着されるようになって
いる。このピッキング用ロボット部１６では、垂直軸を
介して本体５４に連結される第１アーム５５と、この第
１アーム５５の先端に垂直軸を介して連結される第２ア
ーム５６とで水平間接型のアーム部が構成され、上記作
動軸５７は第２アーム５６の先端にＺ軸方向（上下方
向）に設けられている。この作動軸５７は、アーム部に
対してＺ軸方向の移動及び回転が可能とされ、駆動源と
してのＺ軸モータ５８及びＲ軸モータ５９により駆動さ
れるようになっている。その機構は、作動軸５７に、該
作動軸５７のＺ軸方向の移動のみを許容する外筒体６２
がスプライン結合により装着され、この外筒体６２に結
合されたプーリ６３ｂと、上記Ｒ軸モータ５９に連結さ
れた減速機構５９ａの出力軸に装着されるプーリ６３ａ
とにタイミングベルト６４が装着されている。また、作
動軸５７の上端部は、Ｚ軸モータ５８により回転される
ボールねじ６０に螺着されるナット部材６１が固定され
ている。

【００２１】ピッキング用ロボット部１６においては、
Ｚ軸モータ５８の駆動によるボールねじ６０の回転に伴
い、ナット部材６１及び作動軸５７が一体にＺ軸方向に
移動されるとともに、上記Ｒ軸モータ５９の駆動による
タイミングベルト６４の回転に伴い、外筒体６２及び作
動軸５７が一体に回転されるようになっている。

【００２２】図２には、物体認識装置１４の各機能部が
カメラ部１２とともにデータの流れに基づくブロック図
を用いて示されている。この図２に示されるように、物
体認識装置１４は、画像入力部１４Ａ、画像メモリ１４
Ｂ、輪郭追跡部１４Ｃ、設定部としての円中心設定部１
４Ｄ、濃度分布計測部１４Ｅ、設定値記憶部１４Ｆ、重
なり幅検出部１４Ｇ、重なり回数検出部１４Ｊ、結果出
力部１４Ｋ等を備えている。

【００２３】この内、画像入力部１４Ａは、カメラ部１
２からの対象物Ｗの画像信号の入力インターフェイスで
あり、画像メモリ１４Ｂは、対象物Ｗの画像信号を記憶
するためのものである。本実施形態では、これら画像入
力部１４Ａと画像メモリ１４Ｂとによって画像取り込み
部が構成されている。

【００２４】前記輪郭追跡部１４Ｃは、画像メモリ１４
Ｂに記憶された画像の輪郭追跡を行って前記画像の輪郭
を求めるための処理を行う部分である。円中心設定部１
４Ｄは、輪郭追跡部１４Ｃにより求められた輪郭上に重
なりを検出するための検出図形としての検出円の中心で
ある検出中心Ｒを設定する処理を行う部分である。この
検出中心の位置の初期値は、設定値記憶部１４Ｆに記憶
されている。

【００２５】濃度分布計測部１４Ｅは、検出円の円周上
の濃度分布を検出する処理を行う部分であり、重なり回
数検出部１４Ｊは、濃度分布計測部１４Ｅで検出された
検出円の円周上の濃度分布から検出円の円周と対象物Ｗ
との重なりの回数、すなわち交点の数を検出し、この検
出結果により検出円内にある対象物の数を認識する。重
なり幅検出部１４Ｇは、重なり回数検出部１４Ｊにより
検出円内の対象物の数が１つであると認識された場合
に、前記の検出円の円周と対象物Ｗとの重なり、すなわ
ち交点部の重なり幅を検出し、この重なり幅と対象物Ｗ
の幅に基づいて予め設定された幅（設定値記憶部１４Ｆ
に記憶されている）との大小を判別することにより、対
象物Ｗが重なって丁度１つの対象物像として誤って認識
されているかどうかを判定する処理を行う部分である。
また、この重なり幅検出部１４Ｇでは、複数の対象物が
検出円内にある場合、円中心設定部１４Ｄに検出中心を
移動させる指令を送る。これにより、円中心設定部１４
Ｄにより輪郭追跡部１４Ｃにより求められた輪郭上で検
出中心が移動される。本実施形態では、上記濃度分布計
測部１４Ｅ、重なり回数検出部１４Ｊ、及び前記重なり
幅検出部１４Ｇによって認識部が構成されている。

【００２６】結果出力部１４Ｋは、検出円内にある対象
物Ｗが１つであり、重なっていない場合にその検出円の
中心で認識した対象物Ｗをつかんで所定の位置に移動さ
せるように駆動制御するための制御信号をピッキング用
ロボット部１６の制御部（図示省略）に出力する部分で
ある。

【００２７】ここで、上記の物体認識装置１４の各機能
部は、全体を１つのコンピュータにより構成することが
でき、図３には、この物体認識装置１４のＣＰＵの主要
な制御アルゴリズムに対応するフローチャートが示され
ている。この図３のフローチャートでは対象物ＷがＯリ
ングである場合の例が示されている。以下、この図３を
中心としてかつ図４〜図１１を参照しつつ、重なりあっ
た複数の対象物としてのＯリングＷの画像から取り出し
可能な対象物を認識して、取出す際の処理を説明する。

【００２８】まず、ステップＳ１ではカメラ部１２から
の対象物Ｗの画像信号を入力する。このとき、例えば図
４（Ａ）に示されるような画像が得られたものとする。

【００２９】次のステップＳ２では、得られた画像（入
力された画像）の輪郭追跡を行ってＯリング画像の輪
郭、ここでは、最外周の輪郭を求める。このステップＳ
２では、境界追跡と呼ばれる方法により次のようにして
輪郭追跡が行われる。

【００３０】すなわち、まず、「検出モード」の処理が
行われる。この「検出モード」では、図５の検出モード
の原理図に示されるように、入力された対象物Ｗの画像
を一番上のラインＬ₁について左から右方向にスキャン
する。このラインＬ₁上に対象物のエッジが見つからな
ければ、１画素下のラインＬ₂について同様の処理を繰
り返す。

【００３１】このようにして、ある対象物Ｗのエッジの
画素を見つけると、その見つかった画素が既に追跡され
ていない場合、すなわちその画素に追跡禁止マークが付
いていない場合には、スキャンを中断して「追跡モー
ド」に移る。図５の場合には、ラインＬ_nである対象物
Ｗのエッジの画素Ｐ₀が見つかった場合が示されてい
る。

【００３２】「追跡モード」の処理では、上記の「検
出モード」で見つかった画素Ｐ₀の座標（ｘ，ｙ）を不
図示の内部メモリに記憶し、この画素に追跡禁止マーク
をつけ、同じ画素Ｐ₀を２度追跡しないようにしてお
く。

【００３３】次に、検出画素Ｐ₀を囲む回りの画素
（８近傍画素）に対象物Ｗのエッジが存在するか否かを
調べる。但し、検出画素の回りの最近傍画素Ｐ₀の全て
を調べることを要しない。例えば、図５のラインＬ_nで
エッジの画素Ｐ₀が見つかった場合、１つ前のラインＬ
_n-1は既にスキャンされ、また画素Ｐ₀の左隣の画素も
スキャンされているので、画素Ｐ₀の回りの８近傍画素
の内、上側と左隣を除く残りの４つの画素について図６
に示される１から４の順序で対象物Ｗのエッジの画素が
あるか否かを調べる。そして、見つからなければ、対象
物Ｗが１画素のみであることを示しており、この場合は
「追跡モード」を終了して「検出モード」に戻り、スキ
ャンを再開する。一方、見つかった場合には、その見つ
かった画素Ｐ₁の座標を記憶し、その画素Ｐ₁に対して
も追跡禁止マークを付ける。

【００３４】このようにして、検出画素Ｐ_nを中心と
する８近傍画素について、１つ前の検出画素Ｐ_n-1から
Ｐ_nへの追跡方向を図７（Ｉ）に示されるような０〜７
でコード化したチェインコードとして記憶し、このチェ
インコードに応じて次に述べるような順序で対象物のエ
ッジ画素があるかどうかを調べ、最初に見つかった画素
をＰ_n+1とする。また、同じ画素を２度追跡しないよう
に追跡禁止マークをつける。

【００３５】ここで、見つかった画素Ｐ_nの回りのどの
画素について対象物Ｗのエッジを成す隣の画素Ｐ_n+1を
検出するかは、見つかった画素Ｐ_n-1，Ｐ_nの位置関係
から決まる。図７（Ａ）〜（Ｈ）は、画素Ｐ_n-1，Ｐ_n
の位置関係に対して画素Ｐ_nの回りのどの画素について
対象物Ｗの輪郭を成す隣の画素Ｐ_n+1を検出するかを示
した図である。画素Ｐ_n-1は「△」で、画素Ｐ_nは
「○」で示されている。

【００３６】図７（Ａ）は画素Ｐ_n-1から画素Ｐ_nへの
移動方向が方向０の場合であり、（Ｂ）は画素Ｐ_n-1か
ら画素Ｐ_nへの移動方向が方向１の場合であり、（Ｃ）
は画素Ｐ_n-1から画素Ｐ_nへの移動方向が方向２の場合
であり、（Ｄ）は画素Ｐ_n-1から画素Ｐ_nへの移動方向
が方向３の場合であり、（Ｅ）は画素Ｐ_n-1から画素Ｐ
_nへの移動方向が方向４の場合であり、（Ｆ）は画素Ｐ
_n-1から画素Ｐ_nへの移動方向が方向５の場合であり、
（Ｇ）は画素Ｐ_n-1から画素Ｐ_nへの移動方向が方向６
の場合であり、（Ｈ）は画素Ｐ_n-1から画素Ｐ_nへの移
動方向が方向７の場合である。これらの各場合におい
て、番号１から５又は６までの画素について番号の順に
画素Ｐ_n+1を検出する。

【００３７】検出された輪郭上の各画素の座標は記憶さ
れ、追跡禁止マークをつけられる。また、画素Ｐ_n-1か
ら画素Ｐ_nへの追跡方向はチェインコードとして記憶さ
れる。

【００３８】なお、チェインコードそのものは、周知で
あり、例えば特開平５−１１４０２７号公報にも詳細に
開示されているので、ここではこれ以上の説明は省略す
る。

【００３９】上記の図７（Ａ）〜（Ｈ）の順で調べ
た結果最初に見つかった画素を新たな検出画素として、
上記の処理を繰り返す。このような処理を、検出画素
Ｐ_nが追跡開始画素Ｐ₀に一致し、かつ次の検出画素Ｐ
_n+1も追跡開始画素の次の画素Ｐ₁に一致するまで行う
ことにより、対象物の輪郭が検出され、チェインコード
に変換される。

【００４０】このようにして輪郭上の画素を見つけるた
めの「追跡モード」の処理が終了すると、「検出モー
ド」の処理に戻りスキャンを開始する。このスキャンの
開始位置は、はじめに見つかった画素Ｐ₀と同一ライン
上でスキャンされていない対象物Ｗの輪郭の外側にある
画素から再開される。図８には、その様子が示され、ラ
インＬ_n上で画素Ｐ₀が見つかり対象物Ｗの輪郭検出が
行われた後、ラインＬ_n上の画素Ｑ₀の隣の画素から
「検出モード」のスキャンが開始される様子が示されて
いる。すなわち、ラインＬ_n上の画素Ｐ₀〜Ｑ₀まで検
出がスキップされる。

【００４１】以後、追跡禁止マークの有無から対象物Ｗ
の輪郭及び内部の画素を飛ばしながら、すべてのライン
Ｌについてスキャンが行われる。そして、追跡禁止マー
クが付けられていない他の対象物Ｗの画像上の輪郭上の
画素を見つければ、その対象物について「追跡モード」
の処理が行われる。

【００４２】このようにして、「追跡モード」を織り交
ぜながら、検出モードのスキャンが画面の右下に達した
ところで、図３のステップＳ２の輪郭追跡の処理が終了
する。これにより、例えば図４（Ｂ）に太い実線で示さ
れる図４（Ａ）のＯリング画像の最外周の輪郭が求めら
れる。

【００４３】次のステップＳ３では、ステップＳ２の輪
郭追跡の結果に基づいて対象物Ｗの輪郭の有無を判定
し、輪郭がなかった場合、対象物がなかったものとして
本ルーチンの一連の処理を終了する。一方、画像中に対
象物Ｗの輪郭があった場合、ステップＳ４に進み、予め
設定された設定値に基づいて対象物Ｗの画像の最外周輪
郭上に開始点Ｒを設定し、この点を中心として指定され
た半径の円を設定する。この指定された半径の円を以後
検出円と呼び、この円の中心を以後検出中心と呼ぶ。こ
れにより、例えば図４（Ｃ）に示されるように、検出中
心Ｒの検出円（点線で示される）が対象物Ｗの上に設定
される。

【００４４】次のステップＳ５では、設定された検出円
の円周上の濃度分布（輝度分布）を計測する。この結
果、例えば図４（Ｃ）の検出円が設定された場合、図９
に示される濃度分布が得られる。

【００４５】次のステップＳ６では、検出円の円周と対
象物Ｗの画像の輪郭との重なりの回数、すなわち交点の
個数を検出する。具体的には、設定された検出円の円周
上の濃度と予め設定されたしきい値ＴＨとの比較を行
い、検出円の円周上の濃度分布がしきい値を下回る位置
とその数とを検出する。これにより、例えば図４（Ｃ）
の検出円が設定された場合、図９に示されるように、点
Ａ，Ｂ，Ｃ，Ｄで検出円Ｒの円周上の濃度はしきい値Ｔ
Ｈを下回り、交点が４つあることが検出される。図４
（Ｃ）中の点Ａ，Ｂ，Ｃ，Ｄと図９の点Ａ，Ｂ，Ｃ，Ｄ
とは対応する。

【００４６】次のステップＳ７では、上記ステップＳ６
で検出した重なりの回数が２回以下であるか否かを判断
する。これは、重なりの回数が２回以下の場合、検出円
内にはＯリングＷが１つしか存在しないと推定でき、重
なりの回数が２回を超える（３回以上）である場合は、
検出円内にＯリングＷが重なって２つ以上存在すると判
断できるため、このようにするものである。

【００４７】従って、重なりの回数が３回以上である場
合には、ＯリングＷが重なり合っており、その検出円の
検出中心位置ではＯリングＷの取り出しが不能であると
判断して、ステップＳ２０にジャンプする。例えば図４
（Ｃ）の検出円が設定された場合、重なり回数が４回で
あるから、ステップＳ７における判断は否定され、ステ
ップＳ２０にジャンプする。そして、このステップＳ２
０では、検出円（検出中心Ｒ）をＯリングＷの画像の最
外周の輪郭上で移動させる。これにより、例えば、検出
円の位置が図４（Ｃ）から図４（Ｄ）の位置に移動され
る。そして、次のステップＳ２１で検出円の検出中心Ｒ
がＯリングＷの画像の最外周の輪郭上を１周して最初に
設定された開始点に戻ってきているか（即ち終点になっ
ているか）どうかをチェック（判断）する。そして、検
出円の検出中心ＲがＯリングＷの画像の最外周の輪郭上
を１周して最初に設定された開始点に戻ってきている場
合には、取り出し可能なＯリングＷがないものと判断し
て本ルーチンの一連の処理を終了するが、戻ってきてい
ない場合は、このステップＳ２１の判断が否定され、ス
テップＳ５に戻り、上記処理・判断を繰り返す。

【００４８】この一方、上記ステップＳ７の判断が肯定
された場合、すなわち、上記ステップＳ６で検出した重
なりの回数が２回以下の場合には、ステップＳ８に進
む。例えば、図４（Ｄ）の検出円が設定された場合に
は、重なり回数が２回であるからステップＳ７の判断が
肯定される。そして、ステップＳ８では、その重なり部
分（交点部）の幅を図９と同様の濃度の分布のグラフが
しきい値ＴＨを横切る幅に基づいて検出した後、ステッ
プＳ９に進んでその検出した重なり部分の幅をＯリング
Ｗの線径（設定値）を基準にしてチェックする。これ
は、例えば、図１０に示されるように、２つのＯリング
Ｗがほぼ重なっている場合には、上記ステップＳ７の重
なり回数の判断の際には、重なり回数が２回以下となっ
て、その判断が肯定されるが、実際には検出円内にＯリ
ングＷが２つ重なり合って存在するので、２つのＯリン
グＷを１つのＯリングＷの像として誤って認識すること
がないように、重なり幅をチェックするものである。図
１０の場合には、検出される重なり幅が基準となるＯリ
ングの幅より大きくなるので、ステップＳ９における判
断は否定されることになる。そして、ステップＳ２０に
移行して検出円の検出中心Ｒが移動される。

【００４９】一方、検出円の円周とＯリングＷとの重な
り幅が予め決められた設定値よりも小さい場合、すなわ
ち検出円と重なっている対象物としてのＯリングＷが１
つである場合には、ステップＳ９の判断が肯定され、ス
テップＳ１０に進んで、検出円の検出中心ＲでそのＯリ
ングＷを掴んで所定の位置に移動させるように駆動制御
するための信号をピッキング用ロボット部１６の制御部
に出力した後、本ルーチンの一連の処理を終了する。こ
れにより、ピッキング用ロボット部１６によってその検
出円が設定されたＯリングＷが取り出され、所定の位置
に移動される。

【００５０】この１つのＯリングＷの取り出しにより、
他のＯリングＷの位置が変化するため、その後、ステッ
プＳ１からの処理が、次にカメラ部１２によって撮像さ
れたＯリングＷの画像について、繰り返し行われる。そ
して、最後のＯリングＷが取り出されることにより、処
理が終了する。

【００５１】以上説明したように、本第１の実施形態に
係るピッキング装置１０によると、重なり合って山積み
になった対象物としてのＯリングＷの画像の最外周の輪
郭上を検出円を移動させながら、ＯリングＷの重なりを
チェックすることにより、検出円内部の対象物（Ｏリン
グ）Ｗの数が１つになった検出円の検出中心の位置でそ
の検出円が設定されたＯリングＷを取り出すことによ
り、対象物としてのＯリングＷにマークなどを付けるこ
となく、重なり合って山積みになったＯリングＷの中か
ら１つずつＯリングを順に取り出すことができるという
効果がある。

【００５２】なお、上記の説明では、ステップＳ２にお
いて、画像の最外周の輪郭を求めるものとしたが、これ
は、前提として１つのＯリングを取り出せば、他のＯリ
ングの位置が変化すること、及び外側のＯリングから順
に取り出すことを前提としたため、最外周の輪郭を求め
れば足り、このようにすれば全ての輪郭を求める場合に
比べて、輪郭追跡の時間が短くなることを考慮して上記
のようにしたものである。しかしながら、本発明がこれ
に限定される趣旨ではないことは勿論であって、上記の
境界追跡の手法を用いて上記ステップＳ２において、最
外周以外の内部の輪郭のみ、あるいは全ての輪郭を求め
るようにしても構わない。あるいは、輪郭追跡の時間の
短縮という意味からは、画像の最外周の輪郭の全てを必
ずしも求めなくてもその一部を求めるようにしても良
い。要は、検出円を設定してその検出円の範囲内に１つ
のＯリングを認識できる範囲で画像の輪郭を求めれば良
い。

【００５３】《第２の実施形態》次に、本発明の第２の
実施形態を図１１〜図１３に基づいて説明する。ここ
で、前述した第１の実施形態と同一若しくは同等の構成
部分については同一の符号を用いるとともにその説明を
簡略にし若しくは省略するものとする。

【００５４】この第２の実施形態は、対象物Ｗが棒状で
ある場合の例であり、前述の第１の実施形態とほぼ同じ
装置構成を有するが、画像認識装置１４の制御アルゴリ
ズムが多少異なっている。そこで、以下の説明において
は、画像認識装置の制御アルゴリズムを示す図１１のフ
ローチャートを中心として、かつ図１２、図１３を参照
しつつ、重なりあった複数の棒状対象物Ｗの画像から取
り出し可能な対象物を認識して、取出す際の処理を説明
する。

【００５５】まず、ステップＳ３１ではカメラ部１２か
らの対象物Ｗの画像信号を入力する。このとき、例えば
図１２に示されるような棒状対象物Ｗの画像が得られた
ものとする。

【００５６】次のステップＳ３２では、得られた画像
（入力された画像）の輪郭追跡を行って棒状対象物の輪
郭を求める。このステップＳ３２における輪郭追跡も、
前述した第１の実施形態と同様、「検出モード」の処理
が行われて輪郭検出されていない棒状対象物Ｗの像をス
キャンにより検出し、「追跡モード」の処理によりその
棒状対象物Ｗの像について輪郭を追跡して輪郭検出が行
われる。このステップＳ３２における輪郭追跡も棒状対
象物の全てについて行うことは必ずしも必要でなく、一
部の棒状対象物についてのみ輪郭追跡を行っても良い。

【００５７】次のステップＳ３３では、ステップＳ３２
の輪郭追跡の結果に基づいて棒状対象物Ｗの輪郭の有無
を判定し、輪郭がなかった場合、棒状対象物がなかった
ものとして本ルーチンの一連の処理を終了する。一方、
画像中に棒状対象物Ｗの輪郭があった場合、ステップＳ
３４に進み、予め設定された設定値に基づいて棒状対象
物Ｗの画像の輪郭上に開始点Ｒを設定し、この点を検出
中心として初期設定の半径Ｒ１の検出円を設定する。こ
れにより、例えば図１２に示されるように、検出中心Ｒ
の検出円（半径Ｒ１）がある棒状対象物Ｗの上に設定さ
れる。

【００５８】次のステップＳ３５では、設定された検出
円の円周上の濃度分布（輝度分布）を計測した後、ステ
ップＳ３６に進んで検出円の円周と棒状対象物Ｗの画像
の輪郭との重なりの回数、すなわち交点の個数を検出す
る。この検出は、第１の実施形態のステップＳ５で説明
したのと同様にして、設定された検出円の円周上の濃度
と予め設定されたしきい値ＴＨとの比較により行われ
る。

【００５９】次のステップＳ３７では、ステップＳ３６
で検出された検出円の円周と棒状対象物Ｗとの重なり回
数が１回であるかどうかを判定する。重なり回数が１回
である場合には、検出円の円周と重なっている棒状対象
物Ｗが１つであると推定でき、重なり回数２回以上であ
る場合は、検出円内に棒状対象物Ｗが重なり合って２つ
以上存在すると判断できる。

【００６０】そして、ステップＳ３７における判断が否
定された場合、すなわち重なり回数が２回以上の場合に
は、ステップＳ５０にジャンプする。一方、ステップＳ
３７における判断が肯定された場合、すなわち重なり回
数が１回の場合には、ステップＳ３８に進んで前述した
ステップＳ８と同様に、検出円の円周上の濃度としきい
値ＴＨとの比較から得られる重なり部の幅を検出した
後、ステップＳ３９でその検出した重なり部分の幅を棒
状対象物Ｗの線径（設定値）を基準にしてチェックす
る。

【００６１】そして、ステップＳ３９における判断が肯
定された場合、すなわち検出円の円周と棒状対象物Ｗと
の重なり幅が設定値よりも小さい場合には、ステップＳ
４０に進んで半径Ｒ１よりも小さな半径Ｒ２の第２の検
出円を検出中心Ｒを中心として設定するとともに、その
第２の検出円の円周上の濃度分布（輝度分布）を計測す
る。そして、ステップＳ４１及びステップ４２で半径Ｒ
１の検出円の場合と同様に、半径Ｒ２の検出円の円周上
の濃度分布としきい値ＴＨとの比較から、半径Ｒ２の検
出円の円周と棒状対象物Ｗとの重なり回数が１回である
かどうかを判断する。これは、図１３に示されるよう
に、２つの棒状対象物Ｗ，Ｗ’が半径Ｒ１の検出円の円
周上に丁度重なって存在する場合には、その検出円の内
部に２つの棒状対象物Ｗ，Ｗ’が存在するにもかかわら
ず、ステップＳ３９における判断が肯定される可能性が
あるため、このような場合に、棒状対象物Ｗは１つであ
ると誤って認識されてしまうことを防止するためであ
る。図１３の場合、同図から明らかなように、半径Ｒ２
の検出円の周上には棒状対象物Ｗとの重なりが２箇所あ
るので、ステップＳ４２における判断が否定されステッ
プＳ５０に移行する。これにより、棒状対象物Ｗは１つ
であると誤って認識されるのが防止される。

【００６２】一方、ステップＳ４２における判断が肯定
された場合、すなわち半径Ｒ２の検出円の円周と棒状対
象物Ｗとの重なりが１回の場合には、ステップＳ４３及
びＳ４４で、その重なり部の幅を前述と同様にして検出
するとともにその検出した重なり幅をチェックする。半
径Ｒ１の検出円、半径Ｒ２の検出円の両方の円周と棒状
対象物Ｗとの重なりがともに１回である場合には、通
常、検出円内には、棒状対象物Ｗが１つしかないものと
考えられるが、２つの棒状対象物が上下に重なっている
可能性もあるため、ステップＳ４４で念のために再度幅
チェックを行うものである。そして、このステップＳ４
４における判断が肯定されると、ステップＳ４５に進ん
で、検出円の検出中心Ｒの位置でその棒状対象物Ｗを掴
んで所定の位置に移動させるように駆動制御するための
信号をピッキング用ロボット部１６の制御部に出力した
後、本ルーチンの一連の処理を終了する。これにより、
ピッキング用ロボット部１６によってその検出円が設定
された棒状対象物Ｗが取り出され、所定の位置に移動さ
れる。

【００６３】この一方、上記ステップＳ３７、Ｓ３９、
Ｓ４２、Ｓ４４のいずれかの判断が否定された場合に
は、ステップＳ５０に移行するが、このステップＳ５０
では前述したステップＳ２０と同様に、検出円の検出中
心を棒状対象物Ｗの輪郭上で移動した後、ステップＳ５
１で検出円の検出中心が棒状対象物Ｗの輪郭を１往復し
て開始点に戻ってきているか（即ち終点になっている
か）どうかをチェックする）。そして、戻ってきていな
い場合は、ステップＳ３５以下の処理・判断が繰り返さ
れ、戻ってきている場合は本ルーチンの一連の処理を終
了する。

【００６４】上記ステップＳ４５における１つの棒状対
象物Ｗの取り出しにより、他の棒状対象物Ｗの位置が変
化するため、その後、ステップＳ３１からの処理が、次
にカメラ部１２によって撮像された棒状対象物Ｗの画像
について、繰り返し行われる。そして、最後の棒状対象
物Ｗが取り出されることにより、処理が終了する。

【００６５】以上説明したように、本第２の実施形態に
よると、重なり合って山積みになった対象物としての棒
状対象物Ｗの画像の輪郭上を検出円を移動させながら、
棒状対象物Ｗの重なりをチェックすることにより、検出
円内部の対象物Ｗの数が１つになった検出円の検出中心
の位置でその検出円が設定された対象物Ｗを取り出すこ
とにより、対象物Ｗにマークなどを付けることなく、重
なり合って山積みになった対象物Ｗの中から１つずつ対
象物Ｗを順に取り出すことができる。

【００６６】なお、上記第１、第２の実施形態では、検
出図形として検出円を用いる場合について説明したが、
本発明がこれに限定されることはなく、楕円、正方形、
長方形、他の多角形等の他の閉図形を検出図形として用
いても勿論良く、例えば楕円の場合、長径と短径の中心
（すなわち楕円の中心）を検出中心とすれば良く、正方
形、長方形の場合には、対角線の交点を検出中心とすれ
ば良い。かかる場合であっても上記実施形態と同様の効
果を得ることができる。

【００６７】また、上記実施形態では、対象物がＯリン
グ若しくは棒状対象物である場合について説明したが、
対象物が長方形形状など様々な形状であってもよい。図
１４は、その例を示したものであり、実線の太線で示す
輪郭（エッジ）を有する長方形形状の対象物Ｗの輪郭上
に点線で示される検出円を設定した様子を示している。
この場合でも、照明方法の工夫により対象物Ｗを撮影し
た画像に基づいて上記実施形態と同様の処理を行うこと
が可能である。すなわち、対象物Ｗの輪郭を検出し、そ
の輪郭上に検出円を設定する。そして、検出円の円周上
において対象物Ｗの像の濃度（輝度）分布から検出円の
円周と対象物Ｗとの交点の数が検出され、この交点の数
から検出円の内部にある対象物の数が検出され、検出円
内部の対象物の数が１つになるように検出円の中心を移
動させ、その数が１のときに対象物を取り出すことが可
能である。

【００６８】また、上記第１、第２の実施形態では、対
象物Ｗを１つずつ取り出す際に、一番上のものから順番
に取り出せないことを考慮して、対象物Ｗを１つ取り出
す度に、新たに画像を取り込み、その画像に基づいて処
理を行う場合について説明したが、対象物Ｗを一番上の
ものから順番に１つずつ取り出すことが可能な場合に
は、画像を一度だけ取り込み、その画像に基づいて上記
の処理を繰り返し行うようにしても良い。このようにす
れば、処理時間が短縮される。

【００６９】

【発明の効果】以上説明したように、請求項１〜４に記
載の各発明によれば、対象物にマーク等を付すことな
く、重なりあった複数の対象物の中から取り出し可能な
対象物を確実に認識することができるという効果があ
る。

【００７０】また、請求項５〜８に記載の各発明によれ
ば、対象物にマーク等を付すことなく、重なりあった複
数の対象物の中の１つを容易に取出すことができるとい
う従来にない優れた効果がある。

【図面の簡単な説明】

【図１】第１の実施形態に係るピッキング装置の外観
（全体構成）を示す図である。

【図２】図１の物体認識装置の各機能部をカメラ部とと
もにデータの流れに基づくブロック図で示した図であ
る。

【図３】物体認識装置のＣＰＵの主要な制御アルゴリズ
ムに対応するフローチャートである。

【図４】図３のフローチャートに沿って行われる処理の
具体例を示す図であって、（Ａ）は入力された画像の一
例を示す図、（Ｂ）は（Ａ）の画像の輪郭追跡により得
られたＯリング画像の最外周の輪郭が得られた状態を示
す図、（Ｃ）は（Ｂ）の輪郭上に検出円が設定された状
態を示す図、（Ｄ）は（Ｃ）の状態から検出円が移動し
た状態を示す図である。

【図５】輪郭追跡おける「検出モード」の原理図であ
る。

【図６】画素Ｐ₀の隣にある輪郭上の画素Ｐ₁を検出す
る様子を示す図である。

【図７】（Ａ）〜（Ｈ）は、画素Ｐ_n-1，Ｐ_nの位置関
係に対して画素Ｐ_nの回りのどの画素について対象物の
輪郭を成す隣の画素Ｐ_n+1を検出するかを示した図、
（Ｉ）は追跡方向を０〜７でコード化する様子を示す図
である。

【図８】「追跡モード」の処理が終了後「検出モード」
の処理に戻った際のスキャンを開始する開始位置の例を
示す図である。

【図９】検出円の円周上の濃度分布の一例を示す線図で
ある。

【図１０】２つのＯリングがほぼ完全に重なった場合の
画像の一例を示す図である。

【図１１】第２の実施形態の画像認識装置の制御アルゴ
リズムを示すフローチャートである。

【図１２】棒状対象物Ｗの輪郭及びその輪郭上に設定さ
れた検出円を示す図である。

【図１３】棒状対象物Ｗ（実線）の輪郭上に設定された
半径Ｒ１の検出円と半径Ｒ２の検出円とを同時に示す図
である。

【図１４】変形例を説明するための図であって、長方形
形状の対象物Ｗの輪郭上に点線の検出円を設定した様子
を示す図である。

【符号の説明】

１０ピッキング装置Ｗ対象物１４Ａ画像入力部（画像取り込み部の一部）１４Ｂ画像メモリ（画像取り込み部の一部）１４Ｃ輪郭追跡部１４Ｄ円中心設定部（設定部）１４Ｅ濃度分布計測部（認識部の一部）１４Ｇ重なり幅検出部（認識部の一部）１４Ｊ重なり回数検出部（認識部の一部）１６ピッキング用ロボット部（ロボット部）

Claims

【特許請求の範囲】

【請求項１】重なりあった複数の対象物の中から取り
出し可能な対象物を認識する認識方法であって、重なりあった複数の対象物の画像を取り込む第１工程
と；前記画像の輪郭追跡を行って前記画像の輪郭を求め
る第２工程と；前記求めた輪郭上に所定の検出図形の検
出中心を設定する第３工程と；前記検出図形の外周と前
記画像の輪郭との交点の数が予め定めた個数になってい
るか否かを判定することにより、前記検出図形の外周に
重なっている対象物が１つであるか否かを認識する第４
工程とを含む認識方法。
【請求項２】前記第４工程において、前記交点の個数
が予め定めた個数である場合に、前記交点部の幅に基づ
いて前記検出図形の外周に重なっている対象物が１つで
あるか否かを更に判定することを特徴とする請求項１に
記載の認識方法。
【請求項３】前記第４工程において、前記検出図形の
外周に重なっている対象物が１つであると判定された場
合に、前記第３工程で設定した検出図形と相似の第２の
検出図形の検出中心を同一点に設定し、この第２の検出
図形の外周と前記画像の輪郭との交点の数及び該交点部
の幅の少なくとも一方に基づいて前記第２の検出図形の
外周に重なっている対象物が１つであるか否かを更に判
定することを特徴とする請求項１又は２に記載の認識方
法。
【請求項４】前記第４工程の判定の結果、前記検出図
形の外周に重なっている対象物が１つでないと認識され
た場合に、前記検出中心の位置を前記画像の輪郭上で移
動したの後、前記第２工程から第４工程の処理を繰り返
す第５工程とを更に含むことを特徴とする請求項１〜３
のいずれか一項に記載の認識方法。
【請求項５】重なりあった複数の対象物の中から任意
の一つを取出すピッキング装置であって、重なりあった複数の対象物の画像を取り込む画像取り込
み部と；前記取り込まれた画像の輪郭追跡を行って前記
画像の輪郭を求める輪郭追跡部と；前記求められた輪郭
上に所定の検出図形の検出中心を設定する設定部と；前
記検出図形の外周と前記画像の輪郭との交点の数が予め
定めた個数になっているか否かを判定することにより、
前記検出図形の外周に重なっている取出し可能な１つの
対象物を認識する認識部と；前記認識部により認識され
た取出し可能な対象物の前記検出中心位置を掴んで取り
出すロボット部とを備えるピッキング装置。
【請求項６】前記認識部は、前記交点の個数が予め定
めた個数である場合に、前記交点部の幅に基づいて前記
検出図形の外周に重なっている対象物が１つであるか否
かを更に判定することを特徴とする請求項５に記載のピ
ッキング装置。
【請求項７】前記認識部は、前記検出図形の外周に重
なっている取出し可能な１つの対象物を認識した場合
に、前記検出図形と相似の第２の検出図形の検出中心を
同一点に設定し、この第２の検出図形の外周と前記画像
の輪郭との交点の数及び該交点部の幅の少なくとも一方
に基づいて前記認識した対象物が他の対象物に重なって
いないか否かを更に判定することを特徴とする請求項５
又は６に記載のピッキング装置。
【請求項８】前記認識部は、前記設定された検出中心
における判定の結果、取出し可能な１つの対象物を認識
できなかった場合に、前記検出中心の位置を前記画像の
輪郭上で移動して前記検出図形の外周に重なっている取
出し可能な１つの対象物の認識ための処理を繰り返すこ
とを特徴とする請求項５〜７のいずれか一項に記載のピ
ッキング装置。