JP3225740B2 - 山積み部品の高速ピッキング装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ロボットによりトレー
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。特に、
部品の握持部分を高速で認識することが可能な装置に関
する。

【０００２】

【従来技術】従来、複数の部品の中から部品を一つずつ
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。

【０００３】

【発明が解決しようとする課題】ところで、一般的な工
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。

【０００４】又、この問題を解決するために、特開平５
−１２７７２２号公報に記載されたように、ワークの握
持可能な単純形状から成る複数の特定部位に対応した複
数の照合モデルを記憶しておき、２次元画像の中におい
て、１つの照合モデルと照合する部位を検出し、その部
位を握持するようにした装置が知られている。この装置
は、１つのワークに対して形状簡単な複数の照合モデル
を設けることで、部位の認識を容易にしたものである。

【０００５】しかしながら、上記の装置は複数の照合モ
デルの照合順位が予め決定された順位であるために、２
次元画像の中から照合可能な照合モデルを検出するに
は、時間が掛かった。又、上記のように照合順位が固定
されていると、照合順位が先の照合モデルが検出された
ワークだけが先に握持されていくので、ワークのピッキ
ングが進行して行くに連れて、照合順位が高い照合モデ
ルが検出されずに、照合順位の低い照合モデルが検出さ
れるワークだけが残る。

【０００６】従って、それらのワークに対しても、固定
順序で照合モデルの照合が実行されるので、照合順位の
高い照合モデルに対する照合判定の演算が無駄に実行さ
れ、特定の部位を認識するまでに時間がかかるという問
題がある。

【０００７】本発明は、上記の課題を解決するために成
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識することであ
る。

【０００８】

【課題を解決するための手段】上記課題を解決するため
の発明の構成は、図６にその概念を示したように、２次
元画像から山積み部品の輪郭線を求め、その輪郭線から
輪郭線を構成する複数の構成線分を抽出し、その構成線
分から前記部品を認識してロボットのハンドにより把持
させる高速ピッキング装置において、前記２次元画像に
おいて前記部品の把持可能な単純形状から成る複数の特
定部位を認識するための該複数の特定部位に対応した複
数のモデルであって、前記複数の特定部位がそれぞれ基
準姿勢をとるときの形状を特定するデータにより予め設
定される複数の照合モデルを記憶する照合モデル記憶手
段と、前記複数の特定部位に対応して該複数の特定部位
をそれぞれ把持し得る複数のハンドの情報を記憶したハ
ンド情報記憶手段と、前記２次元画像と、可変的に決定
される優先順位に従って前記照合モデル記憶手段に記憶
されている前記複数の照合モデルを、順次、照合させ
て、１つの照合モデルが前記２次元画像に存在すると判
定された場合に、照合演算を終了して、照合により認識
された１つの部分を前記複数の特定部位のうちの１つと
して検出する特定部位検出手段と、前記各照合モデル毎
に、前記特定部位検出手段により認識された回数を記憶
し、その回数の多い順に前記優先順位を決定する照合優
先順位決定手段と、検出された前記特定部位の位置を決
定する位置決定手段と、決定された前記位置の前記特定
部位に対応する前記複数のハンドのうちの１つを選択す
ると共に位置決めして前記特定部位をピックアップさせ
る指令手段とを備えたことを特徴とする。

【０００９】

【作用】照合モデル記憶手段には２次元画像において部
品の把持可能な単純形状から成る複数の特定部位を認識
するためのそれら特定部位に対応した複数のモデルであ
って、上記複数の特定部位がそれぞれ基準姿勢をとると
きの形状を特定するデータにより予め設定された複数の
照合モデルが記憶されている。又、ハンド情報記憶手段
には上記複数の特定部位に対応してそれら複数の特定部
位をそれぞれ把持し得る複数のハンドの情報が記憶され
ている。

【００１０】特定部位検出手段により、２次元画像は、
可変的に決定される優先順位に従って複数の照合モデル
と、順次、照合される。そして、１つの照合モデルが２
次元画像に存在すると判定された場合に、照合演算は終
了し、照合により認識された１つの部分は複数の特定部
位のうちの１つとして検出される。次に、位置決定手段
により検出された上記特定部位の位置が決定される。こ
の後、指令手段により上記位置決定手段にて決定された
位置に上記ハンド情報記憶手段に記憶された複数のハン
ドの情報のうちの１つからハンドを選択し位置決めして
上記特定部位をピックアップさせる指令がロボット側に
出力される。

【００１１】

【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０と物体認識装置２０とフィンガが先端に配設され
山積み部品の中から一つの部品（以下、ワークともい
う）Ｗを把持するためのハンド４０を有するピッキング
用ロボット３０と交換用ハンド４１，４２，４３とから
成る。尚、各ハンドはワークＷの特定部位に対応し適宜
ピッキング用ロボット３０に装着される。例えば、図の
ピッキング用ロボット３０に装着されたハンド４０はワ
ークＷの単純形状から成る特定部位として丸穴の内径な
ど、交換用ハンド４１はワークＷの外形など、交換用ハ
ンド４２はワークＷの穴に挿入して裏側からの引っ掛け
など、又、交換用ハンド４３はワークＷの平面部に吸着
などによりそれぞれワークＷを把持可能である。そし
て、作業台の上には山積み状態でワークＷが収容された
トレーＴが載置されている。

【００１２】図２において、トレーＴ内には山積み状態
でワークＷが収容されており、そのトレーＴの上部から
ワークＷを撮像する画像入力用カメラ１０が設けられて
いる。又、トレーＴの中央上部からワークＷを一様に照
明する照明装置Ｌが設けられている。物体認識装置２０
は、照合、判定等のデータ処理を行う中央処理装置２１
と、画像入力用カメラ１０により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エッジ画像を求めるなど
のデータ処理を行う画像処理装置２２と、照合モデルに
関するデータや検出物体に関するデータを記憶する記憶
装置２３と、照明制御回路２４とで構成されている。

【００１３】更に、画像処理装置２２は、画像入力用カ
メラ１０の出力する映像信号をサンプリングして、濃淡
レベルをディジタル化した濃淡画像データを生成する画
像入力装置２２１と、その濃淡画像データから微分演算
により明度勾配を求め、物体画像のエッジを表すエッジ
画像データを生成するエッジ検出装置２２２と、そのエ
ッジ画像データから輪郭線を追跡し、その輪郭線を構成
する構成線分を抽出し、その構成線分の位置に関するデ
ータを生成する線分抽出装置２２３とで構成されてい
る。

【００１４】又、記憶装置２３はＲＡＭ等で構成されて
おり、ワークＷの複数の特定部位が基準姿勢をとるとき
の形状を特定するデータにより予め設定される複数の照
合モデルを記憶し、照合モデル記憶手段を達成する照合
モデルメモリ領域２３１と、複数の特定部位をそれぞれ
把持し得る複数のハンドの情報を記憶し、ハンド情報記
憶手段を達成するハンド情報メモリ領域２３２と、トレ
ーＴ内の山積みの多数のワークＷに対応する線分画像が
照合された結果を記憶する認識結果メモリ領域２３３、
照合モデルの照合順位を記憶する照合順位メモリ領域２
３４などから成る。

【００１５】次に、画像入力用カメラ１０により山積み
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から複数の特定部位とし
て、次の５つの照合モデルを設けることができる。例え
ば、図４の状態３の傾斜状態で示されるピンがワークＷ
である。この形状のワークにおいて、図４に示すよう
に、No. １〜No. ５までの単純形状の照合モデルが準備
される。この照合モデルはワークの握持可能な部分で且
つ照合が簡単な形状をしたものである。

【００１６】No. １、No. ２、No. ５、No. ６の照合モ
デルは、“平行で長さの等しい線分”とするモデルであ
り、No. ３とNo. ４は丸孔で“円”とするモデルであ
る。

【００１７】次に、物体認識装置２０の処理手順を示し
た図３のフローチャートに基づいて本装置の作用を説明
する。照明制御回路２４により照明装置Ｌが点燈され、
画像入力用カメラ１０で得られた映像信号が画像入力装
置２２１に入力される。そして、画像入力装置２２１で
は、映像信号をサンプリングしてディジタル信号に変換
して濃淡画像が生成される。その濃淡画像データはエッ
ジ検出装置２２２に入力し、微分されてエッジ画像が生
成される。そのエッジ画像データは線分抽出装置２２３
に入力し、稜線を追跡することで物体の輪郭線が抽出さ
れる。更に、その輪郭線は折線や円などで近似され線分
画像が得られる。

【００１８】そして、ステップ１００において、中央処
理装置１は画像処理装置２２にて得られた線分画像を入
力する。次にステップ１０２に移行して、優先順位変数
ｉが１の初期値に設定される。次に、優先順位ｉの照合
モデル番号ｋを優先順位メモリ領域２３４に記憶されて
いる優先順位テーブルから決定する。この優先順位テー
ブルは、図５に示すように、優先順位ｉ、照合モデルN
o. ｋ、照合成功回数ｎとで構成されている。この優先
順位テーブルはワークを山積みした１つのパレットのピ
ッキングが終了する毎に、優先順位１〜５は、照合モデ
ルNo. １〜No. ５に順次割り当てられ、照合成功回数ｎ
は０に初期設定される。

【００１９】次に、ステップ１０４において、優先順位
テーブルがサーチされ、優先順位変数ｉに対応した照合
モデルNo. ｋが決定される。次に、ステップ１０６にお
いて、入力された線分画像から一続きの線分群が抽出さ
れ、照合モデルNo. ｋによる探索が実行される。次に、
ステップ１０８において、ステップ１０６の照合モデル
No. ｋと照合される部分を有する該当ワークが見つかっ
たか否かが判定される。

【００２０】ステップ１０８で該当ワークがあると判定
されると、ステップ１１０に移行し、照合モデルNo. ｋ
にて探索されたワークＷの特定部位の位置（方向を有す
る中心座標位置）及びその特定部位を把持できるハンド
（ハンド番号）などの情報をピッキング用ロボット３０
側へ送信する。そして、ステップ１１２へ移行して、優
先順位テーブルの照合モデルNo. ｋの欄の照合成功回数
ｎが１だけ加算更新される。そして、ステップ１１４へ
移行して、優先順位テーブルの照合モデルNo.ｋと照合
成功回数ｎとが、照合成功回数ｎの大きい順に優先順位
１〜５に再整列される。これにより、照合モデルNo. ｋ
は、照合成功回数の多い順に並べ代えられる。そして、
ステップ１００へ戻り、上記の処理が繰り返され、次の
ワークに対する照合モデルの探索が実行される。

【００２１】一方、ステップ１０８で該当ワークがない
と、ステップ１１６で優先順位変数ｉの値が最終値（本
実施例では５）か否かが判定され、最終値でなければ、
ステップ１１８に移行して、優先順位変数ｉが１だけ加
算更新されて、ステップ１０４に戻り、次の優先順位の
照合モデルの探索が実行される。又、ステップ１１６で
優先順位変数ｉが最終値と判定されると、画像の中には
照合モデルと照合される部分が全く存在しないことにな
る。よって、この場合には、ステップ１２０へ移行し
て、次回の画像入力時には山積みされたワークＷの状態
を変え、照合モデルにて探索される確率を増すために図
示しない加振装置にトレーＴの加振指令が出力される。

【００２２】次にステップ１２２に移行し、加振回数Ｃ
がカウントされる。この加振回数は、プログラムの最初
に０とされ、全ての照合モデルについて各１回の探索が
不成功に終わる毎にカウントアップされる。そして、ス
テップ１２４で、加振回数Ｃ≧３であるか否かが判定さ
れる。即ち、３回加振しても状態が変わらず全ての照合
モデルについて各３回の探索が不成功であれば、トレー
Ｔ内にワークＷがなくなっているか或いはトレーＴ内の
ワークＷが存在する状態が余程悪く、これ以上ワーク探
索を続けることは不適当であるとして、本プログラムを
終了する。

【００２３】一方、ステップ１２４で加振回数Ｃが３以
上でない場合には、ステップ１００に戻り、次のワーク
に対する照合モデルとの照合演算が繰り返し実行され
る。

【００２４】このようにして、ステップ１０４〜１１８
のループで優先順位の高い順で照合モデルの画像中での
探索が実行される。又、優先順位は過去の照合成功回数
の多い順に決定されることから、最も照合され安いもの
から順に照合モデルの探索が実行されるので、照合不成
功に終わる照合モデルの無駄な探索の実行が行わなくな
り、ワークＷの特定部位の決定が速く行われる。

【００２５】尚、照合モデルNo. １、No. ２、No. ５、
No. ６は、“平行（幅ｍ₁ ) で長さ（ｌ_1,ｌ₂ ) の異な
る線分”という情報で照合される。又、照合モデルNo.
３、No. ４は“円（半径ｒ₁ ) ”という情報で照合され
る。

【００２６】又、ステップ１１０において、ハンドで握
持するためのワークＷの特定部位の位置の演算が実行さ
れる。これは、照合モデルNo. １、No. ２、No. ５、N
o. ６と照合した場合には、その平行線の中心点の座標
が演算される。そして、その中心点の座標と幅ｍ₁ 、長
さ（ｌ_1,ｌ₂ ) と共に、その平行線で表される部位を握
持するのに適切なハンド（ハンド番号）などの情報をピ
ッキング用ロボット３０側へ送信する。又、照合モデル
No. ３、No. ４の場合には、その円の中心点の座標と半
径ｒ₁ と共にその円柱部を握持するのに適切なハンド
（ハンド番号）などの情報をピッキング用ロボット３０
側へ送信する。

【００２７】尚、上述のステップ１０６における各照合
モデルNo.1〜No.5はワークＷの特定部位が基準姿勢をと
るときの形状を特定するデータにより予め設定されるの
であるが、ワークＷが傾斜した場合にも把持可能となる
許容限界角度などにより照合の一致範囲が拡大されて探
索される。

【００２８】ここで、特定部位検出手段はステップ１０
０〜１１８、位置決定手段はステップ１１０、指令手段
はステップ１１０、照合優先順位決定手段はステップ１
１２、１１４にてそれぞれ達成される。

【００２９】上述のプログラムが実行されることによ
り、部品の複数の特定部位に対応した複数の照合モデル
の何れかにて認識された部品はピッキング用ロボット３
０のハンド４０或いは交換用ハンド４１，４２，４３の
何れかによりピッキングされることになる。このよう
に、部品の複数の特定部位に対応した複数のハンドによ
るピッキングではピッキング用ロボット３０による部品
のピッキング速度を大幅に向上できるという効果があ
る。

【００３０】前述の実施例においては、特定部位を探索
する照合モデルとピッキングするためのロボットのハン
ドが１対１に対応しているように説明されているが、認
識する特定部位が異なってもそれらを同一のハンドにて
ピッキングできる場合には、複数のハンドを必ずしも用
意する必要はない。この例としては、幅が異なった平行
な特定部位などがある。

【００３１】又、前述の実施例においては、部品の複数
の特定部位として円や平行な部分を選定した場合を述べ
たが、この他、長穴、直線、円弧、コーナ部などを特定
部位として選定することもできる。更に、外形形状では
ない刻印又は印刷マークなどを特定部位として選定する
こともできる。この場合には、特定部位の認識によりそ
の位置から確定される外形形状の部位を把持位置として
選定すれば良い。

【００３２】前述の実施例においては、一つの部品に把
持可能な幾つかの特定部位がある場合を想定したピッキ
ングについて述べたが、トレー内に異種の部品が混在収
容されているような場合にも本装置は適用可能である。
この場合には、各部品の特定部位をそれぞれ限定認識さ
せることにより、それぞれの特定部位に適したハンドに
より部品を確実に把持させることができる。又、本発明
は山積み部品を対象としているが、平面上に単独に１個
だけ置かれた部品や数個散在した状態で置かれた部品、
更に、仕切りの付いたトレー内に分離された状態で置か
れた部品に対しても同様に適用可能なことは明白であ
る。

【００３３】

【発明の効果】本発明は、以上説明したように構成さ
れ、部品の把持可能な単純形状から成る複数の特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定された複数の照合モデルと、複数の特定部位に対
応してそれら複数の特定部位をそれぞれ把持し得る複数
のロボットのハンドの情報とが記憶され、２次元画像の
中から複数の照合モデルとの照合により認識された１つ
の部分が上記複数の特定部位のうちの１つとして検出さ
れ、その検出された特定部位の位置が決定され、その位
置に複数のハンドのうちの１つを選択し位置決めして特
定部位をピックアップさせる指令がロボット側に送信さ
れる。そして、２次元画像において照合モデルを探索す
る場合に、可変的に決定される優先順位に従って複数の
照合モデルが、順次、照合され、１つの照合モデルが２
次元画像に存在すると判定された場合に、照合演算を終
了される。又、各照合モデル毎に、特定部位検出手段に
より認識された回数を記憶し、その回数の多い順に照合
の優先順位が決定される。

【００３４】従って、部品の複数の特定部位のうち一つ
でも照合され認識される限りその特定部位を把持するの
に適したロボットのハンドが選択され、認識され決定さ
れた特定部位の位置にそのハンドが位置決めされ部品が
ピックアップされる。又、照合の可能性の高い照合モデ
ルから順に照合モデルの探索が実行され、１つの照合モ
デルが検出された時点で探索演算は停止するので、特定
部位の認識が極めて速くなる。よって、山積み部品の高
速ピッキングが可能となる。

【図面の簡単な説明】

【図１】本発明の具体的な一実施例に係る山積み部品の
高速ピッキング装置を示した全体構成図である。

【図２】同実施例装置の主要部の構成を示したブロック
ダイヤグラムである。

【図３】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。

【図４】同実施例に係るワークが山積みでトレー内に収
容されている状態を示した説明図である。

【図５】優先順位テーブルを示した説明図。

【図６】本発明の概念を示したブロックダイヤグラムで
ある。

【符号の説明】

１０…画像入力用カメラ ２０…物体認識装置 ２１…中央処理装置 ２２…画像処理装置 ２３…記憶装置 ２４…照明制御回路 ３０…ピッキング用ロボット ４０…（ロボットの）ハンド ４１，４２，４３…交換用ハンド Ｔ…トレー Ｗ…ワーク（部品） １００…高速ピッキング装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−127722（ＪＰ，Ａ) 特開 平５−173644（ＪＰ，Ａ) 特開 平５−127724（ＪＰ，Ａ) 特開 平５−127723（ＪＰ，Ａ) 特開 平５−134731（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) B25J 3/00 - 3/10 B25J 9/10 - 9/22 B25J 13/00 - 13/08 B25J 19/02 - 19/06 G05B 19/18 - 19/46 G05D 3/00 - 3/12 B65G 43/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 ２次元画像から山積み部品の輪郭線を求
   め、その輪郭線から輪郭線を構成する複数の構成線分を
   抽出し、その構成線分から前記部品を認識してロボット
   のハンドにより把持させる高速ピッキング装置におい
   て、 前記２次元画像において前記部品の把持可能な単純形状
   から成る複数の特定部位を認識するための該複数の特定
   部位に対応した複数のモデルであって、前記複数の特定
   部位がそれぞれ基準姿勢をとるときの形状を特定するデ
   ータにより予め設定される複数の照合モデルを記憶する
   照合モデル記憶手段と、 前記複数の特定部位に対応して該複数の特定部位をそれ
   ぞれ把持し得る複数のハンドの情報を記憶したハンド情
   報記憶手段と、 前記２次元画像と、可変的に決定される優先順位に従っ
   て前記照合モデル記憶手段に記憶されている前記複数の
   照合モデルを、順次、照合させて、１つの照合モデルが
   前記２次元画像に存在すると判定された場合に、照合演
   算を終了して、照合により認識された１つの部分を前記
   複数の特定部位のうちの１つとして検出する特定部位検
   出手段と、 前記各照合モデル毎に、前記特定部位検出手段により認
   識された回数を記憶し、その回数の多い順に前記優先順
   位を決定する照合優先順位決定手段と、 検出された前記特定部位の位置を決定する位置決定手段
   と、 決定された前記位置の前記特定部位に対応する前記複数
   のハンドのうちの１つを選択すると共に位置決めして前
   記特定部位をピックアップさせる指令手段とを備えたこ
   とを特徴とする山積み部品の高速ピッキング装置。