JPH05134731A - 山積み部品の高速ピツキング装置 - Google Patents
山積み部品の高速ピツキング装置Info
- Publication number
- JPH05134731A JPH05134731A JP3320994A JP32099491A JPH05134731A JP H05134731 A JPH05134731 A JP H05134731A JP 3320994 A JP3320994 A JP 3320994A JP 32099491 A JP32099491 A JP 32099491A JP H05134731 A JPH05134731 A JP H05134731A
- Authority
- JP
- Japan
- Prior art keywords
- picking
- work
- specific
- collation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 山積み部品の中から、部品の単純形状から成
る特定部位を高速に認識しロボットのハンドによりピッ
キングすること。 【構成】 画像入力用カメラ１０によりトレーＴ内に山
積み状態で収容されたワークＷが撮像され、物体認識装
置２０はその映像信号を処理し輪郭線から線分画像を得
る。この線分画像とワークＷの形状のうちの視覚認識可
能な単純形状から成る特定部位に対応した照合モデルと
の照合では、照合時間が極めて少なくて済む。次に、特
定部位との定量的な相対位置関係が明らかなピッキング
部位の位置が算出され、ロボットのハンドによりピッキ
ング部位がピックアップされる。このワークＷの特定部
位の位置からピッキング部位の位置を算出する処理は短
時間にて完了する。このように、本発明装置ではワーク
Ｗが認識され易いためピッキング成功確率が高く、ピッ
キング所要時間も大幅に短縮される。
る特定部位を高速に認識しロボットのハンドによりピッ
キングすること。 【構成】 画像入力用カメラ１０によりトレーＴ内に山
積み状態で収容されたワークＷが撮像され、物体認識装
置２０はその映像信号を処理し輪郭線から線分画像を得
る。この線分画像とワークＷの形状のうちの視覚認識可
能な単純形状から成る特定部位に対応した照合モデルと
の照合では、照合時間が極めて少なくて済む。次に、特
定部位との定量的な相対位置関係が明らかなピッキング
部位の位置が算出され、ロボットのハンドによりピッキ
ング部位がピックアップされる。このワークＷの特定部
位の位置からピッキング部位の位置を算出する処理は短
時間にて完了する。このように、本発明装置ではワーク
Ｗが認識され易いためピッキング成功確率が高く、ピッ
キング所要時間も大幅に短縮される。
Description
【０００１】
【産業上の利用分野】本発明は、ロボットによりトレー
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。
【０００２】
【従来技術】従来、複数の部品の中から部品を一つずつ
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。
【０００３】
【発明が解決しようとする課題】ところで、一般的な工
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。
【０００４】本発明は、上記の課題を解決するために成
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識しピッキングす
ることである。
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識しピッキングす
ることである。
【０００５】
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、図８にその概念を示したように、２次
元画像から山積み部品の輪郭線を求め、その輪郭線から
輪郭線を構成する複数の構成線分を抽出し、その構成線
分から前記部品を認識してロボットのハンドにより把持
させる高速ピッキング装置において、前記２次元画像に
おいて前記部品の視覚認識可能な単純形状から成る特定
部位を認識するための該特定部位に対応したモデルであ
って、前記特定部位が基準姿勢をとるときの形状を特定
するデータにより予め設定される照合モデルを記憶する
照合モデル記憶手段と、前記特定部位の認識に基づき該
特定部位と前記部品の把持可能な部位との定量的な相対
位置関係を特定するデータにより予め設定されるピッキ
ング部位を記憶するピッキング部位記憶手段と、前記２
次元画像の中から前記照合モデルとの照合により認識さ
れた部分を前記特定部位として検出する特定部位検出手
段と、検出された前記特定部位と該特定部位に対応した
前記ピッキング部位との定量的な相対位置関係によりピ
ッキング位置を決定する位置決定手段と、前記ピッキン
グ位置に前記ハンドを位置決めして前記部品をピックア
ップさせる指令手段とを備えたことを特徴とする。
の発明の構成は、図８にその概念を示したように、２次
元画像から山積み部品の輪郭線を求め、その輪郭線から
輪郭線を構成する複数の構成線分を抽出し、その構成線
分から前記部品を認識してロボットのハンドにより把持
させる高速ピッキング装置において、前記２次元画像に
おいて前記部品の視覚認識可能な単純形状から成る特定
部位を認識するための該特定部位に対応したモデルであ
って、前記特定部位が基準姿勢をとるときの形状を特定
するデータにより予め設定される照合モデルを記憶する
照合モデル記憶手段と、前記特定部位の認識に基づき該
特定部位と前記部品の把持可能な部位との定量的な相対
位置関係を特定するデータにより予め設定されるピッキ
ング部位を記憶するピッキング部位記憶手段と、前記２
次元画像の中から前記照合モデルとの照合により認識さ
れた部分を前記特定部位として検出する特定部位検出手
段と、検出された前記特定部位と該特定部位に対応した
前記ピッキング部位との定量的な相対位置関係によりピ
ッキング位置を決定する位置決定手段と、前記ピッキン
グ位置に前記ハンドを位置決めして前記部品をピックア
ップさせる指令手段とを備えたことを特徴とする。
【０００６】
【作用】特定部位検出手段により２次元画像の中から上
記照合モデルとの照合により認識された部分が上記特定
部位として検出される。この特定部位を検出するための
照合モデルは部品の視覚認識可能な単純形状から成る特
定部位が基準姿勢をとるときの形状を特定するデータに
より予め設定され照合モデル記憶手段に記憶されてい
る。即ち、先ず、山積み状態の部品は照合モデルにより
その特定部位のみについて照合されその形状が認識され
るのである。そして、位置決定手段により検出された上
記特定部位とその特定部位に対応したピッキング部位と
の定量的な相対位置関係によりピッキング位置が決定さ
れる。このピッキング位置を決定するためのピッキング
部位は上記特定部位と上記部品の把持可能な部位との定
量的な相対位置関係を特定するデータにより予め設定さ
れピッキング部位記憶手段に記憶されている。従って、
ピッキング位置が決定されると、部品がピッキングされ
た後の姿勢は一義的に決定されることになる。そして、
指令手段により上記位置決定手段にて決定されたピッキ
ング位置にロボットのハンドを位置決めして上記部品を
ピックアップさせる指令がロボット側に出力される。
記照合モデルとの照合により認識された部分が上記特定
部位として検出される。この特定部位を検出するための
照合モデルは部品の視覚認識可能な単純形状から成る特
定部位が基準姿勢をとるときの形状を特定するデータに
より予め設定され照合モデル記憶手段に記憶されてい
る。即ち、先ず、山積み状態の部品は照合モデルにより
その特定部位のみについて照合されその形状が認識され
るのである。そして、位置決定手段により検出された上
記特定部位とその特定部位に対応したピッキング部位と
の定量的な相対位置関係によりピッキング位置が決定さ
れる。このピッキング位置を決定するためのピッキング
部位は上記特定部位と上記部品の把持可能な部位との定
量的な相対位置関係を特定するデータにより予め設定さ
れピッキング部位記憶手段に記憶されている。従って、
ピッキング位置が決定されると、部品がピッキングされ
た後の姿勢は一義的に決定されることになる。そして、
指令手段により上記位置決定手段にて決定されたピッキ
ング位置にロボットのハンドを位置決めして上記部品を
ピックアップさせる指令がロボット側に出力される。
【０００７】
【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０と物体認識装置２０とフィンガが先端に配設され
山積み部品の中から一つの部品（以下、ワークともい
う）Ｗを把持するためのハンド４０を有するピッキング
用ロボット３０とから成る。そして、作業台の上には山
積み状態でワークＷが収容されたトレーＴが載置されて
いる。
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０と物体認識装置２０とフィンガが先端に配設され
山積み部品の中から一つの部品（以下、ワークともい
う）Ｗを把持するためのハンド４０を有するピッキング
用ロボット３０とから成る。そして、作業台の上には山
積み状態でワークＷが収容されたトレーＴが載置されて
いる。
【０００８】図２において、トレーＴ内には山積み状態
でワークＷが収容されており、そのトレーＴの上部から
ワークＷを撮像する画像入力用カメラ１０が設けられて
いる。又、トレーＴの中央上部からワークＷを一様に照
明する照明装置Ｌが設けられている。物体認識装置２０
は、照合、判定等のデータ処理を行う中央処理装置２１
と、画像入力用カメラ１０により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エッジ画像を求めるなど
のデータ処理を行う画像処理装置２２と、照合モデルに
関するデータや検出物体に関するデータを記憶する記憶
装置２３と、照明制御回路２４とで構成されている。更
に、画像処理装置２２は、画像入力用カメラ１０の出力
する映像信号をサンプリングして、濃淡レベルをディジ
タル化した濃淡画像データを生成する画像入力装置２２
１と、その濃淡画像データから微分演算により明度勾配
を求め、物体画像のエッジを表すエッジ画像データを生
成するエッジ検出装置２２２と、そのエッジ画像データ
から輪郭線を追跡し、その輪郭線を構成する構成線分を
抽出し、その構成線分の位置に関するデータを生成する
線分抽出装置２２３とで構成されている。又、記憶装置
２３はＲＡＭ等で構成されており、ワークＷの特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定される照合モデルを記憶し、照合モデル記憶手段
を達成する照合モデルメモリ領域２３１と、特定部位に
対応した定量的な相対位置関係の明らかなピッキング部
位を記憶し、ピッキング部位記憶手段を達成するピッキ
ング部位メモリ領域２３２と、トレーＴ内の山積みの多
数のワークＷに対応する線分画像が照合された結果を記
憶する認識結果メモリ領域２３３などから成る。
でワークＷが収容されており、そのトレーＴの上部から
ワークＷを撮像する画像入力用カメラ１０が設けられて
いる。又、トレーＴの中央上部からワークＷを一様に照
明する照明装置Ｌが設けられている。物体認識装置２０
は、照合、判定等のデータ処理を行う中央処理装置２１
と、画像入力用カメラ１０により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エッジ画像を求めるなど
のデータ処理を行う画像処理装置２２と、照合モデルに
関するデータや検出物体に関するデータを記憶する記憶
装置２３と、照明制御回路２４とで構成されている。更
に、画像処理装置２２は、画像入力用カメラ１０の出力
する映像信号をサンプリングして、濃淡レベルをディジ
タル化した濃淡画像データを生成する画像入力装置２２
１と、その濃淡画像データから微分演算により明度勾配
を求め、物体画像のエッジを表すエッジ画像データを生
成するエッジ検出装置２２２と、そのエッジ画像データ
から輪郭線を追跡し、その輪郭線を構成する構成線分を
抽出し、その構成線分の位置に関するデータを生成する
線分抽出装置２２３とで構成されている。又、記憶装置
２３はＲＡＭ等で構成されており、ワークＷの特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定される照合モデルを記憶し、照合モデル記憶手段
を達成する照合モデルメモリ領域２３１と、特定部位に
対応した定量的な相対位置関係の明らかなピッキング部
位を記憶し、ピッキング部位記憶手段を達成するピッキ
ング部位メモリ領域２３２と、トレーＴ内の山積みの多
数のワークＷに対応する線分画像が照合された結果を記
憶する認識結果メモリ領域２３３などから成る。
【０００９】次に、画像入力用カメラ１０により山積み
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から視覚認識可能な単純形
状から成る特定部位として、例えば、ワークＷに予め印
刷されたマーク等のマーク部を照合モデル“マーク”に
より照合選定させる場合について、物体認識装置２０の
処理手順を示した図３及び図４のフローチャートに基づ
いて本装置の作用を説明する。ここで、図５に具体的な
ワークＷとその片面に印刷されたマークを示したよう
に、“真円に片方突き抜けた縦線が入ったマーク”をマ
ーク部Ｍ、即ち、特定部位とした板状のワークＷを想定
する。尚、上記照合モデル“マーク”はその対応するマ
ーク部Ｍとの照合によりワークＷの上下又は左右が特定
できるようなものとする。即ち、照合モデル“マーク”
に対応するマーク部Ｍとしては、真円のみのようにワー
クＷとの方向が特定できないような図形などは不適当な
ものとなる。照明制御回路２４により照明装置Ｌが点燈
され、画像入力用カメラ１０で得られた映像信号が画像
入力装置２２１に入力される。そして、画像入力装置２
２１では、映像信号をサンプリングしてディジタル信号
に変換して濃淡画像が生成される。その濃淡画像データ
はエッジ検出装置２２２に入力し、微分されてエッジ画
像が生成される。そのエッジ画像データは線分抽出装置
２２３に入力し、稜線を追跡することで物体の輪郭線が
抽出される。更に、その輪郭線は折線や円などで近似さ
れ線分画像が得られる。そして、ステップ１００におい
て、中央処理装置２１は画像処理装置２２にて得られた
線分画像を入力する。次にステップ１０２に移行して、
ワークＷのマーク部Ｍに対応する照合モデル“マーク”
による探索の処理が実行される。
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から視覚認識可能な単純形
状から成る特定部位として、例えば、ワークＷに予め印
刷されたマーク等のマーク部を照合モデル“マーク”に
より照合選定させる場合について、物体認識装置２０の
処理手順を示した図３及び図４のフローチャートに基づ
いて本装置の作用を説明する。ここで、図５に具体的な
ワークＷとその片面に印刷されたマークを示したよう
に、“真円に片方突き抜けた縦線が入ったマーク”をマ
ーク部Ｍ、即ち、特定部位とした板状のワークＷを想定
する。尚、上記照合モデル“マーク”はその対応するマ
ーク部Ｍとの照合によりワークＷの上下又は左右が特定
できるようなものとする。即ち、照合モデル“マーク”
に対応するマーク部Ｍとしては、真円のみのようにワー
クＷとの方向が特定できないような図形などは不適当な
ものとなる。照明制御回路２４により照明装置Ｌが点燈
され、画像入力用カメラ１０で得られた映像信号が画像
入力装置２２１に入力される。そして、画像入力装置２
２１では、映像信号をサンプリングしてディジタル信号
に変換して濃淡画像が生成される。その濃淡画像データ
はエッジ検出装置２２２に入力し、微分されてエッジ画
像が生成される。そのエッジ画像データは線分抽出装置
２２３に入力し、稜線を追跡することで物体の輪郭線が
抽出される。更に、その輪郭線は折線や円などで近似さ
れ線分画像が得られる。そして、ステップ１００におい
て、中央処理装置２１は画像処理装置２２にて得られた
線分画像を入力する。次にステップ１０２に移行して、
ワークＷのマーク部Ｍに対応する照合モデル“マーク”
による探索の処理が実行される。
【００１０】上述のステップ１０２の処理は、図４にサ
ブプログラムを示したように、先ず、ステップ２００
で、入力された線分画像から一続きの線分群を中央処理
装置２１内の記憶領域Ａに格納する。次にステップ２０
２に移行して、記憶領域Ａが空か、即ち、照合の対象で
ある一続きの線分群がステップ２００で格納された記憶
領域Ａ内に残存するか否かが判定される。最初の実行サ
イクルでは、一続きの線分群の抽出が成功した限りにお
いて、当然、記憶領域Ａは空ではないので、ステップ２
０４に移行する。ステップ２０４では、記憶領域Ａ内の
一続きの線分群におけるｎ組の２線分を選択し、それら
の垂直２等分線の交点Ｇi(i=1,2,…,n) を算出する。図
６は、真円又は楕円における中心の算出方法を示してい
る。図６(a) に示したように、一続きの線分群が真円に
近ければ、ｎ組の２線分（ｌ1とｌ2,ｌ3とｌ4,ｌ5とｌ
6,…)の垂直２等分線の交点の座標は略一致しＧ0 とな
る。ところが、図６(b) に示したように、一続きの線分
群が楕円であれば、ｎ組の２線分（ｌ1とｌ2,ｌ3とｌ4,
ｌ5とｌ6,…)の垂直２等分線の交点の座標は一致せずＧ
1,Ｇ2,Ｇ3,…,Ｇnとなる。次にステップ２０６に移行し
て、ステップ２０４で求められた交点Ｇi(i=1,2,…,n)
における任意の２点間の距離の最大値が全て照合モデル
の所定の許容範囲ρ1 内にあるか否かが判定される。即
ち、一続きの線分群は本来、円であるか否かが判定され
る。つまり、上記許容範囲ρ1 は、図６(b)では、ハッ
チングが施された破線円内にて示された部分であり、ワ
ークＷの特定部位である円穴部分が傾いて楕円となった
場合の照合モデルに対応して照合可能な照合限界値を示
している。ステップ２０６で、交点Ｇi(i=1,2,…,n) が
全て所定の許容範囲ρ1 内にあればステップ２０８に移
行し、交点Ｇi(i=1,2,…,n) の平均（Ｇ1,Ｇ2,…,Ｇn）
／ｎを演算して中心座標Ｇm とする。次にステップ２１
０に移行して、ステップ２０８で求められた中心座標Ｇ
m とステップ２０４にて選択された各線分との距離の平
均を演算し半径ｒm とする。次にステップ２１２に移行
して、記憶装置２３の照合モデルメモリ領域２３１に記
憶された照合モデル“マーク”の円の半径ｒ0 に対する
偏差｜ｒm−ｒ0｜が所定の許容範囲ρ2 内にあるか否か
が判定される。ここで、図７にピッキング可否を決める
ワーク姿勢が示されている。つまり、図７(b) のワーク
傾き角度がθ2 であるワークＷではピッキング用ロボッ
ト３０のハンド４０ではピッキングできなくて、図７
(a) のワーク傾き角度がθ1 内であるワークＷはピッキ
ング可能であることを示している。このワーク傾き角度
θ1 をワークＷの特定部位に対する許容限界角度とす
る。ワークＷのピッキング部位である平行端面部分の把
持可能な傾きの許容限界角度θ1 に基づいた照合モデル
に対応した照合限界値が許容範囲ρ2 である。上記許容
限界角度θ1 は、ピッキング成功確率が 100％であるワ
ーク傾き角度θに安全係数を見込んでやや小さい角度と
したものである。このワーク傾き角度θに対するワーク
Ｗのピッキング部位のピッキング成功確率は実験的に求
められる。尚、上述のステップ２０６又はステップ２１
２で判定がNOであるとステップ２１４に移行し、当該線
分データを記憶領域Ａから消去した後、ステップ２０２
に戻り、以下同様の処理が実行される。そして、ステッ
プ２０２で、一続きの線分群がなくなり記憶領域Ａが空
となると、図３のプログラムにおけるステップ１０４に
移行する。
ブプログラムを示したように、先ず、ステップ２００
で、入力された線分画像から一続きの線分群を中央処理
装置２１内の記憶領域Ａに格納する。次にステップ２０
２に移行して、記憶領域Ａが空か、即ち、照合の対象で
ある一続きの線分群がステップ２００で格納された記憶
領域Ａ内に残存するか否かが判定される。最初の実行サ
イクルでは、一続きの線分群の抽出が成功した限りにお
いて、当然、記憶領域Ａは空ではないので、ステップ２
０４に移行する。ステップ２０４では、記憶領域Ａ内の
一続きの線分群におけるｎ組の２線分を選択し、それら
の垂直２等分線の交点Ｇi(i=1,2,…,n) を算出する。図
６は、真円又は楕円における中心の算出方法を示してい
る。図６(a) に示したように、一続きの線分群が真円に
近ければ、ｎ組の２線分（ｌ1とｌ2,ｌ3とｌ4,ｌ5とｌ
6,…)の垂直２等分線の交点の座標は略一致しＧ0 とな
る。ところが、図６(b) に示したように、一続きの線分
群が楕円であれば、ｎ組の２線分（ｌ1とｌ2,ｌ3とｌ4,
ｌ5とｌ6,…)の垂直２等分線の交点の座標は一致せずＧ
1,Ｇ2,Ｇ3,…,Ｇnとなる。次にステップ２０６に移行し
て、ステップ２０４で求められた交点Ｇi(i=1,2,…,n)
における任意の２点間の距離の最大値が全て照合モデル
の所定の許容範囲ρ1 内にあるか否かが判定される。即
ち、一続きの線分群は本来、円であるか否かが判定され
る。つまり、上記許容範囲ρ1 は、図６(b)では、ハッ
チングが施された破線円内にて示された部分であり、ワ
ークＷの特定部位である円穴部分が傾いて楕円となった
場合の照合モデルに対応して照合可能な照合限界値を示
している。ステップ２０６で、交点Ｇi(i=1,2,…,n) が
全て所定の許容範囲ρ1 内にあればステップ２０８に移
行し、交点Ｇi(i=1,2,…,n) の平均（Ｇ1,Ｇ2,…,Ｇn）
／ｎを演算して中心座標Ｇm とする。次にステップ２１
０に移行して、ステップ２０８で求められた中心座標Ｇ
m とステップ２０４にて選択された各線分との距離の平
均を演算し半径ｒm とする。次にステップ２１２に移行
して、記憶装置２３の照合モデルメモリ領域２３１に記
憶された照合モデル“マーク”の円の半径ｒ0 に対する
偏差｜ｒm−ｒ0｜が所定の許容範囲ρ2 内にあるか否か
が判定される。ここで、図７にピッキング可否を決める
ワーク姿勢が示されている。つまり、図７(b) のワーク
傾き角度がθ2 であるワークＷではピッキング用ロボッ
ト３０のハンド４０ではピッキングできなくて、図７
(a) のワーク傾き角度がθ1 内であるワークＷはピッキ
ング可能であることを示している。このワーク傾き角度
θ1 をワークＷの特定部位に対する許容限界角度とす
る。ワークＷのピッキング部位である平行端面部分の把
持可能な傾きの許容限界角度θ1 に基づいた照合モデル
に対応した照合限界値が許容範囲ρ2 である。上記許容
限界角度θ1 は、ピッキング成功確率が 100％であるワ
ーク傾き角度θに安全係数を見込んでやや小さい角度と
したものである。このワーク傾き角度θに対するワーク
Ｗのピッキング部位のピッキング成功確率は実験的に求
められる。尚、上述のステップ２０６又はステップ２１
２で判定がNOであるとステップ２１４に移行し、当該線
分データを記憶領域Ａから消去した後、ステップ２０２
に戻り、以下同様の処理が実行される。そして、ステッ
プ２０２で、一続きの線分群がなくなり記憶領域Ａが空
となると、図３のプログラムにおけるステップ１０４に
移行する。
【００１１】ステップ１０４では、ワークＷの特定部位
であるマーク部Ｍがあるか否かが判定される。上述のス
テップ２１２で、｜ｒm−ｒ0｜＜ρ2 のマーク部Ｍが存
在していると、ステップ１０６に移行する。尚、上記不
等号の成立するマーク部Ｍが多数認識された場合には｜
ｒm−ｒ0｜の値の最も小さいもののが選定される。ステ
ップ１０６では、認識されたマーク部Ｍの円又は楕円の
中心座標Ｇm に基づきピッキング部位の相対位置座標を
算出する。このピッキング部位としてはワークＷが水平
姿勢のときのマーク部Ｍの中心座標Ｇm から距離Ｌ1,Ｌ
2 だけ離れた平行端面の位置Ｐ1,Ｐ2 である。ここで、
ピッキング用ロボット３０側に送信するピッキング部位
の位置情報としては、マーク部Ｍの認識に基づく円又は
楕円の中の縦線方向であるピッキング部位に対応したハ
ンド４０のピッキング方向とそのピッキング中心座標で
あり、画面上の中心座標を実空間上の中心座標に変換し
てピッキング用ロボット３０側に送信される。前述した
ように、“真円に片方突き抜けた縦線が入ったマーク”
から成るマーク部Ｍの中心座標Ｇm からピッキング用ロ
ボット３０のハンド４０にてピッキングさせるピッキン
グ部位の一方の相対位置Ｐ1 までの距離はＬ1 、他方の
相対位置Ｐ2 までの距離はＬ2 であり、この定量的な相
対位置関係は記憶装置２３のピッキング部位メモリ領域
２３２に記憶されている。従って、ピッキング中心位置
はマーク部Ｍの中心座標Ｇm からマーク部Ｍの円又は楕
円の中の縦線が突き抜けている方に｛(Ｌ1−Ｌ2)／２｝
× COSθだけ離れた位置となる。上記ワーク傾き角度θ
はマーク部Ｍの円又は楕円の短軸の長さより求められ
る。即ち、マーク部Ｍの短軸と長軸の長さとが同じ
（円）であれば、θ＝０°であり、楕円であり短軸の長
さと長軸の長さとが異なっていれば、次式にて求まる。 θ＝COS-1｛（短軸の長さ）／（長軸の長さ）｝ そして、ステップ１０８に移行し、ワークＷのピッキン
グ部位の位置情報をピッキング用ロボット３０側へ送信
する。上述のステップ１０４で、マーク部Ｍがないとス
テップ１１４に移行し、次回の画像入力時には山積みさ
れたワークＷの状態を変え、照合モデルにて探索される
確率を増すために図示しない加振装置にトレーＴの加振
指令が出力される。次にステップ１１２に移行し、加振
回数Ｃがカウントされる。この加振回数は、プログラム
の最初に０とされ、照合モデルについて１回の探索が不
成功に終わる毎にカウントアップされる。そして、ステ
ップ１１４で、加振回数Ｃ≧３であるか否かが判定され
る。即ち、３回加振しても状態が変わらず照合モデルに
ついて３回の探索が不成功であれば、トレーＴ内にワー
クＷがなくなっているか或いはトレーＴ内のワークＷが
存在する状態が余程悪く、これ以上ワーク探索を続ける
ことは不適当であるとして、本プログラムを終了する。
ここで、特定部位検出手段はステップ１０２，１０４に
て、位置決定手段はステップ１０６にて指令手段はステ
ップ１０８にてそれぞれ達成される。
であるマーク部Ｍがあるか否かが判定される。上述のス
テップ２１２で、｜ｒm−ｒ0｜＜ρ2 のマーク部Ｍが存
在していると、ステップ１０６に移行する。尚、上記不
等号の成立するマーク部Ｍが多数認識された場合には｜
ｒm−ｒ0｜の値の最も小さいもののが選定される。ステ
ップ１０６では、認識されたマーク部Ｍの円又は楕円の
中心座標Ｇm に基づきピッキング部位の相対位置座標を
算出する。このピッキング部位としてはワークＷが水平
姿勢のときのマーク部Ｍの中心座標Ｇm から距離Ｌ1,Ｌ
2 だけ離れた平行端面の位置Ｐ1,Ｐ2 である。ここで、
ピッキング用ロボット３０側に送信するピッキング部位
の位置情報としては、マーク部Ｍの認識に基づく円又は
楕円の中の縦線方向であるピッキング部位に対応したハ
ンド４０のピッキング方向とそのピッキング中心座標で
あり、画面上の中心座標を実空間上の中心座標に変換し
てピッキング用ロボット３０側に送信される。前述した
ように、“真円に片方突き抜けた縦線が入ったマーク”
から成るマーク部Ｍの中心座標Ｇm からピッキング用ロ
ボット３０のハンド４０にてピッキングさせるピッキン
グ部位の一方の相対位置Ｐ1 までの距離はＬ1 、他方の
相対位置Ｐ2 までの距離はＬ2 であり、この定量的な相
対位置関係は記憶装置２３のピッキング部位メモリ領域
２３２に記憶されている。従って、ピッキング中心位置
はマーク部Ｍの中心座標Ｇm からマーク部Ｍの円又は楕
円の中の縦線が突き抜けている方に｛(Ｌ1−Ｌ2)／２｝
× COSθだけ離れた位置となる。上記ワーク傾き角度θ
はマーク部Ｍの円又は楕円の短軸の長さより求められ
る。即ち、マーク部Ｍの短軸と長軸の長さとが同じ
（円）であれば、θ＝０°であり、楕円であり短軸の長
さと長軸の長さとが異なっていれば、次式にて求まる。 θ＝COS-1｛（短軸の長さ）／（長軸の長さ）｝ そして、ステップ１０８に移行し、ワークＷのピッキン
グ部位の位置情報をピッキング用ロボット３０側へ送信
する。上述のステップ１０４で、マーク部Ｍがないとス
テップ１１４に移行し、次回の画像入力時には山積みさ
れたワークＷの状態を変え、照合モデルにて探索される
確率を増すために図示しない加振装置にトレーＴの加振
指令が出力される。次にステップ１１２に移行し、加振
回数Ｃがカウントされる。この加振回数は、プログラム
の最初に０とされ、照合モデルについて１回の探索が不
成功に終わる毎にカウントアップされる。そして、ステ
ップ１１４で、加振回数Ｃ≧３であるか否かが判定され
る。即ち、３回加振しても状態が変わらず照合モデルに
ついて３回の探索が不成功であれば、トレーＴ内にワー
クＷがなくなっているか或いはトレーＴ内のワークＷが
存在する状態が余程悪く、これ以上ワーク探索を続ける
ことは不適当であるとして、本プログラムを終了する。
ここで、特定部位検出手段はステップ１０２，１０４に
て、位置決定手段はステップ１０６にて指令手段はステ
ップ１０８にてそれぞれ達成される。
【００１２】上述のプログラムが実行されることによ
り、ワークＷのマーク部Ｍに対応したピッキング部位が
ピッキング用ロボット３０の平行移動できるハンド４０
によりピッキングされることになる。このように、本発
明の高速ピッキング装置では、ワークＷは視覚認識可能
な特定部位に対して照合が行われるため、照合の所要時
間が極めて少なくて済むことになる。又、その特定部位
との定量的な相対位置関係が明らかで把持し易いピッキ
ング部位をピッキングするため、ピッキング成功確率が
高いという効果もある。更に、特定部位とピッキング部
位とは別であるので、その特定部位をピッキング用ロボ
ット３０のハンド４０ではピッキングできないような極
めて小さな部分とした場合でも、本装置を適用してワー
クＷをピッキングすることも可能となる。又、本発明は
山積み部品を対象としているが、平面上に単独に１個だ
け置かれた部品や数個散在した状態で置かれた部品、更
に、仕切りの付いたトレー内に分離された状態で置かれ
た部品に対しても同様に適用可能なことは明白である。
り、ワークＷのマーク部Ｍに対応したピッキング部位が
ピッキング用ロボット３０の平行移動できるハンド４０
によりピッキングされることになる。このように、本発
明の高速ピッキング装置では、ワークＷは視覚認識可能
な特定部位に対して照合が行われるため、照合の所要時
間が極めて少なくて済むことになる。又、その特定部位
との定量的な相対位置関係が明らかで把持し易いピッキ
ング部位をピッキングするため、ピッキング成功確率が
高いという効果もある。更に、特定部位とピッキング部
位とは別であるので、その特定部位をピッキング用ロボ
ット３０のハンド４０ではピッキングできないような極
めて小さな部分とした場合でも、本装置を適用してワー
クＷをピッキングすることも可能となる。又、本発明は
山積み部品を対象としているが、平面上に単独に１個だ
け置かれた部品や数個散在した状態で置かれた部品、更
に、仕切りの付いたトレー内に分離された状態で置かれ
た部品に対しても同様に適用可能なことは明白である。
【００１３】
【発明の効果】本発明は、以上説明したように構成さ
れ、２次元画像の中から照合モデルとの照合により認識
された部分が特定部位として検出され、その検出された
特定部位との定量的な相対位置関係が特定されるピッキ
ング部位のピッキング位置が決定され、そのピッキング
位置にロボットのハンドを位置決めしてピッキング部位
をピックアップさせる指令がロボット側に送信される。
このように、部品の単純形状から成る特定部位に対応し
た照合モデルによる照合では、その照合に要する時間が
極めて少なくて済み、その特定部位が認識される確率が
非常に高くなる。そして、ロボットのハンドによりその
特定部位との定量的な相対位置関係が明らかなピッキン
グ部位に対するピッキングが実行されるため部品がピッ
キングされるピッキング成功確率が大幅に向上する。更
に、本発明の山積み部品の高速ピッキング装置におい
て、１つの部品をピッキングするための処理時間は、部
品の特定部位の認識時間とその後のピッキング部位の相
対位置の算出時間とから成るが各々少なくて済むため従
来の処理時間に比べて大幅に短縮できる。又、特定部位
とピッキング部位とが別であるので、その特定部位はピ
ッキング不可能な大きさの穴やその他の形状であっても
良く、その特定部位がピッキング工程の後に他の部品に
挿入等されるような部位であっても良いという効果があ
る。
れ、２次元画像の中から照合モデルとの照合により認識
された部分が特定部位として検出され、その検出された
特定部位との定量的な相対位置関係が特定されるピッキ
ング部位のピッキング位置が決定され、そのピッキング
位置にロボットのハンドを位置決めしてピッキング部位
をピックアップさせる指令がロボット側に送信される。
このように、部品の単純形状から成る特定部位に対応し
た照合モデルによる照合では、その照合に要する時間が
極めて少なくて済み、その特定部位が認識される確率が
非常に高くなる。そして、ロボットのハンドによりその
特定部位との定量的な相対位置関係が明らかなピッキン
グ部位に対するピッキングが実行されるため部品がピッ
キングされるピッキング成功確率が大幅に向上する。更
に、本発明の山積み部品の高速ピッキング装置におい
て、１つの部品をピッキングするための処理時間は、部
品の特定部位の認識時間とその後のピッキング部位の相
対位置の算出時間とから成るが各々少なくて済むため従
来の処理時間に比べて大幅に短縮できる。又、特定部位
とピッキング部位とが別であるので、その特定部位はピ
ッキング不可能な大きさの穴やその他の形状であっても
良く、その特定部位がピッキング工程の後に他の部品に
挿入等されるような部位であっても良いという効果があ
る。
【図１】本発明の具体的な一実施例に係る山積み部品の
高速ピッキング装置を示した全体構成図である。
高速ピッキング装置を示した全体構成図である。
【図２】同実施例装置の主要部の構成を示したブロック
ダイヤグラムである。
ダイヤグラムである。
【図３】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。
処理手順を示したフローチャートである。
【図４】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。
処理手順を示したフローチャートである。
【図５】同実施例に係るマークが印刷された具体的なワ
ークを示した平面図である。
ークを示した平面図である。
【図６】同実施例に係る真円又は楕円における中心の算
出方法を示した説明図である。
出方法を示した説明図である。
【図７】同実施例に係るピッキング可否を決めるワーク
姿勢を示した説明図である。
姿勢を示した説明図である。
【図８】本発明の概念を示したブロックダイヤグラムで
ある。
ある。
１０−画像入力用カメラ ２０−物体認識装置 ２
１−中央処理装置 ２２−画像処理装置 ２３−記憶装置 ２４−照明
制御回路 ３０−ピッキング用ロボット ４０−（ロボットの）
ハンド Ｔ−トレー Ｗ−ワーク（部品） Ｍ−マーク部
（特定部位） １００−高速ピッキング装置 ステップ１０２，１０４−特定部位検出手段 ステップ１０６−位置決定手段 ステップ１０８−指令手段
１−中央処理装置 ２２−画像処理装置 ２３−記憶装置 ２４−照明
制御回路 ３０−ピッキング用ロボット ４０−（ロボットの）
ハンド Ｔ−トレー Ｗ−ワーク（部品） Ｍ−マーク部
（特定部位） １００−高速ピッキング装置 ステップ１０２，１０４−特定部位検出手段 ステップ１０６−位置決定手段 ステップ１０８−指令手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原田 浩史 愛知県刈谷市昭和町１丁目１番地 日本電 装株式会社内
Claims (1)
- 【請求項１】 ２次元画像から山積み部品の輪郭線を求
め、その輪郭線から輪郭線を構成する複数の構成線分を
抽出し、その構成線分から前記部品を認識してロボット
のハンドにより把持させる高速ピッキング装置におい
て、 前記２次元画像において前記部品の視覚認識可能な単純
形状から成る特定部位を認識するための該特定部位に対
応したモデルであって、前記特定部位が基準姿勢をとる
ときの形状を特定するデータにより予め設定される照合
モデルを記憶する照合モデル記憶手段と、 前記特定部位の認識に基づき該特定部位と前記部品の把
持可能な部位との定量的な相対位置関係を特定するデー
タにより予め設定されるピッキング部位を記憶するピッ
キング部位記憶手段と、 前記２次元画像の中から前記照合モデルとの照合により
認識された部分を前記特定部位として検出する特定部位
検出手段と、 検出された前記特定部位と該特定部位に対応した前記ピ
ッキング部位との定量的な相対位置関係によりピッキン
グ位置を決定する位置決定手段と、 前記ピッキング位置に前記ハンドを位置決めして前記部
品をピックアップさせる指令手段とを備えたことを特徴
とする山積み部品の高速ピッキング装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3320994A JP2679490B2 (ja) | 1991-11-08 | 1991-11-08 | 山積み部品の高速ピッキング装置 |
| GB9222280A GB2261069B (en) | 1991-10-30 | 1992-10-23 | High speed picking system for stacked parts |
| US07/968,065 US5446835A (en) | 1991-10-30 | 1992-10-29 | High-speed picking system for stacked parts |
| DE4236813A DE4236813C2 (de) | 1991-10-30 | 1992-10-30 | Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegenstände oder Teile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3320994A JP2679490B2 (ja) | 1991-11-08 | 1991-11-08 | 山積み部品の高速ピッキング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05134731A true JPH05134731A (ja) | 1993-06-01 |
| JP2679490B2 JP2679490B2 (ja) | 1997-11-19 |
Family
ID=18127599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3320994A Expired - Fee Related JP2679490B2 (ja) | 1991-10-30 | 1991-11-08 | 山積み部品の高速ピッキング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2679490B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08112727A (ja) * | 1994-10-14 | 1996-05-07 | Daikin Ind Ltd | リング状ワーク供給方法およびその装置 |
| JPH08329245A (ja) * | 1995-06-06 | 1996-12-13 | Canon Inc | 図形処理方法とその装置 |
| JPH11300670A (ja) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | 物品ピックアップ装置 |
| WO2000057129A1 (fr) * | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede |
| JP2008275391A (ja) * | 2007-04-26 | 2008-11-13 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
| JP2011110629A (ja) * | 2009-11-24 | 2011-06-09 | Idec Corp | ロボット制御方法およびロボット制御システム |
| JP2015037098A (ja) * | 2013-08-12 | 2015-02-23 | 株式会社ダイヘン | 搬送システム |
| JP2016001768A (ja) * | 2014-06-11 | 2016-01-07 | キヤノン株式会社 | 画像処理方法、および画像処理装置 |
| JP2022035342A (ja) * | 2020-08-20 | 2022-03-04 | 地方独立行政法人鳥取県産業技術センター | ピッキング装置およびピッキング方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11633861B2 (en) | 2019-03-01 | 2023-04-25 | Commscope Technologies Llc | Systems, methods and associated components for robotic manipulation of physical objects |
-
1991
- 1991-11-08 JP JP3320994A patent/JP2679490B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08112727A (ja) * | 1994-10-14 | 1996-05-07 | Daikin Ind Ltd | リング状ワーク供給方法およびその装置 |
| JPH08329245A (ja) * | 1995-06-06 | 1996-12-13 | Canon Inc | 図形処理方法とその装置 |
| JPH11300670A (ja) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | 物品ピックアップ装置 |
| US6328523B1 (en) | 1998-04-21 | 2001-12-11 | Fanuc Ltd. | Apparatus for picking up articles using a vision controlled robot |
| WO2000057129A1 (fr) * | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede |
| US6721444B1 (en) | 1999-03-19 | 2004-04-13 | Matsushita Electric Works, Ltd. | 3-dimensional object recognition method and bin-picking system using the method |
| JP2008275391A (ja) * | 2007-04-26 | 2008-11-13 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
| JP2011110629A (ja) * | 2009-11-24 | 2011-06-09 | Idec Corp | ロボット制御方法およびロボット制御システム |
| JP2015037098A (ja) * | 2013-08-12 | 2015-02-23 | 株式会社ダイヘン | 搬送システム |
| JP2016001768A (ja) * | 2014-06-11 | 2016-01-07 | キヤノン株式会社 | 画像処理方法、および画像処理装置 |
| US9996762B2 (en) | 2014-06-11 | 2018-06-12 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP2022035342A (ja) * | 2020-08-20 | 2022-03-04 | 地方独立行政法人鳥取県産業技術センター | ピッキング装置およびピッキング方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2679490B2 (ja) | 1997-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2555822B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP3242108B2 (ja) | ターゲットマークの認識・追跡システム及び方法 | |
| US7283661B2 (en) | Image processing apparatus | |
| US4920572A (en) | Object recognition system for a robot | |
| WO2023035832A1 (zh) | 一种基于视觉识别的机器人分拣方法及存储介质 | |
| JP5088278B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| JPWO2009028489A1 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| JPH0788791A (ja) | ロボット装置およびその周辺装置 | |
| JP2555824B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2679490B2 (ja) | 山積み部品の高速ピッキング装置 | |
| CN113284178B (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
| CN112464410B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
| CN113538459B (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
| JP3225740B2 (ja) | 山積み部品の高速ピッキング装置 | |
| CN113269112A (zh) | 一种抓取区域的识别方法、装置、电子设备及存储介质 | |
| JP2555823B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JPH04244391A (ja) | ロボットを用いた段バラシ装置 | |
| JP2000263482A (ja) | ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置 | |
| JP2861014B2 (ja) | 物体認識装置 | |
| JP6041710B2 (ja) | 画像認識方法 | |
| CN116197885B (zh) | 基于压叠检测的图像数据过滤方法、装置、设备和介质 | |
| JPH0953915A (ja) | 重なり状態認識方法 | |
| Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping | |
| JPS6344103A (ja) | 位置姿勢認識装置 | |
| JPH10118975A (ja) | ハンドリング位置認識方法および認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |