JP2555824B2 - 山積み部品の高速ピッキング装置 - Google Patents
山積み部品の高速ピッキング装置Info
- Publication number
- JP2555824B2 JP2555824B2 JP3313976A JP31397691A JP2555824B2 JP 2555824 B2 JP2555824 B2 JP 2555824B2 JP 3313976 A JP3313976 A JP 3313976A JP 31397691 A JP31397691 A JP 31397691A JP 2555824 B2 JP2555824 B2 JP 2555824B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- component
- specific part
- model
- parts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ロボットによりトレー
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。
【０００２】
【従来技術】従来、複数の部品の中から部品を一つずつ
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。
【０００３】
【発明が解決しようとする課題】ところで、一般的な工
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。
【０００４】本発明は、上記の課題を解決するために成
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識しピッキングす
ることである。
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識しピッキングす
ることである。
【０００５】
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、図９にその概念を示したように、山積
み部品の２次元画像からそれら部品の輪郭線を求め、そ
の輪郭線から輪郭線を構成する複数の構成線分を抽出
し、その構成線分から単体の前記部品を認識してロボッ
トのハンドにより把持させる高速ピッキング装置におい
て、前記山積み部品の２次元画像において前記部品の把
持可能な単純形状から成る特定部位を認識するための該
特定部位に対応したモデルであって、前記特定部位が基
準姿勢をとるときの形状を特定するデータにより予め設
定される照合モデルを記憶する照合モデル記憶手段と、
前記特定部位の認識に基づき前記部品の姿勢を特定する
ためのモデルであって、前記部品が所定の姿勢をとると
きの形状を特定するデータにより予め設定される姿勢照
合モデルを記憶する姿勢照合モデル記憶手段と、前記山
積み部品の２次元画像の中から前記照合モデルとの照合
により認識された部分を前記特定部位として検出する特
定部位検出手段と、検出された前記特定部位の位置を決
定する位置決定手段と、前記位置に前記ハンドを位置決
めして前記特定部位をピックアップさせるピッキング指
令手段と、前記特定部位によりピックアップされた状態
における部品単体の２次元画像において輪郭線から抽出
された複数の構成線分と前記姿勢照合モデルとの照合に
よりピックアップされた状態における前記部品の姿勢と
前記姿勢照合モデルとの偏差である姿勢補正量を算出す
る補正量演算手段と、算出された姿勢補正量に基づいて
前記部品の姿勢を補正する姿勢補正指令手段とを備えた
ことを特徴とする。
の発明の構成は、図９にその概念を示したように、山積
み部品の２次元画像からそれら部品の輪郭線を求め、そ
の輪郭線から輪郭線を構成する複数の構成線分を抽出
し、その構成線分から単体の前記部品を認識してロボッ
トのハンドにより把持させる高速ピッキング装置におい
て、前記山積み部品の２次元画像において前記部品の把
持可能な単純形状から成る特定部位を認識するための該
特定部位に対応したモデルであって、前記特定部位が基
準姿勢をとるときの形状を特定するデータにより予め設
定される照合モデルを記憶する照合モデル記憶手段と、
前記特定部位の認識に基づき前記部品の姿勢を特定する
ためのモデルであって、前記部品が所定の姿勢をとると
きの形状を特定するデータにより予め設定される姿勢照
合モデルを記憶する姿勢照合モデル記憶手段と、前記山
積み部品の２次元画像の中から前記照合モデルとの照合
により認識された部分を前記特定部位として検出する特
定部位検出手段と、検出された前記特定部位の位置を決
定する位置決定手段と、前記位置に前記ハンドを位置決
めして前記特定部位をピックアップさせるピッキング指
令手段と、前記特定部位によりピックアップされた状態
における部品単体の２次元画像において輪郭線から抽出
された複数の構成線分と前記姿勢照合モデルとの照合に
よりピックアップされた状態における前記部品の姿勢と
前記姿勢照合モデルとの偏差である姿勢補正量を算出す
る補正量演算手段と、算出された姿勢補正量に基づいて
前記部品の姿勢を補正する姿勢補正指令手段とを備えた
ことを特徴とする。
【０００６】
【作用】特定部位検出手段により山積み部品の２次元画
像の中から上記照合モデルとの照合により認識された部
分が上記特定部位として検出される。この特定部位を検
出するための照合モデルは部品の把持可能な単純形状か
ら成る特定部位が基準姿勢をとるときの形状を特定する
データにより予め設定され照合モデル記憶手段に記憶さ
れている。即ち、先ず、山積み状態の部品は照合モデル
によりその特定部位のみについて照合されその形状が認
識されるのである。そして、位置決定手段により検出さ
れた上記特定部位の位置が決定される。すると、ピッキ
ング指令手段により上記位置決定手段にて決定された位
置にロボットのハンドを位置決めして上記特定部位をピ
ックアップさせる指令がロボット側に出力される。この
時、特定部位をピッキングされた部品はそのハンドによ
り１自由度だけ拘束される。次に、補正量演算手段によ
り上記特定部位によりピックアップされた状態における
部品単体の２次元画像において輪郭線から抽出された複
数の構成線分と上記姿勢照合モデルとの照合によりピッ
クアップされた状態における上記部品の姿勢と上記姿勢
照合モデルとの偏差である姿勢補正量が算出される。こ
の姿勢補正量を算出するための姿勢照合モデルは上記特
定部位の認識に基づき上記部品が所定の姿勢をとるとき
の形状を特定するデータにより予め設定され姿勢照合モ
デル記憶手段に記憶されている。即ち、特定部位をピッ
クアップされた部品単体のみについて姿勢照合モデルに
より照合された部品はその姿勢が完全に認識されるので
ある。この後、姿勢補正指令手段により上記補正量演算
手段にて算出された姿勢補正量に基づいて上記部品の姿
勢を補正する指令がロボット側に出力される。
像の中から上記照合モデルとの照合により認識された部
分が上記特定部位として検出される。この特定部位を検
出するための照合モデルは部品の把持可能な単純形状か
ら成る特定部位が基準姿勢をとるときの形状を特定する
データにより予め設定され照合モデル記憶手段に記憶さ
れている。即ち、先ず、山積み状態の部品は照合モデル
によりその特定部位のみについて照合されその形状が認
識されるのである。そして、位置決定手段により検出さ
れた上記特定部位の位置が決定される。すると、ピッキ
ング指令手段により上記位置決定手段にて決定された位
置にロボットのハンドを位置決めして上記特定部位をピ
ックアップさせる指令がロボット側に出力される。この
時、特定部位をピッキングされた部品はそのハンドによ
り１自由度だけ拘束される。次に、補正量演算手段によ
り上記特定部位によりピックアップされた状態における
部品単体の２次元画像において輪郭線から抽出された複
数の構成線分と上記姿勢照合モデルとの照合によりピッ
クアップされた状態における上記部品の姿勢と上記姿勢
照合モデルとの偏差である姿勢補正量が算出される。こ
の姿勢補正量を算出するための姿勢照合モデルは上記特
定部位の認識に基づき上記部品が所定の姿勢をとるとき
の形状を特定するデータにより予め設定され姿勢照合モ
デル記憶手段に記憶されている。即ち、特定部位をピッ
クアップされた部品単体のみについて姿勢照合モデルに
より照合された部品はその姿勢が完全に認識されるので
ある。この後、姿勢補正指令手段により上記補正量演算
手段にて算出された姿勢補正量に基づいて上記部品の姿
勢を補正する指令がロボット側に出力される。
【０００７】
【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０，１１と物体認識装置２０とフィンガが先端に配
設され山積み部品の中から一つの部品（以下、ワークと
もいう）Ｗを把持するためのハンド４０を有するピッキ
ング用ロボット３０とから成る。そして、作業台の上に
は山積み状態でワークＷが収容されたトレーＴが載置さ
れている。
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０，１１と物体認識装置２０とフィンガが先端に配
設され山積み部品の中から一つの部品（以下、ワークと
もいう）Ｗを把持するためのハンド４０を有するピッキ
ング用ロボット３０とから成る。そして、作業台の上に
は山積み状態でワークＷが収容されたトレーＴが載置さ
れている。
【０００８】図２において、トレーＴ内には山積み状態
でワークＷが収容されており、そのトレーＴの上部から
山積みワークＷを撮像する画像入力用カメラ１０が設け
られている。又、ピッキング用ロボット３０のハンド４
０にて把持された後のワークＷ単体を下部から撮像する
画像入力用カメラ１１が設けられている。本実施例装置
においては、画像入力用カメラ１０，１１と２台配設さ
れているが、ピッキング用ロボット３０のハンド４０に
て把持されたワークＷに対しても画像入力用カメラ１０
を兼用して撮像するようなタクトタイムが許容されるな
らば１台で良いことになる。そして、トレーＴの中央上
部からワークＷを一様に照明する照明装置Ｌが設けられ
ている。尚、画像入力用カメラ１１によりワークＷ単体
が撮像される時にも照明装置ＬはワークＷを一様に照射
できるものとする。物体認識装置２０は、照合、判定等
のデータ処理を行う中央処理装置２１と、画像入力用カ
メラ１０により得られた映像信号を処理して、検出物体
の輪郭線を検出して、輪郭線を構成する構成線分を抽出
し、又、合成エッジ画像を求めるなどのデータ処理を行
う画像処理装置２２と、照合モデルに関するデータや検
出物体に関するデータを記憶する記憶装置２３と、照明
制御回路２４とで構成されている。更に、画像処理装置
２２は、画像入力用カメラ１０の出力する映像信号をサ
ンプリングして、濃淡レベルをディジタル化した濃淡画
像データを生成する画像入力装置２２１と、その濃淡画
像データから微分演算により明度勾配を求め、物体画像
のエッジを表すエッジ画像データを生成するエッジ検出
装置２２２と、そのエッジ画像データから輪郭線を追跡
し、その輪郭線を構成する構成線分を抽出し、その構成
線分の位置に関するデータを生成する線分抽出装置２２
３とで構成されている。又、記憶装置２３はＲＡＭ等で
構成されており、ワークＷの特定部位が基準姿勢をとる
ときの形状を特定するデータにより予め設定される照合
モデルを記憶し、照合モデル記憶手段を達成する照合モ
デルメモリ領域２３１と、ワークＷが所定の姿勢をとる
ときの形状を特定するデータにより予め設定される姿勢
照合モデルを記憶し、姿勢照合モデル記憶手段を達成す
る姿勢照合モデルメモリ領域２３２と、トレーＴ内の山
積みの多数のワークＷに対応する線分画像が照合された
結果を記憶する認識結果メモリ領域２３３などから成
る。
でワークＷが収容されており、そのトレーＴの上部から
山積みワークＷを撮像する画像入力用カメラ１０が設け
られている。又、ピッキング用ロボット３０のハンド４
０にて把持された後のワークＷ単体を下部から撮像する
画像入力用カメラ１１が設けられている。本実施例装置
においては、画像入力用カメラ１０，１１と２台配設さ
れているが、ピッキング用ロボット３０のハンド４０に
て把持されたワークＷに対しても画像入力用カメラ１０
を兼用して撮像するようなタクトタイムが許容されるな
らば１台で良いことになる。そして、トレーＴの中央上
部からワークＷを一様に照明する照明装置Ｌが設けられ
ている。尚、画像入力用カメラ１１によりワークＷ単体
が撮像される時にも照明装置ＬはワークＷを一様に照射
できるものとする。物体認識装置２０は、照合、判定等
のデータ処理を行う中央処理装置２１と、画像入力用カ
メラ１０により得られた映像信号を処理して、検出物体
の輪郭線を検出して、輪郭線を構成する構成線分を抽出
し、又、合成エッジ画像を求めるなどのデータ処理を行
う画像処理装置２２と、照合モデルに関するデータや検
出物体に関するデータを記憶する記憶装置２３と、照明
制御回路２４とで構成されている。更に、画像処理装置
２２は、画像入力用カメラ１０の出力する映像信号をサ
ンプリングして、濃淡レベルをディジタル化した濃淡画
像データを生成する画像入力装置２２１と、その濃淡画
像データから微分演算により明度勾配を求め、物体画像
のエッジを表すエッジ画像データを生成するエッジ検出
装置２２２と、そのエッジ画像データから輪郭線を追跡
し、その輪郭線を構成する構成線分を抽出し、その構成
線分の位置に関するデータを生成する線分抽出装置２２
３とで構成されている。又、記憶装置２３はＲＡＭ等で
構成されており、ワークＷの特定部位が基準姿勢をとる
ときの形状を特定するデータにより予め設定される照合
モデルを記憶し、照合モデル記憶手段を達成する照合モ
デルメモリ領域２３１と、ワークＷが所定の姿勢をとる
ときの形状を特定するデータにより予め設定される姿勢
照合モデルを記憶し、姿勢照合モデル記憶手段を達成す
る姿勢照合モデルメモリ領域２３２と、トレーＴ内の山
積みの多数のワークＷに対応する線分画像が照合された
結果を記憶する認識結果メモリ領域２３３などから成
る。
【０００９】次に、画像入力用カメラ１０により山積み
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から特定部位として、例え
ば、円を照合モデル“円”により照合選定させる。そし
て、画像入力用カメラ１１によりピッキング用ロボット
３０のハンド４０にて把持されたワークＷ単体の映像信
号を入力して構成線分抽出しワークＷの姿勢を補正させ
る場合について、物体認識装置２０の処理手順を示した
図３，図５のフローチャート及びピッキング用ロボット
３０側の制御装置の処理手順を示した図４のフローチャ
ートに基づいて本装置の作用を説明する。先ず、物体認
識装置２０において、照明制御回路２４により照明装置
Ｌが点燈され、画像入力用カメラ１０で得られたトレー
Ｔ内の山積み状態のワークＷの映像信号が画像入力装置
２２１に入力される。そして、画像入力装置２２１で
は、映像信号をサンプリングしてディジタル信号に変換
して濃淡画像が生成される。その濃淡画像データはエッ
ジ検出装置２２２に入力し、微分されてエッジ画像が生
成される。そのエッジ画像データは線分抽出装置２２３
に入力し、稜線を追跡することで物体の輪郭線が抽出さ
れる。更に、その輪郭線は折線や円などで近似され線分
画像が得られる。そして、ステップ１００において、中
央処理装置１は画像処理装置２２にて得られた線分画像
を入力する。次にステップ１０２に移行して、入力され
た線分画像から一続きの線分群が抽出され、ワークＷの
特定部位に対応する照合モデル“円”により探索され
る。ここで、照合モデル“円”はワークＷの特定部位が
基準姿勢をとるときの形状を特定するデータにより予め
設定されるのであるが、ワークＷが傾斜した場合にもピ
ッキング用ロボット３０のハンド４０にて把持可能とな
る許容限界角度などにより照合の一致範囲が拡大されて
探索される。次にステップ１０４に移行して、ステップ
１０２の探索に使用された照合モデル“円”と探索によ
って見つかったワークＷの特定部位との一致度が算出さ
れる。この一致度は、照合モデル“円”による探索なら
ばワークＷが傾斜した場合の円は楕円形状にて認識され
るので、例えば、その楕円の長軸と短軸との比率により
表される。次にステップ１０６に移行して、一致度＞ａ
のワークＷの特定部位があるか否かが判定される。上記
ａの値は上記許容限界角度などにて決定され、上記不等
号の成立するワークＷの特定部位が多数認識された場合
には一致度の最も高いものが選定される。ステップ１０
６で認識されたワークＷの特定部位があれば、ステップ
１０８に移行し、その位置情報をピッキング用ロボット
３０側へ送信する。尚、ステップ１０６で不等号が成立
するワークＷの特定部位がない場合には、ステップ１１
０に移行し、次回の画像入力時には山積みされたワーク
Ｗの状態を変え、照合モデルにて探索されるワークＷの
特定部位の認識確率を増すために図示しない加振装置に
トレーＴの加振指令が出力される。
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から特定部位として、例え
ば、円を照合モデル“円”により照合選定させる。そし
て、画像入力用カメラ１１によりピッキング用ロボット
３０のハンド４０にて把持されたワークＷ単体の映像信
号を入力して構成線分抽出しワークＷの姿勢を補正させ
る場合について、物体認識装置２０の処理手順を示した
図３，図５のフローチャート及びピッキング用ロボット
３０側の制御装置の処理手順を示した図４のフローチャ
ートに基づいて本装置の作用を説明する。先ず、物体認
識装置２０において、照明制御回路２４により照明装置
Ｌが点燈され、画像入力用カメラ１０で得られたトレー
Ｔ内の山積み状態のワークＷの映像信号が画像入力装置
２２１に入力される。そして、画像入力装置２２１で
は、映像信号をサンプリングしてディジタル信号に変換
して濃淡画像が生成される。その濃淡画像データはエッ
ジ検出装置２２２に入力し、微分されてエッジ画像が生
成される。そのエッジ画像データは線分抽出装置２２３
に入力し、稜線を追跡することで物体の輪郭線が抽出さ
れる。更に、その輪郭線は折線や円などで近似され線分
画像が得られる。そして、ステップ１００において、中
央処理装置１は画像処理装置２２にて得られた線分画像
を入力する。次にステップ１０２に移行して、入力され
た線分画像から一続きの線分群が抽出され、ワークＷの
特定部位に対応する照合モデル“円”により探索され
る。ここで、照合モデル“円”はワークＷの特定部位が
基準姿勢をとるときの形状を特定するデータにより予め
設定されるのであるが、ワークＷが傾斜した場合にもピ
ッキング用ロボット３０のハンド４０にて把持可能とな
る許容限界角度などにより照合の一致範囲が拡大されて
探索される。次にステップ１０４に移行して、ステップ
１０２の探索に使用された照合モデル“円”と探索によ
って見つかったワークＷの特定部位との一致度が算出さ
れる。この一致度は、照合モデル“円”による探索なら
ばワークＷが傾斜した場合の円は楕円形状にて認識され
るので、例えば、その楕円の長軸と短軸との比率により
表される。次にステップ１０６に移行して、一致度＞ａ
のワークＷの特定部位があるか否かが判定される。上記
ａの値は上記許容限界角度などにて決定され、上記不等
号の成立するワークＷの特定部位が多数認識された場合
には一致度の最も高いものが選定される。ステップ１０
６で認識されたワークＷの特定部位があれば、ステップ
１０８に移行し、その位置情報をピッキング用ロボット
３０側へ送信する。尚、ステップ１０６で不等号が成立
するワークＷの特定部位がない場合には、ステップ１１
０に移行し、次回の画像入力時には山積みされたワーク
Ｗの状態を変え、照合モデルにて探索されるワークＷの
特定部位の認識確率を増すために図示しない加振装置に
トレーＴの加振指令が出力される。
【００１０】次に、上述のワークＷの位置情報がピッキ
ング用ロボット３０側の制御装置にて受信される。そし
て、ステップ２００で、ワークＷの特定部位の位置情報
に基づきピッキング用ロボット３０のハンド４０が位置
決めされる。次にステップ２０２に移行して、ワークＷ
の特定部位との距離を検出するためハンド４０に隣接し
て配設された距離検出センサ４１によりワークＷの特定
部位に対するハンド４０の高さが計測される。次にステ
ップ２０４に移行して、ワークピックアップとしてピッ
キング用ロボット３０のハンド４０にてワークＷの特定
部位の把持が実行された後、ステップ２０６に移行す
る。ステップ２０６では、ワークＷが把持されたか否か
が判定される。この判定は、例えば、ハンド４０先端の
移動量をリミットスイッチやマグネスケールなどにより
検出することにより達成される。そして、ステップ２０
６でワークＷが把持されると、ステップ２０８に移行
し、ピッキング用ロボット３０のハンド４０にて把持さ
れたワークＷを画像入力用カメラ１１の上部の撮像位置
まで移動し、本プログラムを終了する。
ング用ロボット３０側の制御装置にて受信される。そし
て、ステップ２００で、ワークＷの特定部位の位置情報
に基づきピッキング用ロボット３０のハンド４０が位置
決めされる。次にステップ２０２に移行して、ワークＷ
の特定部位との距離を検出するためハンド４０に隣接し
て配設された距離検出センサ４１によりワークＷの特定
部位に対するハンド４０の高さが計測される。次にステ
ップ２０４に移行して、ワークピックアップとしてピッ
キング用ロボット３０のハンド４０にてワークＷの特定
部位の把持が実行された後、ステップ２０６に移行す
る。ステップ２０６では、ワークＷが把持されたか否か
が判定される。この判定は、例えば、ハンド４０先端の
移動量をリミットスイッチやマグネスケールなどにより
検出することにより達成される。そして、ステップ２０
６でワークＷが把持されると、ステップ２０８に移行
し、ピッキング用ロボット３０のハンド４０にて把持さ
れたワークＷを画像入力用カメラ１１の上部の撮像位置
まで移動し、本プログラムを終了する。
【００１１】上述のようにワークＷが画像入力用カメラ
１１の撮像位置まで移動された信号が物体認識装置２０
にて受信されると、照明制御回路２４により照明装置Ｌ
が点燈され、画像入力用カメラ１１で得られたワークＷ
単体の映像信号が画像入力装置２２１に入力される。そ
して、画像入力装置２２１では、映像信号をサンプリン
グしてディジタル信号に変換して濃淡画像が生成され
る。その濃淡画像データはエッジ検出装置２２２に入力
し、微分されてエッジ画像が生成される。そのエッジ画
像データは線分抽出装置２２３に入力し、稜線を追跡す
ることで物体の輪郭線が抽出される。更に、その輪郭線
は折線や円などで近似され線分画像が得られる。そし
て、ステップ３００において、中央処理装置１は画像処
理装置２２にて得られた線分画像を入力する。次にステ
ップ３０２に移行して、入力された線分画像と姿勢照合
モデルとが照合されワークＷの姿勢が認識される。ここ
で、上述までの処理によりワークＷは特定部位の丸穴を
ピッキング用ロボット３０のハンド４０で１自由度決め
られた姿勢に拘束された状態にて把持されている。従っ
て、ステップ３０２のワークＷの姿勢認識としては、ワ
ークＷの線分画像に対して姿勢照合モデルが一致するよ
うに回転させるという処理が実行される。次にステップ
３０４に移行して、ステップ３０２の処理における回転
方向及び角度の偏差である姿勢補正量が算出される。そ
して、ステップ３０６に移行し、ステップ３０４で算出
された姿勢補正量をピッキング用ロボット３０側へ送信
し、本プログラムを終了する。尚、特定部位検出手段は
ステップ１０２，１０４にて、位置決定手段はステップ
１０６にて、ピッキング指令手段はステップ１０８に
て、補正量演算手段はステップ３０２，３０４にて、姿
勢補正指令手段はステップ３０６にてそれぞれ達成され
る。
１１の撮像位置まで移動された信号が物体認識装置２０
にて受信されると、照明制御回路２４により照明装置Ｌ
が点燈され、画像入力用カメラ１１で得られたワークＷ
単体の映像信号が画像入力装置２２１に入力される。そ
して、画像入力装置２２１では、映像信号をサンプリン
グしてディジタル信号に変換して濃淡画像が生成され
る。その濃淡画像データはエッジ検出装置２２２に入力
し、微分されてエッジ画像が生成される。そのエッジ画
像データは線分抽出装置２２３に入力し、稜線を追跡す
ることで物体の輪郭線が抽出される。更に、その輪郭線
は折線や円などで近似され線分画像が得られる。そし
て、ステップ３００において、中央処理装置１は画像処
理装置２２にて得られた線分画像を入力する。次にステ
ップ３０２に移行して、入力された線分画像と姿勢照合
モデルとが照合されワークＷの姿勢が認識される。ここ
で、上述までの処理によりワークＷは特定部位の丸穴を
ピッキング用ロボット３０のハンド４０で１自由度決め
られた姿勢に拘束された状態にて把持されている。従っ
て、ステップ３０２のワークＷの姿勢認識としては、ワ
ークＷの線分画像に対して姿勢照合モデルが一致するよ
うに回転させるという処理が実行される。次にステップ
３０４に移行して、ステップ３０２の処理における回転
方向及び角度の偏差である姿勢補正量が算出される。そ
して、ステップ３０６に移行し、ステップ３０４で算出
された姿勢補正量をピッキング用ロボット３０側へ送信
し、本プログラムを終了する。尚、特定部位検出手段は
ステップ１０２，１０４にて、位置決定手段はステップ
１０６にて、ピッキング指令手段はステップ１０８に
て、補正量演算手段はステップ３０２，３０４にて、姿
勢補正指令手段はステップ３０６にてそれぞれ達成され
る。
【００１２】図６に山積み部品からの高速ピッキングの
基本ステップと多形状部品への対応法を示した。前述の
実施例においては、図中の製品形状が“円”群である穴
付部品のピッキングについて述べたが、この他、平行部
付部品やピン付部品についても、それら単純形状部位を
特定部位として限定認識させることにより、同様の作動
及び効果を得ることができる。又、本発明は山積み部品
を対象としているが、平面上に単独に１個だけ置かれた
部品や数個散在した状態で置かれた部品、更に、仕切り
の付いたトレー内に分離された状態で置かれた部品に対
しても同様に適用可能なことは明白である。
基本ステップと多形状部品への対応法を示した。前述の
実施例においては、図中の製品形状が“円”群である穴
付部品のピッキングについて述べたが、この他、平行部
付部品やピン付部品についても、それら単純形状部位を
特定部位として限定認識させることにより、同様の作動
及び効果を得ることができる。又、本発明は山積み部品
を対象としているが、平面上に単独に１個だけ置かれた
部品や数個散在した状態で置かれた部品、更に、仕切り
の付いたトレー内に分離された状態で置かれた部品に対
しても同様に適用可能なことは明白である。
【００１３】図７は、山積み部品から１つの部品を認識
しピッキングする場合のステップ及びその所要時間を示
した説明図である。尚、図７(a) は従来の１つの照合モ
デルを用いた場合、図７(b) は本発明の照合モデル及び
姿勢照合モデルを用いた場合を示している。照合ステッ
プにおいて、照合モデルが部品の単純形状から成る特定
部位に対応した“円”であれば、その特定部位が認識さ
れる確率が高く照合のための所要時間は極端に短くて済
むことになる。又、従来は照合ステップの後、ピッキン
グ用ロボットのハンドにより直ちに部品は位置決めピッ
キングされる。これに対して、本発明では先ず、ピッキ
ング用ロボットのハンドによりピッキングし、その後、
姿勢照合モデルを用いた位置補正が必要となる。従っ
て、本発明のステップの方が多いこととなるが、ピッキ
ングした後の１つの部品に対する姿勢照合は極めて短時
間で達成されるので、ピッキング＋位置補正の所要時間
は従来に比べてそれ程多くならない。即ち、本発明では
山積み部品から１つの部品をピッキングできるピッキン
グ成功確率が極めて高くなると共にその所要時間を従来
より大幅に短くできるという効果も有する。
しピッキングする場合のステップ及びその所要時間を示
した説明図である。尚、図７(a) は従来の１つの照合モ
デルを用いた場合、図７(b) は本発明の照合モデル及び
姿勢照合モデルを用いた場合を示している。照合ステッ
プにおいて、照合モデルが部品の単純形状から成る特定
部位に対応した“円”であれば、その特定部位が認識さ
れる確率が高く照合のための所要時間は極端に短くて済
むことになる。又、従来は照合ステップの後、ピッキン
グ用ロボットのハンドにより直ちに部品は位置決めピッ
キングされる。これに対して、本発明では先ず、ピッキ
ング用ロボットのハンドによりピッキングし、その後、
姿勢照合モデルを用いた位置補正が必要となる。従っ
て、本発明のステップの方が多いこととなるが、ピッキ
ングした後の１つの部品に対する姿勢照合は極めて短時
間で達成されるので、ピッキング＋位置補正の所要時間
は従来に比べてそれ程多くならない。即ち、本発明では
山積み部品から１つの部品をピッキングできるピッキン
グ成功確率が極めて高くなると共にその所要時間を従来
より大幅に短くできるという効果も有する。
【００１４】図８は、山積み部品から１つの部品をピッ
クアップして姿勢補正を行う場合の他の実施例を示した
説明図である。尚、図８(a) はガイドによるならい補正
であり、特定部位をピッキングされた部品は所定のガイ
ド上に載置されることによりその方向が決定される。
又、図８(b) は重心利用であり、特定部位をピッキング
された部品は自重によりその方向が決定される。又、図
８(c) は平行ハンドによるによる傾き自然補正であり、
部品は特定部位をピッキングするときに平行移動するハ
ンドによりその方向が決定される。前述の実施例におい
ては、山積み部品に対して画像入力用カメラ１０により
ワークＷの特定部位を限定して認識し、その特定部位を
ピックアップした状態で画像入力用カメラ１１により姿
勢認識して姿勢補正が実行されている。ここで、ピッキ
ング後の画像入力用カメラ１１による画像処理を用いた
姿勢補正は機械的な姿勢補正に代替え可能な場合があ
る。つまり、図８(a),(b),(c) のような姿勢補正が実施
可能なワークＷであるならば、その特定部位のピッキン
グ後に必ずしも画像入力用カメラ１１による画像処理を
して姿勢補正を行うというステップ順序をとる必要はな
い。そして、画像入力用カメラ１１による画像処理で
は、機械的な姿勢補正が的確に完了しているかを姿勢照
合モデルにて確認するだけで良い。
クアップして姿勢補正を行う場合の他の実施例を示した
説明図である。尚、図８(a) はガイドによるならい補正
であり、特定部位をピッキングされた部品は所定のガイ
ド上に載置されることによりその方向が決定される。
又、図８(b) は重心利用であり、特定部位をピッキング
された部品は自重によりその方向が決定される。又、図
８(c) は平行ハンドによるによる傾き自然補正であり、
部品は特定部位をピッキングするときに平行移動するハ
ンドによりその方向が決定される。前述の実施例におい
ては、山積み部品に対して画像入力用カメラ１０により
ワークＷの特定部位を限定して認識し、その特定部位を
ピックアップした状態で画像入力用カメラ１１により姿
勢認識して姿勢補正が実行されている。ここで、ピッキ
ング後の画像入力用カメラ１１による画像処理を用いた
姿勢補正は機械的な姿勢補正に代替え可能な場合があ
る。つまり、図８(a),(b),(c) のような姿勢補正が実施
可能なワークＷであるならば、その特定部位のピッキン
グ後に必ずしも画像入力用カメラ１１による画像処理を
して姿勢補正を行うというステップ順序をとる必要はな
い。そして、画像入力用カメラ１１による画像処理で
は、機械的な姿勢補正が的確に完了しているかを姿勢照
合モデルにて確認するだけで良い。
【００１５】
【発明の効果】本発明は、以上説明したように構成さ
れ、山積み部品の２次元画像の中から照合モデルとの照
合により認識された部分が特定部位として検出され、そ
の検出された特定部位の位置が決定され、その位置にロ
ボットのハンドを位置決めして特定部位をピックアップ
させるピッキング指令がロボット側に送信される。そし
て、特定部位によりピックアップされた状態における部
品単体の２次元画像と姿勢照合モデルとの照合によりピ
ックアップされた状態における部品の姿勢と姿勢照合モ
デルとの偏差である姿勢補正量が算出され、その算出さ
れた姿勢補正量に基づいて部品の姿勢が補正される。こ
のように、部品の単純形状から成る特定部位に対応した
照合モデルによる照合では、その照合に要する時間が極
めて少なくて済み、その特定部位が認識される確率が非
常に高くなる。そして、ロボットのハンドによりその特
定部位のピッキングが取り敢えず実行されるため部品が
ピッキングされるピッキング成功確率が大幅に向上す
る。更に、そのピッキングされた部品に対して、その姿
勢を所定の状態に補正するという順序から成る。従っ
て、本発明の山積み部品の高速ピッキング装置におい
て、１つの部品をピッキングするための処理時間は、部
品の特定部位をピッキングのための所要時間と部品をピ
ッキングしてから所定の姿勢とするまでの所要時間との
合計となるが各々少なくて済むため結果的に従来に比べ
て大幅に短縮できる。
れ、山積み部品の２次元画像の中から照合モデルとの照
合により認識された部分が特定部位として検出され、そ
の検出された特定部位の位置が決定され、その位置にロ
ボットのハンドを位置決めして特定部位をピックアップ
させるピッキング指令がロボット側に送信される。そし
て、特定部位によりピックアップされた状態における部
品単体の２次元画像と姿勢照合モデルとの照合によりピ
ックアップされた状態における部品の姿勢と姿勢照合モ
デルとの偏差である姿勢補正量が算出され、その算出さ
れた姿勢補正量に基づいて部品の姿勢が補正される。こ
のように、部品の単純形状から成る特定部位に対応した
照合モデルによる照合では、その照合に要する時間が極
めて少なくて済み、その特定部位が認識される確率が非
常に高くなる。そして、ロボットのハンドによりその特
定部位のピッキングが取り敢えず実行されるため部品が
ピッキングされるピッキング成功確率が大幅に向上す
る。更に、そのピッキングされた部品に対して、その姿
勢を所定の状態に補正するという順序から成る。従っ
て、本発明の山積み部品の高速ピッキング装置におい
て、１つの部品をピッキングするための処理時間は、部
品の特定部位をピッキングのための所要時間と部品をピ
ッキングしてから所定の姿勢とするまでの所要時間との
合計となるが各々少なくて済むため結果的に従来に比べ
て大幅に短縮できる。
【図１】本発明の具体的な一実施例に係る山積み部品の
高速ピッキング装置を示した全体構成図である。
高速ピッキング装置を示した全体構成図である。
【図２】同実施例装置の主要部の構成を示したブロック
ダイヤグラムである。
ダイヤグラムである。
【図３】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。
処理手順を示したフローチャートである。
【図４】同実施例装置で使用されているピッキング用ロ
ボットの制御装置の処理手順を示したフローチャートで
ある。
ボットの制御装置の処理手順を示したフローチャートで
ある。
【図５】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。
処理手順を示したフローチャートである。
【図６】山積み部品からの高速ピッキングの基本ステッ
プと多形状部品への対応法を示した説明図である。
プと多形状部品への対応法を示した説明図である。
【図７】山積み部品から１つの部品を認識しピッキング
する場合のステップ及びその所要時間を示した説明図で
ある。
する場合のステップ及びその所要時間を示した説明図で
ある。
【図８】山積み部品から１つの部品をピックアップして
姿勢補正を行う場合の他の実施例を示した説明図であ
る。
姿勢補正を行う場合の他の実施例を示した説明図であ
る。
【図９】本発明の概念を示したブロックダイヤグラムで
ある。
ある。
１０，１１−画像入力用カメラ ２０−物体認識装置 ２１−中央処理装置 ２２−画像処理装置 ２３−
記憶装置 ２４−照明制御回路 ３０−ピッキング用ロボット ４０−（ロボットの）
ハンド Ｔ−トレー Ｗ−ワーク（部品） １００−高速ピ
ッキング装置 ステップ１０２，１０４−特定部位検出手段 ステップ１０６−位置決定手段 ステップ１０８−ピッキング指令手段 ステップ３０２，３０４−補正量演算手段 ステップ３０６−姿勢補正指令手段
記憶装置 ２４−照明制御回路 ３０−ピッキング用ロボット ４０−（ロボットの）
ハンド Ｔ−トレー Ｗ−ワーク（部品） １００−高速ピ
ッキング装置 ステップ１０２，１０４−特定部位検出手段 ステップ１０６−位置決定手段 ステップ１０８−ピッキング指令手段 ステップ３０２，３０４−補正量演算手段 ステップ３０６−姿勢補正指令手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｂ 19/403 Ｊ (72)発明者 原田 浩史 愛知県刈谷市昭和町１丁目１番地 日本 電装株式会社内 (56)参考文献 特開 昭62−28877（ＪＰ，Ａ) 特開 昭60−116005（ＪＰ，Ａ) 特開 昭60−194303（ＪＰ，Ａ)
Claims (1)
- 【請求項１】 山積み部品の２次元画像からそれら部品
の輪郭線を求め、その輪郭線から輪郭線を構成する複数
の構成線分を抽出し、その構成線分から単体の前記部品
を認識してロボットのハンドにより把持させる高速ピッ
キング装置において、 前記山積み部品の２次元画像において前記部品の把持可
能な単純形状から成る特定部位を認識するための該特定
部位に対応したモデルであって、前記特定部位が基準姿
勢をとるときの形状を特定するデータにより予め設定さ
れる照合モデルを記憶する照合モデル記憶手段と、 前記特定部位の認識に基づき前記部品の姿勢を特定する
ためのモデルであって、前記部品が所定の姿勢をとると
きの形状を特定するデータにより予め設定される姿勢照
合モデルを記憶する姿勢照合モデル記憶手段と、 前記山積み部品の２次元画像の中から前記照合モデルと
の照合により認識された部分を前記特定部位として検出
する特定部位検出手段と、 検出された前記特定部位の位置を決定する位置決定手段
と、 前記位置に前記ハンドを位置決めして前記特定部位をピ
ックアップさせるピッキング指令手段と、 前記特定部位によりピックアップされた状態における部
品単体の２次元画像において輪郭線から抽出された複数
の構成線分と前記姿勢照合モデルとの照合によりピック
アップされた状態における前記部品の姿勢と前記姿勢照
合モデルとの偏差である姿勢補正量を算出する補正量演
算手段と、 算出された姿勢補正量に基づいて前記部品の姿勢を補正
する姿勢補正指令手段とを備えたことを特徴とする山積
み部品の高速ピッキング装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3313976A JP2555824B2 (ja) | 1991-10-30 | 1991-10-30 | 山積み部品の高速ピッキング装置 |
| GB9222280A GB2261069B (en) | 1991-10-30 | 1992-10-23 | High speed picking system for stacked parts |
| US07/968,065 US5446835A (en) | 1991-10-30 | 1992-10-29 | High-speed picking system for stacked parts |
| DE4236813A DE4236813C2 (de) | 1991-10-30 | 1992-10-30 | Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegenstände oder Teile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3313976A JP2555824B2 (ja) | 1991-10-30 | 1991-10-30 | 山積み部品の高速ピッキング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05127724A JPH05127724A (ja) | 1993-05-25 |
| JP2555824B2 true JP2555824B2 (ja) | 1996-11-20 |
Family
ID=18047748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3313976A Expired - Fee Related JP2555824B2 (ja) | 1991-10-30 | 1991-10-30 | 山積み部品の高速ピッキング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2555824B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3426002B2 (ja) * | 1993-09-20 | 2003-07-14 | 三菱電機株式会社 | 物体認識装置 |
| JP3814258B2 (ja) * | 2003-03-26 | 2006-08-23 | 川崎重工業株式会社 | 把持装置およびこれを備える多関節ロボット |
| JP5088278B2 (ja) * | 2008-09-17 | 2012-12-05 | 株式会社安川電機 | 物体検出方法と物体検出装置およびロボットシステム |
| JP2010214546A (ja) * | 2009-03-17 | 2010-09-30 | Fuji Electric Holdings Co Ltd | 組立装置および組立方法 |
| JP5770971B2 (ja) | 2009-12-01 | 2015-08-26 | 株式会社ユニバーサルエンターテインメント | カジノテーブル |
| JP2011167815A (ja) * | 2010-02-19 | 2011-09-01 | Ihi Corp | 物体認識ロボットシステム |
| JP6632208B2 (ja) | 2015-03-24 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP6426690B2 (ja) * | 2016-12-22 | 2018-11-21 | ファナック株式会社 | バラ積みされた物品を取り出すための物品取出システム、および方法 |
| CN107598920A (zh) * | 2017-08-23 | 2018-01-19 | 深圳果力智能科技有限公司 | 一种基于视觉控制的机械手 |
| JP7328017B2 (ja) * | 2019-06-11 | 2023-08-16 | ファナック株式会社 | ロボットシステム及び制御装置 |
| CN111453401B (zh) * | 2020-03-25 | 2021-04-16 | 佛山缔乐视觉科技有限公司 | 工件的自动拾取方法和装置 |
| JP6811505B1 (ja) * | 2020-08-20 | 2021-01-13 | 地方独立行政法人鳥取県産業技術センター | ピッキング装置およびピッキング方法 |
| CN114435827A (zh) * | 2021-12-24 | 2022-05-06 | 北京无线电测量研究所 | 一种智慧仓储系统 |
-
1991
- 1991-10-30 JP JP3313976A patent/JP2555824B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05127724A (ja) | 1993-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7283661B2 (en) | Image processing apparatus | |
| JP2555824B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2555822B2 (ja) | 山積み部品の高速ピッキング装置 | |
| US6845296B2 (en) | Object taking out apparatus | |
| CN102164718B (zh) | 工件取出方法 | |
| JPH01196501A (ja) | ロボットの物体認識装置 | |
| JP3225740B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2000094374A (ja) | ピッキング装置 | |
| JP2679490B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2002200588A (ja) | ロボットによる把持可能部品の把持位置検出方法及びその装置 | |
| JPH04244391A (ja) | ロボットを用いた段バラシ装置 | |
| JP5263501B2 (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
| JP2000263482A (ja) | ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置 | |
| JP2555823B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2017170567A (ja) | ワーク認識方法及びランダムピッキング方法 | |
| CN113269112A (zh) | 一种抓取区域的识别方法、装置、电子设备及存储介质 | |
| JP6041710B2 (ja) | 画像認識方法 | |
| JPH10118975A (ja) | ハンドリング位置認識方法および認識装置 | |
| JPH02189691A (ja) | 物体認識装置 | |
| JPH0953915A (ja) | 重なり状態認識方法 | |
| JP2690103B2 (ja) | 指紋中心検出装置 | |
| JP3437141B2 (ja) | パターン認識方法および装置 | |
| JPS6344103A (ja) | 位置姿勢認識装置 | |
| JPH1166321A (ja) | ワーク位置検出方法 | |
| Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |