JPH10118975A - ハンドリング位置認識方法および認識装置 - Google Patents
ハンドリング位置認識方法および認識装置Info
- Publication number
- JPH10118975A JPH10118975A JP27615896A JP27615896A JPH10118975A JP H10118975 A JPH10118975 A JP H10118975A JP 27615896 A JP27615896 A JP 27615896A JP 27615896 A JP27615896 A JP 27615896A JP H10118975 A JPH10118975 A JP H10118975A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- work
- work surface
- position recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 ワークの高さ情報を得ることができるととも
に、ワークが密につまっている場合にもその境界部を認
識することができ、これによってランダムに置かれたワ
ークの位置，姿勢を容易に認識できるようにする。 【解決手段】 ワーク表面にスリット状のパターン光を
投光してその投光像を取り込むことにより得られる距離
画像の処理と、スリットを全開にしてワーク表面に照明
光を投光してその反射光を取り込むことにより得られる
濃淡画像の処理とを併用してワークのハンドリング位置
を認識する。
に、ワークが密につまっている場合にもその境界部を認
識することができ、これによってランダムに置かれたワ
ークの位置，姿勢を容易に認識できるようにする。 【解決手段】 ワーク表面にスリット状のパターン光を
投光してその投光像を取り込むことにより得られる距離
画像の処理と、スリットを全開にしてワーク表面に照明
光を投光してその反射光を取り込むことにより得られる
濃淡画像の処理とを併用してワークのハンドリング位置
を認識する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えばパレット上
の物品をロボットによりデパレタイジングする際の物品
のハンドリング位置認識方法および認識装置に関するも
のである。
の物品をロボットによりデパレタイジングする際の物品
のハンドリング位置認識方法および認識装置に関するも
のである。
【０００２】
【従来の技術】例えばパレット上に積載された段ボール
等の物品（ワーク）をロボットハンドにより１個ずつ把
持してデパレタイジングする際には、ワークの位置およ
び載置形状、言い換えればハンドリング位置を的確に認
識する必要がある。このハンドリング位置認識方法とし
て、従来、次のような方法が用いられてきている。 ワークにラベルを貼り付けることにより、パターンマ
ッチング処理によってワークの姿勢を認識する方法。 複数のカメラによりワークを撮像し、ステレオ法によ
る画像処理によってワークの姿勢を認識する方法（特開
平７−２９１４５０号公報参照）。 ワークにスリット光を投光してそのスリットの変形の
有無によってワークの有無をＣＣＤカメラにより取り込
んだ画像から判断し、ワークが有る場合には、別カメラ
により画像を取り込んで双方の画像情報によってワーク
の位置を認識する方法（特開平３−６６５８７号公報参
照）。 複数本のスリット光をワークに投光して画像を取り込
み、隙間のない側の辺，角を検知して物体の大きさ情報
によってハンドリング位置を認識する方法（特開平６−
２４１７１９号公報参照）。
等の物品（ワーク）をロボットハンドにより１個ずつ把
持してデパレタイジングする際には、ワークの位置およ
び載置形状、言い換えればハンドリング位置を的確に認
識する必要がある。このハンドリング位置認識方法とし
て、従来、次のような方法が用いられてきている。 ワークにラベルを貼り付けることにより、パターンマ
ッチング処理によってワークの姿勢を認識する方法。 複数のカメラによりワークを撮像し、ステレオ法によ
る画像処理によってワークの姿勢を認識する方法（特開
平７−２９１４５０号公報参照）。 ワークにスリット光を投光してそのスリットの変形の
有無によってワークの有無をＣＣＤカメラにより取り込
んだ画像から判断し、ワークが有る場合には、別カメラ
により画像を取り込んで双方の画像情報によってワーク
の位置を認識する方法（特開平３−６６５８７号公報参
照）。 複数本のスリット光をワークに投光して画像を取り込
み、隙間のない側の辺，角を検知して物体の大きさ情報
によってハンドリング位置を認識する方法（特開平６−
２４１７１９号公報参照）。
【０００３】
【発明が解決しようとする課題】しかしながら、前記
のように、ラベルを貼ってパターンマッチングによる二
次元的処理を行うだけでは、ワークの高さ情報を取得す
ることができない。したがって、実際のハンドリングに
際してはタッチセンサ等の他のセンサ類を併用しなけれ
ばならず、ロボットを高速でワークにアプローチさせる
ことができないという問題点がある。また、ワークが回
転している場合には認識精度が悪くなるという問題点も
ある。次に、のステレオ法を用いる方法では、カメラ
がワークのどの部分を撮像しているかという画像との対
応点を得るのが極めて困難であるという問題点がある。
さらに、およびのスリット光を用いる方法では、ワ
ークが同じ高さで密につまっている場合に、ワーク間の
境界部を判定するのが困難であるとい問題点がある。
のように、ラベルを貼ってパターンマッチングによる二
次元的処理を行うだけでは、ワークの高さ情報を取得す
ることができない。したがって、実際のハンドリングに
際してはタッチセンサ等の他のセンサ類を併用しなけれ
ばならず、ロボットを高速でワークにアプローチさせる
ことができないという問題点がある。また、ワークが回
転している場合には認識精度が悪くなるという問題点も
ある。次に、のステレオ法を用いる方法では、カメラ
がワークのどの部分を撮像しているかという画像との対
応点を得るのが極めて困難であるという問題点がある。
さらに、およびのスリット光を用いる方法では、ワ
ークが同じ高さで密につまっている場合に、ワーク間の
境界部を判定するのが困難であるとい問題点がある。
【０００４】本発明は、このような問題点を解消するこ
とを目的として、ワークの高さ情報を得ることができる
とともに、ワークが密につまっている場合にもその境界
部を認識することができ、これによってランダムに置か
れたワークの位置，姿勢を容易に認識することのできる
ハンドリング位置認識方法および認識装置を提供するこ
とにある。
とを目的として、ワークの高さ情報を得ることができる
とともに、ワークが密につまっている場合にもその境界
部を認識することができ、これによってランダムに置か
れたワークの位置，姿勢を容易に認識することのできる
ハンドリング位置認識方法および認識装置を提供するこ
とにある。
【０００５】
【課題を解決するための手段および作用・効果】前述さ
れた目的を達成するために、第１発明によるハンドリン
グ位置認識方法は、ワーク表面にスリット状のパターン
光を投光してその投光像を取り込むことにより得られる
距離画像の処理と、スリットを全開にしてワーク表面に
照明光を投光してその反射光を取り込むことにより得ら
れる濃淡画像の処理とを併用してワークのハンドリング
位置を認識することを特徴とするものである。
れた目的を達成するために、第１発明によるハンドリン
グ位置認識方法は、ワーク表面にスリット状のパターン
光を投光してその投光像を取り込むことにより得られる
距離画像の処理と、スリットを全開にしてワーク表面に
照明光を投光してその反射光を取り込むことにより得ら
れる濃淡画像の処理とを併用してワークのハンドリング
位置を認識することを特徴とするものである。
【０００６】本発明によれば、ワーク表面にスリット状
のパターン光を投光してその投光像を取り込むことによ
り得られる距離画像の処理と、スリットを全開にしてワ
ーク表面に照明光を投光してその反射光を取り込むこと
により得られる濃淡画像の処理とが併用されているの
で、距離画像処理によりワークの高さ情報を得ることが
できるとともに、濃淡画像処理によりワーク同士の境界
部の情報を得ることができ、これによってランダムに置
かれたワークであってもそれらワークの位置および姿勢
を確実に認識することが可能であり、このワークの姿勢
に合わせて例えばロボットの姿勢を制御することにより
バラ積みワークのハンドリングが可能となる。こうし
て、荷崩れに対応したハンドリング作業を実現すること
ができ、輸送中の荷崩れを人手により修正するといった
煩雑さを解消することができる。
のパターン光を投光してその投光像を取り込むことによ
り得られる距離画像の処理と、スリットを全開にしてワ
ーク表面に照明光を投光してその反射光を取り込むこと
により得られる濃淡画像の処理とが併用されているの
で、距離画像処理によりワークの高さ情報を得ることが
できるとともに、濃淡画像処理によりワーク同士の境界
部の情報を得ることができ、これによってランダムに置
かれたワークであってもそれらワークの位置および姿勢
を確実に認識することが可能であり、このワークの姿勢
に合わせて例えばロボットの姿勢を制御することにより
バラ積みワークのハンドリングが可能となる。こうし
て、荷崩れに対応したハンドリング作業を実現すること
ができ、輸送中の荷崩れを人手により修正するといった
煩雑さを解消することができる。
【０００７】本発明においては、互いに隣接するワーク
間に隙間が生じる対象物については前記距離画像の処理
のみにより位置認識を行い、互いに隣接するワーク間に
隙間が生じにくい対象物については前記距離画像の処理
の後に前記濃淡画像の処理により位置認識を行うように
するのが良い。こうすることで、ワーク間に隙間がある
ときには距離画像を用いて処理がなされ、隙間のないと
きには距離画像の処理の後に濃淡画像の処理がなされて
ワークの位置認識が行われるので、適切な位置認識が可
能となる。ここで、濃淡画像を使用するのはワーク同士
が密につまっている場合に限定され、この場合にはワー
ク上方よりの照明のみで良いので、照明メンテナンスも
容易となる。
間に隙間が生じる対象物については前記距離画像の処理
のみにより位置認識を行い、互いに隣接するワーク間に
隙間が生じにくい対象物については前記距離画像の処理
の後に前記濃淡画像の処理により位置認識を行うように
するのが良い。こうすることで、ワーク間に隙間がある
ときには距離画像を用いて処理がなされ、隙間のないと
きには距離画像の処理の後に濃淡画像の処理がなされて
ワークの位置認識が行われるので、適切な位置認識が可
能となる。ここで、濃淡画像を使用するのはワーク同士
が密につまっている場合に限定され、この場合にはワー
ク上方よりの照明のみで良いので、照明メンテナンスも
容易となる。
【０００８】前記ハンドリング位置の認識は、特定のワ
ーク面の三次元座標値によりそのワーク面の重心座標，
傾き角および回転角を算出することによりなされるもの
とするのが好ましい。
ーク面の三次元座標値によりそのワーク面の重心座標，
傾き角および回転角を算出することによりなされるもの
とするのが好ましい。
【０００９】次に、前述のハンドリング位置認識方法を
より具体化するための第２発明によるハンドリング位置
認識装置は、（ａ）ワーク表面に異なるスリットパター
ン光を投光するプロジェクタと、ワーク表面からの反射
光を受光するＣＣＤカメラとを有する三次元計測器、
（ｂ）前記プロジェクタよりワーク表面にスリット光を
投光してその投光像をＣＣＤカメラに取り込むことによ
り得られる距離画像の処理と、前記プロジェクタのスリ
ットを全開にしてワーク表面に照明光を投光してその反
射光をＣＣＤカメラに取り込むことにより得られる濃淡
画像の処理とを併用してワークの位置認識を行う画像処
理手段および（ｃ）この画像処理手段からの出力を受け
てロボットの姿勢を制御するロボット制御手段を備える
ことを特徴とするものである。
より具体化するための第２発明によるハンドリング位置
認識装置は、（ａ）ワーク表面に異なるスリットパター
ン光を投光するプロジェクタと、ワーク表面からの反射
光を受光するＣＣＤカメラとを有する三次元計測器、
（ｂ）前記プロジェクタよりワーク表面にスリット光を
投光してその投光像をＣＣＤカメラに取り込むことによ
り得られる距離画像の処理と、前記プロジェクタのスリ
ットを全開にしてワーク表面に照明光を投光してその反
射光をＣＣＤカメラに取り込むことにより得られる濃淡
画像の処理とを併用してワークの位置認識を行う画像処
理手段および（ｃ）この画像処理手段からの出力を受け
てロボットの姿勢を制御するロボット制御手段を備える
ことを特徴とするものである。
【００１０】このハンドリング位置認識装置において
は、三次元計測器のプロジェクタによりワーク表面にス
リット光を投光してその反射光をＣＣＤカメラにて受光
し、その撮像画像を距離画像として処理することにより
ワークの高さ情報が得られるとともに、前記プロジェク
タのスリットを全開にしてワーク表面に照明光を投光し
てその反射光をＣＣＤカメラに取り込むことにより得ら
れる画像を濃淡画像として処理することによりワークの
境界部の情報が得られる。そして、このようにして得ら
れた情報がロボット制御手段に送られることによりロボ
ットの姿勢が制御されて所要のワークの把持動作がなさ
れる。本発明によれば、前記第１発明と同様、ワークの
姿勢に合わせてロボットの姿勢が制御できるので、バラ
積みワークであっても容易にハンドリングを行うことが
可能である。こうして、荷崩れに対応したハンドリング
作業を実現することができ、輸送中の荷崩れを人手によ
り修正するといった煩雑さを解消することができる。
は、三次元計測器のプロジェクタによりワーク表面にス
リット光を投光してその反射光をＣＣＤカメラにて受光
し、その撮像画像を距離画像として処理することにより
ワークの高さ情報が得られるとともに、前記プロジェク
タのスリットを全開にしてワーク表面に照明光を投光し
てその反射光をＣＣＤカメラに取り込むことにより得ら
れる画像を濃淡画像として処理することによりワークの
境界部の情報が得られる。そして、このようにして得ら
れた情報がロボット制御手段に送られることによりロボ
ットの姿勢が制御されて所要のワークの把持動作がなさ
れる。本発明によれば、前記第１発明と同様、ワークの
姿勢に合わせてロボットの姿勢が制御できるので、バラ
積みワークであっても容易にハンドリングを行うことが
可能である。こうして、荷崩れに対応したハンドリング
作業を実現することができ、輸送中の荷崩れを人手によ
り修正するといった煩雑さを解消することができる。
【００１１】本発明において、前記画像処理手段は、互
いに隣接するワーク間に隙間が生じる対象物については
前記距離画像の処理のみにより位置認識を行い、互いに
隣接するワーク間に隙間が生じにくい対象物については
前記距離画像の処理の後に前記濃淡画像の処理により位
置認識を行うものとするのが好ましい。また、前記画像
処理手段は、特定のワーク面の三次元座標値によりその
ワーク面の重心座標，傾き角および回転角を算出するこ
とにより前記ハンドリング位置の認識を行うものとする
ことができる。
いに隣接するワーク間に隙間が生じる対象物については
前記距離画像の処理のみにより位置認識を行い、互いに
隣接するワーク間に隙間が生じにくい対象物については
前記距離画像の処理の後に前記濃淡画像の処理により位
置認識を行うものとするのが好ましい。また、前記画像
処理手段は、特定のワーク面の三次元座標値によりその
ワーク面の重心座標，傾き角および回転角を算出するこ
とにより前記ハンドリング位置の認識を行うものとする
ことができる。
【００１２】
【発明の実施の形態】次に、本発明によるハンドリング
位置認識方法および認識装置の具体的な実施の形態につ
き、図面を参照しつつ説明する。
位置認識方法および認識装置の具体的な実施の形態につ
き、図面を参照しつつ説明する。
【００１３】図１には、本発明の一実施例に係るハンド
リング位置認識装置のシステム構成図が示されている。
リング位置認識装置のシステム構成図が示されている。
【００１４】本実施例は、パレット上に段積み状態に載
置された段ボール箱等のワーク（図１には図示せず）を
ロボット１のハンド部によりデパレタイジングする作業
に適用したものである。ワークの上方には、異なるスリ
ットパターン光を投光するプロジェクタ２と、このプロ
ジェクタ２の投光方向に対して傾斜配置されたＣＣＤカ
メラ３とを有する三次元計測器４がロボットハンドに保
持されて設けられている。こうして、プロジェクタ２よ
りワーク表面に投光されたスリット光もしくは照明光に
基づく画像はＣＣＤカメラ３により取り込まれて画像処
理装置５に入力される。この画像処理装置５において
は、入力データに基づいてワークの位置，姿勢が演算さ
れ、この位置，姿勢データがロボット制御装置６に出力
されるようにされている。このロボット制御装置６にお
いては、画像処理装置５からの入力データに基づきロボ
ット１に制御信号を送信することでロボットハンド部を
制御し、これによってパレット上に段積みされたワーク
がロボットハンド部にて把持されてデパレタイジングが
行われる。
置された段ボール箱等のワーク（図１には図示せず）を
ロボット１のハンド部によりデパレタイジングする作業
に適用したものである。ワークの上方には、異なるスリ
ットパターン光を投光するプロジェクタ２と、このプロ
ジェクタ２の投光方向に対して傾斜配置されたＣＣＤカ
メラ３とを有する三次元計測器４がロボットハンドに保
持されて設けられている。こうして、プロジェクタ２よ
りワーク表面に投光されたスリット光もしくは照明光に
基づく画像はＣＣＤカメラ３により取り込まれて画像処
理装置５に入力される。この画像処理装置５において
は、入力データに基づいてワークの位置，姿勢が演算さ
れ、この位置，姿勢データがロボット制御装置６に出力
されるようにされている。このロボット制御装置６にお
いては、画像処理装置５からの入力データに基づきロボ
ット１に制御信号を送信することでロボットハンド部を
制御し、これによってパレット上に段積みされたワーク
がロボットハンド部にて把持されてデパレタイジングが
行われる。
【００１５】前記画像処理装置５は、所定プログラムを
実行する中央処理装置（ＣＰＵ）５ａと、このプログラ
ムおよび各種マップおよび入力されたワーク情報等の各
種データを記憶する読み出し専用メモリ（ＲＯＭ）５ｂ
と、このプログラムを実行するに必要なワーキングメモ
リとしての書き込み可能メモリ（ＲＡＭ）５ｃと、各種
画像データを記憶する複数の画像メモリ５ｄとより構成
されている。
実行する中央処理装置（ＣＰＵ）５ａと、このプログラ
ムおよび各種マップおよび入力されたワーク情報等の各
種データを記憶する読み出し専用メモリ（ＲＯＭ）５ｂ
と、このプログラムを実行するに必要なワーキングメモ
リとしての書き込み可能メモリ（ＲＡＭ）５ｃと、各種
画像データを記憶する複数の画像メモリ５ｄとより構成
されている。
【００１６】次に、この画像処理装置５におけるワーク
の位置認識の処理フローを図２に示されるフローチャー
トにしたがって説明する。
の位置認識の処理フローを図２に示されるフローチャー
トにしたがって説明する。
【００１７】Ｓ１〜Ｓ２：プロジェクタ２によりワーク
にスリットパターン光を順次投光してその投光されたワ
ーク表面の画像をＣＣＤカメラ３にて取り込み、この画
像に基づき三次元座標値を算出して奥行き方向のデータ
から距離画像を生成する。そして、このようにして生成
された距離画像を画像メモリ１に保存する。ここで、こ
の距離画像は、奥行き情報を２５６段階に圧縮して輝度
に変換することにより得られるものである。
にスリットパターン光を順次投光してその投光されたワ
ーク表面の画像をＣＣＤカメラ３にて取り込み、この画
像に基づき三次元座標値を算出して奥行き方向のデータ
から距離画像を生成する。そして、このようにして生成
された距離画像を画像メモリ１に保存する。ここで、こ
の距離画像は、奥行き情報を２５６段階に圧縮して輝度
に変換することにより得られるものである。
【００１８】Ｓ３：プロジェクタ２のスリットを全開に
することによりそのプロジェクタ２を照明装置とし、こ
のプロジェクタ２によりワーク表面に照明光を投光して
その反射光をＣＣＤカメラ３にて取り込み、生成された
濃淡画像を画像メモリ２に保存する。 Ｓ４：画像メモリ１に保存されている距離画像をフィル
ターによりノイズ除去し、このノイズ除去後の画像を画
像メモリ３に保存する。
することによりそのプロジェクタ２を照明装置とし、こ
のプロジェクタ２によりワーク表面に照明光を投光して
その反射光をＣＣＤカメラ３にて取り込み、生成された
濃淡画像を画像メモリ２に保存する。 Ｓ４：画像メモリ１に保存されている距離画像をフィル
ターによりノイズ除去し、このノイズ除去後の画像を画
像メモリ３に保存する。
【００１９】Ｓ５：画像メモリ３に保存されている画像
を二次微分することによりワークの外縁（エッジ）を抽
出し、これを画像メモリ４に保存する。 Ｓ６：画像メモリ３に保存されている画像を一次微分す
ることによりワークの稜線を抽出し、これを画像メモリ
５に保存する。
を二次微分することによりワークの外縁（エッジ）を抽
出し、これを画像メモリ４に保存する。 Ｓ６：画像メモリ３に保存されている画像を一次微分す
ることによりワークの稜線を抽出し、これを画像メモリ
５に保存する。
【００２０】Ｓ７：画像メモリ４に保存されている画像
と画像メモリ５に保存されている画像とを重ね合わせる
ことにより、エッジもしくは稜線にて囲まれたワーク面
をの情報を得、これを画像メモリ６に保存する。 Ｓ８：画像メモリ６に保存されている画像を二値化し、
前記稜線もしくはエッジにより囲まれる領域を１単位と
してラベリング処理を行う。
と画像メモリ５に保存されている画像とを重ね合わせる
ことにより、エッジもしくは稜線にて囲まれたワーク面
をの情報を得、これを画像メモリ６に保存する。 Ｓ８：画像メモリ６に保存されている画像を二値化し、
前記稜線もしくはエッジにより囲まれる領域を１単位と
してラベリング処理を行う。
【００２１】Ｓ９〜Ｓ１０：ラベリング処理が施された
各ラベルについて面積値を計測し、この面積値の大きな
上位ａ個のラベルを取り出す。 Ｓ１１：取り出されたａ個のラベルそれぞれについて、
重心のｚ座標値を求めるとともに、これらａ個のｚ座標
値を比較して最も高い位置にあるラベル、言い換えれば
ｚ座標値の大きなラベルを取り出す。
各ラベルについて面積値を計測し、この面積値の大きな
上位ａ個のラベルを取り出す。 Ｓ１１：取り出されたａ個のラベルそれぞれについて、
重心のｚ座標値を求めるとともに、これらａ個のｚ座標
値を比較して最も高い位置にあるラベル、言い換えれば
ｚ座標値の大きなラベルを取り出す。
【００２２】Ｓ１２：ワーク面が１個だけ切り出せるか
否かを判定するために、取り出されたラベルの面積値
が、予めＲＯＭ５ｂに入力されているワークの面積値に
所定の係数（１＋ｋ）を乗算した値より小さいか否かを
判定する。ここで、係数（１＋ｋ）を乗算するのは、切
り出されたワークのエッジの画像に所要の幅を持たせる
ことを意味する。なお、ｋは１に比べて微小な値であ
る。
否かを判定するために、取り出されたラベルの面積値
が、予めＲＯＭ５ｂに入力されているワークの面積値に
所定の係数（１＋ｋ）を乗算した値より小さいか否かを
判定する。ここで、係数（１＋ｋ）を乗算するのは、切
り出されたワークのエッジの画像に所要の幅を持たせる
ことを意味する。なお、ｋは１に比べて微小な値であ
る。
【００２３】Ｓ１３〜Ｓ１４：ワーク面が２個以上つな
がっていると判定された場合であるので、画像メモリ２
に保存されている濃淡画像を用いて二次微分によりワー
クのエッジを抽出し、二値化およびラベリング処理によ
ってワークの切り出しを行う。なお、このように濃淡画
像を処理することにより、ワークが２個以上つながって
いる場合にもワークの切り出しを容易に行うことができ
る。
がっていると判定された場合であるので、画像メモリ２
に保存されている濃淡画像を用いて二次微分によりワー
クのエッジを抽出し、二値化およびラベリング処理によ
ってワークの切り出しを行う。なお、このように濃淡画
像を処理することにより、ワークが２個以上つながって
いる場合にもワークの切り出しを容易に行うことができ
る。
【００２４】Ｓ１５：前述のステップＳ１２と同様の処
理によって、ワーク面が１個だけ切り出せるか否かの判
定を行う。 Ｓ１６〜Ｓ１７：ワーク面の切り出しがなされると、そ
のワーク面の三次元座標値から重心座標，傾き角および
回転角を算出することによりワークの姿勢を決定する。
この後、算出された位置および姿勢データに基づき、ロ
ボット制御装置６に指令を出力し、ロボット１のハンド
リング位置および姿勢の制御を行ってフローを終了す
る。
理によって、ワーク面が１個だけ切り出せるか否かの判
定を行う。 Ｓ１６〜Ｓ１７：ワーク面の切り出しがなされると、そ
のワーク面の三次元座標値から重心座標，傾き角および
回転角を算出することによりワークの姿勢を決定する。
この後、算出された位置および姿勢データに基づき、ロ
ボット制御装置６に指令を出力し、ロボット１のハンド
リング位置および姿勢の制御を行ってフローを終了す
る。
【００２５】Ｓ１８〜Ｓ２０：距離画像の処理の後に濃
淡画像の処理を行ってもワーク面の切り出しが行えない
場合であるので、そのワーク面の重心座標値が予め設定
されている閾値未満であるか否かを判定し、この閾値未
満である場合には、ワークの無い面すなわちパレット表
面を計測していると判断してフローを終了する。一方、
前記重心座標値が閾値を越えている場合には、計測エラ
ーであると判断してフローを終了する。
淡画像の処理を行ってもワーク面の切り出しが行えない
場合であるので、そのワーク面の重心座標値が予め設定
されている閾値未満であるか否かを判定し、この閾値未
満である場合には、ワークの無い面すなわちパレット表
面を計測していると判断してフローを終了する。一方、
前記重心座標値が閾値を越えている場合には、計測エラ
ーであると判断してフローを終了する。
【００２６】図３，図４には、ワークの切り出しの一例
が示されている。図３（ａ）に示されるように、隣接す
るワーク同士の高さが異なるようにパレット７上にワー
クＷが載置されている場合には、Ｙ−Ｙ’線に沿う距離
画像分布は図３（ｂ）に示されるようにワークＷの境界
線の位置で大きく変化する分布となる。したがって、こ
の場合には距離画像のみでワークの切り出しを行うこと
が可能である。これに対して、図４（ａ）に示されるよ
うに、ワークＷが平らに密につまって載置されている場
合には、図４（ｂ）に示されるようなＹ−Ｙ’線に沿う
距離画像分布ではワーク間の境界部が判定できないため
にワークの切り出しが行えない。この場合には、濃淡画
像の分布は図４（ｃ）に示されるように境界部が落ち込
む分布となって、この濃淡画像の処理を行うことでワー
クの切り出しを行うことが可能となる。
が示されている。図３（ａ）に示されるように、隣接す
るワーク同士の高さが異なるようにパレット７上にワー
クＷが載置されている場合には、Ｙ−Ｙ’線に沿う距離
画像分布は図３（ｂ）に示されるようにワークＷの境界
線の位置で大きく変化する分布となる。したがって、こ
の場合には距離画像のみでワークの切り出しを行うこと
が可能である。これに対して、図４（ａ）に示されるよ
うに、ワークＷが平らに密につまって載置されている場
合には、図４（ｂ）に示されるようなＹ−Ｙ’線に沿う
距離画像分布ではワーク間の境界部が判定できないため
にワークの切り出しが行えない。この場合には、濃淡画
像の分布は図４（ｃ）に示されるように境界部が落ち込
む分布となって、この濃淡画像の処理を行うことでワー
クの切り出しを行うことが可能となる。
【００２７】本実施例のハンドリング位置認識装置によ
れば、互いに隣接するワーク間に隙間が生じる対象物に
ついては距離画像の処理のみにより位置認識を行い、互
いに隣接するワーク間に隙間が生じにくい対象物につい
ては距離画像の処理の後に濃淡画像の処理により位置認
識を行うようにされているので、パレット上にランダム
に置かれたワークであってもそれらワークの位置および
姿勢を確実に認識することができる。したがって、荷崩
れに対応したハンドリング作業を実現することができ、
輸送中の荷崩れを人手により修正するといった煩雑さを
解消することができる。また、濃淡画像を使用する場合
は、ワーク同士が密につまっている場合に限定されるの
で、この場合の照明はワーク上方よりの照明のみで良
く、従来のように傾いているワークに照明を当てること
がなく、反射光量が変化することによる照明設定の困難
さを解消することができる。
れば、互いに隣接するワーク間に隙間が生じる対象物に
ついては距離画像の処理のみにより位置認識を行い、互
いに隣接するワーク間に隙間が生じにくい対象物につい
ては距離画像の処理の後に濃淡画像の処理により位置認
識を行うようにされているので、パレット上にランダム
に置かれたワークであってもそれらワークの位置および
姿勢を確実に認識することができる。したがって、荷崩
れに対応したハンドリング作業を実現することができ、
輸送中の荷崩れを人手により修正するといった煩雑さを
解消することができる。また、濃淡画像を使用する場合
は、ワーク同士が密につまっている場合に限定されるの
で、この場合の照明はワーク上方よりの照明のみで良
く、従来のように傾いているワークに照明を当てること
がなく、反射光量が変化することによる照明設定の困難
さを解消することができる。
【００２８】本実施例においては、距離画像を得るのに
ワーク表面にスリットパターン光を投光するものとした
が、その他ステレオ法等による方法を用いて距離画像を
得るようにしても良い。
ワーク表面にスリットパターン光を投光するものとした
が、その他ステレオ法等による方法を用いて距離画像を
得るようにしても良い。
【００２９】本実施例においては、デパレタイジング作
業に適用したものを説明したが、本発明は、コンベア間
でのワークの取扱い等の他のワーク認識装置に適用する
ことができるのは言うまでもない。
業に適用したものを説明したが、本発明は、コンベア間
でのワークの取扱い等の他のワーク認識装置に適用する
ことができるのは言うまでもない。
【図１】図１は、本発明の一実施例に係るハンドリング
位置認識装置のシステム構成図である。
位置認識装置のシステム構成図である。
【図２】図２は、ワークの位置認識の処理フローを示す
フローチャートである。
フローチャートである。
【図３】図３（ａ）（ｂ）は、距離画像のみでワークの
切り出しを行う例を示す説明図である。
切り出しを行う例を示す説明図である。
【図４】図４（ａ）（ｂ）（ｃ）は、距離画像と濃淡画
像とを併用してワークの切り出しを行う例を示す説明図
である。
像とを併用してワークの切り出しを行う例を示す説明図
である。
１ ロボット ２ プロジェクタ ３ ＣＣＤカメラ ４ 三次元計測器 ５ 画像処理装置 ６ ロボット制御装置 ７ パレット Ｗ ワーク
Claims (6)
- 【請求項１】 ワーク表面にスリット状のパターン光を
投光してその投光像を取り込むことにより得られる距離
画像の処理と、スリットを全開にしてワーク表面に照明
光を投光してその反射光を取り込むことにより得られる
濃淡画像の処理とを併用してワークのハンドリング位置
を認識することを特徴とするハンドリング位置認識方
法。 - 【請求項２】 互いに隣接するワーク間に隙間が生じる
対象物については前記距離画像の処理のみにより位置認
識を行い、互いに隣接するワーク間に隙間が生じにくい
対象物については前記距離画像の処理の後に前記濃淡画
像の処理により位置認識を行う請求項１に記載のハンド
リング位置認識方法。 - 【請求項３】 前記ハンドリング位置の認識は、特定の
ワーク面の三次元座標値によりそのワーク面の重心座
標，傾き角および回転角を算出することによりなされる
ものである請求項２または３に記載のハンドリング位置
認識方法。 - 【請求項４】 （ａ）ワーク表面に異なるスリットパタ
ーン光を投光するプロジェクタと、ワーク表面からの反
射光を受光するＣＣＤカメラとを有する三次元計測器、
（ｂ）前記プロジェクタよりワーク表面にスリット光を
投光してその投光像をＣＣＤカメラに取り込むことによ
り得られる距離画像の処理と、前記プロジェクタのスリ
ットを全開にしてワーク表面に照明光を投光してその反
射光をＣＣＤカメラに取り込むことにより得られる濃淡
画像の処理とを併用してワークの位置認識を行う画像処
理手段および（ｃ）この画像処理手段からの出力を受け
てロボットの姿勢を制御するロボット制御手段を備える
ことを特徴とするハンドリング位置認識装置。 - 【請求項５】 前記画像処理手段は、互いに隣接するワ
ーク間に隙間が生じる対象物については前記距離画像の
処理のみにより位置認識を行い、互いに隣接するワーク
間に隙間が生じにくい対象物については前記距離画像の
処理の後に前記濃淡画像の処理により位置認識を行うも
のである請求項４に記載のハンドリング位置認識装置。 - 【請求項６】 前記画像処理手段は、特定のワーク面の
三次元座標値によりそのワーク面の重心座標，傾き角お
よび回転角を算出することにより前記ハンドリング位置
の認識を行うものである請求項４または５に記載のハン
ドリング位置認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27615896A JPH10118975A (ja) | 1996-10-18 | 1996-10-18 | ハンドリング位置認識方法および認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27615896A JPH10118975A (ja) | 1996-10-18 | 1996-10-18 | ハンドリング位置認識方法および認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10118975A true JPH10118975A (ja) | 1998-05-12 |
Family
ID=17565557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27615896A Withdrawn JPH10118975A (ja) | 1996-10-18 | 1996-10-18 | ハンドリング位置認識方法および認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10118975A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011123057A1 (en) * | 2010-03-30 | 2011-10-06 | Azimuth Intellectual Products Pte Ltd | Apparatus and methods for acquiring and analysing images of a pallet load |
| US8098928B2 (en) | 2007-03-30 | 2012-01-17 | Fanuc Ltd | Apparatus for picking up objects |
| JP2012220285A (ja) * | 2011-04-06 | 2012-11-12 | Optex Co Ltd | 距離画像カメラおよびこれを用いた距離測定方法 |
| JP2013036988A (ja) * | 2011-07-08 | 2013-02-21 | Canon Inc | 情報処理装置及び情報処理方法 |
| WO2013035388A1 (ja) * | 2011-09-06 | 2013-03-14 | シャープ株式会社 | 撮像装置 |
| CN103085076A (zh) * | 2011-11-08 | 2013-05-08 | 发那科株式会社 | 物品的三维位置姿势的识别装置以及识别方法 |
| JP2014128840A (ja) * | 2012-12-28 | 2014-07-10 | Kanto Seiki Kk | ロボット制御システム |
| JP2020078853A (ja) * | 2018-11-14 | 2020-05-28 | 東芝テック株式会社 | 商品取出装置 |
-
1996
- 1996-10-18 JP JP27615896A patent/JPH10118975A/ja not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8098928B2 (en) | 2007-03-30 | 2012-01-17 | Fanuc Ltd | Apparatus for picking up objects |
| EP2045772A3 (en) * | 2007-03-30 | 2013-11-13 | Fanuc Corporation | Apparatus for picking up objects |
| WO2011123057A1 (en) * | 2010-03-30 | 2011-10-06 | Azimuth Intellectual Products Pte Ltd | Apparatus and methods for acquiring and analysing images of a pallet load |
| JP2012220285A (ja) * | 2011-04-06 | 2012-11-12 | Optex Co Ltd | 距離画像カメラおよびこれを用いた距離測定方法 |
| JP2013036988A (ja) * | 2011-07-08 | 2013-02-21 | Canon Inc | 情報処理装置及び情報処理方法 |
| WO2013035388A1 (ja) * | 2011-09-06 | 2013-03-14 | シャープ株式会社 | 撮像装置 |
| CN103085076A (zh) * | 2011-11-08 | 2013-05-08 | 发那科株式会社 | 物品的三维位置姿势的识别装置以及识别方法 |
| JP2013101045A (ja) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の３次元位置姿勢の認識装置及び認識方法 |
| US8929608B2 (en) | 2011-11-08 | 2015-01-06 | Fanuc Corporation | Device and method for recognizing three-dimensional position and orientation of article |
| JP2014128840A (ja) * | 2012-12-28 | 2014-07-10 | Kanto Seiki Kk | ロボット制御システム |
| JP2020078853A (ja) * | 2018-11-14 | 2020-05-28 | 東芝テック株式会社 | 商品取出装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10124489B2 (en) | Locating, separating, and picking boxes with a sensor-guided robot | |
| EP2045772B1 (en) | Apparatus for picking up objects | |
| JP2004090183A (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
| JP2004050390A (ja) | ワーク取出し装置 | |
| JP2010120141A (ja) | バラ積みピッキング装置とその制御方法 | |
| JP2005305613A (ja) | 物品取出し装置 | |
| JPH11333770A (ja) | 積荷位置姿勢認識装置 | |
| JPH10118975A (ja) | ハンドリング位置認識方法および認識装置 | |
| JP2555824B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2000263482A (ja) | ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置 | |
| JPH08293029A (ja) | 箱状物体の積重ね状態認識装置 | |
| JP2010032258A (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
| CN116197885B (zh) | 基于压叠检测的图像数据过滤方法、装置、设备和介质 | |
| CN116175542B (zh) | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 | |
| JPH03202290A (ja) | ばら積み物体の取出装置 | |
| JPH09255158A (ja) | 物体配置認識装置 | |
| JP2555823B2 (ja) | 山積み部品の高速ピッキング装置 | |
| CN116188559A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| JP7436170B2 (ja) | ロボットシステム | |
| JPH0953915A (ja) | 重なり状態認識方法 | |
| JP7261597B2 (ja) | 移載対象ワーク記憶システム | |
| JPH1196378A (ja) | 積荷位置姿勢認識装置 | |
| JPS62289701A (ja) | 散積み物体の位置関係を３次元的に認識する視覚システム | |
| JPH0430991A (ja) | 視覚装置付ロボット | |
| WO2022264726A1 (ja) | 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040106 |