JPH09147121A - ロボットの物体認識方法及びその装置 - Google Patents
ロボットの物体認識方法及びその装置Info
- Publication number
- JPH09147121A JPH09147121A JP7329933A JP32993395A JPH09147121A JP H09147121 A JPH09147121 A JP H09147121A JP 7329933 A JP7329933 A JP 7329933A JP 32993395 A JP32993395 A JP 32993395A JP H09147121 A JPH09147121 A JP H09147121A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- extracted
- axis
- clamped
- clamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】不規則に山積みされたフランジを有する長尺状
物体の中からクランプに最適な物体を検出しその物体の
より正確なクランプ位置を演算すること。 【解決手段】物体群を撮像し濃淡画像を処理して物体群
の全体形状を抽出し、全体形状において、形状内画素が
画面上所定方向に沿って所定長以上連続する画素線分を
抽出することで、所定方向にのみ長さを有する物体形状
を抽出する。その抽出された物体形状毎に軸の方向と位
置を演算し、その軸の方向と位置に基づき、全体形状か
らその軸を有する物体形状を抽出する。その抽出された
物体形状において軸に対して所定位置に所定形状のフラ
ンジ特徴を有する物体形状をクランプすべき物体の形状
として検出し、物体形状がフランジ特徴を有する場合に
は、その物体形状のクランプ位置を演算し、ロボット制
御装置に出力する。
物体の中からクランプに最適な物体を検出しその物体の
より正確なクランプ位置を演算すること。 【解決手段】物体群を撮像し濃淡画像を処理して物体群
の全体形状を抽出し、全体形状において、形状内画素が
画面上所定方向に沿って所定長以上連続する画素線分を
抽出することで、所定方向にのみ長さを有する物体形状
を抽出する。その抽出された物体形状毎に軸の方向と位
置を演算し、その軸の方向と位置に基づき、全体形状か
らその軸を有する物体形状を抽出する。その抽出された
物体形状において軸に対して所定位置に所定形状のフラ
ンジ特徴を有する物体形状をクランプすべき物体の形状
として検出し、物体形状がフランジ特徴を有する場合に
は、その物体形状のクランプ位置を演算し、ロボット制
御装置に出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、フランジを有する
長尺状物体の山積みの中から、ロボットのクランプすべ
き物体を認識する方法及びその装置に関する。
長尺状物体の山積みの中から、ロボットのクランプすべ
き物体を認識する方法及びその装置に関する。
【０００２】
【従来技術】従来、ロボットが山積みされた物体の中か
ら失敗なく物体をクランプするためには、山積みされた
物体群を撮像装置により撮像して、画像処理によりその
物体の位置を決定することが行われている。画像におい
て物体を検出するには、各種の方法が採用されている
が、不規則に山積みされた物体の中からクランプすべき
物体を検出するための確実な方法はまだ存在しない。
ら失敗なく物体をクランプするためには、山積みされた
物体群を撮像装置により撮像して、画像処理によりその
物体の位置を決定することが行われている。画像におい
て物体を検出するには、各種の方法が採用されている
が、不規則に山積みされた物体の中からクランプすべき
物体を検出するための確実な方法はまだ存在しない。
【０００３】そこで、同一形状の物体を同一方向に整列
させて山積みして、物体群を撮像し、整列方向や形状特
徴に注目して、クランプ可能な物体を認識することが行
われている。又は、撮像した物体群の中から１本の物体
を画像的にパターン認識により分離した上で、形状を認
識し、物体の重心位置や物体の長さ方向を求めて、バラ
ンス良くクランプできる位置を演算していた。
させて山積みして、物体群を撮像し、整列方向や形状特
徴に注目して、クランプ可能な物体を認識することが行
われている。又は、撮像した物体群の中から１本の物体
を画像的にパターン認識により分離した上で、形状を認
識し、物体の重心位置や物体の長さ方向を求めて、バラ
ンス良くクランプできる位置を演算していた。
【０００４】
【発明が解決しようとする課題】この物体の形状を認識
するとき、長尺状物体であれば、形状認識が容易な軸部
分の形状を検出可能な部分毎に検出して、その複数の部
分の集合体として長尺状物体を把握して、その物体の重
心位置を求めることが行われいた。従って、従来の方法
は、円筒状の部分だけに注目したものであるので、演算
された物体のクランプ位置の確定精度が悪く、ロボット
によるクランプ失敗が多く、数多くの試行を経た後に、
ある物体のクランプに成功するというのが一般的であっ
た。
するとき、長尺状物体であれば、形状認識が容易な軸部
分の形状を検出可能な部分毎に検出して、その複数の部
分の集合体として長尺状物体を把握して、その物体の重
心位置を求めることが行われいた。従って、従来の方法
は、円筒状の部分だけに注目したものであるので、演算
された物体のクランプ位置の確定精度が悪く、ロボット
によるクランプ失敗が多く、数多くの試行を経た後に、
ある物体のクランプに成功するというのが一般的であっ
た。
【０００５】又、上記の方法では、一方向に整然と山積
みされているか、物体が物体群から画像的に分離されあ
る一方向に整列された状態であるか等、物体の整列方向
に限定を加える必要があり、不規則に山積みされた物体
群の中からクランプに成功する物体を検出することは容
易ではなかった。さらに、軸に垂直な方向に対して突出
したフランジ等の設けられた物体においては、軸部分の
み形状を判定し、フランジの存在位置を検出していない
ため、物体の重心位置が正確に把握できず、クランプし
た時にバランスを崩して物体を落下させたり、クランプ
しようとした時に、物体が他の物体と絡んで、クランプ
できないという問題があった。
みされているか、物体が物体群から画像的に分離されあ
る一方向に整列された状態であるか等、物体の整列方向
に限定を加える必要があり、不規則に山積みされた物体
群の中からクランプに成功する物体を検出することは容
易ではなかった。さらに、軸に垂直な方向に対して突出
したフランジ等の設けられた物体においては、軸部分の
み形状を判定し、フランジの存在位置を検出していない
ため、物体の重心位置が正確に把握できず、クランプし
た時にバランスを崩して物体を落下させたり、クランプ
しようとした時に、物体が他の物体と絡んで、クランプ
できないという問題があった。
【０００６】本発明は上記課題を解決するために成され
たものであり、その目的は、フランジを有する長尺状物
体が不規則に山積みされている場合にも、クランプに最
適な物体を検出し、その物体のより正確なクランプ位置
を演算することで、ロボットによるクランプ失敗をなく
すことである。
たものであり、その目的は、フランジを有する長尺状物
体が不規則に山積みされている場合にも、クランプに最
適な物体を検出し、その物体のより正確なクランプ位置
を演算することで、ロボットによるクランプ失敗をなく
すことである。
【０００７】
【課題を解決するための手段】請求項１の方法発明で
は、クランプ候補の物体形状を特定するのに、山積み物
体群の全体形状に所定方向にのみ長さを有する物体形状
を抽出し、その抽出された物体形状毎に軸の方向と位置
を演算し、その軸の方向と位置に基づき、全体形状から
その軸を有する物体形状を抽出している。よって、長尺
状物体が不規則な方向に山積みされていても、ある方向
を向いた物体だけを抽出することができ、物体形状を認
識するための画像処理の精度が高くなると共に画像処理
が簡単となる。又、上記の処理で全体形状から抽出され
た物体形状に対して、軸に対して所定位置に所定形状の
フランジ特徴を有する物体形状をクランプすべき物体の
形状として検出している。即ち、クランプすべき物体は
フランジ特徴が検出されたものであるので、対象とする
物体であることの検出精度が高くなると共に物体の位
置、姿勢の検出が正確となる。さらに、クランプ位置を
決定する場合に、フランジの存在位置を考慮することが
できるので、物体をバランス良くクランプできる位置を
正確に求めることができ、クランプ失敗を減少させるこ
とができる。
は、クランプ候補の物体形状を特定するのに、山積み物
体群の全体形状に所定方向にのみ長さを有する物体形状
を抽出し、その抽出された物体形状毎に軸の方向と位置
を演算し、その軸の方向と位置に基づき、全体形状から
その軸を有する物体形状を抽出している。よって、長尺
状物体が不規則な方向に山積みされていても、ある方向
を向いた物体だけを抽出することができ、物体形状を認
識するための画像処理の精度が高くなると共に画像処理
が簡単となる。又、上記の処理で全体形状から抽出され
た物体形状に対して、軸に対して所定位置に所定形状の
フランジ特徴を有する物体形状をクランプすべき物体の
形状として検出している。即ち、クランプすべき物体は
フランジ特徴が検出されたものであるので、対象とする
物体であることの検出精度が高くなると共に物体の位
置、姿勢の検出が正確となる。さらに、クランプ位置を
決定する場合に、フランジの存在位置を考慮することが
できるので、物体をバランス良くクランプできる位置を
正確に求めることができ、クランプ失敗を減少させるこ
とができる。
【０００８】請求項２の発明は、上記方法を実施する装
置であり、フィルタ手段により、全体形状において、形
状内画素が画面上所定方向に沿って所定長以上連続する
画素線分を抽出することで、所定方向にのみ長さを有す
る物体形状を抽出するようにし、クランプ物体検出手段
により、上記方法を用いて、物体形状がフランジ特徴を
有すると判定された場合に、クランプ位置演算手段によ
り、その形状物体のクランプ位置を演算し、クランプ位
置出力手段により、そのクランプ位置をロボット制御装
置に出力するようにした装置である。よって、本装置に
よれば、最も明確に物体形状を認識できる物体がクラン
プ対象候補となるので、ロボットにとってクランプ失敗
の少ない上方に存在する物体をクランプすることができ
る。また、フランジ位置を考慮して物体のクランプ位置
を決定できるので、バランスの良いクランプが可能とな
る。
置であり、フィルタ手段により、全体形状において、形
状内画素が画面上所定方向に沿って所定長以上連続する
画素線分を抽出することで、所定方向にのみ長さを有す
る物体形状を抽出するようにし、クランプ物体検出手段
により、上記方法を用いて、物体形状がフランジ特徴を
有すると判定された場合に、クランプ位置演算手段によ
り、その形状物体のクランプ位置を演算し、クランプ位
置出力手段により、そのクランプ位置をロボット制御装
置に出力するようにした装置である。よって、本装置に
よれば、最も明確に物体形状を認識できる物体がクラン
プ対象候補となるので、ロボットにとってクランプ失敗
の少ない上方に存在する物体をクランプすることができ
る。また、フランジ位置を考慮して物体のクランプ位置
を決定できるので、バランスの良いクランプが可能とな
る。
【０００９】請求項３の発明では、フィルタ手段により
抽出された物体形状の軸方向とその軸方向に垂直な方向
とに座標系を設定して、その座標系に変換された物体形
状において、軸上の位置とその軸に垂直な方向の長さと
によりフランジ特徴を判定するようにしていることか
ら、データ処理が極めて簡単となり処理速度が向上す
る。
抽出された物体形状の軸方向とその軸方向に垂直な方向
とに座標系を設定して、その座標系に変換された物体形
状において、軸上の位置とその軸に垂直な方向の長さと
によりフランジ特徴を判定するようにしていることか
ら、データ処理が極めて簡単となり処理速度が向上す
る。
【００１０】請求項２の発明においてフィルタ手段が物
体形状を抽出する基準とする所定方向は、１つの方向に
限定したものでなく、１つ以上の任意方向でも良いが、
特に、請求項４の発明では、この方向をある２方向に特
定している。即ち、フィルタ手段は、画面上に前記所定
方向を相互に直交する２方向を設定し、その２方向に対
して前記物体形状の抽出を行うものである。これによ
り、画面上において、消失の程度の小さい物体形状をよ
り漏れなく抽出することが可能となり、山積み物体群の
中でより上方に位置する物体を検出することが可能とな
る。
体形状を抽出する基準とする所定方向は、１つの方向に
限定したものでなく、１つ以上の任意方向でも良いが、
特に、請求項４の発明では、この方向をある２方向に特
定している。即ち、フィルタ手段は、画面上に前記所定
方向を相互に直交する２方向を設定し、その２方向に対
して前記物体形状の抽出を行うものである。これによ
り、画面上において、消失の程度の小さい物体形状をよ
り漏れなく抽出することが可能となり、山積み物体群の
中でより上方に位置する物体を検出することが可能とな
る。
【００１１】請求項５の発明では、フィルタ手段により
抽出された形状毎に軸長を演算する。この演算した軸長
の長いものが上方に位置すると認識し、その軸長が長い
順にフランジ特徴の判定を実行して、最先にフランジ特
徴が検出された物体をクランプすべき物体とし、その後
の判定演算を停止するようにしていることから、比較的
処理時間のかかるフランジ特徴の検出処理は最小限だけ
実行される。よって、フランジ位置の決定時間が短くで
き、ロボットによる作業効率を向上させることができ
る。
抽出された形状毎に軸長を演算する。この演算した軸長
の長いものが上方に位置すると認識し、その軸長が長い
順にフランジ特徴の判定を実行して、最先にフランジ特
徴が検出された物体をクランプすべき物体とし、その後
の判定演算を停止するようにしていることから、比較的
処理時間のかかるフランジ特徴の検出処理は最小限だけ
実行される。よって、フランジ位置の決定時間が短くで
き、ロボットによる作業効率を向上させることができ
る。
【００１２】
【発明の実施の形態】以下、本発明を具体的な実施例に
基づいて説明する。図１は、本発明のロボットの物体認
識装置とその出力信号により制御されるロボットの制御
装置の機械的及び電気的構成を示した構成図である。図
２は本実施例に係るロボットの物体認識装置の機械的構
成とコンテナに山積みされた複数のワーク（物体）との
配置関係を示した斜視図である。
基づいて説明する。図１は、本発明のロボットの物体認
識装置とその出力信号により制御されるロボットの制御
装置の機械的及び電気的構成を示した構成図である。図
２は本実施例に係るロボットの物体認識装置の機械的構
成とコンテナに山積みされた複数のワーク（物体）との
配置関係を示した斜視図である。
【００１３】ロボットの物体認識装置１０は、コンテナ
Ｃに不規則に山積みされた複数のワークＷに光を上方か
ら照射する光投光器ＳＬ、ワークＷを撮像しロボットの
ハンド２３に取り付けられた CCDカメラＡとを有してい
る。光投光器ＳＬは同期装置１１から出力される信号に
同期して照明光をワークＷに照射する。そして、 CCDカ
メラＡから出力された画像信号はＡ／Ｄ変換器１２によ
りディジタル化されて画像メモリ１３に濃淡画像として
記憶される。そして、その濃淡画像はＣＰＵ１４により
処理されて、画像メモリ１５に記憶される。さらに、そ
の画像メモリ１５に記憶された画像データに従って、後
述する処理が実行される。
Ｃに不規則に山積みされた複数のワークＷに光を上方か
ら照射する光投光器ＳＬ、ワークＷを撮像しロボットの
ハンド２３に取り付けられた CCDカメラＡとを有してい
る。光投光器ＳＬは同期装置１１から出力される信号に
同期して照明光をワークＷに照射する。そして、 CCDカ
メラＡから出力された画像信号はＡ／Ｄ変換器１２によ
りディジタル化されて画像メモリ１３に濃淡画像として
記憶される。そして、その濃淡画像はＣＰＵ１４により
処理されて、画像メモリ１５に記憶される。さらに、そ
の画像メモリ１５に記憶された画像データに従って、後
述する処理が実行される。
【００１４】一方、ロボット２０は第１アーム２１、第
２アーム２２を有しており、その第２アーム２２の先端
にワークＷをクランプするハンド２３が配設されてい
る。又、ハンド２３にはワークＷに接触して感知するセ
ンサ２４が設けられている。３０はロボット２０の姿勢
を制御するための制御装置であり、そのロボットの制御
装置３０は、ＣＰＵ３１と制御プログラムを記憶したＲ
ＯＭ３３と教示データ等を記憶するＲＡＭ３２とインタ
フェース３４，３６及びロボット２０の駆動軸を回転さ
せる図示しないサーボモータを制御するサーボＣＰＵ３
５を有している。
２アーム２２を有しており、その第２アーム２２の先端
にワークＷをクランプするハンド２３が配設されてい
る。又、ハンド２３にはワークＷに接触して感知するセ
ンサ２４が設けられている。３０はロボット２０の姿勢
を制御するための制御装置であり、そのロボットの制御
装置３０は、ＣＰＵ３１と制御プログラムを記憶したＲ
ＯＭ３３と教示データ等を記憶するＲＡＭ３２とインタ
フェース３４，３６及びロボット２０の駆動軸を回転さ
せる図示しないサーボモータを制御するサーボＣＰＵ３
５を有している。
【００１５】ロボット２０のハンド２３の動作軌跡を制
御する教示データは、インタフェース３４を介してフロ
ッピィディスク３７からＲＡＭ３２に入力される。又、
操作指令を行うためのキーボード３８及び操作内容等を
表示するＣＲＴ表示装置３９がインタフェース３４を介
して接続されている。
御する教示データは、インタフェース３４を介してフロ
ッピィディスク３７からＲＡＭ３２に入力される。又、
操作指令を行うためのキーボード３８及び操作内容等を
表示するＣＲＴ表示装置３９がインタフェース３４を介
して接続されている。
【００１６】又、ロボットの物体認識装置１０のＣＰＵ
１４とロボットの制御装置３０のＣＰＵ３１とはインタ
フェース３６を介して接続されている。そして、ロボッ
トの認識装置１０のＣＰＵ１４にて演算されたクランプ
すべきワークＷの位置及び軸方向のデータがロボットの
制御装置３０に入力され、ロボットの制御装置３０はそ
の信号に基づいてロボット２０の姿勢を制御する。
１４とロボットの制御装置３０のＣＰＵ３１とはインタ
フェース３６を介して接続されている。そして、ロボッ
トの認識装置１０のＣＰＵ１４にて演算されたクランプ
すべきワークＷの位置及び軸方向のデータがロボットの
制御装置３０に入力され、ロボットの制御装置３０はそ
の信号に基づいてロボット２０の姿勢を制御する。
【００１７】次に、ＣＰＵ１４の処理手順について図３
のフローチャートに基づき説明する。ステップ１００
で、同期回路１１に制御信号が出力され、同期回路１１
から出力される信号に同期して光投光機ＳＬが駆動さ
れ、コンテナＣに山積みされた複数のワークＷに光が照
射されると共に CCDカメラＡはその複数のワークＷを撮
像し、その画像信号を画像メモリ１３に取込み濃淡画像
として記憶する。
のフローチャートに基づき説明する。ステップ１００
で、同期回路１１に制御信号が出力され、同期回路１１
から出力される信号に同期して光投光機ＳＬが駆動さ
れ、コンテナＣに山積みされた複数のワークＷに光が照
射されると共に CCDカメラＡはその複数のワークＷを撮
像し、その画像信号を画像メモリ１３に取込み濃淡画像
として記憶する。
【００１８】次にステップ１０２に移行して、画像メモ
リ１３に記憶された濃淡画像データを入力して、図４に
示すような強調処理が実行される。図４の（ａ）に示す
ように、画面上ｘ軸方向に濃淡画像を走査し、明度値を
第１しきい値ａと第２しきい値ｂ（ａ＞ｂ）とで２値化
する。即ち、図４の（ｂ）、（ｃ）に示すように、ｂ＜
明度値＜ａの時、「１」、その他の時、「０」と２値化
する。このような処理により、図４の（ｄ）に示すよう
に、物体形状の境界線が「１」となり、物体形状の内部
領域が「０」となるような２値化画像が得られる。この
画像は全体形状として画像メモリ１５に記憶される。
尚、図４は簡単のため１つの物体形状について示されて
いるが、実際は図４の（ｄ）で得られる全体形状は多数
の物体形状が複雑に絡み合ったものとなっている。
リ１３に記憶された濃淡画像データを入力して、図４に
示すような強調処理が実行される。図４の（ａ）に示す
ように、画面上ｘ軸方向に濃淡画像を走査し、明度値を
第１しきい値ａと第２しきい値ｂ（ａ＞ｂ）とで２値化
する。即ち、図４の（ｂ）、（ｃ）に示すように、ｂ＜
明度値＜ａの時、「１」、その他の時、「０」と２値化
する。このような処理により、図４の（ｄ）に示すよう
に、物体形状の境界線が「１」となり、物体形状の内部
領域が「０」となるような２値化画像が得られる。この
画像は全体形状として画像メモリ１５に記憶される。
尚、図４は簡単のため１つの物体形状について示されて
いるが、実際は図４の（ｄ）で得られる全体形状は多数
の物体形状が複雑に絡み合ったものとなっている。
【００１９】次に、ステップ１０４でフィルタリング処
理が実行される。このフィルタリング処理は、図５の
（ａ）に示す全体形状において、形状内画素が画面上ｘ
軸方向に沿って一定長（＝ｋｗ；ｋは１以上の定数、ｗ
は長尺状物体の軸部分の幅）以上連続する画素線分を抽
出する処理を画面全体について実行する。この処理によ
り、図５の（ｂ）に示すように、画面上、軸がほぼｘ軸
方向に平行な物体形状のみが抽出される。この処理で抽
出される物体形状は、予めＸ軸方向に対して何度傾いた
ものまでを対照にするか決めておく。同様に、図５の
（ａ）に示す全体形状において、形状内画素が画面上ｙ
軸方向に沿って一定長以上連続する画素線分を抽出する
処理を画面全体について実行する。この処理により、図
５の（ｃ）に示すように、画面上、軸がほぼｙ軸方向に
平行な物体形状のみが抽出される。この処理で抽出され
る物体形状は、ｘ軸方向と同様に、ｙ軸方向に対して何
度傾いたものまでを対照とするか決めておく。このよう
なフィルタ処理により、複雑に重なっている物体形状を
それぞれの物体形状に分離することができる。このステ
ップ１０４では、ｘ、ｙ方向に平行な物体形状のみを抽
出しているが、これは、この抽出の処理時間を短縮する
ためであり、サイクルタイムに余裕がある場合には、
ｘ、ｙ方向以外の複数方向（例えばｘ軸から４５度傾い
た方向）の物体の抽出をしても良い。
理が実行される。このフィルタリング処理は、図５の
（ａ）に示す全体形状において、形状内画素が画面上ｘ
軸方向に沿って一定長（＝ｋｗ；ｋは１以上の定数、ｗ
は長尺状物体の軸部分の幅）以上連続する画素線分を抽
出する処理を画面全体について実行する。この処理によ
り、図５の（ｂ）に示すように、画面上、軸がほぼｘ軸
方向に平行な物体形状のみが抽出される。この処理で抽
出される物体形状は、予めＸ軸方向に対して何度傾いた
ものまでを対照にするか決めておく。同様に、図５の
（ａ）に示す全体形状において、形状内画素が画面上ｙ
軸方向に沿って一定長以上連続する画素線分を抽出する
処理を画面全体について実行する。この処理により、図
５の（ｃ）に示すように、画面上、軸がほぼｙ軸方向に
平行な物体形状のみが抽出される。この処理で抽出され
る物体形状は、ｘ軸方向と同様に、ｙ軸方向に対して何
度傾いたものまでを対照とするか決めておく。このよう
なフィルタ処理により、複雑に重なっている物体形状を
それぞれの物体形状に分離することができる。このステ
ップ１０４では、ｘ、ｙ方向に平行な物体形状のみを抽
出しているが、これは、この抽出の処理時間を短縮する
ためであり、サイクルタイムに余裕がある場合には、
ｘ、ｙ方向以外の複数方向（例えばｘ軸から４５度傾い
た方向）の物体の抽出をしても良い。
【００２０】次に、ステップ１０６において、図５の
（ｂ）、（ｃ）のように全体形状が分離抽出された物体
形状の各々において、軸方向と軸中心位置が演算され
る。この演算は、図６に示すように、実行される。ま
ず、形状内領域において、ｘ軸方向の両端点とｙ軸方向
の両端点との４点Ａ，Ｂ，Ｃ，Ｄのｘ座標とｙ座標とが
演算される。この座標値により物体形状において４点の
順番も決定される。次に、長辺（ＡＤとＢＣ）と短辺
（ＡＢとＤＣ）とが決定され、２本の長辺（ＡＤとＢ
Ｃ）のそれぞれの傾きθ１、θ２が演算される。求める
軸Ｇの傾きαは（θ１＋θ２）／２で演算される。又、
軸Ｇの中心Ｈは、長辺ＡＤの中点Ｍ１と長辺ＢＣの中点
Ｍ２を求め、その点Ｍ１とＭ２の中点によって求められ
る。このようにして、軸Ｇの方向と軸位置が決定され
る。この演算が、分離された全ての物体形状について実
行される。
（ｂ）、（ｃ）のように全体形状が分離抽出された物体
形状の各々において、軸方向と軸中心位置が演算され
る。この演算は、図６に示すように、実行される。ま
ず、形状内領域において、ｘ軸方向の両端点とｙ軸方向
の両端点との４点Ａ，Ｂ，Ｃ，Ｄのｘ座標とｙ座標とが
演算される。この座標値により物体形状において４点の
順番も決定される。次に、長辺（ＡＤとＢＣ）と短辺
（ＡＢとＤＣ）とが決定され、２本の長辺（ＡＤとＢ
Ｃ）のそれぞれの傾きθ１、θ２が演算される。求める
軸Ｇの傾きαは（θ１＋θ２）／２で演算される。又、
軸Ｇの中心Ｈは、長辺ＡＤの中点Ｍ１と長辺ＢＣの中点
Ｍ２を求め、その点Ｍ１とＭ２の中点によって求められ
る。このようにして、軸Ｇの方向と軸位置が決定され
る。この演算が、分離された全ての物体形状について実
行される。
【００２１】次に、ステップ１０８において、全ての物
体形状の軸Ｇの長さ（軸長）Ｌが演算される。この軸長
Ｌは、図６に示すように、軸Ｇと短辺ＡＢの交点Ｍ３と
軸Ｇと短辺ＤＣの交点Ｍ４の座標を演算し、その両点Ｍ
３，Ｍ４間の距離で求めることができる。
体形状の軸Ｇの長さ（軸長）Ｌが演算される。この軸長
Ｌは、図６に示すように、軸Ｇと短辺ＡＢの交点Ｍ３と
軸Ｇと短辺ＤＣの交点Ｍ４の座標を演算し、その両点Ｍ
３，Ｍ４間の距離で求めることができる。
【００２２】次に、ステップ１１０において、物体形状
を軸長Ｌの長い順に番号付けする。ここで、物体形状の
軸長Ｌは、山積されたワークの姿勢が上下方向に傾いて
いる場合はワークが地面に対して平行の場合よりも短く
なり、また、ワークが地面に対して平行の場合でも、物
体形状の軸長Ｌは下方にある場合よりも上方にある場合
の方が長くなる。そして、ステップ１１２では軸長Ｌが
最も長いものが上方に位置し、クランプに失敗する確率
が小さいと認識して、軸長Ｌが最も長い物体形状が選択
され、ステップ１１４において、その物体形状の軸方向
及び軸位置に基づいて、図５の（ａ）で示される全体形
状からその物体形状のデータが取り込まれる。図７の
（ａ）に示すように、画面上において軸Ｇの存在位置が
分かれば、軸Ｇを中心として、データを取り出す矩形の
窓Ｑを決定することができ、この窓Ｑから物体形状のデ
ータが抽出される。この抽出方法は、軸Ｇの方向に沿っ
て、軸Ｇに垂直な方向の物体形状の幅Ｅを抽出すること
で行われる。このように１つの形状データを抽出する
と、図７の（ｂ）に示すように、軸Ｇの中心Ｈを座標原
点、軸Ｇと軸Ｇに垂直な軸を座標軸とする座標系におけ
る物体形状のデータが得られる。即ち、物体形状がその
特徴を最も把握し易いように座標変換されたことにな
る。そして、物体形状は軸Ｇを基準とする幅は既知であ
るので、軸Ｇを基準にして幅Ｅの追跡が実行され、他の
物体の一部形状が雑音として抽出されている場合には、
その雑音成分が除去され、図７の（ｂ）に示すように、
雑音成分のない物体形状が得られる。
を軸長Ｌの長い順に番号付けする。ここで、物体形状の
軸長Ｌは、山積されたワークの姿勢が上下方向に傾いて
いる場合はワークが地面に対して平行の場合よりも短く
なり、また、ワークが地面に対して平行の場合でも、物
体形状の軸長Ｌは下方にある場合よりも上方にある場合
の方が長くなる。そして、ステップ１１２では軸長Ｌが
最も長いものが上方に位置し、クランプに失敗する確率
が小さいと認識して、軸長Ｌが最も長い物体形状が選択
され、ステップ１１４において、その物体形状の軸方向
及び軸位置に基づいて、図５の（ａ）で示される全体形
状からその物体形状のデータが取り込まれる。図７の
（ａ）に示すように、画面上において軸Ｇの存在位置が
分かれば、軸Ｇを中心として、データを取り出す矩形の
窓Ｑを決定することができ、この窓Ｑから物体形状のデ
ータが抽出される。この抽出方法は、軸Ｇの方向に沿っ
て、軸Ｇに垂直な方向の物体形状の幅Ｅを抽出すること
で行われる。このように１つの形状データを抽出する
と、図７の（ｂ）に示すように、軸Ｇの中心Ｈを座標原
点、軸Ｇと軸Ｇに垂直な軸を座標軸とする座標系におけ
る物体形状のデータが得られる。即ち、物体形状がその
特徴を最も把握し易いように座標変換されたことにな
る。そして、物体形状は軸Ｇを基準とする幅は既知であ
るので、軸Ｇを基準にして幅Ｅの追跡が実行され、他の
物体の一部形状が雑音として抽出されている場合には、
その雑音成分が除去され、図７の（ｂ）に示すように、
雑音成分のない物体形状が得られる。
【００２３】次に、ステップ１１６において、抽出され
座標変換された図７の（ｂ）示す物体形状において、フ
ランジの有無の判定が実行される。即ち、軸Ｇを基準と
して幅Ｈの追跡が実行され、軸Ｇの端部で、所定幅ＥＦ
の突出があるか否かが判定される。このフランジの判定
は、詳しくは、図７の（ｃ）に示すように、フランジの
最大幅ＥＦの他、軸との結合部分の特徴ある形状の有無
の判定、即ち、軸に結合する段付部Ｕの軸方向長さＦＧ
と幅ＦＥとが求められ、その値が所定の値であるか否か
の判定によって行われている。このように、軸方向長さ
ＦＧと幅ＦＥの２方向の長さを判定することにより、誤
判定を防いでいる。
座標変換された図７の（ｂ）示す物体形状において、フ
ランジの有無の判定が実行される。即ち、軸Ｇを基準と
して幅Ｈの追跡が実行され、軸Ｇの端部で、所定幅ＥＦ
の突出があるか否かが判定される。このフランジの判定
は、詳しくは、図７の（ｃ）に示すように、フランジの
最大幅ＥＦの他、軸との結合部分の特徴ある形状の有無
の判定、即ち、軸に結合する段付部Ｕの軸方向長さＦＧ
と幅ＦＥとが求められ、その値が所定の値であるか否か
の判定によって行われている。このように、軸方向長さ
ＦＧと幅ＦＥの２方向の長さを判定することにより、誤
判定を防いでいる。
【００２４】次に、ステップ１１８において、物体形状
にフランジがあると判定された場合には、ステップ１２
０において、その物体形状の重心Ｊの位置が演算され
る。この重心Ｊの位置は図７の（ｂ）おいて、物体の形
状が明確に把握されていることから、重心Ｊの座標は容
易に決定される。そして、ステップ１２２でその重心Ｊ
の座標がクランプ位置としてロボットの制御装置３０に
転送される。ロボットの制御装置３０はこのクランプ位
置に基づいてロボット２０の姿勢とハンド２３を制御し
て、ロボット２０は物体を指定された重心位置Ｊでクラ
ンプする。
にフランジがあると判定された場合には、ステップ１２
０において、その物体形状の重心Ｊの位置が演算され
る。この重心Ｊの位置は図７の（ｂ）おいて、物体の形
状が明確に把握されていることから、重心Ｊの座標は容
易に決定される。そして、ステップ１２２でその重心Ｊ
の座標がクランプ位置としてロボットの制御装置３０に
転送される。ロボットの制御装置３０はこのクランプ位
置に基づいてロボット２０の姿勢とハンド２３を制御し
て、ロボット２０は物体を指定された重心位置Ｊでクラ
ンプする。
【００２５】尚、ステップ１１８で物体形状がフランジ
を有していないと判定された場合には、この物体形状の
抽出に失敗したことを意味している。よって、この場合
には、ステップ１２４を経て、ステップ１１２へ戻り、
物体形状のうちで次に軸長Ｌが長いものについて、物体
形状の抽出及びフランジ有無の判定処理が実行される。
又、ステップ１２４でフィルタ処理により抽出された全
物体形状について、上記の処理が実行された場合には、
現状の山積み状態では、クランプできる物体が認識でき
なかったことを意味しているので、ステップ１２６で本
装置の外部にＮＧ信号が出力され、本処理が終了され
る。ＮＧ信号が出力された場合には、コンテナＣに振動
を加える等して、物体の山積み状態を変化させて、上記
の処理を最初から実行することになる。
を有していないと判定された場合には、この物体形状の
抽出に失敗したことを意味している。よって、この場合
には、ステップ１２４を経て、ステップ１１２へ戻り、
物体形状のうちで次に軸長Ｌが長いものについて、物体
形状の抽出及びフランジ有無の判定処理が実行される。
又、ステップ１２４でフィルタ処理により抽出された全
物体形状について、上記の処理が実行された場合には、
現状の山積み状態では、クランプできる物体が認識でき
なかったことを意味しているので、ステップ１２６で本
装置の外部にＮＧ信号が出力され、本処理が終了され
る。ＮＧ信号が出力された場合には、コンテナＣに振動
を加える等して、物体の山積み状態を変化させて、上記
の処理を最初から実行することになる。
【図１】本発明の具体的な一実施例に係るロボットの物
体認識装置とその出力信号により制御されるロボットの
制御装置の機械的及び電気的構成を示した構成図。
体認識装置とその出力信号により制御されるロボットの
制御装置の機械的及び電気的構成を示した構成図。
【図２】本実施例に係るロボットの物体認識装置の機械
的構成とコンテナに山積みされた複数のワークとの配置
関係を示した斜視図。
的構成とコンテナに山積みされた複数のワークとの配置
関係を示した斜視図。
【図３】同実施例に係るロボットの物体認識装置で使用
されているＣＰＵの処理手順を示したフローチャート。
されているＣＰＵの処理手順を示したフローチャート。
【図４】CCDカメラＡで撮像された濃淡画像とその画像
強調処理の方法を示した説明図。
強調処理の方法を示した説明図。
【図５】フィルタ処理による物体形状の抽出方法を示し
た説明図。
た説明図。
【図６】物体形状の軸方向及び軸位置の演算方法を示し
た説明図。
た説明図。
【図７】軸方向及び軸位置に基づいて全体形状から正確
な物体形状を抽出する方法及びフランジ有無の判定方法
を示した説明図。
な物体形状を抽出する方法及びフランジ有無の判定方法
を示した説明図。
１０…ロボットの物体認識装置 ２０…ロボット ２１…第１のアーム ２２…第２のアーム ２３…ハンド ２４…センサ ３０…ロボットの制御装置 ３７…フロッピーディスク ３８…キーボード ３９…ＣＲＴ表示装置 Ａ… CCDカメラ Ｃ…コンテナ ＳＬ…光投光器 Ｗ…ワーク Ｇ…軸 Ｈ…軸中心 Ｊ…重心 Ｅ…幅
───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉瀬 浩 愛知県刈谷市朝日町１丁目１番地 豊田工 機株式会社内 (72)発明者 小島 正之 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内 (72)発明者 山崎 靖崇 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内
Claims (5)
- 【請求項１】長尺状物体であって軸方向の少なくとも一
箇所において軸に垂直な方向に突出したフランジを有す
る物体が多数個不規則に山積みされており、その山積み
された物体群の中からクランプすべき物体を特定する方
法において、 前記物体群を撮像して得られた濃淡画像を処理して前記
物体群の全体形状を抽出し、 前記全体形状において所定方向にのみ長さを有する物体
形状を抽出し、 その抽出された物体形状毎に軸の方向と位置を演算し、 その軸の方向と位置に基づき、前記全体形状からその軸
を有する物体形状を抽出し、その抽出された物体形状に
おいて前記軸に対して所定位置に所定形状のフランジ特
徴を有する物体形状をクランプすべき物体の形状として
検出することを特徴とする物体認識方法。 - 【請求項２】長尺状物体であって軸方向の少なくとも一
箇所において軸に垂直な方向に突出したフランジを有す
る物体が多数個不規則に山積みされており、その山積み
された物体群を撮像して、クランプすべき物体の位置を
検出し、クランプ位置をロボット制御装置に出力する物
体認識装置において、 前記物体群を撮像する撮像装置と、 前記撮像装置により得られた濃淡画像を処理して前記物
体群の全体形状を抽出する全体形状抽出手段と、 前記全体形状において、形状内画素が画面上所定方向に
沿って所定長以上連続する画素線分を抽出することで、
前記所定方向にのみ長さを有する物体形状を抽出するフ
ィルタ手段と、 前記フィルタ手段により抽出された物体形状毎に軸の方
向と位置を演算する軸方向位置演算手段と、 前記軸方向位置演算手段により演算された前記軸の方向
と位置に基づき、前記全体形状からその軸を有する物体
形状を抽出し、その抽出された物体形状において前記軸
に対して所定位置に所定形状のフランジ特徴を有する物
体形状をクランプすべき物体の形状として検出するクラ
ンプ物体検出手段と、 前記クランプ物体検出手段により前記物体形状がフラン
ジ特徴を有すると判定された場合には、その物体形状の
前記クランプ位置を演算するクランプ位置演算手段と、 そのクランプ位置を前記ロボット制御装置に出力するク
ランプ位置出力手段とを有することを特徴とする物体認
識装置。 - 【請求項３】前記クランプ物体検出手段は、前記フィル
タ手段により抽出された前記物体形状の軸方向とその軸
方向に垂直な方向とに座標系を設定して、その座標系に
変換された物体形状において、軸上の位置とその軸に垂
直な方向の長さとによりフランジ特徴を判定することを
特徴とする請求項２に記載の物体認識装置。 - 【請求項４】前記フィルタ手段は、画面上に前記所定方
向を相互に直交する２方向に設定し、その２方向に対し
て前記物体形状の抽出を行うものであることを特徴とす
る請求項２に記載の物体認識装置。 - 【請求項５】前記フィルタ手段により抽出された前記物
体形状毎に軸長を演算する軸長演算手段を有し、前記ク
ランプ物体検出手段は、その軸長が長い順に前記フラン
ジ特徴の判定を実行して、最先にフランジ特徴が検出さ
れた物体をクランプすべき物体とし、その後の判定演算
を停止するものであることを特徴とする請求項２に記載
の物体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32993395A JP3375242B2 (ja) | 1995-11-24 | 1995-11-24 | ロボットの物体認識方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32993395A JP3375242B2 (ja) | 1995-11-24 | 1995-11-24 | ロボットの物体認識方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09147121A true JPH09147121A (ja) | 1997-06-06 |
| JP3375242B2 JP3375242B2 (ja) | 2003-02-10 |
Family
ID=18226905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32993395A Expired - Fee Related JP3375242B2 (ja) | 1995-11-24 | 1995-11-24 | ロボットの物体認識方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3375242B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000057129A1 (fr) * | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede |
| US6328523B1 (en) * | 1998-04-21 | 2001-12-11 | Fanuc Ltd. | Apparatus for picking up articles using a vision controlled robot |
| JP4571753B2 (ja) * | 2001-03-05 | 2010-10-27 | 株式会社ニレコ | 画像処理における繊維状粒子の分離方法 |
-
1995
- 1995-11-24 JP JP32993395A patent/JP3375242B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6328523B1 (en) * | 1998-04-21 | 2001-12-11 | Fanuc Ltd. | Apparatus for picking up articles using a vision controlled robot |
| WO2000057129A1 (fr) * | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede |
| US6721444B1 (en) | 1999-03-19 | 2004-04-13 | Matsushita Electric Works, Ltd. | 3-dimensional object recognition method and bin-picking system using the method |
| JP4571753B2 (ja) * | 2001-03-05 | 2010-10-27 | 株式会社ニレコ | 画像処理における繊維状粒子の分離方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3375242B2 (ja) | 2003-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768174B2 (ja) | ワーク取出し装置 | |
| EP1477934A2 (en) | Image processing apparatus | |
| KR100823549B1 (ko) | 조선소 소조립 용접부재 위치 인식 방법 | |
| JP2004090183A (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
| JPH01196501A (ja) | ロボットの物体認識装置 | |
| JP2555824B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2003136465A (ja) | 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ | |
| JP3375242B2 (ja) | ロボットの物体認識方法及びその装置 | |
| JP2000263482A (ja) | ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置 | |
| JPH08315152A (ja) | 画像認識装置 | |
| JPH0953915A (ja) | 重なり状態認識方法 | |
| JPH05134731A (ja) | 山積み部品の高速ピツキング装置 | |
| JP2555823B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2007183908A (ja) | 物体検出方法 | |
| JP4566686B2 (ja) | 対象物の形状判別方法及び装置 | |
| JPH065545B2 (ja) | 図形認識装置 | |
| JP2000194861A (ja) | 画像認識方法及び装置 | |
| JP3151900B2 (ja) | 部品供給装置 | |
| JP2000180138A (ja) | キャリブレーションプレート及びこれを利用する視覚センサのキャリブレーション装置 | |
| JPH09272090A (ja) | ロボットシステム | |
| JP2818423B2 (ja) | 画像処理装置及びこれを用いた工作機械のワーク位置決め装置 | |
| JPH037242B2 (ja) | ||
| JPH10332333A (ja) | 対象物の回転角と位置の検出方法 | |
| JP2968403B2 (ja) | 画像処理方法 | |
| JPH065544B2 (ja) | 図形認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |