JP5195465B2

JP5195465B2 - ロボット制御装置及び方法

Info

Publication number: JP5195465B2
Application number: JP2009016713A
Authority: JP
Inventors: 裕一朗中島
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2009-01-28
Filing date: 2009-01-28
Publication date: 2013-05-08
Anticipated expiration: 2029-01-28
Also published as: JP2010172992A

Description

本発明は、物体を把持することが可能なロボットを制御する技術に関するものである。

近年、アーム部の先端に備えられたハンド部により、所定の物体を把持することが可能なロボットが開発されている。通常、このようなロボットは、物体位置の認識、アーム部の動作、ハンド部の動作等を自律的に実行する。把持動作を成功させるためには、ハンド部の動作を開始する前に、ハンド部を的確な位置に配置することが必要である。このようなハンド部の配置は、アーム部の動作によって行われ、アーム部の動作は、カメラ等の手段を用いた物体位置の認識結果に基づいて行われる。従って、物体位置の認識やアーム部の動作が正確に行われないと、ハンド部を的確な位置に配置することができず、把持動作を失敗する可能性が大きくなる。

上記のような問題に対処する先行技術として、次のようなものがある。特許文献１及び２は、ロボットの頭部及びハンド部にカメラを搭載し、頭部のカメラによる映像上でハンド部が物体と重なった場合に、ハンド部のカメラによる映像により、物体位置の認識を可能にする構成を開示している。特許文献３は、カメラをロボットとは別体に設置することにより、物体を撮像する際のハンド部、アーム部等による死角をなくす構成を開示している。

また、ロボットの物体認識に関する他の先行技術として、次のようなものがある。特許文献４は、自律歩行型のロボットが目標物に近づく際に、目標物までの距離や方向を判別するための構成を開示している。特許文献５及び６は、自律移動ロボットの位置を、単眼視カメラにより撮像したワークの画像情報に基づいて求める構成を開示している。特許文献７は、カメラの撮像方向を自律的に切り換えるロボットにおいて、周囲の空間を単位ブロックに分割し、各ブロックを撮像した撮像時刻情報を基に撮像方向を決定する構成を開示している。特許文献８は、利用者からの命令により物体を運搬するロボットにおいて、カメラにより撮像された情報に基づいて、目的物の探索等を行う構成を開示している。

特開２００７−２１６３５０号公報特開２００７−３１９９３８号公報特開平０５−１３８５８２号公報特開２００８−０７６０９４号公報特開平０６−２５８０２８号公報特開平０７−１０３７１５号公報特開２００４−２２９００３号公報特開２００３−３４５４３５号公報

しかしながら、上記特許文献１及び２に記載の構成は、複数のカメラを必要とするため、コストの増加、画像処理の複雑化・高負荷化等の点で改善の余地がある。また、特許文献３に記載の構成においては、複数のカメラを必要とすることによる問題に加え、ロボットの使用場所が制限されるという問題が存する。

そこで、本発明は、コストの増加、使用場所の制限等の問題を生ずることなく、高い確率で把持動作を成功させることができるロボットを提供することを目的とする。

上記課題の解決を図る本発明は、所定の自由度を有する動作が可能なアーム部と、前記アーム部の先端部に設けられ所定の物体を把持することが可能なハンド部とを備えるロボットを制御する装置であって、前記アーム部の他端部が接続される前記ロボットの体幹部に搭載され、作業領域の画像情報を取得する撮像装置と、前記撮像装置により取得された画像情報に基づいて、前記物体の位置を認識する物体位置認識部と、前記物体位置認識部により認識された前記物体の位置に基づいて、前記アーム部を動作させるアーム制御部と、前記撮像装置により取得された画像情報に基づいて、前記ハンド部、前記物体、及び前記撮像装置の相対的な位置関係を認識し、前記位置関係に基づいて、前記ハンド部が前記物体を把持する動作を実行するのに適した適正位置にあるか否かを判定するハンド位置判定部と、前記ハンド位置判定部により前記ハンド部が前記適正位置にあると判定された場合に、前記ハンド部に前記物体を把持する動作を実行させるハンド制御部と、前記ハンド位置判定部により前記ハンド部が前記適正位置にないと判定された場合に、前記アーム部に前記ハンド部を前記適正位置に移動させる動作を実行させるアーム修正動作部とを備えるものである。

上記本発明によれば、先ず前記撮像装置により取得された画像情報に基づいて、前記物体の位置が認識され、この認識結果に基づいて、前記アーム部の動作が決定される。そして、前記アーム部の動作により、前記ハンド部が、前記物体の把持が可能となる適正位置に配置される。ここで、本発明においては、前記ハンド部が前記物体を把持する動作を実行する前に、前記ハンド位置判定手段により、前記ハンド部の位置が適正なものであるか否かが判定される。即ち、前記撮像装置により取得された画像情報に基づいて、前記ハンド部、前記物体、及び前記撮像装置の相対的な位置関係を把握し、この位置関係が設定条件に適合するか否かを判定することにより、前記ハンド部が前記適正位置にあるか否かが判定される。例えば、前記ハンド部が前記物体を確実に把持することができる位置にある時の前記位置関係を、予め設定しておくことにより、上記判定が可能となる。そして、前記ハンド部が前記適正位置にないと判定された場合には、前記アーム修正動作部により、前記ハンド部の位置を修正するために、前記アーム部の動作が再度実行される。このように、前記ハンド部が前記適正位置に配置されるまで、前記アーム部の動作が繰り返され、前記ハンド部は、前記適正位置に配置された後でなければ把持動作を実行しない。これにより、把持動作の成功率を向上させることができる。また、本発明によれば、前記撮像装置を前記ハンド部や前記アーム部、又は外部施設に搭載する必要がなく、画像処理にかかる負荷も軽度なものとなる。

また、前記ハンド位置判定部は、前記撮像装置の撮像範囲内に、前記ハンド部が存在し且つ前記物体が存在しない場合に、前記ハンド部が前記適正位置にあると判定することが好ましい。

前記ハンド部が前記適正位置にある場合、前記体幹部に搭載される前記撮像装置からの映像上では、前記物体が前記ハンド部に隠れ、前記物体が存在しないように見える。従って、前記撮像装置からの映像において、前記ハンド部が存在すると共に前記物体が存在しない状態となった場合に、前記ハンド部が前記適正位置にあると判定することができる。

また、前記ハンド部が所定の構築物に接触したことを検知する接触検知部を備え、前記アーム制御部は、前記接触検知部により前記ハンド部の接触が検知された場合に、前記アーム部の動作を停止させることが好ましい。

この構成によれば、前記物体やこの物体が載置された机等の構築物に前記ハンド部が接触すると、前記アーム部が停止される。これにより、前記ハンド部を前記適正位置、又はその近辺で停止させることができる。

また、本発明は、所定の自由度を有する動作が可能なアーム部と、前記アーム部の先端部に設けられ所定の物体を把持することが可能なハンド部と、前記アーム部の他端部が接続される前記ロボットの体幹部に搭載され作業領域の画像情報を取得する撮像装置とを備えるロボットを制御する方法であって、前記撮像装置により取得された画像情報に基づいて、前記物体の位置を認識する物体位置認識ステップと、前記物体位置認識ステップにより認識された前記物体の位置に基づいて、前記アーム部を動作させるアーム制御ステップと、前記撮像装置により取得された画像情報に基づいて、前記ハンド部、前記物体、及び前記撮像装置の相対的な位置関係を認識し、前記位置関係に基づいて、前記ハンド部が前記物体を把持する動作を実行するのに適した適正位置にあるか否かを判定するハンド位置判定ステップと、前記ハンド位置判定ステップにより前記ハンド部が前記適正位置にあると判定された場合に、前記ハンド部に前記物体を把持する動作を実行させるハンド制御ステップと、前記ハンド位置判定ステップにより前記ハンド部が前記適正位置にないと判定された場合に、前記アーム部に前記ハンド部を前記適正位置に移動させる動作を実行させるアーム修正動作ステップとを備えるものである。

上記方法による作用効果は、上記装置によるものと同様である。

以上のように、本発明によれば、ハンド部、アーム部、又は外部施設等に、複数の撮像装置を搭載することなく、ハンド部を確実に適正位置に配置することが可能となる。これにより、コストの増加、使用場所の制限等の問題を生ずることなく、把持動作の成功率を向上させることができる。

図１は、本発明に係るロボット制御装置の構成を示す機能ブロック図である。図２（ａ）は、本発明のロボット制御装置が適用されるロボットの使用状況例を示す図であり、図２（ｂ）は、図２（ａ）に示す使用状況におけるロボットの撮像装置による映像例を示す図である。図３（ａ）は、本発明のロボット制御装置が適用されるロボットの使用状況例を示す図であり、図３（ｂ）は、図３（ａ）に示す使用状況におけるロボットの撮像装置による映像例を示す図である。図４は、ハンド位置判定部における具体的な処理例を示すブロック図である。図５は、本発明の実施の形態に係るロボット制御装置による処理の流れを示すフローチャートである。図６は、本発明の実施の形態に係る接触検知部の構成例を示す図である。図７（ａ）は、ハンド部の位置を修正する前の状態を示す図であり、図７（ｂ）は、ハンド部の位置を修正した後の状態を示す図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明に係るロボット制御装置１の構成を示す機能ブロック図である。このロボット制御装置１は、撮像装置２、物体位置認識部３、アーム制御部４、ハンド位置判定部５、ハンド制御部６、アーム修正動作部７を備えている。

撮像装置２は、レンズ、ＣＣＤ(Charge Coupled Device)センサ、イメージプロセッサ等を備える周知のデジタルビデオカメラ等の装置であり、ロボットの作業範囲の画像情報を取得するものである。

物体位置認識部３は、撮像装置２により取得された画像情報に基づいて、把持動作の対象となる物体の位置を認識する。この物体位置認識部３は、中央処理装置（ＣＰＵ）、記憶装置（ＲＯＭ，ＲＡＭ等）、入出力装置（Ｉ／Ｏポート）、所定のプログラム等の協働により構成される。

アーム制御部４は、物体位置認識部３により認識された物体の位置に基づいて、ロボットのアーム部を動作させる。このアーム制御部４は、中央処理装置、記憶装置、入出力装置、所定のプログラム等の協働により構成される。

ハンド位置判定部５は、撮像装置２により取得された画像情報に基づいて、ハンド部、物体、及び撮像装置２の相対的な位置関係を認識し、この位置関係に基づいて、ハンド部が物体を把持する動作を実行するのに適した適正位置にあるか否かを判定する。このハンド位置判定部５は、中央処理装置、記憶装置、入出力装置、所定のプログラム等の協働により構成される。

ハンド制御部６は、ハンド位置判定部５によりハンド部が適正位置にあると判定された場合に、ハンド部に物体を把持する動作を実行させる。このハンド制御部６は、中央処理装置、記憶装置、入出力装置、所定のプログラム等の協働により構成される。

アーム修正動作部７は、ハンド位置判定部５によりハンド部が適正位置にないと判定された場合に、アーム部にハンド部を適正位置に移動させる動作を実行させる。このアーム修正動作部７は、中央処理装置、記憶装置、入出力装置、所定のプログラム等の協働により構成される。

図２（ａ）及び図３（ａ）は、上記構成のロボット制御装置１が適用されるロボット１１の例を示している。同図において、ロボット１１のアーム部１２、ハンド部１３、撮像装置２、体幹部１４、駆動部１５が示されている。アーム部１２は、各種の関節構造やアクチュエータを備え、所定の自由度を有する動作が可能な機構である。ハンド部１３は、アーム部１２の一端部に設けられ、各種の関節構造やアクチュエータを備え、所定の物体２１を把持可能な、例えば指形状の機構を備えるものである。体幹部１４は、ロボット１１の体躯を構成する部分であり、アーム１２の他端部が接続されている。また、体幹部１４の一部を構成する頭部１６には、撮像装置２が搭載されている。更に、体幹部１４の下部には、車輪、モータ等から構成される駆動部１５が設けられている。また、同図において、ハンド部１３による把持動作の対象となる物体２１、物体２１が載置される机２２が示されている。

図２（ｂ）は、図２（ａ）に示す状態にあるロボット１１の撮像装置２から得られる映像を概略的に示している。同図に示す映像は、机２２上の物体２１が存在する状態となっている。図３（ｂ）は、図３（ａ）に示す状態にあるロボット１１の撮像装置２から得られる映像を概略的に示している。同図に示す映像は、ハンド部３と物体２１とが重なっていることにより、物体２１が存在しないかのような状態となっている。

図４は、ハンド位置判定部５（図１参照）における具体的な処理例を示している。本実施の形態に係るハンド位置判定部５は、ハンド部１３（又は物体２１）周辺の画像情報を、撮像装置２から取得し（Ｓ１１）、所定の制御プログラムに従ってこの画像情報の分析処理を行う（Ｓ１２）。そして、このＳ１２において、ハンド部１３周辺に物体２１が存在しない（映っていない）と判定された場合（物体なし）には、ハンド部１３が適正位置にあると判定する（ＯＫ）。一方、ハンド部１３周辺に物体２１が存在する（映っている）と判定された場合（物体あり）には、ハンド部１３は適正位置にないと判定する（ＮＧ）。即ち、ハンド部１３周辺に物体２１が存在しないように見えるのは、図３（ｂ）に示すように、撮像装置２の映像上でハンド部１３が物体２１と重なっているためであり、この時ハンド部１３は物体２１を把持するための適正な位置にあると判定することができる。

図５は、上記構成のロボット制御装置１による処理の流れを示している。先ず、物体位置認識部３により、撮像装置２からの画像情報を入力し（Ｓ１０１）、この画像情報に基づいて、物体２１の３次元位置を推定する（Ｓ１０２）。その後、アーム制御部４は、推定された物体２１の位置に基づいて、ハンド部１３を物体２１まで移動させるためのアーム部１２の動作軌道を計画し（Ｓ２０１）、アーム部１２の各関節機構への指令値を生成し（Ｓ２０２）、アーム部１２を動作させる（Ｓ２０３）。

その後、アーム制御部４は、ハンド部１３が所定の構築物に接触したか否かを判定する（Ｓ２０４）。この接触についての判定は、図６に示すように、ハンド部１３に備えられた接触センサ３１等の手段を利用して行うことができる。接触センサ３１としては、周知のものを適宜利用することができる。例えば、接触センサ３１をハンド部１３の指状部材２５の先端に設置することが好ましい。上記ステップＳ２０４（図５参照）において、ハンド部１３の接触が検知されない場合（Ｎ）には、アーム部１２の動作を継続し（Ｓ２０３）、ハンド部１３の接触が検知された場合（Ｙ）には、アーム部１２の動作を終了する（Ｓ２０５）。

上記のようにして、アーム部１２の動作が一端終了すると、ハンド位置判定部５は、撮像装置２からハンド部１３周辺の画像情報を入力し（Ｓ３０１）、この情報内に物体２１の画像が存在するか否かを判定する（Ｓ３０２）。このステップＳ３０２において、物体２１が存在すると判定された場合（Ｙ）には、ハンド部１３は適正位置にないとして、ステップＳ１０１に戻り、再度アーム部１２の動作を実行する。一方、物体２１が存在しないと判定された場合（Ｎ）には、ハンド部１３が適正位置にあるとして、ハンド制御部８によるハンド部１３の動作が実行される（Ｓ４０１）。ハンド制御部８は、ハンド部１３が物体２１を把持したか否かを判定し（Ｓ４０２）、把持していないと判定された場合（Ｎ）には、ステップＳ４０１に戻りハンド部１３の動作を継続し、把持したと判定された場合（Ｙ）には、ハンド部１３の動作を終了する（Ｓ４０３）。

図７（ａ），（ｂ）は、上記処理により、ハンド部１３の位置が修正される様子を示している。図７（ａ）は、アーム部１２の動作（ハンド部１３の移動）が接触センサ３１の検出等に応じて一端停止した状態を示している。この状態における撮像装置２からの映像には、物体２１が映っている。即ち、撮像装置２からの視点において、ハンド部１３が物体２１と重なっていない状態であることが示されている。この状態では、ハンド部１３が物体２１を把持することはできない。このような状況が生ずると、上述したハンド位置判定部５による処理（ステップＳ３０２）により、図７（ｂ）に示すように、撮像装置２からの視点において、ハンド部１３が物体２１を隠す状態となるまで、アーム部１２の動作が継続される。そして、図７（ｂ）に示す状態となった時に、ハンド部１３が把持動作を実行すれば、物体２１の把持が成功する可能性が高くなる。

以上のように、本実施の形態によれば、体幹部１４（頭部１６）に搭載された撮像装置２からの画像情報のみにより、ハンド部１３を確実に適正位置に配置することが可能となる。これにより、多数の撮像装置を設置することによるコストの増加及び画像処理の高負荷化、又使用場所の制限等の問題を生ずることなく、把持動作の成功率を向上させることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ロボット制御装置
２撮像装置
３物体位置認識部
４アーム制御部
５ハンド位置判定部
６ハンド制御部
７アーム修正動作部
１１ロボット
１２アーム部
１３ハンド部
１４体幹部
１６頭部
２１物体
３１接触センサ

Claims

所定の自由度を有する動作が可能なアーム部と、前記アーム部の一端部に設けられ所定の物体を把持することが可能なハンド部とを備えるロボットを制御する装置であって、
前記アーム部の他端部が接続される前記ロボットの体幹部に搭載され、作業領域の画像情報を取得する撮像装置と、
前記撮像装置により取得された画像情報に基づいて、前記物体の位置を認識する物体位置認識部と、
前記物体位置認識部により認識された前記物体の位置に基づいて、前記アーム部を動作させるアーム制御部と、
前記撮像装置により取得された画像情報に基づいて、前記ハンド部、前記物体、及び前記撮像装置の相対的な位置関係を認識し、前記位置関係に基づいて、前記ハンド部が前記物体を把持する動作を実行するのに適した適正位置にあるか否かを判定するハンド位置判定部と、
前記ハンド位置判定部により前記ハンド部が前記適正位置にあると判定された場合に、前記ハンド部に前記物体を把持する動作を実行させるハンド制御部と、
前記ハンド位置判定部により前記ハンド部が前記適正位置にないと判定された場合に、前記アーム部に前記ハンド部を前記適正位置に移動させる動作を実行させるアーム修正動作部と、
を備え、
前記ハンド位置判定部は、前記撮像装置の撮像範囲内に、前記ハンド部が存在し且つ前記物体が存在しない場合に、前記ハンド部が前記適正位置にあると判定する、
ロボット制御装置。
前記ハンド部が所定の構築物に接触したことを検知する接触検知部を備え、
前記アーム制御部は、前記接触検知部により前記ハンド部の接触が検知された場合に、前記アーム部の動作を停止させる、
請求項１記載のロボット制御装置。
所定の自由度を有する動作が可能なアーム部と、前記アーム部の一端部に設けられ所定の物体を把持することが可能なハンド部と、前記アーム部の他端部が接続される前記ロボットの体幹部に搭載され作業領域の画像情報を取得する撮像装置とを備えるロボットを制御する方法であって、
前記撮像装置により取得された画像情報に基づいて、前記物体の位置を認識する物体位置認識ステップと、
前記物体位置認識ステップにより認識された前記物体の位置に基づいて、前記アーム部を動作させるアーム制御ステップと、
前記撮像装置により取得された画像情報に基づいて、前記ハンド部、前記物体、及び前記撮像装置の相対的な位置関係を認識し、前記位置関係に基づいて、前記ハンド部が前記物体を把持する動作を実行するのに適した適正位置にあるか否かを判定するハンド位置判定ステップと、
前記ハンド位置判定ステップにより前記ハンド部が前記適正位置にあると判定された場合に、前記ハンド部に前記物体を把持する動作を実行させるハンド制御ステップと、
前記ハンド位置判定ステップにより前記ハンド部が前記適正位置にないと判定された場合に、前記アーム部に前記ハンド部を前記適正位置に移動させる動作を実行させるアーム修正動作ステップと、
を備え、
前記ハンド位置判定ステップは、前記撮像装置の撮像範囲内に、前記ハンド部が存在し且つ前記物体が存在しない場合に、前記ハンド部が前記適正位置にあると判定する、
ロボット制御方法。
前記ロボットは、前記ハンド部が所定の構築物に接触したことを検知する接触検知部を更に備え、
前記アーム制御ステップは、前記接触検知部により前記ハンド部の接触が検知された場合に、前記アーム部の動作を停止させる、
請求項３記載のロボット制御方法。