JPWO2008047872A1 - マニピュレータ - Google Patents

Abstract

マニピュレータ（１０１）のアーム（１０３）に設けられた画像入力装置（２）により取得した把持部（１０２）周辺の画像と、把持部（１０２）とアーム（１０３）との間の関節（１１２）に設けられた角度センサ（１２２）により検出したマニピュレータ（１０１）の位置変化を基に、把持部（１０２）に把持された物体（１０９）の位置および形状を検出する。また、接触可能性判定装置（４）が、物体（１０９）の形状と位置を検出することで、周囲監視装置（３）により検出した周囲物体（１０８）の位置と比較して接触の可能性を判定する。また、物体（１０９）が周囲物体（１０８）と接触する可能性があればマニピュレータ（１０１）の移動を停止するか、又は警報手段５により把持物体（１０９）と周囲物体（１０８）の接近を警告する。

Description

本発明は、アームにより対象物を把持して位置決めや運搬を行うマニピュレータに関する。

マニピュレータは、人間の腕のように関節とアーム（腕）が組み合わされた装置であり、対象物を把持して位置決めや運搬を行う装置の総称である。マニピュレータは、一般に、対象物を把持する把持機構と把持機構を動かすアーム機構を備えており、アームの移動が自動制御されるものと、人が操作するものがある。アームが自動制御されるタイプのマニピュレータの例としては、工場において部品の搬送、組み立て等に用いられる産業用ロボットアームや、公共空間・オフィス・家庭内などで家事や介護などの作業を行うサービスロボットのアームなどがある。アームを人が操作するタイプのマニピュレータの例としては、大型・重量物を取り扱う建設機械や、宇宙環境や原子力施設などで使用されるマスタスレーブマニピュレータ、医療用の手術支援マニピュレータなどがある。

従来から、マニピュレータが周囲の物や人に接触することを防止する安全技術が提案されている。アーム型ロボットでは、ロボットアームの作業範囲の周囲に侵入検知センサなどを設け、障害物の進入を検知すると緊急停止するものが提案されている。また、建設機械では、作業員に赤外線発光器を装着させると共に、建設機械に赤外線受光器を取り付け、建設機械の周囲に設定した警報領域内に作業員が侵入すると、赤外線受光器で作業員を検知し、警告を発する建設機械の警報装置が提案されている。

一方、マニピュレータが把持している物体についても、周囲の物や人に対する接触を防止する必要がある。しかし、従来は、形状が予め与えられていない未知の物体を把持している場合に対応できる、把持物体の接触に関する安全技術は提案されていなかった。

未知の把持物体の周囲への接触を防止するためには、把持中の物体の寸法・形状を知る手段が必要となる。これに関連する技術としては、マニピュレータにより対象物を把持することを目的として、その対象物の形状に関する情報を得る技術がある。その技術として、アーム型ロボットに設けた視覚センサで取得した画像情報を基に、画像認識によって把持対象物を単純形状へと当てはめ、その大きさ、向きを算出し、それに基づいて把持方法を求め、任意形状物体を確実に把持する方法が提案されている。

特開２０００−２０２７９０号公報には、アーム型ロボット本体に設けられている超音波センサが、周囲の移動物体を検出し、本体との距離が一定の範囲内になるとロボットアームの移動速度を減速制御するロボット装置が開示されている。

また、特開２００５−１２８９５９号公報には、腕部ユニット等の可動部を学習対象物体に接触させて学習対象物体を動かすことで学習対象物体を示す物体領域画像を切り出し、その物体領域画像から特徴量を抽出して物体モデルデータベースに登録するロボット装置およびその学習方法が開示されている。ここで、対象物体の画像を抽出する手段は、撮像した画像から対象物体を動かす前後で変化のあった領域を抽出する方法を用いている。

従来は、マニピュレータが未知の物体を把持している場合に、把持物体が周囲の物や人に接触することを防止する、適当な安全技術は存在しなかった。また、上記従来の、画像認識によって把持対象物体の形状に関する情報を得る方法は、工場のような整備された環境には適用できるが、一般のオフィス・家庭内や屋外など、複雑な環境においては、画像に写っている背景の物体から把持対象物体を分離するのが難しいという問題がある。

より詳しく述べると、一般のオフィス・家庭内や屋外などの複雑な環境では、把持する対象物以外の周囲の物も動く可能性がある。特開２００５−１２８９５９号公報のように、対象物が動いている場合に、対象物を画像の中から抽出する方法として、時刻の異なる複数の画像から、変化した部分を抽出する方法が知られているが、周囲の物も動く場合は、動いた背景の部分を対象物と誤認してしまうので、正しく対象物を抽出できない。

このように、未知の物体を安全に取り扱うためには、把持している物体を認識する必要があるが、従来技術では、一般の環境においては、把持対象物体を確実に認識するのは困難だった。このことは、オフィス・家庭用サービスロボットなど、未知の物体を扱う自動型のマニピュレータを持つロボットを実用化することを困難にしていた。また、建設機械など、操作型マニピュレータの場合は、操作者の注意力によって安全性を確保しなければならず、操作者の負担が大きかった。

特開２０００−２０２７９０号公報 特開２００５−１２８９５９号公報

本発明はかかる点に鑑みてなされたものであり、把持している物体も周囲の物体も任意に動きうる状況において、未知の把持物体の形状を確実に認識でき、認識した形状に基づいて作業を行い、かつ、把持物体が周囲の物・人に接触するのを防止し、それによって安全性を高めることができるマニピュレータを提供することを目的とする。

本発明のマニピュレータは、アームと、前記アームを駆動するアーム駆動手段と、前記アームに設けられた把持部と、前記把持部の周辺画像を取得する画像入力手段と、前記画像入力手段に対する前記把持部の相対位置を検出する把持部相対位置検出手段と、前記画像入力手段により取得された複数の画像と、前記把持部相対位置検出手段により検出された前記画像入力手段に対する前記把持部の相対位置とを記憶する記憶手段と、を有し、前記記憶手段に記憶された複数の画像と前記把持部の前記画像入力手段に対する相対位置に基づいて、前記把持物体の位置および形状を検出するものである。

本発明によれば、マニピュレータの把持物体の形状を認識して、その把持物体が周囲の物体に接触するのを防止して、マニピュレータの安全性を高めることができる。

本発明の一実施の形態による全体構成例を示す模式図。 本発明の一実施の形態によるマニピュレータ装置のシステム構成例を示すブロック図。 本発明の一実施の形態による接触可能性判定処理の全体処理例示すフローチャート。 本発明の一実施の形態による把持物体の位置・形状判定処理の処理例を示すフローチャート。 本発明の一実施の形態による濃淡画像例を示す説明図。 本発明の一実施の形態による把持物体の位置・形状判定処理における画像処理例を示す説明図。 本発明の一実施の形態による接触可能性判定処理の処理例を示すフローチャート。 本発明の他の実施の形態による全体構成例を示す模式図。

以下、本発明の一実施の形態を、添付図面を参照して説明する。

図１に本実施例におけるマニピュレータの全体構成例を、図２に本実施例におけるマニピュレータのシステム構成例を示す。まず、図１を参照して、本実施例の全体構成例について説明する。

本実施例におけるマニピュレータ１０１は、ベース１０５と、ベースから直接に繋がっている複数のアーム（腕）１０３、１０４と、アームの先端に取り付けられた把持部１０２とを備えている。図１では、アームの数を２本としているが、それ以上設けてもよい。把持部１０２と、アーム１０３、１０４とベース１０５の間には、可動部である関節１１２、１１３、１１４がある。また、各関節には、関節を駆動するアクチュエータ１３２、１３３、１３４（図１では関節１１２、１１３、１１４と重ねて図示）と、可動部の変化量を測定するために関節１１２、１１３、１１４の角度を測定する角度センサ１２２、１２３、１２４（図１では関節１１２、１１３、１１４と重ねて図示）を備えている。ここで、関節は複数の回転自由度を持っていてもよく、その場合角度センサは複数の方向の回転角度を取得する。また、角度センサが取得した角度情報を入力し、アクチュエータを制御してマニピュレータ１０１を動かす制御装置１０６を備えている。制御装置１０６は、マニピュレータ１０１の用途、形状により、その設置位置はさまざまであるが、図１ではマニピュレータ１０１の近傍に記載した。

一般的に、マニピュレータは主にベースから直列に繋がるアームを用いて把持部の位置を制御し、先端のアームと把持部との間の関節を回転させることで、把持部の姿勢を制御する。ここでは、人の構造との対比から、把持部１０２の手前のアーム１０３を前腕１０３と呼ぶ。また、前腕１０３と把持部１０２の間の関節１１２を手首関節１１２と呼ぶ。手首関節１１２を回転させた場合も把持部１０２の先端の位置は動くが、把持部の長さはアーム１０３、１０４よりも短いため、位置の変化量は相対的に小さい。なお、手首関節に相当する部分が、複数の関節と短いアームから構成されている場合もあるが、ここではそれらをまとめて１個の手首関節と見なすことにする。

次に、図１および図２を参照して、本実施例におけるマニピュレータ１０１のシステム構成例について説明する。マニピュレータ１０１に搭載した本実施例のマニピュレータ１０１は、把持部１０２付近の物体の立体画像を取得する画像入力手段である画像入力装置２と、周囲の物体１０８などの位置を検出できる周囲監視手段である周囲監視装置３とを備える。本実施例では、画像入力装置２は前腕１０３に取り付け、周囲監視装置３は、画像入力装置２よりも広い範囲の周辺画像を取得できるよう、マニピュレータ１０１のベース１０５に設けている。画像入力装置２は把持部１０２付近の画像を取得できるのであればアーム１０４に設けても構わないが、間に関節１１３が入るためにできたら前腕(アーム)１０３に設けるのが好ましい。また、画像入力装置２に対する把持部１０２の装置位置・姿勢の変化を検出する把持部相対位置検出手段として、手首関節１１２の角度を測定する角度センサ１２２を用いる。また、画像入力装置２が取得した立体画像データと、制御装置１０６から取得した手首関節１１２の角度センサ１２２の角度情報を組み合わせて記憶する記憶手段である画像記憶部３０１を備えている。また、画像記憶手段３０１に記憶された複数の画像と把持部の相対位置・姿勢の情報を用いて、把持物体１０９の画像を抽出し、把持物体の位置および形状を検出する画像抽出部３０２を備えており、さらに、検出された把持物体１０９の位置および形状と、周囲監視装置３が検出した周囲物体１０８の位置の情報を基に、把持物体１０９と周囲物体１０８との接触する可能性を判定する接触可能性判定手段である接触可能性判定装置４と、接触の可能性を音・画像等で通知する警報手段である警報装置５を備えている。また、接触可能性判定装置４は、制御装置１０６に接触の可能性を通知することにより、マニピュレータの動作を制限させて接触を防止する。ここで、図１では、接触可能性判定装置４と警報装置５をマニピュレータ１０１や制御装置６とは分離して記載しているが、マニピュレータ１０１や制御装置６に組み込む構成としてもよい。

本実施例の画像入力装置２は、濃淡画像と、画像の各点までの距離情報からなる距離画像を取得する機能を有する。画像入力装置２としては、２台以上のカメラを用いて画像のずれにより距離を測定するステレオカメラや、レーザ光を１次元あるいは２次元に走査し、レーザ光が物体に当たって戻ってくるまでの往復時間により距離を測定するレーザレーダや、同じく光の往復時間により距離を測定可能な撮像素子を備える距離画像カメラや、これらの装置と通常の２次元のＣＣＤカメラ等との組み合わせが使用できる。また、上記の画像入力装置を複数組み合わせて用いても良い。周囲監視装置３も画像入力装置２と同様に距離画像を取得する機能を有する。また、警報装置５としては、ブザー、ランプ、ディスプレイなどを使用する。

ここで、距離画像とは、画像処理技術の分野で用いられる用語であり、画像の画素ごとに物体までの距離の値を記憶したデータのことを意味する。通常の画像（濃淡画像）は、格子状に細かく分割された多数の方向に対する光の明るさ、すなわち、その方向に存在する物体で反射されてきた光の強さの情報を２次元の配列データとして記憶したものであるが、それに対して、距離画像は、画像中のそれぞれの点に対して、光りの明るさの代わりにその方向における物体までの距離を記憶している。つまり、距離画像は、物体までの距離を格納した２次元配列データであり、ステレオカメラなどの奥行き情報が得られるセンサの出力を格納するために一般的に用いられている。

マニピュレータ１０１は、把持部１０２によって対象となる把持物体１０９を把持している時に、把持物体１０９の位置・形状を認識できる機能を有している。以下は、把持物体１０９を把持していることを前提として説明する。把持物体１０９を把持する方法としては、自動型マニピュレータの場合は、例えば、画像入力装置２が取得した画像情報を基に形状の特徴を用いて画像認識することにより、対象となる把持物体１０９のなかの把持しやすい点の位置を計測し、把持部をその位置に位置決めすることで、把持物体１０９を把持する。また、操作型マニピュレータの場合は、操作者が目視で把持物体１０９の位置と形状を判断し、マニピュレータを手動操作で動かして把持物体１０９を把持する。

本実施例におけるマニュピレータ１０１は、把持物体１０９を把持している状態で、マニピュレータ１０１を動かし、把持部１０２付近の画像中での把持物体の動きを把持部１０２と画像入力装置２の相対位置の変化に基づいて把持物体１０９を予測して、その予測と同じ動きをしている部分を画像入力装置２の画像中から抽出することで、把持物体１０９を画像の中から信頼性高く抽出するというものである。

次に、図３を参照し、画像記憶部３０１、画像抽出部３０２および接触可能性判定装置４の動作について説明する。図３は、画像記憶部３０１、画像抽出部３０２および接触可能性判定装置４の処理例の全体概要を表すフローチャートである。

本処理は、マニピュレータ１０１の把持部１０２によって把持物体１０９を把持した時点で処理を開始する。まず、画像入力装置２から把持部１０２周辺の立体画像情報、すなわち、濃淡画像１２と距離画像１３を取得し、同時に、制御装置１０６を通じて、角度センサ１２２により計測された、手首関節１１２の角度１４を取得して画像記憶部３０１に保存する（ステップＳ１）。これらのマニピュレータ１０１の移動前に取得された情報は、以降の処理において、濃淡画像１２ａ、距離画像１３ａ、手首関節角度１４ａで参照する。次に、把持物体１０９を移動させるために、マニピュレータ１０１が動き始め、把持部１０２が少し移動するまで待つ（ステップＳ２）。把持部１０２の移動後、画像入力装置２から把持部１０２周辺の濃淡画像１２と距離画像１３を取得し、制御装置１０６から手首関節１１２の角度１４を取得して画像記憶部３０１に保存する（ステップＳ３）。これらの移動後に取得された情報は、以降の処理において、濃淡画像１２ｂ、距離画像１３ｂ、手首関節角度１４ｂで参照する。次に、画像抽出部３０２により、ステップ１及びステップ３で取得した情報を基に、把持物体１０９の位置・形状を判定する（ステップＳ４）。次に、接触可能性判定装置４により、周囲監視装置３から周囲の物体の位置情報を取得し、ステップＳ４で判定した把持物体１０９の位置と比較することにより、把持物体１０９と周囲物体１０８との接触の可能性があるかを判定する（ステップＳ５）。ステップＳ５の接触可能性判定処理の結果を判断し（ステップＳ６）、接触の可能性がある場合は、警報装置５により警報を出力する（ステップＳ７）。警報出力方法としては、例えば、自動型マニピュレータの場合は、制御装置１０６に通知してマニピュレータを停止させ、操作型マニピュレータの場合は、音声出力や、警告ランプの点灯などにより、マニピュレータの操作者に伝える、などの方法が可能である。接触可能性判定処理の結果、接触の可能性のない場合は、次の処理へ進む。最後に、マニピュレータ１０１の把持部１０２が把持物体１０９を把持しているか否かを判定し（ステップＳ８）、物体を把持中の場合は、ステップＳ３で取得した濃淡画像１２ｂ、距離画像１３ｂ、手首関節１１２の角度１４ｂの情報を移動前の情報に置き換えて保存し（ステップＳ９）、ステップＳ２の処理に戻って処理を繰り返し、把持物体と周囲の物体との接触可能性の監視を続ける。ステップＳ８で、把持部１０２が既に物体を把持していない場合は、処理を終了する。

上記の各処理について更に詳しく説明する。まず、図４のフローチャートを参照して画像抽出部３０２における把持物体の位置・形状判定処理（ステップＳ４）の処理例について説明する。

本処理では、ステップＳ１及びステップＳ３で取得した濃淡画像、距離画像、手首間接角度の情報を基に、把持物体１０９の位置・形状を判定する。まず、図６に示すように、移動後の濃淡画像１２ｂと距離画像１３ｂ（図示せず）を格子状のブロックに分割する（ステップＳ３１）。ブロックの大きさは、あらかじめ定めておく。ブロックは、小さいほど位置分解能が高まり、大きいほど後述の画像マッチングの精度が向上するという特徴があり、通常は５×５ピクセル（画素）ないし２５×２５ピクセル程度に設定する。なお、本実施例では、画像入力装置２を前腕１０３に取り付けているため、図５の濃淡画像例に示すように、前腕１０３が画像に写りこむ。把持部１０２が移動しても、画像の上では前腕１０３は常に同じ位置に見えるので、その部分（図５のハッチングの部分）はこれ以降の処理対象から除く。

次に、分割した移動後の濃淡画像１２ｂのブロック情報をひとつ取り出し、ブロックＢ（ｉ）として以下の処理を行う（ステップＳ３２）。なお、以降の画像処理については、図６に示す画像処理例も参照して説明する。はじめに、ブロックＢ（ｉ）に写っている点Ｑ（ｉ）の空間位置Ｐｂ（ｉ）を求める（ステップＳ３３）。すなわち、ブロックＢ（ｉ）の中心に写っている物体の点をＱ（ｉ）とし、点Ｑ（ｉ）の画像上における位置（２次元座標）を求め、Ｒｂ（ｉ）とする。そして、移動後の距離画像１３ｂのブロックＢ（ｉ）の内部の各画素が持つ距離情報を基に、各画素の距離の値を平均し、ブロックＢ（ｉ）に写っている点Ｑ（ｉ）までの平均距離を求め、逆投影変換により、点Ｑ（ｉ）の画像入力装置２に対する相対的な３次元空間位置Ｐｂ（ｉ）を求める（図６のＪ１）。

次に、点Ｑ（ｉ）が把持部１０２に固定されていると仮定した時の移動前のＱ（ｉ）の空間位置Ｐａ（ｉ）を求める（ステップＳ３４）。すなわち、点Ｑ（ｉ）が把持部１０２に固定されている把持物体１０９上の点と仮定し、手首関節１１２の角度１４を、現在の移動後の手首角度１４ｂから移動前の手首角度１４ａに回転させた時の３次元空間位置（画像入力装置２に対する相対位置）を座標変換により求め、これをＰａ（ｉ）とする（図６のＪ２）。次に、空間位置Ｐａ（ｉ）が、画像入力装置２の画像上に写る位置（２次元座標）Ｒａ（ｉ）を投影変換により求める（ステップＳ３５）（図６のＪ３）。なお、上記の空間位置Ｐａ（ｉ）も、Ｐｂ（ｉ）と同様に画像入力装置２に対する相対位置である。

次に、移動後の濃淡画像１２ｂ上のブロックＢ（ｉ）の画像と、移動前の濃淡画像１２ａ上の位置Ｒａ（ｉ）を中心とする、ブロックと同じサイズの部分画像２１を比較して、画像が一致するかどうかを判定する（ステップＳ３６）。判定の結果、画像が一致した場合は（ステップＳ３７）、ブロックＢ（ｉ）に把持物体１０９上であることを示す把持物体マークを付ける（ステップＳ３８）。

ここで、位置Ｒａ（ｉ）は、移動後の濃淡画像１２ｂ上のブロックＢ（ｉ）に写っている点Ｑ（ｉ）が把持物体１０９の一部であると仮定した場合に、点Ｑ（ｉ）が移動前の濃淡画像１２ａに写る場所と推定される。そのため、もし点Ｑ（ｉ）が実際に把持物体１０９の一部であれば、ブロックＢ（ｉ）の画像と部分画像２１の画像が一致するはずである。逆に、もしＱ（ｉ）が仮定とは異なり、把持物体１０９の一部でなくて背景の物体だった場合には、画像は一致しない。これは、Ｑ（ｉ）が背景の物体だった場合は、マニピュレータ１０１の動作に伴って、前腕１０３に取り付けられた画像入力装置２の位置・姿勢が変化するので、点Ｑ（ｉ）は移動前濃淡画像１２ａ上の位置Ｒａ（ｉ）とは異なる場所に現れるためである。このため、画像が一致した場合には、点Ｑ（ｉ）が把持物体１０９の一部であると判断できる。

なお、画像一致の判定には、正規化相関などの画像マッチングの手法を用いる。例えば、移動後の濃淡画像１２ｂ上のブロックＢ（ｉ）の画像と、移動前の濃淡画像１２ａ上の位置Ｒａ（ｉ）の部分画像２１の正規化相関値を求め、その値が予め定めた閾値よりも大きい時は画像が一致したと判定する。

最後に、全てのブロックについて処理を行ったか否かを判定し（ステップＳ３９）、まだ処理していないブロックがある場合は、上記のステップＳ３２〜Ｓ３８を繰り返し、全ブロックの処理を完了したら本処理を終了する。以上の処理により、把持物体上の点の３次元空間位置を検出でき、把持物体の位置・形状が分かる。

上記の画像抽出手順は、把持物体を把持している状態でマニピュレータを動かし、センサで計測した把持部と画像入力装置の相対位置を用いて、その時の画像中での把持物体の動きを予測して、その予測と同じ動きをしている部分を画像中から抽出することで、把持物体のみを画像の中から抽出するというものである。また、この方法は、見方を変えると、把持部１０２と画像入力装置２の相対位置を測定して、マニピュレータ１０１の移動の前後で、画像に写った把持部１０２が動かないように画像を変形し、そのように変形された画像同士を比較して、一致する部分を抽出することにより、把持部１０２に把持された把持物体１０９のみを画像の中から抽出する方法でもある。

次に、図３の接触可能性判定処理（ステップＳ５）の処理例について図７のフローチャートを参照して説明する。

この処理は、接触可能性判定装置４によって行われる。上述の画像抽出処理によって抽出された把持物体１０９上の点の位置と、周囲監視装置４から得られた周囲の物体の位置を比較し、近い点があった場合は、接触の可能性があると判定する。

まず、周囲監視装置３から周囲の物体の位置情報を得る（ステップＳ４１）。次に、移動後の濃淡画像１２ｂ上のブロックＢ（ｉ）のうち、把持物体マークが付けられているブロックを抽出する（ステップＳ４２）。抽出した把持物体マークが付けられているブロックＢ（ｉ）に対応する空間位置Ｐｂ（ｉ）と、ステップＳ４１で取得した周囲の物体の位置を比較する（ステップＳ４３）。その結果、それらの距離が、予め定めた閾値よりも小さい場合は、位置が近いと判断し（ステップＳ４４）、位置が近いブロックが１つでもあった場合には、把持物体１０９と周囲の物体に接触の可能性があるとして（ステップＳ４５）、処理を終了する。ステップＳ４４の判定の結果、位置は近くないと判断した場合は、把持物体マークが付けられている全てのブロックについて処理したかを判定し（ステップＳ４６）、全てのブロックの処理が終了した場合は、接触可能性なしとして（ステップＳ４７）、処理を終了する。まだ処理していないブロックがある場合は、上記のステップＳ４２〜Ｓ４４を繰り返す。

このように、本実施例のマニピュレータ１０１では、マニピュレータ１０１を動かした時の把持物体１０９と周囲物体１０８の画像上での動きの違いを利用して、画像マッチングにより画像中の把持物体１０９の部分を検出しているので、背景が複雑な場合や、背景の中に動く部分がある場合でも、確実に把持物体１０９の形状・位置を検出できる。そのため、一般の使用環境においても、把持物体１０９と周囲の物体との接近の可能性を確実に判定し、判定した結果を用いて把持物体１０９に接近する物体があれば、マニピュレータ１０１の操作者に警告することができる。

また、本実施例では、画像入力装置２をマニピュレータの前腕１０３に取り付けているので、把持物体１０９を常に視野の中心に捉えることができる。このため、画像入力装置２をベース１０５などに取り付けた場合に比べて、把持物体１０９が視野内（画像内）で大きく動かないので、把持物体１０９を確実に検出できるとともに、視野角を限定することができるので、高い解像度の情報が得られる。また、画像入力装置２と把持物体１０９までの距離が、把持部１０２に画像入力装置２を取り付ける場合と比較して適度に離れているので、把持物体１０９の全体の形状を容易に監視できる。一方、画像入力装置２を前腕１０３に取り付けているので、手首関節１１２が動くと把持物体１０９の像が視野内で動くという問題があるが、関節角度センサ１２２で得られた手首関節角度１４の情報を用いて、把持物体１０９の視野内での移動を考慮して画像マッチング処理を行っているので、手首関節１１２が動いても把持物体１０９を正確に検出できる。

なお、本実施例では、画像入力装置２から取得した画像情報を基に検出した把持物体１０９の現在位置を用いて、周囲物体１０８との接近の状態を判定しているが、マニピュレータ１０１の運動から、把持物体１０９が今後の一定時間内に到着する位置を予測計算し、その位置での周囲物体１０８との接近の状態を調べることも可能である。これにより、事前に把持物体１０９と周囲物体１０８との接触の可能性を判定し、より早く警告を発することができるため、マニピュレータ１０１稼動時の安全性が高まる。

また、本実施例では、周囲監視装置３を画像入力装置２とは別に設けているが、周囲監視装置３を独立した装置として設ける代わりに、画像入力装置２に周囲物体１０８の画像を取得する機能を持たせることにより、周囲監視装置を兼ねる構成としても良い。また、接触可能性判定装置４に、あらかじめ製作された地図情報を格納しておき、その地図情報を参照して周囲の物の位置情報を取得してもよい。

具体的には、画像入力装置２に周囲物体１０８の画像を取得する機能を持たせる場合は、画像入力装置２により入力された立体画像の中から、上記の方法で抽出された把持物体１０９を除いた背景の中から周囲物体１０８を抽出し、その物体の３次元座標を記憶しておくようにする。抽出された把持物体１０９を除いた背景から周囲物体１０８を抽出するに際しては、周囲物体１０８はマニピュレータ１０１の動作により、基本的には位置を変えないので、画像入力装置２や周囲監視装置３により周囲の距離画像を得れば足りる。

また、本実施例では、画像入力装置２としてステレオカメラなどの立体画像センサを用いているが、その代わりに、簡易な構成として、ＣＣＤ等の単眼のカメラを用いても良い。この場合は、奥行き情報が検出できないので、把持物体１０９が一定の距離にあると仮定して把持物体の検出および周囲との接触可能性の判定を行う。

あるいは、把持物体１０９が把持部１０２に固定された一つの仮想面の上にあると仮定することで、単眼カメラの像から距離を推定しても良い。その場合の仮想面は、把持物体１０９がある確率が高い場所にするのが良く、例えば、把持部１０２の先端を通り、把持部に直交する面に設定するのがよい。

また、本実施例では、画像入力装置２をマニピュレータの前腕１０３に取り付けているが、他の場所に取り付けることもできる。画像入力装置２をベース１０５に取り付けた場合は、図４に示す把持物体の位置・形状判定処理のフローチャートのステップＳ３４において、手首以外の関節の角度変化も考慮して点Ｑ（ｉ）の移動前の空間位置Ｐａ（ｉ）を求めればよい。この場合は、把持物体１０９が視野内で大きく動くという問題はあるが、画像入力装置２の位置が固定されるので、構造が簡単になることや、画像入力装置２が周囲監視装置３を兼ねることができるという利点がある。一方、画像入力装置２を把持部１０２に取り付けた場合は、把持物体１０９が視野内で動かないので、ステップＳ３４において点Ｑ（ｉ）の移動前の空間位置Ｐａ（ｉ）は移動後の位置Ｐｂ（ｉ）と等しくすればよい。この場合は、把持物体１０９が画像入力装置２に近づきすぎるという問題はあるが、計算処理が簡単になるという利点がある。

更に、本実施例では、画像入力装置と把持部の相対位置関係を検出する、把持部相対位置検出手段として、手首関節の角度を測定する角度センサを用いているが、その代わりに、他の方法で画像入力装置と把持部の位置・姿勢を検出して相対位置関係を求めても良い。位置・姿勢を測定する方法には、アームの関節角度を計測する方法の他に、測定対象物を外部に置いたカメラで撮影して、位置・姿勢を求める方法などがある。

次に、本実施例のマニピュレータを建設機械に搭載した実施例を示す。図８は林業や解体作業などに使われる作業機械に、本実施例のマニピュレータを搭載した場合の構成例である。

本実施例による作業機械２０１は、マニピュレータとして、把持部であるグラップル２０２と、アーム２０３と、ブーム２０４を備えている。作業機械２０１は、グラップル２０２により物を掴んで解体・運搬等を行う用途に使用される。

本実施例のマニピュレータを構成する画像入力装置２は、前腕に相当するアーム２０３の底面に取り付けられている。この場所は、グラップル２０２との位置関係が大きく変わらず、かつグラップル２０２から適度に離れているので、グラップル２０２が把持している物体を捉えるのに適している。また、周囲監視装置３は広い視界をカバーするため、キャビン２０９の上部に取り付けられている。また、手首に相当する関節２１２には、手首角度センサとして角度センサ２２２が取り付けられている。本実施例では、接触可能性判定装置４と警報装置５をキャビン２０９の内部に設置するよう図示しているが、マニピュレータの操作に支障がなく、各装置との情報伝達が可能な場所であれば、他の場所に設置してもよい。

本実施例では、接触可能性判定装置４は、画像入力装置２により取得したグラップル２０２の周辺の立体画像と、角度センサ２２２から取得した関節２１２の角度を用いて、グラップル２０２が把持している物体を検出し、周囲監視装置３により検出された周囲の物体の位置と比較して、接触の可能性があるかを判定する。接触の可能性がある場合は、警報装置５により操作者に伝える。警報装置５が、操作者に対して接触の可能性を伝える方法は、音声や画像による通知方法に加えて、操作レバーに振動を与えるなどの方法がある。また、接触可能性判定装置４における処理に関する一連の画像情報を、図示しない表示手段により表示するようにしてもよい。

このように、本実施例のマニピュレータを適用することにより、操作者の負担を軽減することができる。また、本実施例のように、林業や解体作業、建設作業などのような障害物の多い複雑な作業環境において、事前に把持物体と周囲物体１０８との接触可能性を警告することにより、より安全、迅速に作業を行うことができる。

以上により本発明の実施例によれば、複雑な環境において未知の物体を把持している場合においても、マニピュレータの把持物体の形状を確実に認識でき、その把持物体が周囲の物体に接触するのを防止して、マニピュレータの安全性を高めることができる。

Claims (5)

1. アームと、前記アームを駆動するアーム駆動手段と、前記アームに設けられた把持部と、前記把持部の周辺画像を取得する画像入力手段と、前記画像入力手段に対する前記把持部の相対位置を検出する把持部相対位置検出手段と、前記画像入力手段により取得された複数の画像と、前記把持部相対位置検出手段により検出された前記画像入力手段に対する前記把持部の相対位置とを記憶する記憶手段と、を有し、前記記憶手段に記憶された複数の画像と前記把持部の前記画像入力手段に対する相対位置に基づいて、前記把持物体の位置および形状を検出するマニピュレータ。
2. 請求項１記載のマニピュレータにおいて、周囲の物体の位置を検出する周囲監視手段と、検出された前記把持物体の位置及び形状と、前記周囲監視手段により検出された周囲の物体の位置に基づいて、前記把持物体と前記周囲の物体との接触の可能性を判定する接触可能性判定手段と、前記接触可能性判定手段の判定結果に基づいて警報を発する警報手段と、を備えるマニピュレータ。
3. 請求項１または請求項２記載のマニピュレータにおいて、前記画像入力手段は、前記マニピュレータのアームに設けられており、前記把持部相対位置検出手段は、前記画像入力手段が設けられたアームから前記把持部の間に設けられた可動部の変化量を検出する手段である、ことを特徴とするマニピュレータ。
4. 請求項１ないし請求項３記載のマニピュレータにおいて、前記画像入力手段は、濃淡画像および距離画像を取得できる立体画像入力手段である、ことを特徴とするマニピュレータ。
5. 請求項２記載のマニピュレータにおいて、前記接触可能性判定手段は、前記把持部相対位置検出手段により検出された把持部の相対位置の変化状態に基づいて、前記把持物体の将来の位置を予測し、前記周囲の物体との接触の可能性を判定する、ことを特徴とするマニピュレータ。

Images