JP5218209B2

JP5218209B2 - 複数の物体間の相対移動を検出する方法

Info

Publication number: JP5218209B2
Application number: JP2009082449A
Authority: JP
Inventors: 宗隆山本; 正己高三
Original assignee: Toyota Industries Corp
Current assignee: Toyota Industries Corp
Priority date: 2009-03-30
Filing date: 2009-03-30
Publication date: 2013-06-26
Anticipated expiration: 2029-03-30
Also published as: JP2010236893A

Description

本発明は、複数の物体間の相対移動を検出する方法に係り、特に、複数の物体を含む画像を取得し、この画像を処理することにより複数の物体間の相対移動を検出する方法に関する。

従来、カメラ等により複数の物体を含む画像を取得し、この画像を処理することにより複数の物体間の相対移動を検出する方法が知られている。

例えば、特許文献１には、部品を把持するためのハンドを備えた組み立てロボットにおいて、ＣＣＤカメラによりハンドに部品が把持されている状態を撮影し、このＣＣＤカメラから取得される画像を処理することにより、ハンドと部品との相対位置を算出し、ハンドと部品との間の滑り（相対移動）を検出する方法が記載されている。
また、特許文献１には、ハンドと部品との間の接触領域を取得可能な分布式接触センサを設け、接触領域の時間変化に基づいて、ハンドと部品との間の滑り（相対移動）を検出する方法も記載されている。

特開２００３−１２７０８１号公報

しかしながら、特許文献１に記載されている画像処理によりハンドと部品との相対位置を算出する方法では、ハンドと部品との間にある程度の滑り量が生じてからでないと、本当に滑りが生じているのか、或いは画像上のノイズの影響による誤差なのかを判別することができない。そのため、ハンドと部品との間に滑りが生じた場合に、その滑りを早期に検出することができない。
また、特許文献１に記載されている分布式接触センサを設ける方法では、センサの性能次第ではハンドと部品との間の滑りを早期に検出することができるが、コスト高となる。

本発明は、このような問題点を解決するためになされたものであり、複数の物体間に相対移動が生じた場合に、相対移動を検出するためのセンサ等を用いることなく、画像処理により複数の物体間の相対移動を早期に検出することができる方法を提供することを目的とする。

上記の課題を解決するために、本発明に係る複数の物体間の相対移動を検出する方法によれば、複数の物体のうちの少なくとも１つはロボットハンドの把持部であり、ロボットハンドは画像上における把持部の位置を特定するセンサを備え、センサからの入力に基づいて把持部及び把持部に把持されている物体を含む画像を取得し、画像から把持部及び把持部に把持されている物体をそれぞれ認識し、把持部及び把持部に把持されている物体の画像上における動きを表現する量をそれぞれ算出し、動きを表現する量に基づいて把持部と把持部に把持されている物体との間の相対移動を検出する。

ロボットハンドは、画像上における把持部の位置に基づいて、把持部に把持されている物体を認識してもよい。
これにより、効率的に物体を認識することができる。

ロボットハンドは、アームを備え、アームの動きを表現する量と、把持部及び把持部に把持されている物体の動きを表現する量とに基づいて、把持部と把持部に把持されている物体との間の相対移動を検出してもよい。

画像上における動きを表現する量は、動きベクトルであってもよい。

相対移動の検出を、動きベクトルの大きさ及び方向のうちの少なくとも一つに基づいて行ってもよい。

相対移動の検出を、動きベクトルの平均及び分散のうちの少なくとも一つに基づいて行ってもよい。

本発明に係る複数の物体間の相対移動を検出する方法によれば、複数の物体を含む画像を取得し、その画像から複数の物体をそれぞれ認識し、認識された複数の物体の画像上における動きを表現する量に基づいて、複数の物体間の相対移動を検出する。これにより、複数の物体間に相対移動が生じた場合に、相対移動を検出するためのセンサ等を用いることなく、画像処理により複数の物体間の相対移動を早期に検出することができる。

本発明の実施の形態に係るロボットハンドの構成を示す図である。本発明の実施の形態に係るロボットハンドにおける滑り検出手段及び動作制御手段の構成を示すブロック図である。本発明の実施の形態に係るロボットハンドが行う処理を示すフローチャートである。本発明の実施の形態に係るロボットハンドにおいて、画像処理手段により取得される部分画像Ｐの一例を示す図である。本発明の実施の形態に係るロボットハンドにおいて、部分画像Ｐから把持部領域Ｈ及び物体領域Ｗが抽出され、動きベクトルｈ_ｉ，ｗ_ｊが算出された様子を示す図である（滑りなし状態）。本発明の実施の形態に係るロボットハンドにおいて、部分画像Ｐから把持部領域Ｈ及び物体領域Ｗが抽出され、動きベクトルｈ_ｉ，ｗ_ｊが算出された様子を示す図である（滑りあり状態）。

以下、本発明の実施の形態について、添付の図面に基づいて説明する。
実施の形態．
本発明の実施の形態に係る複数の物体間の相対移動を検出する方法を用いることにより、把持部と把持部に把持されている物体との間の滑り（相対移動）検出を行いながら所望の位置まで物体を移動させるロボットハンドの構成を図１及び図２に基づいて説明する。

図１に示されるように、ロボットハンド１の筐体２の側面には、球状関節により角度制御可能なアーム３が取り付けられており、アーム３の先端には、４本の指部４ａ及び甲部４ｂから構成される把持部４が取り付けられている。ロボットハンド１は、把持部４の指部４ａを開閉させることにより物体９を把持及び解放することができる。また、アーム３の角度を制御することにより、把持部４により把持されている物体９を所望の位置まで移動させることができる。また、筐体２の上部には、角度制御可能なＣＣＤカメラ５が取り付けられている。さらに、筐体２の下部に設けられた台座６の内部には、滑り検出手段７及び動作制御手段８が格納されている。

滑り検出手段７は、把持部４と把持部４に把持されている物体９との間の滑り（相対移動）を検出し、検出結果を滑り検出信号として動作制御手段８に出力する。
動作制御手段８は、アーム３、把持部４、及びカメラ５の各種動作を制御すると共に、滑り検出手段７から入力される滑り検出信号に基づいて、把持部４に物体９を再把持させる処理を行う。

滑り検出手段７の内部構成について説明する。
図２に示されるように、滑り検出手段７は、画像取得手段７ａ、画像処理手段７ｂ、評価値算出手段７ｃ、閾値記憶手段７ｄ、及び判定手段７ｅから構成されている。
以下、これらの詳細について順に説明していく。

画像取得手段７ａは、アーム３及び把持部４に取り付けられた図示しない角度検出センサからの入力に基づいて、３次元空間上における把持部４の位置を特定する。そして、把持部４近傍を捉えるようにカメラ５の角度を制御することにより、把持部４近傍の画像を取得して画像処理手段７ｂに出力する。

画像処理手段７ｂは、アーム３及び把持部４に取り付けられた図示しない角度検出センサからの入力に基づいて、画像取得手段７ａにより取得された画像上における把持部４の位置座標を特定する。そして、把持部４及び物体９を含む部分画像Ｐを取得し、その部分画像Ｐから把持部４及び物体９をそれぞれ認識する。また、把持部４及び物体９の画像上における動きを表現する量である「動きベクトル」をそれぞれ算出し、評価値算出手段７ｃに出力する。

評価値算出手段７ｃは、画像処理手段７ｂにより算出された把持部４及び物体９の動きベクトルに基づいて、把持部４と物体９との間の滑り状態を評価する評価値Ｅｖａｌを算出し、判定手段７ｅに出力する。また、把持部４と物体９との間に滑りが生じていない状態の評価値Ｅｖａｌ_ｓｔａｂｌｅを算出し、閾値記憶手段７ｄに出力する。

閾値記憶手段７ｄは、評価値算出手段７ｃにより算出された評価値Ｅｖａｌ_ｓｔａｂｌｅに基づいて、把持部４と物体９との間に滑りが生じているか否かを判定するための閾値Ｔｈを算出して記憶すると共に、閾値Ｔｈを判定手段７ｅに出力する。

判定手段７ｅは、把持部４と物体９との間に滑りが生じているか否かを、評価値算出手段７ｃから入力される評価値Ｅｖａｌ及び閾値記憶手段７ｄに記憶されている閾値Ｔｈに基づいて判定し、滑りが生じていると判定された場合には、滑り検出信号を動作制御手段８に出力する。

次に、図３のフローチャートを参照して、本発明の実施の形態に係る複数の物体間の相対移動を検出する方法を用いることにより、把持部と把持部に把持されている物体との間の滑り（相対移動）検出を行いながら所望の位置まで物体を移動させるロボットハンドが行う処理について説明する。

まず、ロボットハンド１の把持部４と物体９との間の滑り検出を行う際の前処理として、把持部４と物体９との間に滑りが生じているか否かを判定するための閾値Ｔｈを算出して記憶する処理（ステップＳ１〜Ｓ７）を行う。尚、この前処理が終了するまでの間、ロボットハンド１の把持部４と物体９との間に滑りが生じていないことを、人間により目視で確認させるものとする。

動作制御手段８は、把持部４が物体９を把持した状態でアーム３の角度を制御することにより、物体９を移動させる処理を開始する（ステップＳ１）。

画像取得手段７ａは、アーム３及び把持部４に取り付けられた図示しない角度検出センサからの入力に基づいて、カメラ５の位置を原点とする３次元空間上における把持部４の位置（ｒ，θ，φ）を特定する。そして、把持部４近傍を捉えるようにカメラ５の角度を制御することにより、把持部４近傍の画像を取得して画像処理手段７ｂに出力する（ステップＳ２）。

画像処理手段７ｂは、アーム３及び把持部４に取り付けられた図示しない角度検出センサからの入力に基づいて、画像取得手段７ａにより取得された画像上における把持部４の位置座標（Ｘ，Ｙ）を特定し、位置座標（Ｘ，Ｙ）を中心として把持部４及び物体９を含む部分画像Ｐを取得する（ステップＳ３）。ここで、部分画像Ｐの一例を図４に示す。尚、図中で×印が付されている箇所が画像上における把持部４の位置座標（Ｘ，Ｙ）である。

続いて、画像処理手段７ｂは、部分画像Ｐを領域分割することにより、部分画像Ｐから把持部領域Ｈ及び物体領域Ｗを抽出し、把持部４及び物体９をそれぞれ認識する（ステップＳ４）。このとき、部分画像Ｐ上における把持部４の位置座標（Ｘ，Ｙ）に基づいて、把持部領域Ｈを抽出し、把持部領域Ｈに隣接する領域として物体領域Ｗを抽出することにより、効率的に把持部４及び物体９を認識することができる。そして、把持部４のＬ個の動きベクトルｈ_ｉ（ｉ＝１〜Ｌ）及び物体９のＭ個の動きベクトルｗ_ｊ（ｊ＝１〜Ｍ）をそれぞれ算出し、評価値算出手段７ｃに出力する（ステップＳ５）。ここで、動きベクトルｈ_ｉ，ｗ_ｊは、把持部４及び物体９の各画素についてそれぞれ算出してもよいが、把持部４及び物体９に幾つかの特徴点を設定し、各特徴点についてそれぞれ算出したほうが、計算量削減の観点からより好ましい。部分画像Ｐから把持部領域Ｈ及び物体領域Ｗが抽出され、動きベクトルｈ_ｉ（Ｌ＝４），ｗ_ｊ（Ｍ＝２）が算出された様子を図５に示す。尚、説明の便宜のために、把持部領域Ｈに斜線を付し、物体領域Ｗにドットを付して示している。

評価値算出手段７ｃは、把持部４と物体９との間の滑り状態を評価する評価値Ｅｖａｌを算出し、これを把持部４と物体９との間に滑りが生じていない状態の評価値Ｅｖａｌ_ｓｔａｂｌｅとして閾値記憶手段７ｄに出力する（ステップＳ６）。

ここで、評価値Ｅｖａｌについて説明する。評価値Ｅｖａｌは、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの「大きさ及び方向」に基づいて定義される。詳細には、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの平均を
Ｅ（ｈ_ｉ）＝（１／Ｌ）Σｈ_ｉ ……………………………………………… 式（１）
Ｅ（ｗ_ｊ）＝（１／Ｍ）Σｗ_ｊ ……………………………………………… 式（２）
とするとき、
Ｅｖａｌ＝‖Ｅ（ｈ_ｉ）−Ｅ（ｗ_ｊ）‖ …………………………………… 式（３）
として定義される。
尚、把持部４と物体９との間に滑りが生じていない状態では、把持部４の動きベクトルｈ_ｉと物体９の動きベクトルｗ_ｊとはほぼ等しい大きさ及び方向を有するため、評価値Ｅｖａｌ＿ｓｔａｂｌｅは０に近い値となる。

閾値記憶手段７ｄは、評価値算出手段７ｃにより算出された評価値Ｅｖａｌ＿ｓｔａｂｌｅに所定の微少量εを加算することにより、把持部４と物体９との間に滑りが生じているか否かの判定基準である閾値Ｔｈを
Ｔｈ＝Ｅｖａｌ＿ｓｔａｂｌｅ＋ε ……………………………………… 式（４）
として算出して記憶する（ステップＳ７）。

以上により、ロボットハンド１の把持部４と物体９との間の滑り検出を行う際の前処理が終了する。

ステップＳ１〜Ｓ７の前処理が終了すると、動作制御手段８は、ロボットハンド１の把持部４と物体９との間の滑り検出を行いながら、所望の位置まで物体９を移動させる処理（ステップＳ８〜Ｓ１６）を開始する。尚、これ以降の処理では、ロボットハンド１の把持部４と物体９との間に滑りが生じていないことを、人間により目視で確認させる必要はない。

動作制御手段８は、把持部４が物体９を把持した状態でアーム３の角度を制御することにより、物体９を移動させる処理を開始する（ステップＳ８）。続いて、画像取得手段７ａは、把持部４近傍の画像を取得して画像処理手段７ｂに出力する（ステップＳ９）。

画像処理手段７ｂは、画像上における把持部４の位置座標（Ｘ，Ｙ）を特定して把持部４及び物体９を含む部分画像Ｐを取得し（ステップＳ１０）、部分画像Ｐから把持部領域Ｈ及び物体領域Ｗを抽出して把持部４及び物体９をそれぞれ認識する（ステップＳ１１）。その後、把持部４のＬ個の動きベクトルｈ_ｉ（ｉ＝１〜Ｌ）及び物体９のＭ個の動きベクトルｗ_ｊ（ｊ＝１〜Ｍ）をそれぞれ算出し、評価値算出手段７ｃに出力する（ステップＳ１２）。

評価値算出手段７ｃは、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊに基づいて、式（１）〜（３）を用いて評価値Ｅｖａｌを算出し、判定手段７ｅに出力する（ステップＳ１３）。

判定手段７ｅは、評価値算出手段７ｃから入力される評価値Ｅｖａｌと、閾値記憶手段７ｄに記憶されている閾値Ｔｈとを比較して、把持部４と物体９との間に滑りが生じているか否かを判定する。詳細には、評価値Ｅｖａｌが閾値Ｔｈより大きいか否か、すなわち
Ｅｖａｌ＞Ｔｈ ………………………………………………………………… 式（５）
が成立するか否かを判定する（ステップＳ１４）。

図５に示されるように、把持部４と物体９との間に滑りが生じていない状態では、把持部４の動きベクトルとｈ_ｉと物体９の動きベクトルｗ_ｊとはほぼ等しい大きさ及び方向を有するため、評価値Ｅｖａｌ≒０となり閾値Ｔｈより小さくなる。
それに対して、図６に示されるように、外乱等の影響で把持部４と物体９との間に滑りが生じている状態では、ｈ_ｉ及びｗ_ｊの大きさ及び方向にずれが生じ、評価値Ｅｖａｌ≠０となり閾値Ｔｈより大きくなる。
それ故、式（５）が成立する場合には、把持部４と物体９との間に滑りが生じていると判定し、滑り検出信号を動作制御手段８に出力する。式（５）が成立しない場合には、把持部４と物体９との間に滑りが生じていないと判定し、このときは滑り検出信号を出力しない。

動作制御手段８は、滑り検出手段７から滑り検出信号が出力されている場合には、把持部４により物体９を再把持させる処理を行う（ステップＳ１５）。

最後に、動作制御手段８は、物体９の移動が完了したか否かを移動先位置に設けられた図示しない床上センサからの入力に基づいて判定し（ステップＳ１６）、物体９の移動が完了したと判定されるまで、所定の時間間隔（例えば５００ｍｓ）をおいてステップＳ９に戻り以降の処理を繰り返す。物体９の移動が完了したと判定された場合には、ロボットハンド１の動作を終了する。

以上説明したように、本発明の実施の形態に係るロボットハンド１によれば、把持部４及び物体９を含む部分画像Ｐを取得し、その部分画像Ｐから把持部４及び物体９をそれぞれ認識し、認識された把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊに基づいて、把持部４と物体９との間の滑りを検出する。これにより、把持部４と物体９との間に滑りが生じた場合に、把持部４と物体９との相対位置を算出する方法に比べて、その滑りを早期に検出することができる。
また、滑りを検出するためのセンサ等を用いることなく、画像処理により把持部４と物体９との間の滑りを検出することができる。

尚、上述した実施の形態の図５及び図６において、把持部４の動きベクトルｈ_ｉの数はＬ＝４であり、物体９の動きベクトルｗ_ｊの数はＭ＝２であったが、これらに限定されるものではなく、さらに多くても少なくてもよい。ただし、滑り検出精度の向上のためには、動きベクトルｈ_ｉ，ｗ_ｊの数は多い方が好ましく、計算量削減（処理時間短縮）のためには、動きベクトルｈ_ｉ，ｗ_ｊの数は少ない方が好ましい。

また、カメラ５は、通常のＣＣＤカメラに限定されるものではなく、動き検知可能なカメラ、ＴＯＦ(time of flight)カメラ、レーザーレンジファインダ等の立体形状を取得可能なカメラでもよい。
また、把持部４及び物体９の画像上における動きを表現する量は、動きベクトルに限定されるものではなく、オプティカルフロー等でもよい。
さらに、ロボットハンド１自体が移動することによりカメラ５が移動する場合には、カメラ５の移動ベクトル及び回転ベクトルを算出して背景領域の動きベクトルを推定し、この背景領域の動きベクトルに基づいて画像全体から背景領域を除去することにより対応することができる。

その他の実施の形態

ロボットハンドが複数の把持部４を備え、それらのうちのいずれかが物体９を把持する場合には、複数の把持部４の各指部４ａに接触状態を感知する接触感知センサを設けてもよい。そして、把持部４の動きベクトルｈ_ｉを算出する際には、接触感知センサからの入力に基づいて、物体９を把持している把持部４を特定し、物体９を把持していると特定された把持部４の動きベクトルｈ_ｉのみを算出する。これにより、評価値Ｅｖａｌを算出する際に、物体９を把持していない他の把持部４の動きベクトルｈ_ｉが除外され、把持部４と物体９との間の滑り検出精度が向上すると共に計算量が削減される。

評価値Ｅｖａｌを、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの「大きさ」に基づいて定義してもよい。詳細には、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの平均を
Ｅ（ｈ_ｉ）＝（１／Ｌ）Σｈ_ｉ
Ｅ（ｗ_ｊ）＝（１／Ｍ）Σｗ_ｊ
とするとき、
Ｅｖａｌ＝｜｛‖Ｅ（ｈ_ｉ）‖−‖Ｅ（ｗ_ｊ）‖｝｜
或いは
Ｅｖａｌ＝‖Ｅ（ｗ_ｊ）‖／‖Ｅ（ｈ_ｉ）‖
として定義してもよい。

評価値Ｅｖａｌを、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの「方向」に基づいて定義してもよい。詳細には、把持部４及び物体９動きベクトルｈ_ｉ，ｗ_ｊの平均を
Ｅ（ｈ_ｉ）＝（１／Ｌ）Σｈ_ｉ
Ｅ（ｗ_ｊ）＝（１／Ｍ）Σｗ_ｊ
とするとき、
Ｅｖａｌ＝｛Ｅ（ｈ_ｉ）・Ｅ（ｗ_ｊ）｝／｛‖Ｅ（ｈ_ｉ）‖‖Ｅ（ｗ_ｊ）‖｝
として定義してもよい。

評価値Ｅｖａｌを、把持部４の動きベクトルｈ_ｉの「分散」に基づいて定義してもよい。詳細には、把持部４の動きベクトルｈ_ｉの分散を
Ｖ（ｈ_ｉ）＝（１／Ｌ）Σ｛ｈ_ｉ−Ｅ（ｈ_ｉ）｝^Ｔ｛ｈ_ｉ−Ｅ（ｈ_ｉ）｝
とするとき（Ｔはベクトルの転置を表す）、
Ｅｖａｌ＝Ｖ（ｈ_ｉ）
として定義してもよい。

評価値Ｅｖａｌを、物体９の動きベクトルｗ_ｊの「分散」に基づいて定義してもよい。詳細には、物体９の動きベクトルｗ_ｊの分散を
Ｖ（ｗ_ｊ）＝（１／Ｍ）Σ｛ｗ_ｊ−Ｅ（ｗ_ｊ）｝^Ｔ｛ｗ_ｊ−Ｅ（ｗ_ｊ）｝
とするとき、
Ｅｖａｌ＝Ｖ（ｗ_ｊ）
として定義してもよい。

評価値Ｅｖａｌを、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの「分散」に基づいて定義してもよい。詳細には、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊの分散を
Ｖ（ｈ_ｉ）＝（１／Ｌ）Σ｛ｈ_ｉ−Ｅ（ｈ_ｉ）｝^Ｔ｛ｈ_ｉ−Ｅ（ｈ_ｉ）｝
Ｖ（ｗ_ｊ）＝（１／Ｍ）Σ｛ｗ_ｊ−Ｅ（ｗ_ｊ）｝^Ｔ｛ｗ_ｊ−Ｅ（ｗ_ｊ）｝
とするとき、
Ｅｖａｌ＝｜Ｖ（ｈ_ｉ）−Ｖ（ｗ_ｊ）｜
或いは
Ｅｖａｌ＝Ｖ（ｗ_ｊ）／Ｖ（ｈ_ｉ）
として定義してもよい。

評価値Ｅｖａｌを、アーム３の動きベクトルａ_ｋ（ｋ＝１〜Ｎ）と、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊとに基づいて定義してもよい。詳細には、把持部４、物体９、アーム３の動きベクトルｈ_ｉ，ｗ_ｊ，ａ_ｋの平均を
Ｅ（ｈ_ｉ）＝（１／Ｌ）Σｈ_ｉ
Ｅ（ｗ_ｊ）＝（１／Ｍ）Σｗ_ｊ
Ｅ（ａ_ｋ）＝（１／Ｎ）Σａ_ｋ
とするとき、
Ｅｖａｌ＝‖Ｅ（ａ_ｋ）−｛Ｅ（ｈ_ｉ）＋Ｅ（ｗ_ｊ）｝／２‖
として定義してもよい。

評価値Ｅｖａｌを、把持部４の指部４ａのベクトルｆ_ｋ（ｋ＝１〜Ｎ）と、把持部４及び物体９の動きベクトルｈ_ｉ，ｗ_ｊとに基づいて定義してもよい。詳細には、把持部４、物体９、指部４ａの動きベクトルｈ_ｉ，ｗ_ｊ，ｆ_ｋの平均を
Ｅ（ｈ_ｉ）＝（１／Ｌ）Σｈ_ｉ
Ｅ（ｗ_ｊ）＝（１／Ｍ）Σｗ_ｊ
Ｅ（ｆ_ｋ）＝（１／Ｎ）Σｆ_ｋ
とするとき、
Ｅｖａｌ＝‖Ｅ（ｆ_ｋ）−｛Ｅ（ｈ_ｉ）＋Ｅ（ｗ_ｊ）｝／２‖
として定義してもよい。

３アーム、４把持部、ａ_ｋアームの動きベクトル（アームの動きを表現する量）、ｈ_ｉ把持部の動きベクトル（把持部の動きを表現する量）、Ｐ部分領域（把持部及び物体を含む画像）、ｗ_ｊ物体の動きベクトル（物体の動きを表現する量）。

Claims

複数の物体間の相対移動を検出する方法であって、
前記複数の物体のうちの少なくとも１つはロボットハンドの把持部であり、該ロボットハンドは画像上における前記把持部の位置を特定するセンサを備え、
前記センサからの入力に基づいて前記把持部及び前記把持部に把持されている物体を含む画像を取得し、
前記画像から前記把持部及び前記把持部に把持されている前記物体をそれぞれ認識し、
前記把持部及び前記把持部に把持されている前記物体の画像上における動きを表現する量をそれぞれ算出し、
前記動きを表現する量に基づいて前記把持部と前記把持部に把持されている前記物体との間の相対移動を検出する、
ことを特徴とする方法。
前記ロボットハンドは、前記画像上における前記把持部の位置に基づいて、前記把持部に把持されている前記物体を認識することを特徴とする、請求項１に記載の方法。
前記ロボットハンドは、アームを備え、
前記アームの前記動きを表現する量と、前記把持部及び前記把持部に把持されている前記物体の前記動きを表現する量とに基づいて、前記把持部と前記把持部に把持されている前記物体との間の相対移動を検出することを特徴とする、請求項１または２に記載の方法。
前記画像上における前記動きを表現する量は、動きベクトルであることを特徴とする、請求項１〜３のいずれか一項に記載の方法。
前記相対移動の検出を、前記動きベクトルの大きさ及び方向のうちの少なくとも一つに基づいて行うことを特徴とする、請求項４に記載の方法。
前記相対移動の検出を、前記動きベクトルの平均及び分散のうちの少なくとも一つに基づいて行うことを特徴とする、請求項４または５に記載の方法。