JP2024017611A - 滑り判定方法、滑り判定システムおよび滑り判定プログラム - Google Patents

Abstract

【課題】力センサーを用いずに滑り判定を行うことのできる滑り判定方法、滑り判定システムおよび滑り判定プログラムを提供する。【解決手段】滑り判定方法は、ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得する第１画像取得ステップと、前記第１画像取得ステップの後に、前記把持動作中に前記対象物を含む第２画像を取得する第２画像取得ステップと、前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成する予想画像生成ステップと、前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断する判断ステップと、を含む。【選択図】図５

Description

本発明は、滑り判定方法、滑り判定システムおよび滑り判定プログラムに関する。

例えば、特許文献１に記載されているロボット制御システムは、ロボットハンドによる把持ワークの移動作業、挿入作業、組み立て作業といった各種ハンドリング作業時の滑り検出をすることができる。このようなロボット制御システムは、ロボットハンドで把持した嵌合部品を穴の開いた被嵌合部品に挿入する際、ロボットの各軸エンコーダー信号に基づいて嵌合部材が被嵌合部材に接触した後のハンドの移動量を挿入量として算出し、算出した挿入量を時間微分して挿入速度を算出し、ロボットに設けられた力センサー信号に基づいて被嵌合部品に加わる挿入力を算出し、算出した挿入速度と挿入力の積を時間積分して挿入作業中の仕事量を算出し、算出した挿入量と仕事量の軌跡が予め設定した閉領域の外側に出た場合に滑りが発生したと判断する。

特開２０１１－０８８２６０号公報

しかしながら、特許文献１のロボット制御システムでは、上述したように、滑り検出に力センサーを用いなければならない。そのため、ロボット制御システムのコストが高いという問題がある。また、閉領域を設定するために実作業前に成功・失敗を実機で再現しなければならず、作業前の準備に時間および労力が必要となる。

本発明の滑り判定方法は、ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得する第１画像取得ステップと、
前記第１画像取得ステップの後に、前記把持動作中に前記対象物を含む第２画像を取得する第２画像取得ステップと、
前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成する予想画像生成ステップと、
前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断する判断ステップと、を含む。

本発明の滑り判定システムは、ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得し、
前記第１画像を取得した後に、前記把持動作中に前記対象物を含む第２画像を取得し、
前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成し、
前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断する。

本発明の滑り判定プログラムは、ロボットを備えるロボットシステムに、
前記ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得する第１画像取得ステップと、
前記第１画像取得ステップの後に、前記把持動作中に前記対象物を含む第２画像を取得する第２画像取得ステップと、
前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成する予想画像生成ステップと、
前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断する判断ステップと、を実行させる。

好適な実施形態に係るロボットシステムの構成図である。 制御装置のブロック図である。 把持滑りを示す図である。 把持滑りの判定工程を示すフローチャートである。 把持滑りの判定工程を示すフローチャートである。 把持動作に含まれる区間を示す図である。 第１画像の一例を示す図である。 第２画像の一例を示す図である。 写像を生成するのに用いる時系列画像の一例を示す図である。 把持滑りの判定工程の変形例を示すフローチャートである。 把持滑りの判定工程の変形例を示すフローチャートである。

以下、本発明の滑り判定方法、滑り判定システムおよび滑り判定プログラムを添付図面に示す実施形態に基づいて詳細に説明する。

図１は、好適な実施形態に係るロボットシステムの構成図である。図２は、制御装置のブロック図である。図３は、把持滑りを示す図である。図４および図５は、それぞれ、把持滑りの判定工程を示すフローチャートである。図６は、把持動作に含まれる区間を示す図である。図７は、第１画像の一例を示す図である。図８は、第２画像の一例を示す図である。図９は、写像を生成するのに用いる時系列画像の一例を示す図である。図１０および図１１は、それぞれ、把持滑りの判定工程の変形例を示すフローチャートである。

図１に示すロボットシステム１は、対象物であるワークＷを把持するロボット２と、ロボット２の駆動を制御する制御装置３と、を有している。このようなロボットシステム１には、ロボット２が把持したワークＷの滑り（以下、「把持滑り」とも言う。）を検出する滑り判定システムが適用されている。

ロボット２は、駆動軸を６つ有する６軸垂直多関節ロボットである。ロボット２は、基台２１と、基台２１に回動自在に連結されているロボットアーム２２と、ロボットアーム２２の先端に装着されているエンドエフェクター２３と、ロボットアーム２２に搭載されているカメラ２４と、を有している。また、ロボットアーム２２は、複数のアーム２２１、２２２、２２３、２２４、２２５、２２６が回動自在に連結されてなるロボティックアームであり、６つの関節Ｊ１、Ｊ２、Ｊ３、Ｊ４、Ｊ５、Ｊ６を備えている。これら６つの関節Ｊ１～Ｊ６のうち、関節Ｊ２、Ｊ３、Ｊ５は、それぞれ、曲げ関節であり、関節Ｊ１、Ｊ４、Ｊ６は、それぞれ、ねじり関節である。

関節Ｊ１、Ｊ２、Ｊ３、Ｊ４、Ｊ５、Ｊ６には、それぞれ、モーターＭとエンコーダーＥとが設置されている。制御装置３は、ロボットシステム１の運転中、各関節Ｊ１～Ｊ６について、エンコーダーＥの出力が示す関節Ｊ１～Ｊ６の回転角度を制御目標に一致させるサーボ制御（フィードバック制御）を実行する。これにより、エンドエフェクター２３で把持したワークＷを所望の軌道で搬送することができる。

エンドエフェクター２３は、ワークＷを把持する構成であり、アーム２２６に接続されている基部と、基部に開閉自在に連結されている一対の爪部と、を有している。このようなエンドエフェクター２３は、一対の爪部を閉じることでワークＷを把持することができ、一対の爪部を開くことでワークＷを離すことができる。ただし、エンドエフェクター２３の構成は、ワークＷを把持することができれば、特に限定されない。

カメラ２４は、アーム２２５に固定されている。また、カメラ２４は、その光軸がロボットアーム２２の先端側すなわちエンドエフェクター２３側を向いている。アーム２２５の先端側にエンドエフェクター２３が位置する関係は、アーム２２５以外のアーム２２１～２２４、２２６がどのような姿勢の際にも維持される。そのため、アーム２２５にカメラ２４を固定することにより、カメラ２４は、常に、エンドエフェクター２３に把持されたワークＷを撮像することができる。

ただし、カメラ２４の配置は、エンドエフェクター２３に把持されたワークＷを撮像することができれば、特に限定されず、例えば、アーム２２１～２２４、２２６に固定されていてもよい。また、カメラ２４は、ロボットアーム２２以外の場所、例えば、基台２１、床、天井、壁等の可動しない部位に固定されていてもよい。

以上、ロボット２について説明したが、ロボット２の構成は、特に限定されない。例えば、スカラロボット（水平多関節ロボット）、上述のロボットアーム２２を２本備えた双腕ロボット等であってもよい。また、基台２１が固定されていない自走式のロボットであってもよい。

制御装置３は、ロボット２の駆動を制御する。制御装置３は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部装置との接続を行う外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶されたプログラム等を読み込んで実行することができる。

特に、本実施形態では、メモリーに滑り判定プログラムＰＰが保存されている。そして、プロセッサーが滑り判定プログラムＰＰを読み込んで実行することにより、ワークＷの把持滑りを検出する。これにより、ロボットシステム１は、後述する滑り判定方法を実行することができる。また、制御装置３は、図２に示すように、カメラ２４で取得した画像Ｐｘを保存する記憶部３１と、後述する予想画像Ｐｘｉを生成する予想画像生成部３２と、把持滑りが発生しているかを判定する判定部３３と、を有している。

なお、制御装置３の構成要素の一部または全部は、ロボット２の筐体の内側に配置されてもよい。また、制御装置３は、複数のプロセッサーにより構成されてもよい。

以上、ロボットシステム１の構成について説明した。このようなロボットシステム１には、前述したように、ワークＷの把持滑りを検出する滑り判定システムが適用されている。例えば、エンドエフェクター２３でワークＷを把持し、把持したワークＷを別の場所（以下「目的地」とも言う。）へ移動させる際、図３に示すように、目的地への移動中にワークＷの把持滑りが生じ、エンドエフェクター２３とワークＷとの相対的位置関係が把持当時から変化するおそれがある。

例えば、ワークＷが硬く破損し難い場合には把持力を高めることで把持滑りを抑制することができるが、ワークＷが柔らかく破損し易い場合には把持力を高めることができず把持滑りが生じ易くなる。目的地への移動後の作業は、エンドエフェクター２３とワークＷとの把持当時の相対的位置関係に基づいてプログラムされるため、把持後に把持滑りが生じてしまうと、目的地への移動後の作業を精度よく行うことができなくなるおそれがある。

そこで、ロボットシステム１では、把持滑りを検出する滑り判定方法を実行する。この滑り判定方法は、制御装置３が滑り判定プログラムＰＰ等を読み込んで実行することにより実現される。なお、以下では、エンドエフェクター２３でワークＷを把持し、把持したワークＷを目的地へ移動させる動作を「把持動作」とも言う。

滑り判定方法は、図４に示すように、把持動作開始ステップＳ１と、第１画像取得ステップＳ２と、第２画像取得ステップＳ３と、予想画像生成ステップＳ４と、判断ステップＳ５と、対応動作ステップＳ６と、を含んでいる。

把持動作開始ステップＳ１では、ロボット２を動かして把持動作を行う。第１画像取得ステップＳ２では、把持動作中にワークＷを含む第１画像Ｐｘ１を取得する。第２画像取得ステップＳ３では、第１画像取得ステップＳ２と同様に、把持動作中にワークＷを含む第２画像Ｐｘ２を取得する。予想画像生成ステップＳ４では、予め生成された写像と第１画像Ｐｘ１とに基づいて第２画像Ｐｘ２の予想画像Ｐｘｉを生成する。判断ステップＳ５では、第２画像Ｐｘ２と予想画像Ｐｘｉとを比較して把持滑りが発生しているかを判断する。対応動作ステップＳ６では、判断ステップＳ５の判断結果に基づいてロボット２に種々の動作をさせる。

このような滑り判定方法によれば、カメラ２４で撮像した画像Ｐｘに基づいて把持滑りを検出する。そのため、従来のような力センサーを用いる構成と比べて、ロボットシステム１の低コスト化を図ることができる。以下、図５に示すフローチャートに基づいて、各ステップＳ１～Ｓ６について詳述する。

［把持動作開始ステップＳ１］
把持動作開始ステップＳ１では、制御装置３は、例えば、図示しないホストコンピューターから受け付けた動作指令に基づいてロボット２（各モーターＭ）を駆動し、ロボット２に把持動作を実行させる。

ここで、図６に示すように、本実施形態の把持動作は、ワークＷが一定の加速度で加速移動する加速区間Ｑ１と、加速区間Ｑ１の後に位置しワークＷが一定の速度で定速移動する定速区間Ｑ２と、定速区間Ｑ２の後に位置しワークＷが一定の加速度で減速移動する減速区間Ｑ３と、の３つの区間Ｑを有している。また、各区間Ｑでは、それぞれ、ワークＷが直線的に移動する。これにより、区間Ｑ毎にワークＷの単位時間当たりの移動量が一定つまり規則的になるため、区間Ｑ毎に精度のよい写像を生成することができる。そのため、把持滑りの検出を精度よく行うことができる。

ただし、これに限定されず、例えば、把持動作は、定速区間Ｑ２がなく加速区間Ｑ１と減速区間Ｑ３とを有していてもよいし、さらに減速区間Ｑ３がなく加速区間Ｑ１だけを有していてもよい。

［第１画像取得ステップＳ２］
第１画像取得ステップＳ２では、制御装置３は、把持動作中にカメラ２４を用いてワークＷを含む第１画像Ｐｘ１を取得する。取得した第１画像Ｐｘ１は、メモリーに記憶される。図７に第１画像Ｐｘ１の一例を示す。

［第２画像取得ステップＳ３］
第２画像取得ステップＳ３は、第１画像取得ステップＳ２の後に行われる。第２画像取得ステップＳ３では、制御装置３は、把持動作中にカメラ２４を用いてワークＷを含む第２画像Ｐｘ２を取得する。取得した第２画像Ｐｘ２は、メモリーに記憶される。図８に第２画像Ｐｘ２の一例を示す。

第１、第２画像取得ステップＳ２、Ｓ３について実際の動作に準じて説明すると、制御装置３は、把持動作開始後、カメラ２４を用いてワークＷを含む画像Ｐｘの撮像を開始する。より具体的には、制御装置３は、エンドエフェクター２３によるワークＷの把持が完了後、ワークＷの目的地までの移動を開始する前からカメラ２４を用いて画像Ｐｘの撮像を開始する。また、制御装置３は、画像Ｐｘを所定時間間隔毎に周期的に取得する。つまり、制御装置３は、時系列画像を取得する。

所定時間間隔としては、特に限定されず、例えば、０．１秒以上１秒以下とすることができる。このような下限値とすることで、予想画像生成ステップＳ４および判断ステップＳ５に費やすことのできる時間を十分に確保することができるため、処理の遅延を抑制することができる。また、このような上限値とすることで、十分に短い間隔で画像Ｐｘを取得することができる。そのため、実際に把持滑りが発生した時刻と把持滑りを検出した時刻とのタイムラグを小さくすることができ、把持滑りをより早期に検出することができる。なお、本願明細書の時刻は、例えば、制御装置３がロボット２に把持動作を命じた時からの経過時間を意味する。

まず、制御装置３は、１枚目の画像Ｐｘを取得すると、当該画像Ｐｘを第１画像Ｐｘ１としてメモリーに記憶する。次に、制御装置３は、２枚目の画像Ｐｘを取得すると、当該画像を第２画像Ｐｘ２としてメモリーに記憶する。次に、制御装置３は、３枚目の画像Ｐｘを取得すると、直前まで第２画像Ｐｘ２として記憶していた画像Ｐｘ（２枚目の画像Ｐｘ）を直前まで第１画像Ｐｘ１として記憶していた画像Ｐｘ（１枚目の画像Ｐｘ）に代えて第１画像Ｐｘ１としてメモリーに記憶し、３枚目の画像Ｐｘを新たな第２画像Ｐｘ２として記憶する。

４枚目以降の画像Ｐｘを取得した場合は、これと同様であり、取得した最新の画像Ｐｘを第２画像Ｐｘ２として記憶し、その１枚前の画像Ｐｘ（直前まで第２画像Ｐｘ２だった画像Ｐｘ）を第１画像Ｐｘ１として記憶する手順を繰り返す。つまり、新たな画像Ｐｘを取得する度に、最新の画像Ｐｘを第２画像Ｐｘ２とし、１枚前の画像Ｐｘを第２画像Ｐｘ２から第１画像Ｐｘ１に繰り下げる。

なお、上述したように、本実施形態では、最新の画像Ｐｘの１枚前の画像Ｐｘを第１画像Ｐｘ１として記憶するが、これに限定されず、例えば、２枚前の画像Ｐｘを第１画像Ｐｘ１としてもよいし、それ以上前の画像Ｐｘを第１画像Ｐｘ１としてもよい。同様に、最新の画像Ｐｘを第２画像Ｐｘ２として記憶するが、これに限定されず、例えば、１枚前の画像Ｐｘを第２画像Ｐｘ２としてもよいし、それ以上前の画像Ｐｘを第２画像Ｐｘ２としてもよい。

［予想画像生成ステップＳ４］
予想画像生成ステップＳ４では、制御装置３は、予め生成された写像と第１画像Ｐｘ１とに基づいて第２画像Ｐｘ２の予想画像Ｐｘｉを生成する。予想画像Ｐｘｉは、第２画像Ｐｘ２を取得した時刻においてカメラ２４で撮像されると予想される画像とも言える。以下、本ステップＳ４について詳細に説明する。

まず、写像について説明する。前述したように、把持動作が加速区間Ｑ１と、定速区間Ｑ２と、等速の減速区間Ｑ３と、を有している。また、加速区間Ｑ１および減速区間Ｑ３では、加速度が一定である。そのため、各区間Ｑ１、Ｑ２、Ｑ３で、画像Ｐｘに写る物体の移動量および移動方向が規則性を有している。そこで、制御装置３は、区間Ｑ１、Ｑ２、Ｑ３毎に、第１画像Ｐｘ１からその次に得られる第２画像Ｐｘ２を予想するための関数である写像を生成する。写像の生成方法は、特に限定されないが、例えば、以下のような方法が挙げられる。

まず、制御装置３は、実際の把持動作を行う前に、写像を生成するための把持動作を行う。当該把持動作は、実際の把持動作と同じ動作であるが、例えば、把持力を高める等により、ワークＷの把持滑りが生じない正常な状態で行われる。また、制御装置３は、把持動作中、カメラ２４を用いてワークＷを含む画像Ｐｘを取得する。なお、画像Ｐｘの取得を開始するタイミング、画像Ｐｘを取得する時間間隔等の各種条件は、実際の把持作業と同じ条件に設定することが好ましい。これにより、予想画像Ｐｘｉと第２画像Ｐｘ２の取得時刻を容易に一致させることができるため、把持滑りをより精度よく検出することができる。

次に、制御装置３は、加速区間Ｑ１で得られた複数の画像Ｐｘから加速区間Ｑ１の写像を生成し、定速区間Ｑ２で得られた複数の画像Ｐｘから定速区間Ｑ２の写像を生成し、減速区間Ｑ３で得られた複数の画像Ｐｘから減速区間Ｑ３の写像を生成する。例えば、各区間Ｑ１、Ｑ２、Ｑ３において、その区間の開始から順に得られた画像ＰｘをＩ_ｋ（ｋ＝０、１、２、３、４…）とし、その区間での写像をＡｊとすると、これらの間に下記式（１）で示す線形関係が成り立つ。

そのため、各区間Ｑ１、Ｑ２、Ｑ３において、連続して撮像された２枚の画像Ｐｘに基づいて写像Ａｊを求めることができる。つまり、図９に示すような複数の画像Ｐｘの差分から写像Ａｊを求めることができる。そして、写像Ａｊを求めた後は、その写像Ａｊを用いてｋ番目に得られた画像Ｉ_ｋつまり第１画像Ｐｘ１からｋ＋１番目に得られる画像Ｉ_ｋ＋１つまり第２画像Ｐｘ２を予想することができる。

以上、写像の生成方法の一例について説明した。次に、予想画像生成ステップＳ４の手順について説明する。まず、制御装置３は、ステップＳ４１として、把持動作中のロボット２の状態量に基づいて現在の区間Ｑを判断する。状態量に基づけば、区間Ｑを容易かつ正確に判断することができる。なお、状態量としては、特に限定されないが、本実施形態では、各関節Ｊ１～Ｊ６のエンコーダーＥからの信号に基づいて検出されるワークＷの移動速度を用いている。

ただし、区間Ｑの判断方法は、特に限定されない。例えば、状態量として、各関節Ｊ１～Ｊ６のエンコーダーＥからの信号に基づいて検出されるロボットアーム２２の姿勢を用いてもよい。また、状態量ではなく、把持動作開始からの経過時間に基づいて区間Ｑを判断してもよい。また、エンドエフェクター２３に加速度センサーを搭載し、この加速度センサーからの信号に基づいて区間Ｑを判断してもよい。また、カメラ２４とは別のカメラで撮像したロボット２を含む画像に基づいて区間Ｑを判断してもよい。

次に、制御装置３は、ステップＳ４２として、ステップＳ４１で判断した区間Ｑに対応する写像を選択する。つまり、ステップＳ４１で判断した区間Ｑが加速区間Ｑ１であれば加速区間Ｑ１に対応する写像を選択し、ステップＳ４１で判断した区間Ｑが定速区間Ｑ２であれば定速区間Ｑ２に対応する写像を選択し、ステップＳ４１で判断した区間Ｑが減速区間Ｑ３であれば減速区間Ｑ３に対応する写像を選択する。区間Ｑ毎の写像は、写像テーブルとしてメモリーに記憶されており、制御装置３は、写像テーブルから該当する１つの写像を取得する。これにより、より精度の高い予想画像Ｐｘｉを生成することができる。

次に、制御装置３は、ステップＳ４３として、選択した写像と第１画像Ｐｘ１とに基づいて第２画像Ｐｘ２の予想画像Ｐｘｉを生成する。前述したように、Ｉ_ｋ＋１＝Ａ_ｊ・Ｉ_ｋが成り立つため、Ｉｋに第１画像Ｐｘ１を代入することにより第２画像Ｐｘ２の予想画像Ｐｘｉを生成することができる。

［判断ステップＳ５］
判断ステップＳ５では、制御装置３は、第２画像取得ステップＳ３で得られた第２画像Ｐｘ２と、予想画像生成ステップＳ４で得られた予想画像Ｐｘｉとを比較して把持滑りが発生しているかを判断する。つまり、予想した画像と実際に撮像された画像とを比較して把持滑りを検出する。以下、判断方法について詳細に説明する。

まず、制御装置３は、ステップＳ５１として、第２画像Ｐｘ２と予想画像Ｐｘｉとの類似度を算出する。類似度の算出方法は、特に限定されないが、本実施形態では、ユークリッド距離つまり第２画像Ｐｘ２と予想画像Ｐｘｉの距離からこれら２つの画像の類似度を算出する。ユークリッド距離を用いる方法によれば、比較的処理負荷が小さく、より短時間で第２画像Ｐｘ２と予想画像Ｐｘｉとの類似度を算出することができる。

次に、制御装置３は、ステップＳ５２として、算出した類似度と予め設定されている閾値との大小関係を判定する。そして、制御装置３は、算出した類似度が閾値未満の場合つまり閾値よりも類似している場合は、ワークＷの把持滑りが発生していないと判定し、算出した類似度が閾値以上の場合つまり閾値よりも類似していない場合は、ワークＷの把持滑りが発生していると判定する。このように、第２画像Ｐｘ２と予想画像Ｐｘｉとの類似度と閾値との大小関係に基づくことにより、画一的な判定が可能となり、判定精度の向上および安定化を図ることができる。

ただし、把持滑りが発生しているかを判定する方法は、類似度を用いた方法に限定されない。例えば、ワークＷのエッジ等の特徴点を抽出し、特徴点同士のずれ量に基づいて把持滑りを検出してもよい。

ここで、閾値は、各第２画像Ｐｘ２に対応して設定されている。このような閾値は、持滑りが生じていない第１参考画像、把持滑りが生じている第２参考画像および予想画像Ｐｘｉに基づいて決定する。なお、これら３枚の画像は、互いに同時刻に取得したものが用いられる。例えば、第１参考画像と第２参考画像との類似度を求め、この類似度を仮閾値とする。次に、第１参考画像と予想画像Ｐｘｉとの類似度の差に基づいて仮閾値を補正して、閾値とする。このような方法によれば、より現状に適した閾値を生成することができ、把持滑りを精度よく検出することができる。

ここで、第１参考画像は、前述した写像を生成するために取得した画像を用いることができる。これに対して第２参考画像は、次のようにして取得することができる。

例えば、写像を生成するときと同様に、実際の把持動作を行う前に、実際の把持動作と同じ把持動作をカメラ２４で時系列画像を取得しながら行い、その動作の中で把持滑りを故意に生じさせる。これにより、第２参考画像を容易に取得することができる。特に、この方法によれば、より実際の状態に近い第２参考画像が得られるため、閾値を高い精度で設定することができる。

また、例えば、実際の把持動作で定められた把持位置からずれた位置でワークＷを把持した状態で、実際の把持動作と同じ把持動作をカメラ２４で時系列画像を取得しながら行ってもよい。つまり、初めから把持滑りを発生させた状態で時系列画像を取得する。これにより、第２参考画像を容易に取得することができる。特に、この方法によれば、把持滑りを故意に発生させる必要がないため、第２参考画像の取得に失敗がなく、第２参考画像の取得がより容易となる。

［対応動作ステップＳ６］
対応動作ステップＳ６では、判断ステップＳ５の判定結果に基づいてロボット２の駆動を制御する。制御装置３は、判断ステップＳ５において把持滑りが発生していないと判定したときは、ステップＳ６１として、ロボット２に把持動作を継続させる。一方、制御装置３は、把持滑りが発生していないと判定したときは、ステップＳ６２として、対応動作をロボット２に実行させる。対応動作としては、特に限定されないが、例えば、把持動作の停止、ワークＷの把持力を高める等が挙げられる。この場合、把持滑りの大きさに基づいて対応動作を選択してもよい。本実施形態では、閾値を設け、把持滑りの大きさが閾値以上であれば把持動作を停止し、把持滑りの大きさが閾値未満であれば把持力を高めて把持動作を継続する。

以上、滑り判定方法について説明した。このような滑り判定方法によれば、カメラ２４で取得した画像Ｐｘに基づいて把持滑りを検出するため、従来のような力センサーを用いる構成と比較してロボットシステム１の低コスト化を図ることができる。また、画像Ｐｘ中の物体を認識する必要がなく、特徴点の設定も不要である。そのため、画像認識等の専門知識がなくても容易に取り扱うことができる。画像認識が不要であることから、画像Ｐｘ中のエンドエフェクター２３やワークＷの一部が隠れてしまっても、その影響を受け難く、把持滑りを精度よく検出することができる。

以上、ロボットシステム１について説明した。このようなロボットシステム１が行う滑り判定方法は、前述したように、ロボット２が対象物であるワークＷを把持した状態で動作する把持動作中にワークＷを含む第１画像Ｐｘ１を取得する第１画像取得ステップＳ２と、第１画像取得ステップＳ２の後に、把持動作中にワークＷを含む第２画像Ｐｘ２を取得する第２画像取得ステップＳ３と、ワークＷの把持滑りが生じていない把持動作中に連続して取得した複数の画像Ｐｘに基づいて予め求められた写像と、第１画像Ｐｘ１と、に基づいて第２画像Ｐｘ２の予想画像Ｐｘｉを生成する予想画像生成ステップＳ４と、第２画像Ｐｘ２と予想画像Ｐｘｉとを比較して把持滑りが発生しているかを判断する判断ステップＳ５と、を含んでいる。

このような滑り判定方法によれば、カメラ２４で取得した画像Ｐｘに基づいて把持滑りを検出するため、従来のような力センサーを用いる構成と比較してロボットシステム１の低コスト化を図ることができる。また、画像Ｐｘ中の物体を認識する必要がなく、特徴点の設定も不要である。そのため、画像認識等の専門知識がなくても容易に取り扱うことができる。画像認識が不要であることから、画像Ｐｘ中のエンドエフェクター２３やワークＷの一部が隠れてしまっても、その影響を受け難く、把持滑りを精度よく検出することができる。

また、前述したように、判断ステップＳ５では、第２画像Ｐｘ２と予想画像Ｐｘｉとの類似度を算出し、類似度と予め設定された閾値との関係に基づいて把持滑りが発生しているかを判断する。このように、第２画像Ｐｘ２と予想画像Ｐｘｉとの類似度と閾値との関係に基づくことにより、画一的な判定が可能となり、判定精度の向上および安定化を図ることができる。

また、前述したように、閾値は、互いに同時刻に取得した把持滑りが生じていない第１参考画像、把持滑りが生じている第２参考画像および予想画像Ｐｘｉに基づいて決定する。このような方法によれば、より現状に適した閾値を生成することができ、把持滑りを精度よく検出することができる。

また、前述したように、第２参考画像は、把持動作中に把持滑りを発生させて取得する。これにより、第２参考画像を容易に取得することができる。特に、この方法によれば、より実際の状態に近い第２参考画像が得られるため、閾値を高い精度で設定することができる。

また、前述したように、第２参考画像は、把持動作で定められた把持位置からずれた位置でワークＷを把持した状態で把持動作を行うことにより取得する。これにより、第２参考画像を容易に取得することができる。特に、この方法によれば、把持滑りを故意に発生させる必要がないため、第２参考画像の取得に失敗がなく、第２参考画像の取得がより容易となる。

また、前述したように、把持動作は、ワークＷが加速移動する加速区間Ｑ１と、ワークＷが減速移動する減速区間Ｑ３と、を含む複数の区間Ｑを有し、複数の区間Ｑ毎に写像が求められており、予想画像生成ステップＳ４では、第２画像Ｐｘ２を取得する時刻を含む区間Ｑの写像を用いて予想画像Ｐｘｉを生成する。これにより、より精度の高い予想画像Ｐｘｉを生成することができる。

また、前述したように、予想画像生成ステップＳ４では、把持動作中のロボット２の状態量に基づいて区間Ｑを判断する。状態量に基づけば、区間Ｑを容易かつ正確に判断することができる。

また、前述したように、ロボットシステム１に適用される滑り判定システムは、ロボット２が対象物であるワークＷを把持した状態で動作する把持動作中にワークＷを含む第１画像Ｐｘ１を取得し、第１画像Ｐｘ１を取得した後に、把持動作中にワークＷを含む第２画像Ｐｘ２を取得し、ワークＷの把持滑りが生じていない把持動作中に連続して取得した複数の画像Ｐｘに基づいて予め求められた写像と、第１画像Ｐｘ１と、に基づいて第２画像Ｐｘ２の予想画像Ｐｘｉを生成し、第２画像Ｐｘ２と予想画像Ｐｘｉとを比較してワークＷの把持滑りが発生しているかを判断する。

このような滑り判定システムによれば、カメラ２４で取得した画像Ｐｘに基づいて把持滑りを検出するため、従来のような力センサーを用いる構成と比較してロボットシステム１の低コスト化を図ることができる。また、画像Ｐｘ中の物体を認識する必要がなく、特徴点の設定も不要である。そのため、画像認識等の専門知識がなくても容易に取り扱うことができる。画像認識が不要であることから、画像Ｐｘ中のエンドエフェクター２３やワークＷの一部が隠れてしまっても、その影響を受け難く、把持滑りを精度よく検出することができる。

また、前述したように、滑り判定プログラムＰＰは、ロボット２を備えるロボットシステム１に、ロボット２が対象物であるワークＷを把持した状態で動作する把持動作中にワークＷを含む第１画像Ｐｘ１を取得する第１画像取得ステップＳ２と、第１画像取得ステップＳ２の後に、把持動作中にワークＷを含む第２画像Ｐｘ２を取得する第２画像取得ステップＳ３と、ワークＷの把持滑りが生じていない把持動作中に連続して取得した複数の画像Ｐｘに基づいて予め求められた写像と、第１画像Ｐｘ１と、に基づいて第２画像Ｐｘ２の予想画像Ｐｘｉを生成する予想画像生成ステップＳ４と、第２画像Ｐｘ２と予想画像Ｐｘｉとを比較して把持滑りが発生しているかを判断する判断ステップＳ５と、を実行させる。

このような滑り判定プログラムＰＰによれば、カメラ２４で取得した画像Ｐｘに基づいて把持滑りを検出するため、従来のような力センサーを用いる構成と比較してロボットシステム１の低コスト化を図ることができる。また、画像Ｐｘ中の物体を認識する必要がなく、特徴点の設定も不要である。そのため、画像認識等の専門知識がなくても容易に取り扱うことができる。画像認識が不要であることから、画像Ｐｘ中のエンドエフェクター２３やワークＷの一部が隠れてしまっても、その影響を受け難く、把持滑りを精度よく検出することができる。

以上、本発明の滑り判定方法、滑り判定システムおよび滑り判定プログラムを図示の実施形態に基づいて説明したが本発明はこれに限定されるものではない。各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。

また、前述した実施形態では、第２画像取得ステップＳ３の後に予想画像生成ステップＳ４を行っているが、これらの順番は、特に限定されない。例えば、図１０および図１１に示すように、予想画像生成ステップＳ４を、第１画像取得ステップＳ２が行われた後、第２画像取得ステップＳ３に先立ってあるいは第２画像取得ステップＳ３と並行して行ってもよい。この場合は、最新の画像Ｐｘが第１画像Ｐｘ１となり、次に取得される未知の画像Ｐｘが第２画像Ｐｘ２となる。このような方法によっても前述した実施形態と同様の効果を図ることができる。また、第２画像Ｐｘ２の取得を待つことなく第２画像Ｐｘ２の予想画像Ｐｘｉを生成することができるため、把持滑りの検出をより早期に行うことができる。

１…ロボットシステム、２…ロボット、２１…基台、２２…ロボットアーム、２２１…アーム、２２２…アーム、２２３…アーム、２２４…アーム、２２５…アーム、２２６…アーム、２３…エンドエフェクター、２４…カメラ、３…制御装置、３１…記憶部、３２…予想画像生成部、３３…判定部、Ｅ…エンコーダー、Ｊ１…関節、Ｊ２…関節、Ｊ３…関節、Ｊ４…関節、Ｊ５…関節、Ｊ６…関節、Ｍ…モーター、ＰＰ…滑り判定プログラム、Ｐｘ…画像、Ｐｘ１…第１画像、Ｐｘ２…第２画像、Ｐｘｉ…予想画像、Ｑ…区間、Ｑ１…加速区間、Ｑ２…定速区間、Ｑ３…減速区間、Ｓ１…把持動作開始ステップ、Ｓ２…第１画像取得ステップ、Ｓ３…第２画像取得ステップ、Ｓ４…予想画像生成ステップ、Ｓ４１…ステップ、Ｓ４２…ステップ、Ｓ４３…ステップ、Ｓ５…判断ステップ、Ｓ５１…ステップ、Ｓ５２…ステップ、Ｓ６…対応動作ステップ、Ｓ６１…ステップ、Ｓ６２…ステップ、Ｗ…ワーク

Claims (9)

1. ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得する第１画像取得ステップと、
   前記第１画像取得ステップの後に、前記把持動作中に前記対象物を含む第２画像を取得する第２画像取得ステップと、
   前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成する予想画像生成ステップと、
   前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断する判断ステップと、を含むことを特徴とする滑り判定方法。
2. 前記判断ステップでは、前記第２画像と前記予想画像との類似度を算出し、前記類似度と予め設定された閾値との関係に基づいて前記把持滑りが発生しているかを判断する請求項１に記載の滑り判定方法。
3. 前記閾値は、互いに同時刻に取得した前記把持滑りが生じていない第１参考画像、前記把持滑りが生じている第２参考画像および前記予想画像に基づいて決定する請求項２に記載の滑り判定方法。
4. 前記第２参考画像は、把持動作中に前記把持滑りを発生させて取得する請求項３に記載の滑り判定方法。
5. 前記第２参考画像は、前記把持動作で定められた把持位置からずれた位置で前記対象物を把持した状態で前記把持動作を行うことにより取得する請求項３に記載の滑り判定方法。
6. 前記把持動作は、前記対象物が加速移動する加速区間と、前記対象物が減速移動する減速区間と、を含む複数の区間を有し、
   複数の前記区間毎に前記写像が求められており、
   前記予想画像生成ステップでは、前記第２画像を取得する時刻を含む前記区間の前記写像を用いて前記予想画像を生成する請求項１に記載の滑り判定方法。
7. 予想画像生成ステップでは、前記把持動作中の前記ロボットの状態量に基づいて前記区間を判断する請求項６に記載の滑り判定方法。
8. ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得し、
   前記第１画像を取得した後に、前記把持動作中に前記対象物を含む第２画像を取得し、
   前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成し、
   前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断することを特徴とする滑り判定システム。
9. ロボットを備えるロボットシステムに、
   前記ロボットが対象物を把持した状態で動作する把持動作中に前記対象物を含む第１画像を取得する第１画像取得ステップと、
   前記第１画像取得ステップの後に、前記把持動作中に前記対象物を含む第２画像を取得する第２画像取得ステップと、
   前記対象物の把持滑りが生じていない前記把持動作中に連続して取得した複数の画像に基づいて予め求められた写像と、前記第１画像と、に基づいて前記第２画像の予想画像を生成する予想画像生成ステップと、
   前記第２画像と前記予想画像とを比較して前記対象物の把持滑りが発生しているかを判断する判断ステップと、を実行させることを特徴とする滑り判定プログラム。

Images