JP7396819B2 - ロボット装置の動作を動画にて撮像するカメラを備える監視装置 - Google Patents

Description

本発明は、ロボット装置の動作を動画にて撮像するカメラを備える監視装置に関する。

ロボットを備えるロボット装置では、作業に応じた作業ツールをロボットに取り付けることにより所望の作業を行うことができる。例えば、作業ツールとしてワークを把持するハンドをロボットに取り付けることができる。ロボットが予め定められた位置および姿勢に到達した後に、ハンドにてワークを把持したり解放したりすることにより、ワークを搬送することができる。

ロボットおよび作業ツールは、予め作成された動作プログラムに基づいて駆動される。しかしながら、ロボット装置の異常の発生またはロボット装置を駆動する時の周りの状態などにより、ロボット装置の作業が正常に行われない場合がある。ロボット装置が作業を行っている期間中に、ロボット装置の状態またはロボット装置の周りの状態を把握するために、ロボット装置にカメラを配置することができる。

従来の技術においては、カメラにて撮像した動画または静止画によりロボットが駆動している状態を判定する装置が知られている（例えば、特開２０１７－１３２１４号公報、特開２０１７－１１１４号公報、および特開２０１７－１５４２２１号公報を参照）。また、作業者とロボットとが協働して作業を行うロボット装置において、ロボットへの作業者の接近を検出するカメラを備えるロボット装置が知られている（例えば、国際公開第２０１８／１３１２３７号を参照）。更に、ロボット装置が作業をしている領域をカメラにて撮像して、この画像を表示装置に表示する装置が知られている（例えば、特開２０１８－２０２５４１号公報を参照）。

特開２０１７－１３２１４号公報 特開２０１７－１１１４号公報 特開２０１７－１５４２２１号公報 国際公開第２０１８／１３１２３７号 特開２０１８－２０２５４１号公報

ロボット装置による作業が正常に行われない場合に、ロボット装置が停止する場合がある。例えば、自動搬送車にて搬送されるワークに所定の部品を取り付けたり、溶接を行ったりする場合がある。この場合に、地面に凹凸があったり工場内に空気の流れがあったりすると、搬送車に載置されたワークに振動が生じる場合がある。この結果、作業ツールがワークに接触した時にロボット装置が振動を検出して停止する場合がある。または、ロボット装置に含まれる装置が故障してロボットの振動が大きくなり、ロボット装置が停止する場合がある。

ロボット装置に生じた異常の原因を調査するためには、異常が生じた時のロボット装置の状態を目視にて観察できることが好ましい。このために、ロボット装置による作業が正常に行われない場合に、作業者は、ロボット装置に同じ作業をもう一度実施させながら、カメラにて動画を撮像していた。このために、作業者は原因の解析のために多くの時間を費やしていた。

また、作業者は、ロボット装置の運転に関する記録と動画とに基づいて異常が生じた原因を解析する。ところが、ロボット装置の運転の記録が動画のどの時点に対応するのかが分からないという問題があった。ロボット装置の運転の記録と動画における時刻とを対応づける情報が無いために、異常が発生したときのロボットの動画と運転の記録とを参照して、異常が生じた原因を解析することが難しいという問題があった。このように、従来の技術においては、異常が生じた原因を短時間で解析することは困難であり、ロボット装置の復旧までに時間がかかるという問題があった。

本開示の一態様の監視装置は、ロボット装置の動作を撮像するカメラにて撮像された動画およびロボット装置の運転状態を検出するための状態検出器の出力を取得する演算処理装置を備える。演算処理装置は、記憶部に記憶される情報を操作する記憶制御部を含む。演算処理装置は、記憶部に記憶された情報の一部を抽出する抽出部と、ロボット装置の運転状態を判定する判定部とを含む。記憶制御部は、カメラにて撮像される動画に時刻または予め定められた基準時刻からの経過時間を付けて記憶部に記憶する制御と、状態検出器の出力から取得される変数に時刻または経過時間を付けて記憶部に記憶する制御とを実施する。判定部は、ロボット装置の運転状態が予め定められた基準運転状態から逸脱しているか否かを判定する。抽出部は、判定部がロボット装置の運転状態が基準運転状態から逸脱したと判定した場合に、基準運転状態から逸脱した時より前の期間を含む予め定められた期間の動画を記憶部から抽出する。変数は、ロボット装置の加速度および位置のうち少なくとも一方を含む。記憶制御部は、ロボット装置の動作期間中に変数を取得し、変数を取得した時の時刻または経過時間を取得し、時刻または経過時間と変数とを監視情報ファイルに記録するように形成されている。判定部は、ロボットの加速度が警告の判定範囲内に到達した場合に、ロボット装置の運転状態が基準運転状態から逸脱したと判定する。記憶制御部は、判定部がロボット装置の運転状態が基準運転状態から逸脱したと判定した場合に、警告の情報およびロボット装置の運転状態が基準運転状態から逸脱したと判定した時刻を監視情報ファイルに付加する。

本開示によれば、ロボット装置の動作が基準となる運転状態を逸脱した時に、ロボット装置の動作の状態を容易に確認できる監視装置を提供することができる。

実施の形態における第１のロボット装置の概略図である。 実施の形態における第１のロボット装置のブロック図である。 実施の形態におけるカメラにて撮像される映像の例である。 実施の形態の監視情報ファイルに含まれる項目を説明するブロック図である。 動作プログラムに記載されている移動点同士の間の補間点を説明する概略図である。 実施の形態における第２のロボット装置の概略図である。 実施の形態における第３のロボット装置の概略図である。

図１から図７を参照して、実施の形態におけるロボット装置の動作を監視する監視装置について説明する。本実施の形態では、製品を組み立てる作業を行うロボット装置を例に取り上げて説明する。

図１は、本実施の形態における第１のロボット装置の概略図である。第１のロボット装置５は、作業ツール（エンドエフェクタ）としてのハンド２と、ハンド２を移動するロボット１とを備える。本実施の形態のロボット１は、複数の関節部を含む多関節ロボットである。

ロボット１は、ベース部１４と、ベース部１４に支持された旋回ベース１３とを含む。ベース部１４は、設置面に固定されている。旋回ベース１３は、ベース部１４に対して回転するように形成されている。ロボット１は、上部アーム１１および下部アーム１２を含む。下部アーム１２は、関節部を介して旋回ベース１３に回動可能に支持されている。上部アーム１１は、関節部を介して回動可能に下部アーム１２に支持されている。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。

ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、関節部を介して回動可能に上部アーム１１に支持されている。リスト１５は、回転可能に形成されているフランジ１６を含む。ハンド２は、リスト１５のフランジ１６に固定されている。本実施の形態のロボット１は、６個の駆動軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。

ハンド２は、ワーク８１を把持したり解放したりする作業ツールである。ハンド２は、複数の爪部３を有する。ハンド２は爪部３が開いたり閉じたりするように形成されている。爪部３がワーク８１を挟むことによりワーク８１を把持する。本実施の形態のハンド２は、爪部３を有するが、この形態に限られない。ハンドは、ワークを把持できるように形成されている任意の構成を採用することができる。例えば、吸着または磁力によりワークを把持するハンドが採用されても構わない。

本実施の形態におけるロボット装置５は、ロボット１に対してワーク８２を搬送する搬送機としてのコンベヤ８を含む。搬送機は、ロボット１の周りに配置される。コンベヤ８は、ワーク８２を予め定められた位置まで搬送するように形成されている。

本実施の形態のロボット装置５は、ワーク８２にワーク８１を取り付ける作業を行う。ワーク８１は、表面から突出するピン８１ａを有する。コンベヤ８にて搬送されるワーク８２には、ピン８１ａの形状に対応する穴部８２ａが形成されている。ロボット装置５は、図示しない作業台の上に配置されたワーク８１を把持する。次に、ロボット１は、位置および姿勢を変更することにより、矢印９１に示すように、ワーク８１をワーク８２の上面に載置する。この時に、ロボット１は、ピン８１ａが穴部８２ａに嵌合するようにワーク８１を移動する。

本実施の形態では、コンベヤ８がワーク８２の搬送を継続しながらロボット１がワーク８１をワーク８２に取り付ける。すなわち、ワーク８１が載置される作業を行う期間中に、ワーク８２はコンベヤ８により移動している。ロボット１は、ワーク８２を追従するように位置および姿勢を変化させながらワーク８１をワーク８２に取り付ける。

本実施の形態におけるロボット装置５は、ロボット装置５の動作を撮像するカメラ１０を備える。カメラ１０は、動画を撮像するビデオカメラである。カメラ１０は、ハンド２がワーク８１，８２に対して作業を行う状態を撮像するように配置されている。本実施の形態のカメラ１０は、ワーク８２に対してワーク８１が載置される領域を撮像するように配置されている。特に、カメラ１０は、ピン８１ａが穴部８２ａに挿入される状態を撮像できるように配置されている。

第１のロボット装置５では、カメラ１０は、支持部材１７によりハンド２に固定されている。カメラ１０は、ハンド２と共に位置および姿勢が変化する。また、本実施の形態のカメラ１０は、ハンド２から取り外すことができるように形成されている。例えば、支持部材１７は、磁石またはねじ等の締結部材により、ハンド２に固定されることができる。

本実施の形態のロボット装置５には、基準座標系５６が設定されている。図１に示す例では、ロボット１のベース部１４に、基準座標系５６の原点が配置されている。基準座標系５６はワールド座標系とも称される。基準座標系５６は、原点の位置が固定され、更に、座標軸の向きが固定されている座標系である。ロボット１の位置および姿勢が変化しても基準座標系５６の位置および向きは変化しない。基準座標系５６は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

ロボット１の位置および姿勢は、基準座標系５６にて表すことができる。例えば、ロボット１の位置は、ハンド２の先端に配置された工具先端点の位置にて表すことができる。また、工具先端点にハンド２と共に移動するツール座標系を設定することができる。ロボット１の姿勢は、基準座標系５６に対するツール座標系の向きにて表すことができる。

図２に、本実施の形態におけるロボット装置のブロック図を示す。図１および図２を参照して、ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動するロボット駆動モーター２２を含む。ロボット駆動モーター２２が駆動することにより、それぞれの構成部材の向きが変化する。

ハンド２は、ハンド２を駆動するハンド駆動装置を備える。ハンド駆動装置は、ハンド２の爪部３を駆動するハンド駆動モーター２１を含む。ハンド駆動モーター２１が駆動することによりハンド２の爪部３が開いたり閉じたりする。なお、爪部は、空気圧により作動するように形成されていても構わない。この場合には、ハンド駆動装置は、空気ポンプおよびシリンダなどの空気圧にて爪部を駆動する装置を含むことができる。

ロボット装置５の制御装置は、ロボット制御装置４を備える。ロボット制御装置４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット制御装置４には、ロボット１、ハンド２、およびコンベヤ８の制御を行うために予め作成された動作プログラム４１が入力される。ロボット１およびハンド２は、動作プログラム４１に基づいてワーク８１を搬送する。コンベヤ８は、動作プログラム４１に基づいてワーク８２を搬送する。

ロボット制御装置４の演算処理装置は、予め定められた情報を記憶する記憶部４２を含む。記憶部４２は、ロボット１、ハンド２、およびコンベヤ８の制御に関する情報を記憶する。動作プログラム４１は、記憶部４２に記憶される。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。

演算処理装置は、動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。動作制御部４３は、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサは、動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４５に送出する。ロボット駆動部４５は、ロボット駆動モーター２２を駆動する電気回路を含む。ロボット駆動部４５は、動作指令に基づいてロボット駆動モーター２２に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいてハンド２を駆動する動作指令をハンド駆動部４４に送出する。ハンド駆動部４４は、ハンド駆動モーター２１を駆動する電気回路を含む。ハンド駆動部４４は、動作指令に基づいてハンド駆動モーター２１に電気を供給する。更に、動作制御部４３は、動作プログラム４１に基づいて、カメラ１０に動画を撮像する指令を送出する。

ロボット制御装置４は、ロボット装置５に関する任意の情報を表示する表示器４６を含む。表示器４６は、例えば、液晶表示パネルを含む。

ロボット装置５は、ロボット装置５の運転状態を検出する少なくとも一つの状態検出器を備える。状態検出器は、ロボット装置５を構成する部材に取り付けられる。ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器としての位置検出器１８を含む。位置検出器１８は、アーム等の構成部材の駆動軸に対応するロボット駆動モーター２２に取り付けられている。例えば、位置検出器１８は、ロボット駆動モーター２２が駆動するときの回転角を検出する。位置検出器１８の出力に基づいて、ロボット１の位置および姿勢が検出される。

また、本実施の形態の状態検出器は、ロボット１の加速度を検出するための加速度センサー１９を含む。加速度センサー１９は、ハンド２に取り付けられている。加速度センサー１９の出力により、ロボット１が駆動するときの加速度およびロボット１に生じる振動を検出することができる。

ロボット装置５の制御装置は、コンベヤ８の動作を制御するコンベヤ制御装置９を備える。コンベヤ制御装置９は、ＣＰＵおよびＲＡＭ等を含む演算処理装置（コンピュータ）を含む。コンベヤ制御装置９は、ロボット制御装置４と互いに通信することができるように形成されている。動作制御部４３は、動作プログラム４１に基づいて、コンベヤ８を駆動する動作指令をコンベヤ制御装置９に送出する。コンベヤ制御装置９は、ロボット制御装置４からの動作指令を受信して、コンベヤ８を駆動する。

本実施の形態におけるロボット装置５は、ロボット装置５の動作を監視する監視装置を備える。監視装置は、カメラ１０と、状態検出器としての位置検出器１８および加速度センサー１９とを備える。監視装置は、カメラ１０にて撮像された動画および状態検出器の出力を取得する演算処理装置を備える。本実施の形態においては、ロボット制御装置４の演算処理装置が監視装置の演算処理装置として機能する。

ロボット制御装置４の演算処理装置は、状態検出器およびカメラ１０から出力される情報を処理する信号処理部３１を含む。信号処理部３１は、記憶部４２に記憶される情報を操作する記憶制御部３２を含む。信号処理部３１は、記憶部４２に記憶された情報の一部を抽出する抽出部３４を含む。また、信号処理部３１は、ロボット装置５の運転状態を判定する判定部３３を含む。更に、本実施の形態における信号処理部３１は、過去に取得されたロボット装置５の運転状態に基づいて、将来のロボット装置５の動作を予測する予測部３５を含む。

信号処理部３１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、記憶制御部３２、判定部３３、抽出部３４、および予測部３５のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

本実施の形態のロボット装置５の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４と、コンベヤ８を制御するコンベヤ制御装置９とを備えるが、この形態に限られない。ロボット装置５は、１つの制御装置にて、ロボット１、ハンド２、およびコンベヤ８を制御するように形成されていても構わない。また、ロボット制御装置４とは別に信号処理部３１の機能を有する信号処理装置を配置しても構わない。信号処理装置は、記憶部およびＣＰＵを含む演算処理装置（コンピュータ）にて構成することができる。そして、信号処理装置において、記憶部に記憶させる制御および記憶部に記憶された情報の一部を抽出する制御などを行っても構わない。または、信号処理装置における時間とロボット制御装置４における時間とを同期させて、検出器、センサー、およびカメラからの信号の処理を分担しても構わない。

図１を参照して、本実施の形態におけるカメラ１０は、ハンド２に把持されるワーク８１から離れた位置に配置されている。カメラ１０は、ワーク８１をワーク８２に取り付けるときに、ワーク８１のピン８１ａとワーク８２の穴部８２ａを撮像できるように配置されている。

図３に、記憶部に記憶された映像の例を示す。図２および図３を参照して、記憶制御部３２は、カメラ１０にて撮像される動画を取得する。ロボット制御装置４は、時計の機能を有する。記憶制御部３２は、現在の時刻を取得する。記憶制御部３２は、カメラ１０にて撮像される動画に時刻を付けて記憶部４２に記憶する。すなわち、記憶制御部３２は、動画に現在の時刻のタイムスタンプを付けて記憶部４２に記憶する。

映像７１には、ワーク８１のピン８１ａとコンベヤ８によって搬送されるワーク８２の穴部８２ａとが嵌合する状態が記録されている。爪部３に把持されたワーク８１は、矢印９２に示す方向に移動して、ピン８１ａが穴部８２ａの内部に挿入される。カメラ１０は、ロボット装置５がワーク８１，８２に対して行う作業の状態を撮像している。映像７１の予め定められた位置には、時刻の映像７２が付与されている。映像７２には、動画を撮像したときの日付と時刻とが示されている。図３に示す例においては、１００分の１秒の位までの時刻が示されている。

本実施の形態の記憶制御部３２は、過去に記憶された古い動画を削除する制御を実施する。記憶制御部３２は、現在の時刻から予め定められた期間よりも前の動画を記憶部４２から削除する制御を実施する。動画を残す期間は、例えば１分以上６０分以下に設定することができる。記憶部４２に記憶される動画の記憶容量は、非常に大きくなる。本実施の形態においては、古い動画を削除することにより、動画の記憶容量が大きくなることを抑制できる。例えば、記憶制御部３２は、カメラ１０から取得された現在の時刻の動画を記憶部４２に記憶するとともに、現在の時刻から３０分前の時刻よりも前の動画を削除する制御を実施することができる。

図４に、本実施の形態における監視情報ファイルの説明図を示す。本実施の形態における記憶制御部３２は、ロボット装置５の運転期間中に、ロボット装置５の運転状態を監視情報として監視情報ファイル７３に記録する制御を実施する。監視情報ファイル７３は、記憶部４２に記憶される。記憶制御部３２は、状態検出器の出力から取得される変数に時刻を付けて記憶部４２に記憶する制御を実施する。ロボット１の運転状態は、例えば、ロボット１の加速度およびロボット１の位置である。監視情報ファイル７３には、ロボット１の加速度およびロボット１の位置のうち少なくも一方を記録することができる。

本実施の形態では、加速度センサー１９の出力から取得される加速度をロボット１の加速度としている。記憶制御部３２は、加速度センサー１９から出力される基準座標系５６のＸ軸方向の加速度、Ｙ軸方向の加速度、およびＺ軸方向の加速度を取得する。それぞれの加速度は、時刻を付けて監視情報ファイル７３に記憶される。また、記憶制御部３２は、ロボット駆動モーター２２に取り付けられた位置検出器１８の出力に基づいて算出されたロボット１の位置を取得する。監視情報ファイル７３には、ロボット１の基準座標系５６におけるＸ軸の座標値、Ｙ軸の座標値、およびＺ軸の座標値が記憶される。

図４に示す例では、時刻ｔ１におけるロボット１の加速度およびロボット１の位置が示されている。監視情報ファイル７３には、予め定められた時間間隔ごとに状態検出器の出力から取得される変数が記憶される。すなわち、監視情報ファイル７３には、複数の時刻に対応する変数が記憶されている。監視情報ファイル７３には、状態検出器を用いて取得された実際の測定値にタイムスタンプが付与されて記録されている。変数は、時系列にて監視情報ファイル７３に記録されることができる。

本実施の形態において、記憶制御部３２は、ロボット装置５が駆動されている期間中に取得した全ての時刻の加速度およびロボットの位置を記憶部４２に記憶しているが、この形態に限られない。記憶制御部は、現在の時刻から予め定められた期間よりも前の変数を削除する制御を行っても構わない。

図２を参照して、判定部３３は、ロボット装置５を運転している期間中に、ロボット装置５の運転状態が予め定められた基準運転状態から逸脱しているか否かを判定する。基準運転状態は、正常な運転範囲内にてロボット装置５が運転している状態に相当する。第１のロボット装置５の判定部３３は、ロボット１、ハンド２、およびコンベヤ８の運転状態が正常か否かを判定する。判定部３３は、状態検出器の出力から取得される変数が、予め定められた判定範囲を逸脱しているか否かを判定する。状態検出器の出力から取得される変数が判定範囲を逸脱している場合に、ロボット装置５の運転状態は、基準運転状態から逸脱していると判定することができる。すなわち、ロボット装置５の運転状態は、異常であると判定することができる。

例えば、ロボット１の加速度の判定範囲を予め定めることができる。判定部３３は、加速度センサー１９により取得された加速度が判定範囲を超えている場合に、ロボット装置５の運転状態が基準運転状態から逸脱していると判定することができる。または、ロボット１が到達できる位置の判定範囲を予め定めることができる。判定部３３は、位置検出器１８の出力から算出されたロボット１の位置が判定範囲を逸脱している場合に、ロボット装置５の運転状態が基準運転状態から逸脱していると判定することができる。

なお、ロボット装置５の運転状態が基準運転状態から逸脱しているか否かを判定するための変数は、監視情報ファイル７３に記録される変数と同じであっても異なっていても構わない。また、判定部は任意の制御により、ロボット装置の運転状態が基準運転状態から逸脱しているか否かを判定することができる。例えば、判定部は、動作制御部４３から送出される指令値と位置検出器１８の出力等から取得される実測値とが離れた場合に、ロボット装置５の運転状態が基準運転状態から逸脱していると判定しても構わない。

判定部３３がロボット装置５の運転状態が基準運転状態から逸脱したと判定した場合に、信号処理部３１は、ロボット装置５の運転状態が基準運転状態から逸脱したことを、表示器４６に表示する。作業者にロボット装置５の異常の発生を知らせることができる。また、信号処理部３１は、動作制御部４３に対してロボット装置５を停止する指令を送出しても構わない。動作制御部４３は、この指令に基づいてロボット装置５を停止することができる。または、動作制御部４３は、この指令に基づいてロボット１の位置が安全な位置になるようにロボット１を退避させることができる。

一方で、抽出部３４は、基準運転状態から逸脱した時刻を取得する。次に、抽出部３４は、基準運転状態から逸脱した時より前の期間を含む予め定められた期間の動画を記憶部４２から抽出する。抽出部３４は、ロボット装置５に異常が生じた時よりも前の動画を含むように動画を抽出する。異常が生じた時よりも前の予め定められた期間としては、例えば、基準運転状態から逸脱した時から１分以上１０分以下の期間を採用することができる。本実施の形態においては、抽出部３４は、基準運転状態から逸脱した時を含む予め定められた期間の動画を抽出する。特に、本実施の形態の抽出部３４は、基準運転状態から逸脱した時よりも後の予め定められた期間の動画が含まれるように記憶部４２から動画を抽出する。異常が生じた時よりも後の予め定められた期間としては、例えば、基準運転状態から逸脱した時から１分以上１０分以下の期間を採用することができる。このように、抽出部３４は、ロボット装置５の運転状態が基準運転状態から逸脱した時刻の周辺の期間の動画を記憶部４２から抽出する。

なお、抽出部３４は、基準運転状態から逸脱した時よりも後の動画は抽出しなくても構わない。しかしながら、基準運転状態から逸脱した時よりも後の動画も抽出することにより、作業者は、異常が生じた後の状態も映像にて確認することができる。例えば、作業者は、装置が破損する状況を確認することができる。

次に、抽出部３４は、抽出した動画を記憶部４２に記憶する。更に、抽出部３４は、監視情報ファイル７３からロボット装置５の運転状態に異常が生じた時刻より前の予め定められた期間の情報を抽出して記憶部４２に記憶しても構わない。

このように、本実施の形態における監視装置は、ロボット装置５が作業を行っている期間中に、ワーク８１，８２の組み立てを行っている領域の動画を取得する。監視装置は、ロボット装置５の運転状態に異常が生じたときに、ロボット装置５の運転状態に異常が生じた時刻より前の期間の動画を含む所定の期間の動画を抽出して、記憶部４２に記憶する。

ロボット装置５が基準運転状態から逸脱した時刻の直前の動画および状態検出器の出力から取得される変数は記憶部４２に記憶されている。このため、作業者は、再度、ロボット装置５を動かして、同一の運転状態を再現する必要はなく、異常が生じたときのロボット装置５の状態を直ぐに解析することができる。

作業者は、抽出部３４にて抽出された映像７１により、ロボット装置５により製品を組み立てている状態を確認することができる。また、監視情報ファイル７３に記録された加速度およびロボットの位置に基づいて異常が生じた時のロボット１の状態を確認することができる。映像７１および監視情報ファイル７３に含まれる変数には、時刻が付与されているために、映像７１に含まれる時刻と、監視情報ファイル７３に記憶されている時刻とを厳密に対応させることができる。このために、作業者は、異常が生じた原因の解析を容易に行うことができる。例えば、作業者は、加速度が判定範囲を逸脱した時刻を監視情報ファイル７３から取得し、映像７１にて加速度が判定範囲を逸脱した時刻の直前の状態を確認することができる。また、ロボット装置５に異常が生じた後に直ぐに映像と運転状態とを確認することができるために、短時間で異常が生じた原因の解析を行うことができる。

上記の実施の形態においては、カメラ１０にて撮像される映像７１および状態検出器の出力から取得される変数には、時刻を付けて記憶されているが、この形態に限られない。時刻の代わりに、予め定められた基準時刻からの経過時間を映像および状態検出器の出力から取得される変数に付けても構わない。例えば、ロボット装置にて作業を開始した時刻を基準時刻として、この時刻からの経過時間を映像および変数に付けて記憶しても構わない。なお、映像７１および監視情報ファイル７３に含まれる変数に付与される時刻または経過時間は、装置に独自の時間の単位にて記録することができる。例えば、図３に示すように１００分の１秒までの時刻を採用したり、１ｍｍｓｅｃを１の単位にする経過時間を採用したりしても構わない。

第１のロボット装置５のカメラ１０は、ハンド２から取り外すことができるように形成されている。この構成を採用することにより、任意の時期にカメラ１０をロボット装置５に取り付けたり取り外したりすることができる。例えば、ロボット装置の動作が正常である期間中には、カメラは取り外すことができる。そして、ロボット装置の動作に異常が生じる虞が生じた時にカメラを取り付けても構わない。例えば、ロボット装置の動作に関する警告が発信された時に、ロボット装置の動作の状態を監視するためにカメラを取り付けても構わない。

ところで、記憶制御部３２が状態検出器の出力から取得される変数を記憶部４２に記憶する時間間隔としては、動作制御部４３がロボット１の動作指令を送出する制御周期と同一の時間間隔を採用することができる。記憶制御部３２は、動作制御部４３がロボット１の動作指令を送出する時期に合わせて状態検出器の出力を取得することができる。監視情報ファイル７３には、制御周期ごとに新たな時刻の変数の情報が追加される。

図５に、制御装置の動作制御部が発信する制御周期を説明する図を示す。図５には、動作プログラム４１に記載された移動点Ｐ１，Ｐ２，Ｐ３が示されている。ロボット１は、例えばツール先端点が移動点Ｐ１から移動点Ｐ２に向かうように制御される。さらに、ロボット１は、ツール先端点が移動点Ｐ２から移動点Ｐ３に移動するように制御される。動作プログラム４１には、移動点Ｐ１，Ｐ２，Ｐ３の位置およびそれぞれの位置におけるロボット１の姿勢が定められている。

動作制御部４３は、予め定められた制御周期Δｔにてロボット１に動作指令を送出する。制御周期Δｔは、ロボット１の性能に応じて予め定められている。または、制御周期Δｔは、作業者がロボット制御装置４に入力しても構わない。ロボット１の制御周期Δｔは、例えば、１ｍｍｓｅｃ以上１０ｍｍｓｅｃ以下の範囲内の時間である。

動作制御部４３は、動作プログラム４１から移動点Ｐ１，Ｐ２，Ｐ３におけるロボット１の位置および姿勢を取得する。次に、動作制御部４３は、それぞれの移動点Ｐ１，Ｐ２，Ｐ３同士の間に補間点ＩＰを追加する。補間点ＩＰは、ロボット１の制御周期Δｔの時間間隔に基づいて生成される。また、補間点ＩＰは、ロボット１の駆動する速度および直線移動等のロボット１の駆動方法（モーションプラン）に基づいて作成される。

動作制御部４３は、それぞれの補間点ＩＰにおいて、ロボット１の位置および姿勢を算出する。また、動作制御部４３は、それぞれの補間点ＩＰにおいて、ロボット１の動作速度を算出する。そして、動作制御部４３は、補間点ＩＰごとに動作指令を送出する。ロボット１は、移動点Ｐ１，Ｐ２，Ｐ３および補間点ＩＰを通るように位置および姿勢が制御される。または、ロボット１は、移動点Ｐ１，Ｐ２，Ｐ３の近傍および補間点ＩＰの近傍を通るように制御される。

記憶制御部３２は、このようなロボット１の制御周期ごとに状態検出器の出力から取得される変数（実測値）を記憶部４２に記憶することができる。更に、記憶制御部３２は、ロボット１の制御周期ごとに動作制御部４３から発信される指令値を記憶部４２に記憶しても構わない。制御周期は、ロボット１を駆動するための最小の時間間隔である。このために、制御周期の時間間隔にて監視情報ファイル７３に変数を記録することにより、ロボットの状態の記録が欠落することを抑制することができる。または、作業者は、補間点ＩＰにおいて生じるロボット装置５の動作の異常を解析することができる。

監視情報ファイル７３には、ロボット装置５の運転状態を監視するための任意の監視情報を、時刻を付けて記録することができる。例えば、監視情報は、ロボット装置５を停止する必要はない警告の情報を含むことができる。例えば、加速度についてロボット１の動作が異常であると判定する判定値の他に、この判定値に近づいたことを知らせるための警告の判定範囲が予め定められている場合がある。判定部３３がロボット１の加速度が警告の判定範囲内に到達したことを検出した場合に、記憶制御部３２は、警告の情報に時刻を付けて、監視情報ファイル７３に記録することができる。

また、監視情報には、ロボット装置５の動作に対応する動作プログラム４１の指令文の情報を含めることができる。例えば、動作プログラム４１を実行している指令文の行の情報を時刻と共に記録することができる。または、動作プログラム４１を実行している指令文の行の情報を、加速度等の変数と共に記録することができる。

動作プログラム４１には、ロボット装置５を構成する装置に関するモーショングループが設定されている場合がある。ロボット１の駆動に関するモーショングループ、ハンド２の駆動に関するモーショングループ、およびコンベヤ８の駆動に関するモーショングループが動作プログラム４１に定められている場合がある。監視情報には、モーショングループの情報を含めることができる。例えば、監視情報ファイル７３には、ロボット１の駆動に関する第１のモーショングループであることを加速度等の変数と共に記録することができる。

また、監視情報には、動作プログラムに記載された移動点同士の間に生成される補間点に関する情報を時刻と共に含めることができる。例えば、監視情報には、補間点同士の間の制御周期およびモーションプランの情報を含めることができる。また、監視情報には、補間点における位置、速度、加速度、および加加速度などの情報を含めることができる。この場合に、補間点における位置および速度等については、記憶制御部３２が状態検出器の出力を制御周期と同一の時間間隔にて取得することにより算出することができる。また、補間点に関する情報は、動作制御部４３から送出されるロボット１の位置の指令値を採用しても構わない。または、監視情報は、状態検出器の出力から算出される実測値および動作制御部４３から送出される指令値の両方を含んでいても構わない。

監視情報ファイル７３に、警告の情報、動作プログラムの指令文の情報、および補間点の情報のうち少なくとも一つの情報を記録することにより、作業者は、ロボット装置５が基準運転状態から逸脱した原因をより詳細に解析することができる。

図２を参照して、本実施の形態の信号処理部３１は、将来のロボット１の動作を予測する予測部３５を含む。予測部３５は、記憶部４２から過去のロボットの運転状態を記録した監視情報ファイル７３を取得する。ここでの例では、監視情報ファイル７３には、制御周期ごとの変数が記憶されている。予測部３５は、状態検出器の出力から取得される変数に基づいて、制御周期ごとに発信される次の動作指令により駆動した後のロボット１の位置を推定する。例えば、予測部３５は、ロボットの現在の位置および至近の過去の位置から、次の動作指令により駆動された後のロボットの位置を線形近似にて推定することができる。予測部３５は、制御周期ごとに次のロボット１の動作にて到達するロボット１の位置を推定する制御を繰り返す。

判定部３３は、予測部３５にて推定されたロボット１の位置にロボット１が到達できるか否かを判定する。例えば、推定されたロボット１の位置がロボット１の可動範囲を超えている場合がある。または、ロボット１の位置が定まると、各駆動軸におけるロボット駆動モーター２２の回転角度が逆運動学に基づいて算出される。この時に、それぞれのロボット駆動モーター２２の回転角を算出できない場合がある。このようなロボット１の移動点は、特異点と称される。上記の場合には、判定部３３は、次の動作指令により駆動した場合のロボット１の位置は、ロボット１が到達できない位置であると判定する。

予測部３５にて推定されたロボット１の位置にロボット１が到達できない場合に、信号処理部３１は、ロボット１が次の動作指令にて駆動する前にロボット１を停止する指令を動作制御部４３に送出する。動作制御部４３は、信号処理部３１からの指令に基づいて次の動作指令を送出せずに、ロボット１を停止する制御を実施する。

なお、視覚センサーを用いてロボットの位置および姿勢の補正を行う場合に、次の動作指令によりロボット１が到達しうる複数個の位置が存在する場合がある。この場合に、判定部３３は、全ての位置に対して、可動範囲を超えるか否か、または特異点であるか否かを判定することができる。少なくとも一つの位置において可動範囲を超えたり特異点であったりする場合に、判定部３３は、推定されたロボット１の位置にロボット１が到達できないと判定することができる。

ロボット装置５において、コンベヤ等にて移動するワークをカメラなどの視覚センサにて撮像した動画または静止画に基づいて、ロボット１の位置および姿勢を修正するビジュアルフィードバック制御を行う場合がある。ビジュアルフィードバック制御では、ロボット１は、コンベヤ等で移動するワークに追従して位置および姿勢が変化する。

例えば、移動するワークをカメラにて撮像した時に映像におけるワークの特徴点の位置が予め定められた基準位置になるようにロボット１の位置及び姿勢を調整することができる。ワークの特徴点が映像における基準位置に配置された時のワークに対するロボットの相対的な位置関係は予め求められている。このために、ロボット制御装置４は、映像においてワークの特徴点が基準位置に配置された時のロボット１の位置および姿勢に基づいて、作業を行うためのロボット１の位置および姿勢になるようにロボット１を制御することができる。

または、コンベヤ等にて移動するワークをカメラにて撮像した映像に基づいて、基準座標系５６におけるワークの位置および向きを算出することができる。例えば、パターンマッチングの方法により、ワークの位置および向きを算出することができる。ロボット制御装置４は、カメラにて撮像した時刻におけるワークの位置および向きに基づいて、作業を行うためのロボット１の位置および姿勢になるようにロボット１を制御することができる。

ビジュアルフィードバック制御においては、ワークの位置および姿勢に対応するようにロボットの位置および姿勢が変化するために、将来のロボットの位置および姿勢を予め推定することは難しい。しかしながら、本実施の形態における予測部３５は、過去の監視情報に基づいて、現在の時刻から近い時刻におけるロボットの位置を推定することができる。このために、ロボット１の動作に異常が生じる前に、ロボット１を停止することができる。特に、記憶制御部３２が制御周期ごとに状態検出器の出力から得られる変数を記憶部４２に記憶することにより、次の動作指令により駆動した後のロボットの位置を推定することができる。

上記の実施の形態においては、ロボット１の加速度を検出するために、ハンド２に、加速度センサー１９が取り付けられているが、この形態に限られない。例えば、カメラ１０には、映像の手振れを補正するために加速度センサーが含まれている場合がある。カメラ１０が加速度センサーを含む場合には、カメラの加速度センサーの出力値をロボット１の加速度として採用することができる。または、ロボット１の加速度は、加速度センサーにて直接的に検出せずに、位置検出器１８の出力を時間にて２回微分することにより算出しても構わない。例えば、位置検出器１８の出力に基づいて、工具先端点等の予め定められた位置における加速度を算出しても構わない。

図６に、本実施の形態における第２のロボット装置の概略図を示す。第１のロボット装置５においては、カメラ１０はハンド２に取り付けられている。カメラ１０は、ロボット１が駆動すると共に移動しているが、この形態に限られない。カメラ１０は、ロボット１およびコンベヤ８から離れた位置に固定されていても構わない。

第２のロボット装置６は、床面に固定された架台２５を備える。カメラ１０は、架台２５に固定されている。カメラ１０は、ハンド２がワーク８１，８２に対して作業を行う状態を撮像するように配置されている。カメラ１０は、ワーク８１のピン８１ａがワーク８２の穴部８２ａに挿入される状態を撮像できるように配置されている。

更に、第２のロボット装置６においては、ロボット装置５が作業を行う領域以外の領域を撮像しても構わない。この構成により、作業者は、作業ツールがワークに対して作業を行う領域以外の領域にて生じた現象を映像にて確認することができる。例えば、カメラ１０は、ロボット１の全体が撮像可能なように配置されていても構わない。この構成により、カメラ１０にて、ロボット１の全ての動作を撮像することができる。例えば、作業者は、ロボット１の旋回ベース１３に作業者または他の装置が接触したことを映像により確認することができる。第２のロボット装置６のその他の構成、作用および効果については、第１のロボット装置５と同様である。

図７に、本実施の形態における第３のロボット装置の概略図を示す。前述の第１のロボット装置５および第２のロボット装置６においては、ワーク８２がコンベヤ８により搬送されているが、この形態に限られない。第３のロボット装置７は、ロボット１に対してワーク８２を搬送する搬送機としての搬送車２６を備える。搬送車２６は、車輪２８を含み、床面上を任意の方向に進行する。本実施の形態の搬送車２６は、動作プログラム４１に基づいて自動的にワーク８２の搬送を行う無人搬送車である。

第３のロボット装置７は、搬送車２６を制御する搬送車制御装置を備える。搬送車制御装置は、ＣＰＵおよびＲＡＭ等を含む演算処理装置（コンピュータ）を含む。搬送車制御装置は、ロボット制御装置４と互いに通信することができるように形成されている。

搬送車２６の上面には、固定部材２７を介してワーク８２が固定されている。そして、搬送車２６は、予め定められた経路に沿って移動する。ロボット１は、ワーク８１のピン８１ａがワーク８２の穴部８２ａに挿入されるように、位置および姿勢を変更する。第３のロボット装置７において、カメラ１０は、搬送車２６に支持部材２９を介して固定されている。カメラ１０は、搬送車２６と共に移動する。

第３のロボット装置７においても、第１のロボット装置５と同様の制御を実施することができる。または、搬送機として搬送車２６を用いる場合であっても、第２のロボット装置６（図６を参照）のように、搬送車２６が配置される位置から離れた位置にカメラ１０が固定されていても構わない。第３のロボット装置７のその他の構成、作用および効果については、第１のロボット装置５および第２のロボット装置６と同様である。

本実施の形態のロボット制御装置４は、監視情報ファイル７３および映像７１を表示する表示器４６を含むが、この形態に限られない。ロボット制御装置は、表示器を含んでいなくても構わない。監視情報ファイルおよび抽出部にて抽出された映像は、通信装置を介して別の装置に送信されても構わない。例えば、ロボット装置の異常を解析する部門の作業者にこれらの情報を送信することができる。

上記の実施の形態においては、搬送機により移動するワーク８２に対して作業を行うロボット装置を例示したが、この形態に限られない。停止しているワークに対して作業を行うロボット装置にも本実施の形態の監視装置を適用することができる。

上記の実施の形態においては、状態検出器として位置検出器および加速度センサーを例示して説明したが、この形態に限られない。状態検出器は、ロボット装置の状態を検出可能な任意の検出器を採用することができる。例えば、状態検出器は、ロボット装置に取り付けられた温度検出器、トルクセンサー、速度センサー、または力覚センサー等を含むことができる。

上記の実施の形態では、製品を組み立てる作業を行うロボット装置を取り上げているが、この形態に限られない。任意の作業を行うロボット装置に本実施の形態の監視装置を適用することができる。例えば、ワークを搬送するロボット装置、スポット溶接またはアーク溶接などの溶接を行うロボット装置、塗装を行うロボット装置、またはシール材を塗布するロボット装置などに本実施の形態の監視装置を適用することができる。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

１ ロボット
２ ハンド
４ ロボット制御装置
５，６，７ ロボット装置
８ コンベヤ
９ コンベヤ制御装置
１０ カメラ
１８ 位置検出器
１９ 加速度センサー
３２ 記憶制御部
３３ 判定部
３４ 抽出部
３５ 予測部
４１ 動作プログラム
４２ 記憶部
４３ 動作制御部
７１，７２ 映像
７３ 監視情報ファイル
８１，８２ ワーク

Claims (7)

1. ロボット装置の動作を撮像するカメラにて撮像された動画およびロボット装置の運転状態を検出するための状態検出器の出力を取得する演算処理装置を備え、
   前記演算処理装置は、記憶部に記憶される情報を操作する記憶制御部と、
   前記記憶部に記憶された情報の一部を抽出する抽出部と、
   ロボット装置の運転状態を判定する判定部とを含み、
   前記記憶制御部は、前記カメラにて撮像される動画に時刻または予め定められた基準時刻からの経過時間を付けて前記記憶部に記憶する制御と、状態検出器の出力から取得される変数に前記時刻または前記経過時間を付けて前記記憶部に記憶する制御とを実施し、
   前記判定部は、ロボット装置の運転状態が予め定められた基準運転状態から逸脱しているか否かを判定し、
   前記抽出部は、前記判定部がロボット装置の運転状態が前記基準運転状態から逸脱したと判定した場合に、前記基準運転状態から逸脱した時より前の期間を含む予め定められた期間の動画を前記記憶部から抽出し、
   前記変数は、ロボット装置の加速度および位置のうち少なくとも一方を含み、
   前記記憶制御部は、ロボット装置の動作期間中に前記変数を取得し、前記変数を取得した時の前記時刻または前記経過時間を取得し、前記時刻または前記経過時間と前記変数とを監視情報ファイルに記録するように形成されており、
   前記判定部は、ロボットの加速度が警告の判定範囲内に到達した場合に、ロボット装置の運転状態が前記基準運転状態から逸脱したと判定し、
   前記記憶制御部は、前記判定部がロボット装置の運転状態が前記基準運転状態から逸脱したと判定した場合に、前記警告の情報およびロボット装置の運転状態が前記基準運転状態から逸脱したと判定した前記時刻を前記監視情報ファイルに付加する、監視装置。
2. 前記カメラは、作業ツールがワークに対して作業を行う状態を撮像するように配置されている、請求項１に記載の監視装置。
3. 前記抽出部は、前記判定部がロボット装置の運転状態が前記基準運転状態から逸脱したと判定した場合に、前記基準運転状態から逸脱した時よりも後の期間の動画が含まれるように動画を抽出し、抽出した動画を前記記憶部に記憶する、請求項１または２に記載の監視装置。
4. 前記演算処理装置は、予め定められた制御周期にてロボットの動作指令を送出する動作制御部を含み、
   前記記憶制御部は、ロボットの制御周期と同一の時間間隔にて状態検出器の出力から取得される前記変数を前記記憶部に記憶する、請求項１から３のいずれか一項に記載の監視装置。
5. 状態検出器の出力から取得される前記変数は、ロボットの加速度およびロボットの位置のうち少なくとも一方を含む、請求項１から４のいずれか一項に記載の監視装置。
6. 前記記憶制御部は、ロボット装置の運転に関する警告の情報、ロボット装置の動作に対応する動作プログラムの指令文の情報、および動作プログラムに記載された移動点同士の間に生成される補間点に関する情報のうち、少なくとも一つの情報を前記時刻または前記経過時間を付けて前記記憶部に記憶する、請求項１から５のいずれか一項に記載の監視装置。
7. 前記演算処理装置は、ロボットの動作を予測する予測部を含み、
   前記予測部は、前記記憶部に記憶された状態検出器の出力から取得される前記変数に基づいて、次の動作指令により駆動した後のロボットの位置を推定し、
   前記判定部は、前記予測部にて推定されたロボットの位置にロボットが到達できるか否かを判定し、
   前記動作制御部は、前記予測部にて推定されたロボットの位置にロボットが到達できない場合に、次の動作指令にてロボットが駆動する前にロボットを停止させる、請求項４に記載の監視装置。

Images