WO2022004847A1

WO2022004847A1 - 産業機械の状態監視装置及び状態監視方法

Info

Publication number: WO2022004847A1
Application number: PCT/JP2021/024968
Authority: WO
Inventors: 成貴篠原
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-07-03
Filing date: 2021-07-01
Publication date: 2022-01-06
Anticipated expiration: 2023-01-03
Also published as: JPWO2022004847A1; CN115734850A; DE112021003600T5; CN115734850B; JP7525606B2; US12384043B2; US20230241779A1; DE112021003600B4

Abstract

ロボット状態監視装置２は、コントローラによる制御下におけるロボット３を撮影するカメラと、カメラによって取得されたロボット３の映像データとコントローラの入出力信号ＤＯ［１］，ＡＯ［１］，ＤＩ［１］，ＡＩ［１］とを時間軸８３０に沿って関連付けることにより、ロボット３及び入出力信号ＤＯ［１］，ＡＯ［１］，ＤＩ［１］，ＡＩ［１］の状態変化を表す動画を生成する動画生成部と、この動画生成部によって生成された動画を再生する動画再生装置と、を備える。動画生成部は、映像データのフレームレートと同じ周期の下、各フレームの記録時刻における入出力信号ＤＯ［１］，ＡＯ［１］，ＤＩ［１］，ＡＩ［１］の値を取得する。

Description

産業機械の状態監視装置及び状態監視方法

　本開示は、産業機械の状態監視装置及び状態監視方法に関する。

　ロボットをロボット制御装置によって制御するロボットシステムにおいて、ロボット制御装置には様々な周辺機器が接続される。このようなロボットシステムでは、システムを拡張する際や、ロボット制御装置と周辺機器との間の通信障害に対応する際には、ロボット制御装置の出力信号や入力信号の状態を確認する必要がある。

　特許文献１に示されたロボット監視システムでは、ロボット制御装置による制御下で動作するロボットを撮像装置によって撮像し、撮像装置が撮像して得た画像情報を時刻情報及びロボットの作業内容情報と関連付けて保存し、保存した画像情報を時刻情報及び作業内容情報とともに表示装置に表示する。このロボット監視システムによれば、不都合が発生した箇所を作業者に早期かつ容易に特定させることができる。

特開２０１５－１６８０１６号公報

　上述のようにロボットの動作を撮像装置によって記録することによってロボットの状態を監視する技術は既知である。しかしながら従来のロボットの状態監視装置では、ロボットの動作状態とロボット制御装置の出力信号や入力信号の状態との相関を明らかにすることができない。

　本開示は、上記課題に鑑みてなされたものであり、産業機械の動作状態とそのコントローラの信号の状態との相関を時間軸に沿って容易に明らかにできる産業機械の状態監視装置及び状態監視方法を提供する。

　本開示の一態様は、コントローラによる制御下における産業機械を撮影する撮像装置と、前記撮像装置によって取得された映像データと前記コントローラの入力信号及び出力信号の少なくとも何れかである入出力信号とを時間軸に沿って関連付けることにより、前記産業機械及び前記入出力信号の状態変化を表す動画を生成する動画生成部と、前記動画生成部によって生成された動画を再生する動画再生装置と、を備える、産業機械の状態監視装置である。

　本開示の一態様は、コントローラによる制御下における産業機械を撮像装置によって撮影し、前記撮像装置によって取得された映像データと前記コントローラの入力信号及び出力信号の少なくとも何れかである入出力信号とを時間軸に沿って関連付けることにより、前記産業機械及び前記入出力信号の状態変化を表す動画を生成し、前記動画を動画再生装置によって再生する、産業機械の状態監視方法である。

　本開示の一態様によれば、産業機械の動作状態とそのコントローラの入出力信号の状態との相関を時間軸に沿って容易に明らかにできる。

本開示の一実施形態に係るロボット状態監視装置を備えるロボットシステムの概略図である。カメラによって撮影される映像データのフレームレートと入出力信号の更新周期との関係を模式的に示す図である。カメラによって撮影される映像データのフレームレートと入出力信号の更新周期との関係を模式的に示す図である。動画生成部によって生成される動画の一例を示す図である。プログラム編集部によるプログラム編集画像（作業者による編集操作前）の一例を示す図である。プログラム編集部によるプログラム編集画像（作業者による編集操作後）の一例を示す図である。

　以下、図面を参照して、本開示の一実施形態に係るロボット状態監視装置２を備えるロボットシステム１について説明する。

　図１は、本実施形態に係るロボット状態監視装置２を備えるロボットシステム１の概略図である。

　ロボットシステム１は、産業機械としてのロボット３と、第１周辺機器４１と、第２周辺機器４２と、ロボット３や周辺機器４１，４２の状態を監視するロボット状態監視装置２と、を備える。

　本実施形態では、ロボット３は、例えば、後述のコントローラ５１から送信される制御信号に応じて、ワークを所定の位置で把持し、把持したワークを所定の位置まで搬送する一連の搬送動作を実行する搬送ロボットとした場合について説明するが、本開示はこれに限らない。ロボット３は、溶接ロボットや塗装ロボット等、コントローラ５１から送信される制御信号に応じて動作するものであればどのようなものでもよい。

　ロボット状態監視装置２は、ロボット３を制御するロボット制御装置５と、ロボット３の搬送動作を撮影する撮像装置としてのカメラ６と、動画を再生する動画再生装置７と、を備える。

　カメラ６は、ロボット３の近傍に設けられる。カメラ６は、ロボット制御装置５による制御下におけるロボット３の搬送動作を、所定のフレームレートの下で撮影し、取得したロボット３の映像データをロボット制御装置５へ送信する。

　ロボット制御装置５は、周辺機器４１，４２と通信線４３を介して通信する通信手段（図示省略）、ＣＰＵ（Central　Processing　Unit）等の演算処理手段（図示省略）、各種プログラムを格納したＨＤＤ（Hard　Disk　Drive）やＳＳＤ（Solid　State　Drive）等の補助記憶手段（図示省略）、及び演算処理手段がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random　Access　Memory）といった主記憶手段（図示省略）、等のハードウェアによって構成されるコンピュータである。図１に示すようにロボット制御装置５には、上記ハードウェア構成によってコントローラ５１、プログラム記憶部５２、動画生成部５３、プログラム編集部５４、及び動画保存部５５等の各種機能が実現される。

　コントローラ５１は、周辺機器４１，４２と通信線４３を介してデジタル信号やアナログ信号をやり取りするとともに、プログラム記憶部５２に記憶されたプログラムに従ってロボット３を制御する。

　プログラム記憶部５２には、コントローラ５１において、このコントローラ５１からロボット３や周辺機器４１，４２へ出力される出力信号の値を規定するためのプログラムが複数記憶されている。なおプログラム記憶部５２に記憶された複数のプログラムのうち少なくとも一部のプログラムは、後述のプログラム編集部５４によって編集可能となっている。

　動画生成部５３は、カメラ６から送信されるロボット３の映像データと、コントローラ５１の入出力信号と、を取得するとともに、取得した映像データと入出力信号とを共通の時間軸に沿って関連付けることにより、ロボット３及び入出力信号の状態変化を表す動画（後述の図３参照）を生成し、動画保存部５５に保存する。ここで動画生成部５３が取得するコントローラ５１の入出力信号とは、ロボット３や周辺機器４１，４２からコントローラ５１へ入力されるデジタル入力信号（ＤＩ［１］，ＤＩ［２］，…）及びアナログ入力信号（ＡＩ［１］，ＡＩ［２］，…）、並びにコントローラ５１からロボット３や周辺機器４１，４２へ出力されるデジタル出力信号（ＤＯ［１］，ＤＯ［２］，…）及びアナログ出力信号（ＡＯ［１］，ＡＯ［２］，…）の少なくとも何れかである。なお本実施形態において、デジタル信号とは、ＯＮ及びＯＦＦからなる２値のみを取り得る信号をいい、アナログ信号とは、所定範囲内の整数値を取り得る信号をいう。

　動画再生装置７は、例えば、ロボット制御装置５と通信可能なタブレット端末等の携帯通信端末である。動画再生装置７は、動画生成部５３によって生成され、動画保存部５５に保存された動画を、作業者の操作に応じて再生する。

　次に、動画生成部５３において動画を生成する手順について図２Ａ、図２Ｂ、及び図３を参照しながら説明する。

　図２Ａ及び図２Ｂは、カメラ６によって撮影される映像データのフレームレート［ｆｐｓ］と入出力信号の更新周期［秒］との関係を模式的に示す図である。図２Ａ及び図２Ｂには、動画生成部５３において取得する入出力信号としてデジタル入出力信号ＤＩ［１］のみを図示する。図２Ａ及び図２Ｂに示す例では、映像データのフレームレートを６０［ｆｐｓ］とした場合、すなわち映像データを構成する各フレームは１／６０［秒］毎に撮影される場合について示すが、本開示はこれに限らない。また図２Ａに示す例では、デジタル入力信号ＤＩ［１］の更新周期を１／２０［秒］とした場合を示し、図２Ｂに示す例では、デジタル入力信号ＤＩ［１］の更新周期を１／４０［秒］とした場合について示すが、本開示はこれに限らない。

　図２Ａ及び図２Ｂに示すように、カメラ６によって撮影される映像データは、フレームレートに応じた周期である１／６０［秒］毎に撮影される複数のフレームＦ１，Ｆ２，Ｆ３，Ｆ４…によって構成される。より具体的には、フレームＦ１は時刻ｔ１において撮影され、フレームＦ２は時刻ｔ１の１／６０［秒］後の時刻ｔ２において撮影され、フレームＦ３は時刻ｔ１の２／６０［秒］後の時刻ｔ３において撮影され、フレームＦ４は時刻ｔ１の３／６０［秒］後の時刻ｔ４において撮影される。

　動画生成部５３は、このようなカメラ６の映像データのフレームレートと同じ周期の下、各フレームＦ１～Ｆ４の記録時刻ｔ１～ｔ４におけるデジタル入力信号ＤＩ［１］の値を取得し、取得したカメラ６の映像データとデジタル入力信号ＤＩ［１］とを共通の時間軸に沿って関連付けることにより、ロボット３及びデジタル入力信号ＤＩ［１］の状態変化を表す後述の図３に示すような動画を生成する。

　上述のように図２Ａに示す例では、デジタル入力信号ＤＩ［１］は１／２０［秒］毎に更新される。このため、時刻ｔ１において“ＯＦＦ”であったデジタル入力信号ＤＩ［１］の値は、時刻ｔ４において“ＯＮ”に切り替わる。従ってこの場合、動画生成部５３は、フレームＦ１の記録時刻ｔ１ではデジタル入力信号ＤＩ［１］の値として“ＯＦＦ”を取得し、フレームＦ２の記録時刻ｔ２ではデジタル入力信号ＤＩ［１］の値として“ＯＦＦ”を取得し、フレームＦ３の記録時刻ｔ３ではデジタル入力信号ＤＩ［１］の値として“ＯＦＦ”を取得し、フレームＦ４の記録時刻ｔ４ではデジタル入力信号ＤＩ［１］の値として“ＯＮ”を取得する。

　また上述のように図２Ｂに示す例では、デジタル入力信号ＤＩ［１］は１／４０［秒］毎に更新される。このため、時刻ｔ１において“ＯＦＦ”であったデジタル入力信号ＤＩ［１］の値は、時刻ｔ２と時刻ｔ３との間の時刻ｔ５において“ＯＮ”に切り替わり、その後時刻ｔ４において“ＯＦＦ”に切り替わる。従ってこの場合、動画生成部５３は、フレームＦ１の記録時刻ｔ１ではデジタル入力信号ＤＩ［１］の値として“ＯＦＦ”を取得し、フレームＦ２の記録時刻ｔ２ではデジタル入力信号ＤＩ［１］の値として“ＯＦＦ”を取得し、フレームＦ３の記録時刻ｔ３ではデジタル入力信号ＤＩ［１］の値として“ＯＮ”を取得し、フレームＦ４の記録時刻ｔ４ではデジタル入力信号ＤＩ［１］の値として“ＯＦＦ”を取得する。

　以上のように動画生成部５３では、カメラ６の映像データのフレームレートと同じ周期の下、各フレームの記録時刻におけるコントローラ５１の入出力信号の値を取得する。このため、動画生成部５３においてコントローラ５１の入出力信号の状態変化を全て取得できるよう、カメラ６のフレームレートの逆数（各フレームの撮影周期）は、コントローラ５１の入出力信号の更新周期以下とすることが好ましい。

　図３は、動画生成部５３によって生成される動画の一例を示す図である。

　動画生成部５３は、以上のように取得したロボット３の映像データとコントローラ５１の入出力信号とを共通の時間軸に沿って関連付けることにより、図３に例示するような動画像表示欄８１（図３中、上段左側参照）と、信号状態表示欄８２（図３中、上段右側参照）と、タイムライン欄８３（図３中、下段参照）と、を含む動画を生成する。

　信号状態表示欄８２には、後述のタイムバー８３３によって特定される時刻ｔ（以下、「現在時刻ｔ」という）の値と、作業者によって選択された入出力信号（図３の例では、デジタル出力信号ＤＯ［１］と、アナログ出力信号ＡＯ［１］と、デジタル入力信号ＤＩ［１］と、アナログ入力信号ＡＩ［１］と、が選択された場合を示す）の現在時刻ｔにおける値が表示される。

　動画像表示欄８１には、ロボット３の動画像（すなわち、カメラ６によって所定のフレームレートの下で撮影される静止画像を連続再生した画像）が表示される。なお図３には、上述の現在時刻ｔにおけるロボット３の静止画像を表示した場合を示す。

　タイムライン欄８３には、図３において左右方向に沿って延びる時間軸８３０と、この時間軸８３０の下方において時間軸８３０と平行に延びる帯状のフレームバー８３１と、このフレームバー８３１の下方において時間軸８３０と平行に延びる入出力信号のタイムチャート欄８３２と、図３において上下方向に沿って時間軸８３０、フレームバー８３１、及びタイムチャート欄８３２をまたがって延びるタイムバー８３３と、が表示される。ここで上述の現在時刻ｔとは、タイムバー８３３の時間軸８３０上における座標値に相当する。

　フレームバー８３１には、各フレームにおけるロボット３の静止画像が時間軸８３０に沿って複数枚（図３の例では６枚）配置される。すなわち、上述の動画像表示欄８１に表示されるロボット３の動画像は、このフレームバー８３１において時間軸８３０に沿って配置される複数枚の静止画像を連続再生した画像となっている。

　タイムチャート欄８３２には、作業者によって選択された複数の入出力信号ＤＯ［１］，ＡＯ［１］，ＤＩ［１］，及びＡＩ［１］の値の時間軸８３０に沿った変化を示すタイムチャート画像が表示される。

　作業者は、動画再生装置７を操作することにより、タイムバー８３３の位置を固定しながら、時間軸８３０とフレームバー８３１とタイムチャート欄８３２とを一体的に左右方向にスクロールさせたり、時間軸８３０とフレームバー８３１とタイムチャート欄８３２との位置を固定しながら、タイムバー８３３のみを左右方向にスクロールさせたりすることができる。

　次に、プログラム編集部５４によって、プログラム記憶部５２に記憶されているプログラムを編集する手順について図４Ａ及び図４Ｂを参照しながら説明する。なお以下では、プログラム記憶部５２に記憶されている複数のプログラムのうち、コントローラ５１のデジタル出力信号ＤＯ［１］の値を規定するプログラムをプログラム編集部５４によって編集する場合について説明する。

　プログラム編集部５４は、生成した動画を動画再生装置７によって再生している間に作業者によって所定のプログラム編集開始操作が行われた場合、再生中の動画を停止するとともに図４Ａに例示するようなプログラム編集画像を動画再生装置７に表示し、デジタル出力信号ＤＯ［１］のプログラムを編集するプログラム編集モードに移行する。

　プログラム編集部５４は、図４Ａに示すように、少なくともタイムライン欄８３を含むプログラム編集画像を動画再生装置７に表示する。プログラム編集画像におけるタイムライン欄８３は、各フレームにおけるロボット３の静止画像が表示されるフレームバー８３１と、プログラム編集部５４によって編集可能なプログラムによって生成されるデジタル出力信号ＤＯ［１］のタイムチャート欄８３２と、を少なくとも含む。

　プログラム編集部５４は、図４Ａに示すようなプログラム編集画像における作業者による動画再生装置７に対する所定の編集操作に基づいてデジタル出力信号ＤＯ［１］の値を規定するプログラムを編集する。作業者は、プログラム編集画像においてデジタル出力信号ＤＯ［１］の値を直接変更することが可能となっている。プログラム編集部５４は、プログラム編集画像において作業者による編集操作を受け付けると、編集操作による変更後のデジタル出力信号ＤＯ［１］の値とフレームバー８３１に表示されるロボット３の状態とを関連付けるようにしてデジタル出力信号ＤＯ［１］のプログラムを編集する。

　プログラム編集部５４によるプログラムの編集の一例について、図４Ｂを参照しながら説明する。図４Ａ及び図４Ｂには、ロボット３のハンドは、時刻ｔｈ～ｔｉまでの間で開いており、時刻ｔｉ以降で閉じた場合を示す。また図４Ｂにおいて、実線はプログラム編集部５４によって編集される前のプログラムに従って生成されるデジタル出力信号ＤＯ［１］の値を示し、破線は作業者による編集操作によって変更された後のデジタル出力信号ＤＯ［１］の値を示す。また図４Ｂには、時刻ｔｉ以降におけるデジタル出力信号ＤＯ［１］の値を“０”から“１”に変更する編集操作を行った場合を示す。プログラム編集部５４は、作業者によって図４Ｂに示すような編集操作が行われると、変更後のデジタル出力信号ＤＯ［１］の値とロボット３の状態とを関連付けるようにしてデジタル出力信号ＤＯ［１］のプログラムを編集する。より具体的には、プログラム編集部５４は、ロボット３のハンドが開いている間は“０”を出力し、ロボット３のハンドが閉じている間は“１”を出力するようにデジタル出力信号ＤＯ［１］のプログラムを編集する。したがってプログラム編集部５４による編集後のプログラムによれば、コントローラ５１は、ロボット３のハンドが開いている間はデジタル出力信号ＤＯ［１］の値を“０”とし、ロボット３のハンドが閉じている間はデジタル出力信号ＤＯ［１］の値を“１”とする。

　以上のようなロボット状態監視装置２では、以下の手順に従ってロボット３や周辺機器４１，４２の状態を監視する。先ず、カメラ６を用いることによって、コントローラ５１による制御下におけるロボット３を撮影する。次に、動画生成部５３を用い、カメラ６によって取得された映像データとコントローラ５１の入出力信号とを時間軸に沿って関連付けることによってロボット３及び入出力信号の状態変化を表す図３に示すような動画を生成し、動画保存部５５に保存する。次に、動画再生装置７を用いることによって、動画保存部５５に保存された動画を再生する。

　本実施形態によれば、以下の効果が奏される。
　本実施形態に係るロボット状態監視装置２は、コントローラ５１による制御下におけるロボット３を撮影するカメラ６と、このカメラ６によって取得された映像データとコントローラ５１の入出力信号とを共通の時間軸８３０に沿って関連付けることにより、ロボット３及び入出力信号の状態変化を表す動画を生成する動画生成部５３と、この動画生成部５３によって生成され、動画保存部５５に保存された動画を再生する動画再生装置７と、を備える。本実施形態によれば、これのような動画を生成することにより、作業者は動画再生装置７によって再生される動画を視るだけで、ロボット３の動作状態とコントローラ５１の入出力信号の状態とを同時に確認でき、ひいてはロボット３の動作状態とコントローラ５１の入出力信号の状態との相関を時間軸８３０に沿って容易に明らかにできる。

　また本実施形態に係るロボット状態監視装置２において、動画生成部５３は、カメラ６によって撮影された映像データのフレームレートと同じ周期の下、各フレームの記録時刻におけるコントローラ５１の入出力信号の値を取得する。本実施形態によれば、各フレームの撮影周期を入出力信号の更新周期以下とすることにより、コントローラ５１の入出力信号の状態変化を全て取得することができる。

　また本実施形態に係るロボット状態監視装置２において、動画生成部５３は、ロボット３の動画像が表示される動画像表示欄８１と、時間軸８３０に沿って複数配置された各フレームにおけるロボット３の静止画像を含むフレームバー８３１及び時間軸８３０に沿った入出力信号のタイムチャート画像が表示されるタイムライン欄８３と、を含む動画を生成する。本実施形態によれば、このような動画像表示欄８１及びタイムライン欄８３を含む動画を生成することにより、作業者は動画再生装置７によって再生される動画を視るだけで、ロボット３の動作状態とコントローラ５１の入出力信号の状態とを同時に確認でき、ひいてはロボット３の動作状態とコントローラ５１の入出力信号の状態との相関を時間軸８３０に沿って容易に明らかにできる。

　また本実施形態に係るロボット状態監視装置２において、プログラム編集部５４は、タイムライン欄８３を含むプログラム編集画像における作業者による編集操作に基づいて、プログラム記憶部５２に記憶されているプログラムを編集する。これにより作業者は、タイムライン欄８３に表示されているロボット３の状態に合わせて視覚的に容易にプログラムを編集することができるので、便利である。

　本開示は、上記実施形態に限定されるものではなく、種々の変更及び変形が可能である。

　例えば上記実施形態では、本開示の産業機械の状態監視装置をロボット状態監視装置２に適用したが、これに限定されない。ロボット３以外にも各種工作機械等の産業機械の状態監視装置に適用可能である。

　また例えば上記実施形態では、動画再生装置７を、通信機能及び動画表示機能を備えるタブレット端末等の携帯通信端末とした場合について説明したが、これに限定されない。動画再生装置７は、ロボット３に所定の動作を教示するために作業者が操作可能な操作キーや動画を表示可能なディスプレイを備える携帯性の教示装置としてもよい。これにより、作業者が教示装置と動画再生装置との両方を同時に使用したい場合には、機器を持ち替える負担を軽減することができる。

　１…ロボットシステム
　２…ロボット状態監視装置（産業機械の状態監視装置）
　３…ロボット（産業機械）
　４１…第１周辺機器
　４２…第２周辺機器
　４３…通信線
　５…ロボット制御装置
　５１…コントローラ
　５３…動画生成部
　５４…プログラム編集部
　５５…動画保存部
　６…カメラ（撮像装置）
　７…動画再生装置（動画再生装置、産業機械の教示装置）
　８１…動画像表示欄
　８２…信号状態表示欄
　８３…タイムライン欄

Claims

　コントローラによる制御下における産業機械を撮影する撮像装置と、
　前記撮像装置によって取得された映像データと前記コントローラの入力信号及び出力信号の少なくとも何れかである入出力信号とを時間軸に沿って関連付けることにより、前記産業機械及び前記入出力信号の状態変化を表す動画を生成する動画生成部と、
　前記動画生成部によって生成された動画を再生する動画再生装置と、を備える、産業機械の状態監視装置。
　前記動画生成部は、前記映像データのフレームレートと同じ周期の下、各フレームの記録時刻における前記入出力信号の値を取得する、請求項１に記載の産業機械の状態監視装置。
　前記動画生成部は、
　前記産業機械の動画像が表示される動画像表示欄と、
　前記時間軸に沿って複数配置された各フレームにおける前記産業機械の静止画像及び前記時間軸に沿った前記入出力信号のタイムチャート画像が表示されるタイムライン欄と、を含む動画を生成する、請求項１又は２に記載の産業機械の状態監視装置。
　前記コントローラにおいて出力信号の値を規定するためのプログラムを記憶するプログラム記憶部と、
　前記タイムライン欄を含む編集画像における作業者による操作に基づいて前記プログラムを編集するプログラム編集部と、を備えることを特徴とする請求項３に記載の産業機械の状態監視装置。
　前記動画再生装置は、前記産業機械の教示装置である、請求項１から４の何れかに記載の産業機械の状態監視装置。
　コントローラによる制御下における産業機械を撮像装置によって撮影し、
　前記撮像装置によって取得された映像データと前記コントローラの入力信号及び出力信号の少なくとも何れかである入出力信号とを時間軸に沿って関連付けることにより、前記産業機械及び前記入出力信号の状態変化を表す動画を生成し、
　前記動画を動画再生装置によって再生する、産業機械の状態監視方法。