JP6113370B1 - 記憶装置、制御装置、表示装置及び記憶方法 - Google Patents

Abstract

記憶装置は、撮像装置によって撮像された機器の画像を、前記機器が撮像されたタイミングを示す時間情報と対応付けて記憶する第１記憶装置と、前記機器を制御するための制御情報を記憶する第２記憶装置と、を含み、前記第２記憶装置は、前記機器を制御する制御装置が前記撮像装置から前記時間情報を取得したタイミングに対応する前記制御情報を、前記時間情報と対応付けて記憶する。

Description

本発明は、ＦＡ（Factory Automation）分野において機器を制御する制御装置に用いられる記憶装置、制御装置、表示装置及び記憶方法に関する。

ＦＡ分野の設備は、複数の種類の機器を組み合わせて実現されることが一般的である。ＦＡ分野の設備を構成する複数の機器は、制御処理及び情報処理を統合した制御装置であるプログラマブルコントローラに接続される。プログラマブルコントローラの内部には、入出力機器からの入出力信号状態、及びプログラマブルコントローラの内部状態のデータが保持されている。これらのデータは、プログラマブルコントローラの制御に応じて、通常数ミリ秒から数秒毎に値が更新される。プログラマブルコントローラが制御する機器の動作が、機器の設計者の意図通りでない場合、プログラマブルコントローラの内部に保持されるデータの値の変化を解析することで、プログラマブルコントローラの制御プログラムがデバッグされたり、入出力機器に異常があったか否かが確認されたりする。

特開２００６−１８０２１２号公報

特許文献１に記載された技術は、アラーム信号を出力した時の時刻を基点時刻として、基点時刻に基づき、計測データと動画データを対応させるが、基点時刻の通知は１回だけである。このため、一般的な通信手段で通知した場合、他の通信パケットとの衝突により、基点時刻にずれが発生する可能性がある。このため、特許文献１に記載された技術は、動画データと制御装置の内部データとを同期させることが困難になる。その結果、動画データと制御装置の内部データとを対応付けることが困難になる。

本発明は、上記に鑑みてなされたものであって、機器を制御する制御装置を解析する際に、撮像装置によって撮像された画像と制御装置の内部情報との対応付けを容易にすることを目的とする。

上記課題を解決し目的を達成するために、本発明に係る記憶装置は、撮像装置によって撮像された機器の複数の画像を、基準となる時刻からの経過時間を示す複数の時間情報と対応付けて記憶する第１記憶装置と、機器を制御するための制御情報を記憶する第２記憶装置と、を含む。第２記憶装置は、機器を制御する制御装置が撮像装置から時間情報を取得したタイミングに対応する制御情報を、時間情報と対応付けて記憶し、前記撮像装置は、前記時間情報を前記制御装置へ定期的に送信する。

本発明は、機器を制御する制御装置を解析する際に、撮像装置によって撮像された画像と制御装置の内部情報との対応付けを容易にすることができる、という効果を奏する。

実施の形態１に係る記憶装置、撮像装置、制御装置、表示装置及び制御システムを示す図 実施の形態１に係る撮像装置によって生成された第１情報を示す図 実施の形態１に係る撮像装置によって生成された第１情報を示す図 実施の形態２に係る制御装置によって生成された第２情報を示す図 実施の形態２に係る制御装置によって生成された第２情報を示す図 実施の形態１に係る表示装置に表示される画像を示す図 実施の形態１に係る撮像時の処理のフローチャート 実施の形態１に係る表示装置の処理を示すフローチャート 実施の形態１に係る画像と制御情報とを示すタイミングチャート 実施の形態１に係る記憶装置、撮像装置、制御装置及び表示制御装置のハードウェア構成を示す図 実施の形態１に係る記憶装置、撮像装置、制御装置及び表示制御装置のハードウェア構成を示す図 実施の形態１の第１変形例に係る記憶装置を示す図 実施の形態１の第２変形例に係る記憶装置、撮像装置及び制御装置を示す図 実施の形態２に係る記憶装置、撮像装置、制御装置、表示装置及び制御システムを示す図 実施の形態２に係る撮像装置によって生成された第１情報を示す図 実施の形態２に係る制御装置によって生成された第２情報を示す図

以下に、本発明の実施の形態について図面に基づいて説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、実施の形態１に係る記憶装置１０、撮像装置２０、制御装置３０、表示装置４０及び制御システム１を示す図である。図２及び図３は、実施の形態１に係る撮像装置２０によって生成された第１情報ＶＩ，ＶＩａを示す図である。図４及び図５は、実施の形態１に係る制御装置３０によって生成された第２情報ＰＩ，ＰＩａを示す図である。図６は、実施の形態１に係る表示装置４０に表示される画像を示す図である。

制御システム１は、ＦＡ分野における機器２を制御する。機器２は、ＦＡ分野における設備を構成する要素である。ＦＡ分野における設備は、生産設備、空調設備及び物流設備が例示される。設備が生産設備である場合、機器２は工作機械、加工装置及び搬送装置が例示される。設備が空調設備である場合、機器２は室外機、室内機及び送風機が例示される。設備が物流設備である場合、機器２は搬送装置及び仕分装置が例示される。設備及び機器２は、例示したものには限定されない。実施の形態１では、設備は生産設備であり、機器２は加工装置である。

制御システム１は、記憶装置１０、撮像装置２０、制御装置３０、表示装置４０及び通信線３を含む。記憶装置１０は、第１記憶装置１１と第２記憶装置１２とを含む。第１記憶装置１１は、撮像装置２０によって撮像された機器２の複数の画像を、基準となる時刻からの経過時間を示す複数の時間情報ＴＩと対応付けて記憶する。第２記憶装置１２は、機器２を制御するための制御情報を時系列で記憶する。第２記憶装置１２は、機器２を制御する制御装置３０が撮像装置２０から時間情報ＴＩを取得したタイミングに対応する制御情報を、時間情報ＴＩと対応付けて記憶する。

撮像装置２０は、機器２を撮像する。実施の形態１において、撮像装置２０は機器２を動画の撮像モードで撮像することにより複数の画像を得る。動画を構成する複数のフレームが複数の画像に相当する。これらの画像は、時系列で得られた複数の機器２の画像である。画像は、少なくとも２以上であればよい。実施の形態１において、撮像装置２０は静止画像の撮像モードで機器２を時系列に複数回撮像することにより複数の画像を得てもよい。

機器２が設計者の意図しない動作をした場合に制御装置３０が解析される際には、撮像装置２０によって撮像された機器２の動作の画像と制御装置３０が保持する内部データの値とを対応させる。このため、撮像装置２０は、主に機器２が動作している状態を撮像する。

撮像装置２０は、撮像制御装置２１と、イメージセンサ２２と、時計２３とを有する。撮像装置２０は、機器２を撮像することによって得られた画像と、機器２が撮像されたタイミングを示す時間情報ＴＩとを対応付けた第１情報ＶＩを生成する。撮像装置２０は、生成した第１情報ＶＩを第１記憶装置１１に送信し、記憶させる。第１記憶装置１１は、撮像装置２０から第１情報ＶＩを受信すると、これを記憶する。また、撮像装置２０は、機器２の撮像中に、時間情報ＴＩを定期的に制御装置３０へ送信する。実施の形態１において、撮像装置２０は、通信線３を介して時間情報ＴＩを制御装置３０に送信する。

時間情報ＴＩは、基準となる時刻からの経過時間を示す情報であり、機器２が撮像装置２０に撮像されたタイミングを示す情報でもある。時間情報ＴＩは、基準となる時刻を含んでいてもよい。時間情報ＴＩは、経過時間そのものでなくてもよく、基準となる時刻からの経過時間に対応する識別子であってもよい。また、機器２が撮像された時刻で時間情報ＴＩが表される場合、経過時間ＴＩが示す時刻は、機器２が撮像された時刻から多少ずれていてもよい。基準時刻からの経過時間及び機器２が撮像された時刻は、撮像装置２０が有する時計２３又はタイマによって求められる。

撮像装置２０が機器２の動画を撮像する場合、時間情報ＴＩは、基準となる時刻からの経過時間を示すタイムコードであってもよいし、動画を構成する各フレームを特定するための識別子であってもよい。識別子は、フレームの番号が挙げられる。基準となる時刻は、撮像装置２０による機器２の撮像が開始された時刻が例示されるが、これに限定されず、撮像中のある時刻であってもよい。

撮像装置２０は、機器２の撮像中、時計２３から定期的に時刻を取得し、時間情報ＴＩを得る。時間情報ＴＩは複数、すなわち少なくとも２個あればよい。実施の形態１において、撮像装置２０は、撮像の開始から一定の時間間隔毎に時間情報ＴＩを取得するとともに、時間情報ＴＩを取得したときに撮像された画像、動画の場合はフレームと対応付けることにより、第１情報ＶＩを生成する。また、撮像装置２０は、撮像された画像、動画の場合はフレームの識別子を時間情報ＴＩとし、時間情報ＴＩの画像と時間情報ＴＩとを対応付けることにより、第１情報ＶＩを生成してもよい。

第１情報ＶＩは、図２に示されるように、区切り情報Ｈｖ１，Ｈｖ２，・・・Ｈｖｎと、画像ＩＭＧ１，ＩＭＧ２，・・・ＩＭＧｎと、時間情報ＴＩ１，ＴＩ２，・・・ＴＩｎとを含む。ｎは１以上の整数である。数字１、２及び符号ｎは、複数の情報を区別するために付したものであり、複数の情報を区別する必要がない場合、数字１、２及び符号ｎを付さないで表記する。第１情報ＶＩは、画像ＩＭＧと時間情報ＴＩとが対応付けられている。区切り情報Ｈｖは、一組の画像ＩＭＧ及び時間情報ＴＩを、他の一組の画像ＩＭＧ及び時間情報ＴＩと区別するための情報である。

第１情報ＶＩは、区切り情報Ｈｖ１，Ｈｖ２，・・・Ｈｖｎと、画像ＩＭＧ１，ＩＭＧ２，・・・ＩＭＧｎと、時間情報ＴＩ１，ＴＩ２，・・・ＴＩｎとを含むものに限定されない。図３に示される第１情報ＶＩａのように、撮像周期がＴ秒周期で定まっており、撮像開始時刻ＴＩ１と画像ＩＭＧ１，ＩＭＧ２，・・・ＩＭＧｎとのみを含むものであってもよい。この場合、画像ＩＭＧ２が撮像された時刻はＴＩ１＋Ｔ、画像ＩＭＧ３が撮像された時刻はＴＩ１＋２×Ｔで求められる。

制御装置３０は、機器２を制御する装置である。実施の形態１において、制御装置３０は、プログラマブルコントローラ（Programmable Logic Controllers（ＰＬＣ））である。プログラマブルコントローラは、ＪＩＳ（日本工業規格） Ｂ ３５０２：２０１１により規定されたものである。制御装置３０は、機器２を制御する装置であればよく、プログラマブルコントローラに限定されるものではない。

制御装置３０は、撮像装置２０から時間情報ＴＩを取得すると、時間情報ＴＩを取得したタイミングに対応する制御情報を、取得した時間情報ＴＩと対応付けて第２情報ＰＩを生成する。制御装置３０は、生成した第２情報ＰＩを第２記憶装置１２に送信する。第２記憶装置１２は、制御装置３０から送信された第２情報ＰＩを記憶する。

実施の形態１において、制御装置３０が時間情報ＴＩを取得したタイミングは、制御装置３０が時間情報ＴＩを取得した時刻である。この時刻は、制御装置３０が有する時計３１又はタイマによって求められる。制御装置３０が時間情報ＴＩを取得したタイミングは、時間情報ＴＩが取得された時刻そのものでなくてもよく、取得された時刻から多少ずれていてもよい。

第２情報ＰＩは、図４に示されるように、区切り情報Ｈｃ１，Ｈｃ２，・・・Ｈｃｎと制御情報ＣＩ１，ＣＩ２，・・・ＣＩｎと、時間情報ＴＩ１，ＴＩ２，・・・ＴＩｎとを含む。ｎは１以上の整数である。数字１、２及び符号ｎは、複数の情報を区別するために付したものであり、複数の情報を区別する必要がない場合、数字１、２及び符号ｎを付さないで表記する。第２情報ＰＩは、制御情報ＣＩと時間情報ＴＩとが対応付けられている。区切り情報Ｈｃは、一組の制御情報ＣＩ及び時間情報ＴＩを、他の一組の制御情報ＣＩ及び時間情報ＴＩと区別するための情報である。

第２情報ＰＩは、区切り情報Ｈｃ１，Ｈｃ２，・・・Ｈｃｎと制御情報ＣＩ１，ＣＩ２，・・・ＣＩｎと、時間情報ＴＩ１，ＴＩ２，・・・ＴＩｎとを含むものに限定されない。図５に示される第２情報ＰＩａのように、時間情報ＴＩ１，ＴＩ２，・・・ＴＩｎの間隔が撮像周期と同一のＴ秒で定まっており、サンプリング開始時刻ＴＩ１と制御情報ＣＩ１，ＣＩ２，・・・ＣＩｎとのみを含むものであってもよい。この場合、制御情報ＣＩ２に対応する時刻はＴＩ１＋Ｔ、制御情報ＣＩ３に対応する時刻はＴＩ１＋２×Ｔ、制御情報ＣＩｎに対応する時刻はＴＩ１＋（ｎ−１）×Ｔで求められる。

制御情報ＣＩは、制御装置３０が機器２を制御するために用いられる情報であり、制御装置３０の内部情報である。制御情報ＣＩは、制御装置３０に接続された入出力機器からの入出力信号の状態を示す入出力情報、制御装置３０の内部状態を示す状態情報及び制御プログラムが例示されるが、これらに限定されない。制御情報ＣＩのうち、入出力情報及び状態情報は、制御装置３０が機器２を制御している間に、数ミリ秒から数秒毎に値が更新される。

表示装置４０は、表示制御装置４１と、ディスプレイ４２とを有する。表示制御装置４１は、ディスプレイ４２に表示するための画像を生成して、ディスプレイ４２に表示させる制御を実行する。実施の形態１において、表示制御装置４１には、第１記憶装置１１及び第２記憶装置１２が接続されている。表示制御装置４１は、第１記憶装置１１から画像ＩＭＧを含む第１情報ＶＩを取得し、第２記憶装置１２から制御情報ＣＩを含む第２情報ＰＩを取得する。

表示装置４０は、図６に示されるように、撮像装置２０によって撮像された機器２の画像ＩＭＧ、及び機器２を制御するための制御情報ＣＩを、ディスプレイ４２に同時に表示する。図６に示される例では、表示装置４０は、画像ＩＭＧ及び制御情報ＣＩに加えて、時間情報ＴＩも同時に表示する。

通信線３は、撮像装置２０及び制御装置３０が接続されている。撮像装置２０と制御装置３０とは、通信線３を介して通信する。実施の形態１においては、少なくとも撮像装置２０が制御装置３０に情報を送信できればよい。実施の形態１において、撮像装置２０と制御装置３０との通信方式は、イーサネット（登録商標）に準拠した通信方式が用いられるが、これに限定される物ではない。撮像装置２０と制御装置３０との通信方式は、ＣＣ−Ｌｉｎｋ ＩＥ Ｆｉｅｌｄに準拠した通信方式、又はＡｎｙＷｉｒｅＡＳＬＩＮＫに準拠した通信方式が用いられてもよい。次に、実施の形態１において、撮像装置２０が機器２を撮像するときの処理を説明する。この処理は、実施の形態１に係る記憶方法に相当する。

図７は、実施の形態１に係る撮像時の処理のフローチャートである。ステップＳ１０１において、撮像装置２０は、機器２の撮像を開始する。基準となる時刻は、撮像装置２０が機器２の撮像を開始した時刻とするが、撮像を開始した時刻からある時間が経過したタイミングとしてもよいし、撮像が開始される前のあるタイミングとしてもよい。

撮像装置２０は、ステップＳ１０２Ａにおいて、時間情報ＴＩを制御装置３０に送信する。また、撮像装置２０は、ステップＳ１０２Ｂにおいて、前述した画像ＩＭＧと、画像ＩＭＧが得られたタイミングの時間情報ＴＩとを対応付けることにより、第１情報ＶＩを生成する。撮像装置２０は、ステップＳ１０２Ｂにおいて、生成した第１情報ＶＩを第１記憶装置１１に送信する。

ステップＳ１０３Ａにおいて、制御装置３０は、撮像装置２０から送信された時間情報ＴＩを受信すると、受信時、すなわち制御装置３０が時間情報ＴＩを取得したタイミングに対応する制御情報ＣＩと、取得した時間情報ＴＩとを用いて、第２情報ＰＩを生成する。制御装置３０は、ステップＳ１０３Ａにおいて、生成した第２情報ＰＩを第２記憶装置１２に送信する。

ステップＳ１０３Ｂにおいて、第１記憶装置１１は、撮像装置２０から第１情報ＶＩを受信すると、これを記憶する。すなわち、第１記憶装置１１は、画像ＩＭＧと、時間情報ＴＩとを対応付けて記憶する。

ステップＳ１０４において、第２記憶装置１２は、制御装置３０から第２情報ＰＩを受信すると、これを記憶する。すなわち、第２記憶装置１２は、制御情報ＣＩを、制御装置３０が撮像装置２０から時間情報ＴＩを取得したタイミングに対応する制御情報ＣＩと対応付けて記憶する。

ステップＳ１０５において、撮像装置２０は、撮像装置２０に撮像終了の指令がない場合、すなわち撮像を終了しない場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０１からステップＳ１０５を繰り返す。撮像終了の指令は、撮像装置２０の撮像スイッチがオフになったときの信号とすることができる。また、制御装置３０が撮像装置２０を制御する場合、撮像終了の指令は制御装置３０から送信される指令となる。

ステップＳ１０５において、撮像装置２０は、撮像装置２０に撮像終了の指令があった場合、すなわち撮像を終了する場合（ステップＳ１０５，Ｙｅｓ）、撮像を終了して、撮像時の処理を終了させる。

図８は、実施の形態１に係る表示装置４０の処理を示すフローチャートである。ステップＳ２０１において、図１に示される表示装置４０の表示制御装置４１は、第１記憶装置１１から第１情報ＶＩを取得し、第２記憶装置１２から第２情報ＰＩを取得する。表示制御装置４１は、ステップＳ２０２において、図６の表示画像ＩＭＡに示されるように、第１情報ＶＩに含まれる画像ＩＭＧ及び第２情報ＰＩに含まれる制御情報ＣＩを、表示装置４０のディスプレイ４２に同時に表示させる。図６の表示画像ＩＭＡに示される制御情報ＣＩは、入力値ＳＣａ，ＳＣｂ，ＳＣｃと、出力値ＣＣａ，ＣＣｂ，ＣＣｃとを含む。

図６に示される時間情報ＴＩは、符号ＴＩに付される数値が大きくなるほど、画像ＩＭＧが撮像された時刻が後になることを示している。表示制御装置４１は、複数の画像ＩＭＧを、時系列に並べてディスプレイ４２に表示させる。このとき、表示制御装置４１は、同じ時間情報ＴＩでの画像ＩＭＧの位置と制御情報ＣＩの位置とを同一として、制御情報ＣＩも時系列にディスプレイ４２に表示させる。実施の形態１では、複数の画像ＩＭＧと制御情報ＣＩとは、表示画像ＩＭＡの上下に並べられている。このような表示形態により、複数の画像ＩＭＧと制御情報ＣＩとの対比が容易になる。実施の形態１において、制御情報ＣＩは、時系列にグラフの形態で表示されているので、作業者は制御情報ＣＩの変化を認識しやすくなる。

同じ時間情報ＴＩのときの画像ＩＭＧと制御情報ＣＩとが対応するため、表示制御装置４１は、画像ＩＭＧの時間情報ＴＩと制御情報ＣＩの時間情報ＴＩとを元にして、画像ＩＭＧと制御情報ＣＩとを時系列で同期させることができる。このため、作業者は、画像ＩＭＧ及び制御情報ＣＩの時系列での変化を確認することが可能となる。その結果、画像ＩＭＧを参照して、機器２の動作に異常があったときの制御情報ＣＩを発見する際の手間が軽減されるので、機器２の動作に不具合が発生したときに制御装置３０を解析する際の手間が低減される。

図９は、実施の形態１に係る画像ＩＭＧと制御情報ＣＩとを示すタイミングチャートである。画像ＩＭＧ１，ＩＭＧ２・・・ＩＭＧ８は、それぞれ時刻ｔ＝ｔ１，ｔ２・・・ｔ８で得られたものである。時刻ｔは、時間情報ＴＩに相当する。実施の形態１において、制御装置３０は、通信線３を介した通信により撮像装置２０から時間情報ＴＩを取得する。通信には遅れが発生したり、エラーによって正常に情報が受信できなかったりすることがある。

制御装置３０と撮像装置２０との通信に遅れが発生すると、時刻ｔ１で撮像された画像ＩＭＧ１に対応する時間情報ＴＩは、時刻ｔ１から遅れ時間ｔｄだけ後の受信時刻ｔｒ＝ｔｒ１で制御装置３０に取得される。第２情報ＰＩは、時間情報ＴＩを取得したタイミングの制御情報ＣＩと時間情報ＴＩとが対応付けられる。このため、第２情報ＰＩに含まれる制御情報ＣＩは、時間情報ＴＩが送信された時刻ｔよりも遅れ時間ｔｄだけ遅い受信時刻ｔｒに対応した制御情報ＣＩになる。

図９に示される例では、画像ＩＭＧ１は制御情報ＣＩの出力値ＣＣ＝ＣＣ１に対応するが、制御装置３０が時間情報ＴＩを取得したタイミングは受信時刻ｔｒ＝ｔｒ１である。受信時刻ｔｒ１は、時刻ｔ１よりも遅れ時間ｔｄだけ遅いので、時間情報ＴＩと対応付けられる制御情報ＣＩは、出力値ＣＣ＝ＣＣ２になる。通常、通信の遅れ時間ｔｄは小さいので、画像ＩＭＧと制御情報ＣＩとは、ほぼ同期がとれている。また、通常、通信の遅れ時間ｔｄは小さいことから、画像ＩＭＧと制御情報ＣＩとのずれは小さく、ある時刻ｔの画像ＩＭＧの近傍に、この画像ＩＭＧに対応する制御情報ＣＩが存在する。このため、作業者は、画像ＩＭＧに対応する制御情報ＣＩを容易に対応付けて特定することができる。

遅れ時間ｔｄの大きさは通信の状態によって変わるが、遅れ時間ｔｄが大きいと、制御情報ＣＩと画像ＩＭＧとの同期が大きくずれる。図９に示される例では、時刻ｔ４で撮像された画像ＩＭＧ４に対応する時間情報ＴＩが制御装置３０に到達するまでの遅れ時間ｔｄ４が、画像ＩＭＧ４以前と比較して大きくなっている。このため、画像ＩＭＧ４に関しては、制御情報ＣＩとの同期が大きくずれている。画像ＩＭＧ５の遅れ時間ｔｄ５が画像ＩＭＧ４以前と同程度に回復すると、画像ＩＭＧ５に関しては、制御情報ＣＩとの同期のずれは画像ＩＭＧ４よりも小さくなる。

このように、撮像装置２０は、画像ＩＭＧを撮像したときの時間情報ＴＩを定期的に制御装置３０へ送信するので、通信の遅れによる画像ＩＭＧと制御情報ＣＩとのずれがあったとしても、作業者は画像ＩＭＧと制御情報ＣＩとを容易に対応付けることができる。時間情報ＴＩがエラーによって正しく受信されなかった場合も、受信されなかった時間情報ＴＩとは異なる時間情報ＴＩが撮像装置２０から送信され、制御装置３０に正しく受信されることにより、正しい時間情報ＴＩに基づいて画像ＩＭＧと制御情報ＣＩとの対応関係が得られる。その結果、制御システム１は、通信の遅れが発生しても、画像ＩＭＧと制御情報ＣＩとを容易に同期させて対応付けることができる。

実施の形態１においては、撮像装置２０は定期的に時間情報ＴＩを制御装置３０に送信したが、時間情報ＴＩを送信する時間間隔は前述したように一定の間隔でもよいし、不等間隔でもよい。次に、記憶装置１０、撮像制御装置２１、制御装置３０及び表示制御装置４１のハードウェア構成を説明する。

図１０及び図１１は、実施の形態１に係る第１記憶装置１１、第２記憶装置１２、撮像制御装置２１、制御装置３０及び表示制御装置４１のハードウェア構成を示す図である。図１０に示される処理回路１００は、第１記憶装置１１、第２記憶装置１２、撮像制御装置２１、制御装置３０及び表示制御装置４１の機能を実現する。

第１記憶装置１１の機能は、前述したように、画像ＩＭＧと時間情報ＴＩとが対応付けられた第１情報ＶＩを記憶する機能である。詳細には、撮像装置２０から第１情報ＶＩを取得し、メモリに記憶させる機能である。第２記憶装置１２の機能は、前述したように、時間情報ＴＩと制御情報ＣＩとが対応付けられた第２情報ＰＩを記憶する機能である。詳細には、制御装置３０から第２情報ＰＩを取得し、メモリに記憶させる機能である。

撮像制御装置２１の機能は、イメージセンサ２２に機器２を撮像させる機能、撮像された画像を画像処理する機能及び時間情報ＴＩを制御装置３０に送信する機能である。制御装置３０の機能は、機器２を制御する機能及び制御情報ＣＩと撮像装置２０から取得した時間情報ＴＩとを対応付けて第２情報ＰＩを生成して第２記憶装置１２に記憶させる機能である。表示制御装置４１の機能は、第１記憶装置１１から第１情報ＶＩを、第２記憶装置１２から第２情報ＰＩを取得し、同一の時間情報ＴＩに対応する画像ＩＭＧと制御情報ＣＩとをディスプレイ４２に同時に表示させる機能である。

処理回路１００は、専用のハードウェアであっても、図１１に示されるように、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１（ＣＰＵ（Central Processing Unit：中央処理装置）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Digital Signal Processor））であってもよい。

処理回路１００が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＣＩ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又はこれらを組合わせたものが該当する。

処理回路１００が図１１に示されるプロセッサ１０１の場合、第１記憶装置１１、第２記憶装置１２、撮像制御装置２１、制御装置３０及び表示制御装置４１の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することにより、第１記憶装置１１、第２記憶装置１２、撮像制御装置２１、制御装置３０及び表示制御装置４１の機能を実現する。

また、これらのプログラムは、実施の形態１に係る制御の手順及び方法をコンピュータに実行させるものであるともいえる。メモリ１０２とは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）といった不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、及びＤＶＤ（Digital Versatile Disc）が該当する。

なお、第１記憶装置１１、第２記憶装置１２、撮像制御装置２１、制御装置３０及び表示制御装置４１の各機能について、一部が専用のハードウェアで実現され、一部がソフトウェア又はファームウェアで実現されるようにしてもよい。

このように、処理回路１００は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せによって、第１記憶装置１１、第２記憶装置１２、撮像制御装置２１、制御装置３０及び表示制御装置４１の機能を実現することができる。

実施の形態１の第１変形例に係る記憶装置．
図１２は、実施の形態１の第１変形例に係る記憶装置１０ａを示す図である。撮像装置２０、制御装置３０及び表示装置４０は、実施の形態１と同様である。第１変形例の記憶装置１０ａは、第１記憶部１１ａと、第２記憶部１２ａとを有する。第１記憶部１１ａは、撮像装置２０から送信された第１情報ＶＩを記憶する。第２記憶部１２ａは、制御装置３０から送信された第２情報ＰＩを記憶する。表示装置４０の表示制御装置４１は、第１記憶部１１ａから第１情報ＶＩを取得し、第２記憶部１２ａから第２情報ＰＩを取得する。そして、表示制御装置４１は、第１情報ＶＩに含まれる画像ＩＭＧ及び第２情報ＰＩに含まれる制御情報ＣＩを、表示装置４０のディスプレイ４２に同時に表示させる。

実施の形態１において、表示制御装置４１は、画像ＩＭＧ及び制御情報ＣＩを並べ、かつ同じ時間情報ＴＩに対応する画像ＩＭＧと制御情報ＣＩとを、時間軸において同じ位置に配置する。図６に示される例では、時間軸は時間情報ＴＩで定まる時間の経過を示す軸である。このような表示により、作業者は、画像ＩＭＧと制御情報ＣＩとを容易に対応付けることができる。実施の形態１では、画像ＩＭＧと制御情報ＣＩとは縦に並べられているが、横に並べられてもよい。

記憶装置１０ａの第１記憶部１１ａ及び第２記憶部１２ａは、１個の記憶装置１０ａ内の異なる記憶領域である。実施の形態１の記憶装置１０は、図１に示されるように、１個の第１記憶装置１１と１個の第２記憶装置１２との合計２個の記憶装置を有していたが、変形例に係る記憶装置１０ａは１個で済む。このため、記憶装置１０ａの設置スペースを小さくしたり、記憶装置１０ａのコストを低減したりすることができる。

実施の形態１の第２変形例に係る記憶装置．
図１３は、実施の形態１の第２変形例に係る記憶装置１０ｂ、撮像装置２０ｂ及び制御装置３０ｂを示す図である。実施の形態１では、第１記憶装置１１及び第２記憶装置１２は、撮像装置２０及び制御装置３０とは別個の装置であったが、第２変形例では、記憶装置１０ｂの第１記憶装置１１ｂは撮像装置２０ｂの内部に、記憶装置１０ｂの第２記憶装置１２ｂは制御装置３０ｂの内部に設けられる。

表示装置４０の表示制御装置４１は、第１記憶装置１１ｂから第１情報ＶＩを取得し、第２記憶装置１２ｂから第２情報ＰＩを取得する。そして、表示制御装置４１は、第１情報ＶＩに含まれる画像ＩＭＧ及び第２情報ＰＩに含まれる制御情報ＣＩを、表示装置４０のディスプレイ４２に同時に表示させる。

第１記憶装置１１ｂは撮像装置２０ｂの内部に設けられ、第２記憶装置１２ｂは制御装置３０ｂの内部に設けられる。このため、記憶装置１０ｂの設置スペースを小さくすることができる。

第２変形例において、制御装置３０ｂのハードウェア構成は、図１０及び図１１に示される。制御装置３０ｂの処理部であるプロセッサ１０１は、制御情報ＣＩを用いて機器２を制御する。制御装置３０ｂの記憶部であるメモリ１０２は、制御情報ＣＩを時系列で記憶する。制御装置３０ｂのプロセッサ１０１は時間情報ＴＩを撮像装置２０ｂから取得し、制御装置３０ｂのメモリ１０２は、プロセッサ１０１が時間情報ＴＩを取得したタイミングに対応する制御情報ＣＩを、取得された時間情報ＴＩと対応付けて記憶する。第２変形例の制御装置３０ｂは、第２変形例の撮像装置２０ｂから時間情報ＴＩを取得するが、実施の形態１の撮像装置２０から時間情報ＴＩを取得してもよい。

通信の遅れ時間ｔｄを考慮する例．
前述したように、撮像装置２０と制御装置３０との間には通信の遅れ時間ｔｄが存在する。平均的な遅れ時間ｔｄを予め求めて表示制御装置４１のメモリに保持しておき、表示制御装置４１が画像ＩＭＧ及び制御情報ＣＩをディスプレイ４２に表示させる際には、平均的な遅れ時間ｔｄ分早めた位置に、制御情報ＣＩを表示させてもよい。図６に示される例では、表示制御装置４１は、制御情報ＣＩを、時間情報ＴＩで表される時刻がより早い方、図６では左側に移動させて、ディスプレイ４２に表示させる。このようにすることで、画像ＩＭＧと制御情報ＣＩとの同期はより正確になるので、画像ＩＭＧを参照して、機器２の動作に異常があったときの制御情報ＣＩを発見する際の手間がより軽減される。その結果、機器２の動作に不具合が発生したときに作業者が制御装置３０を解析する際の手間は、さらに低減される。

実施の形態１及びその変形例の各構成は、以下の実施の形態においても適宜適用することができる。

実施の形態２．
図１４は、実施の形態２に係る記憶装置１０、撮像装置２０Ｆ，２０Ｓ，２０Ｔ、制御装置３０、表示装置４０及び制御システム１ｃを示す図である。

実施の形態１は、図１に示されるように、１台の撮像装置２０によって機器２を撮像するが、実施の形態２は、複数の撮像装置２０Ｆ，２０Ｓ，２０Ｔによって機器２を撮像する点が異なる。それぞれの撮像装置２０Ｆ，２０Ｓ，２０Ｔは、実施の形態１の撮像装置２０と同様である。実施の形態２においては、３個の撮像装置２０Ｆ，２０Ｓ，２０Ｔが機器２を撮像するが、数は３個に限定されず、２個以上であればよい。

撮像装置２０Ｆ，２０Ｓ，２０Ｔは、通信線３に接続されており、通信線３に接続されている制御装置３０と通信する。撮像装置２０Ｆ，２０Ｓ，２０Ｔは、通信線３を介して、時間情報ＴＩＦ，ＴＩＳ，ＴＩＴを制御装置３０に送信する。撮像装置２０Ｆ，２０Ｓ，２０Ｔは、記憶装置１０の第１記憶装置１１に接続されており、第１情報ＶＩＦ，ＶＩＳ，ＶＩＴを第１記憶装置１１に送信する。第１記憶装置１１は、撮像装置２０Ｆ，２０Ｓ，２０Ｔ毎に得られた第１情報ＶＩＦ，ＶＩＳ，ＶＩＴを記憶する。

制御装置３０は、撮像装置２０Ｆ，２０Ｓ，２０Ｔから時間情報ＴＩＦ，ＴＩＳ，ＴＩＴを取得すると、撮像装置２０Ｆ，２０Ｓ，２０Ｔ毎に第２情報ＰＩＦ，ＰＩＳ，ＰＩＴを生成し、第２記憶装置１２に送信する。すなわち、第２情報ＰＩＦ，ＰＩＳ，ＰＩＴは、撮像装置２０Ｆ，２０Ｓ，２０Ｔ毎に得られる。

第２記憶装置１２は、制御装置３０から送信された、第２情報ＰＩＦ，ＰＩＳ，ＰＩＴを撮像装置２０Ｆ，２０Ｓ，２０Ｔ毎に記憶する。第２情報ＰＩＦは、撮像装置２０Ｆから送信された時間情報ＴＩＦと、この時間情報ＴＩＦを制御装置３０が取得したタイミングに対応した制御情報ＣＩとが対応付けられている。第２情報ＰＩＳは、撮像装置２０Ｓから送信された時間情報ＴＩＳと、この時間情報ＴＩＳを制御装置３０が取得したタイミングに対応した制御情報ＣＩとが対応付けられている。第２情報ＰＩＴは、撮像装置２０Ｔから送信された時間情報ＴＩＴと、この時間情報ＴＩＴを制御装置３０が取得したタイミングに対応した制御情報ＣＩとが対応付けられている。

図１５は、実施の形態２に係る撮像装置２０Ｆ，２０Ｓ，２０Ｔによって生成された第１情報ＶＩＦ，ＶＩＳ，ＶＩＴを示す図である。撮像装置２０Ｆから出力される第１情報ＶＩＦは、撮像装置２０Ｆによって撮像された画像ＩＭＧを含むことを特定するための識別子ＩＤＦを含む。撮像装置２０Ｓから出力される第１情報ＶＩＳは、撮像装置２０Ｓによって撮像された画像ＩＭＧを含むことを特定するための識別子ＩＤＳを含む。撮像装置２０Ｔから出力される第１情報ＶＩＴは、撮像装置２０Ｔによって撮像された画像ＩＭＧを含むことを特定するための識別子ＩＤＴを含む。

図１６は、実施の形態２に係る制御装置３０によって生成された第２情報ＰＩＦ，ＰＩＳ，ＰＩＴを示す図である。第２情報ＰＩＦは、撮像装置２０Ｆから送信された時間情報ＴＩＦを含むことを特定するための識別子ＩＤＦを含む。第２情報ＰＩＳは、撮像装置２０Ｓから送信された時間情報ＴＩＳを含むことを特定するための識別子ＩＤＳを含む。第２情報ＰＩＴは、撮像装置２０Ｔから送信された時間情報ＴＩＴを含むことを特定するための識別子ＩＤＴを含む。

図１４に示される表示装置４０の表示制御装置４１は、識別子ＩＤＦを有する第１情報ＶＩＦに含まれる画像ＩＭＧ及び識別子ＩＤＦを有する第２情報ＰＩＦに含まれる制御情報ＣＩを、表示装置４０のディスプレイ４２に同時に表示させる。表示制御装置４１は、識別子ＩＤＳを有する第１情報ＶＩＳに含まれる画像ＩＭＧ及び識別子ＩＤＳを有する第２情報ＰＩＳに含まれる制御情報ＣＩを、表示装置４０のディスプレイ４２に同時に表示させる。表示制御装置４１は、識別子ＩＤＴを有する第１情報ＶＩＴに含まれる画像ＩＭＧ及び識別子ＩＤＴを有する第２情報ＰＩＴに含まれる制御情報ＣＩを、表示装置４０のディスプレイ４２に同時に表示させる。

表示制御装置４１は、制御情報ＣＩ及び撮像装置２０Ｆによって撮像された画像ＩＭＧの組合せと、制御情報ＣＩ及び撮像装置２０Ｓによって撮像された画像ＩＭＧとの組合せ、制御情報ＣＩ及び撮像装置２０Ｔによって撮像された画像ＩＭＧとの組合せと、の少なくとも１つをディスプレイ４２に表示させる。

実施の形態２の制御システム１ｃは、撮像装置２０Ｆ，２０Ｓ，２０Ｔによって機器２を複数の角度から撮像することができる。このため、画像ＩＭＧを参照して、機器２の動作に異常があったときの制御情報ＣＩを発見する際の手間がさらに軽減されるので、機器２の動作に不具合が発生したときに制御装置３０を解析する際の手間がさらに低減される。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１ｃ 制御システム、２ 機器、３ 通信線、１０，１０ａ 記憶装置、１１，１１ｂ 第１記憶装置、１１ａ 第１記憶部、１２，１２ｂ 第２記憶装置、１２ａ 第２記憶部、２０，２０ｂ，２０Ｆ，２０Ｓ，２０Ｔ 撮像装置、３０，３０ｂ 制御装置、４０ 表示装置、４１ 表示制御装置、４２ ディスプレイ、１００ 処理回路、１０１ プロセッサ、１０２ メモリ、ＣＩ 制御情報、ＩＭＧ 画像、ＰＩ 第２情報、ＴＩ 時間情報、ＶＩ 第１情報。

Claims (11)

1. 撮像装置によって撮像された機器の複数の画像を、基準となる時刻からの経過時間を示す複数の時間情報と対応付けて記憶する第１記憶装置と、
   前記機器を制御するための制御情報を記憶する第２記憶装置と、を含み、
   前記第２記憶装置は、前記機器を制御する制御装置が前記撮像装置から前記時間情報を取得したタイミングに対応する前記制御情報を、前記時間情報と対応付けて記憶し、
   前記撮像装置は、前記時間情報を前記制御装置へ定期的に送信する、記憶装置。
2. 前記制御装置は、前記撮像装置から通信により前記時間情報を取得する、請求項１に記載の記憶装置。
3. 前記第２記憶装置は、前記制御装置に設けられる、請求項１又は請求項２に記載の記憶装置。
4. 前記第１記憶装置は、複数の前記撮像装置によって撮像された機器の複数の画像を、基準となる時刻からの経過時間を示す複数の時間情報と対応付けて、撮像装置毎に記憶し、
   前記第２記憶装置は、前記機器を制御する制御装置が複数の前記撮像装置から前記時間情報を取得したタイミングに対応する前記制御情報を、前記時間情報と対応付けて撮像装置毎に記憶する、請求項１から請求項３のいずれか１項に記載の記憶装置。
5. 機器を制御するための制御情報を用いて前記機器を制御する処理部と、
   前記機器を制御するための制御情報を記憶する記憶部と、を含み、
   前記処理部は、基準となる時刻からの経過時間を示す複数の時間情報を撮像装置から取得し、
   前記記憶部は、前記処理部が前記時間情報を取得したタイミングに対応する前記制御情報を、取得された前記時間情報と対応付けて記憶し、
   前記撮像装置は、前記時間情報を前記処理部へ定期的に送信する、制御装置。
6. 前記処理部は、
   前記撮像装置から通信により前記時間情報を取得する、請求項５に記載の制御装置。
7. 前記記憶部は、前記機器を制御する前記処理部が複数の前記撮像装置から前記時間情報を取得したタイミングに対応する前記制御情報を、前記時間情報と対応付けて撮像装置毎に記憶する、請求項５又は請求項６に記載の制御装置。
8. 撮像装置によって撮像された機器の複数の画像が、基準となる時刻からの経過時間を示す複数の時間情報と対応付けられた第１情報と、
   前記機器を制御する制御装置が前記撮像装置から前記時間情報を取得したタイミングに対応する、前記機器を制御するための制御情報が前記時間情報と対応付けられた第２情報と、を取得し、
   同一の前記時間情報に対応する前記画像及び前記制御情報を同時に表示し、
   前記撮像装置は、前記時間情報を前記制御装置へ定期的に送信する、表示装置。
9. 同じ前記時間情報での前記画像の位置と前記制御情報の位置とを同一として、複数の前記画像を時系列に並べて表示し、前記制御情報を時系列に表示する、請求項８に記載の表示装置。
10. 前記機器は、複数の前記撮像装置によって撮像され、前記第１情報及び前記第２情報は、前記撮像装置毎に得られる、請求項８又は請求項９に記載の表示装置。
11. 撮像装置は、制御装置によって制御される機器を撮像し、
    第１記憶装置は、前記撮像装置によって撮像された前記機器の複数の画像と、基準となる時刻からの経過時間を示す複数の時間情報とを対応付けて記憶装置に記憶させ、かつ前記撮像装置は、前記時間情報を前記制御装置に送信し、
    第２記憶装置は、前記撮像装置から前記時間情報を取得したタイミングに対応する、前記機器を制御するための制御情報と対応付けて記憶し、
    前記撮像装置は、前記時間情報を前記制御装置へ定期的に送信する、記憶方法。

Images