WO2023218651A1 - 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 - Google Patents

Abstract

産業機械の記録映像を生成する映像関連情報決定装置であって、産業機械の機械状態を示すデータを取得し、産業機械の動作を示す映像を取得し、データを検索し、トリガイベントの発現を検出し、過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する映像の関連情報を決定し、イベントの発現時刻を基に、映像と関連情報とを紐づける。

Description

映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体

　本発明は、映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体に関する。

　現在、産業機械の状態を監視し、制御の効率化や機械の保全に活用する技術が存在する。このような技術では、産業機械に関連するデータを収集し、収集したデータを分析することにより、産業機械の状態を把握し、産業機械の故障を防止したり、製品の品質を確認したり、生産管理の改善に活用したりしている。

　産業機械、及びその周囲に設けられたセンサが検出した機械は、データロガーと呼ばれるデータ収集装置に記録される。工場内には、多数のデータロガーが設けられており、工場内の機械の状態を記録している。
　また、機械の動作順序を制御するＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）や工作機械を制御する数値制御装置（Ｎｕｍｅｒｉｃａｌ　Ｃｏｎｔｒｏｌ）も内部に記録部を備えており、制御情報や状態情報を記憶している。

　収集したデータは、オペレータが視認しやすい形式に変換される。特許文献１には、「ワークを加工する機械本体と、前記機械本体による前記ワークの加工工程を動画撮影するカメラと、メモリを有し、かつ前記カメラによる動画撮影によって得られた動画像データを前記メモリに記憶させる情報処理装置とを備え、前記情報処理装置は、前記加工工程において異常が発生すると、前記異常が発生した時刻を含む予め定められた設定時間の前記動画像データを保護する、機械システム」が開示されている。

特開２０１９－１６０５５号公報

　特許文献１では、異常（エラー）が発生すると、異常が発生した時刻を含む予め定められた設定時間の動画像データを保護する。エラー発生時のログと画像があれば、エラー発生時の状況が解明され、エラーの原因究明に役立つ。同様に、視認性のよい映像を作成すれば、産業機械の保全、生産性の向上に活用することも可能である。

　産業機械のデータ管理の分野では、視認性の向上という課題がある。

　本開示の一態様である映像関連情報決定装置は、産業機械の機械状態を示すデータを取得するデータ取得部と、産業機械のデータを記憶するデータ履歴記憶部と、データを検索し、トリガイベントの発現を検出し、データ履歴記憶部に記憶した過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する関連情報を決定する関連情報決定部と、を備える。
　本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、
　産業機械の状態を示すデータを取得し、産業機械のデータ履歴を記憶し、データを検索し、トリガイベントの発現を検出し、データ履歴として記憶した過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する関連情報を決定する、プロセッサが読み取り可能な命令を記憶する。

　本発明の一態様により、視認性を向上することができる。

映像関連情報決定装置の適用範囲を示す図である。 第１の開示の映像関連情報決定装置のブロック図である。 関連情報決定部の概念モデルである。 第２の開示の映像関連情報決定装置のブロック図である。 マシニングセンタの一例を示す図である。 トリガイベントとイベントセットの一例を示す図である。 作業単位の決定処理を示す図である。 映像関連情報決定装置が生成した映像の一例を示す図である。 映像関連情報決定装置が生成した映像の一例を示す図である。 シークバーの一例を示す図である。 ワーク計測を説明する図である。 映像関連情報決定装置が生成した映像の一例を示す図である。 映像関連情報決定装置のハードウェア構成を示す図である。

　以下、本開示を適用した映像関連情報決定装置１００について説明する。映像関連情報決定装置１００は、工場に配置される産業機械の動作を示す映像、及び産業機械の状態を示すデータを取得する。映像関連情報決定装置１００は、既に蓄積された映像及びデータを用いて、産業機械のユーザが必要と思われる情報を提示する。対象となる産業機械としては、工作機械、数値制御装置、ロボットなどがある。

　映像関連情報決定装置１００が生成した映像は、産業機械の記録映像として用いられる。
　図１は、映像関連情報決定装置１００の適用範囲を示す。映像関連情報決定装置１００は、工場の管理者が使用するＰＣ、クラウド上のサーバ、機械メーカや制御機械メーカのＰＣ、工場の管理者が使用する携帯端末などに適用される。
　また、映像関連情報決定装置１００は、数値制御装置、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）などの情報処理装置に適用できる。
　映像関連情報決定装置１００が決定した関連情報は、産業機械の管理（保守、生産管理など）に活用される。

［第１の開示］
　図２は、第１の開示の映像関連情報決定装置１００のブロック図である。映像関連情報決定装置１００は、データ取得部１、関連情報決定部３、データ履歴記憶部４、イベントセット記憶部５を備える。

　データ取得部１は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、数値制御装置及び工作機械に関するデータを取得する。データ取得部が取得するデータには、数値制御装置の状態情報、操作入力情報、工作機械の制御情報などがある。数値制御装置の状態情報とは、数値制御装置の内部変数などに設定されており、数値制御装置のモード、工具オフセット量、アラーム、時刻、加工部品数、モーダル情報位置情報（座標系）などがある。操作入力情報には、タッチパネルの入力、物理的なボタン、ダイヤル、ハンドルによる入力などがある。工作機械の制御情報には、電力消費量、サーボモータへの付加、センサ値（温度や圧力）などがある。

　データ履歴記憶部４は、データ取得部１が取得したデータの履歴を記憶する。
　関連情報決定部３は、データ取得部１が取得したデータを基に、映像を補助するための関連情報を決定する。図３は、関連情報決定部３の概念モデルである。関連情報決定部３は、データ取得部１が取得したデータを検索し、トリガイベントを検出する。イベントセット記憶部５は、トリガイベントに対応するイベントセットを記憶する。関連情報決定部３は、検出したトリガイベントに対応するイベントセットを読み出し、データ履歴記憶部４に記憶された過去のデータを検索して、検出したトリガイベントに対応するイベントセットが過去に発現したか否かを検索する。検出したトリガイベントに対応するイベントセットが過去に発現した場合、イベントセットに対応する関連情報を、映像を補助するために表示する関連情報として決定する。

［第２の開示］
　第２の開示の映像関連情報決定装置１００は、関連情報と映像とを紐づけた映像を生成する。図４は、第２の開示の映像関連情報決定装置１００のブロック図である。映像関連情報決定装置１００は、データ取得部１、映像取得部２、関連情報決定部３、データ履歴記憶部４、イベントセット記憶部５、関連情報記憶部６、紐づけ部７を備える。

　映像取得部２は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、工場内の機械や設備の映像を取得する。本開示では、工作機械と数値制御装置が一体化したマシニングセンタの映像を取得する。図５は、マシニングセンタの外観である。本開示のマシニングセンタには、２台のカメラが設けられている。一方のカメラはテーブルに取り付けられたワークを撮影し、他方のカメラは操作盤を撮影する。操作盤の表示画面はキャプチャしてもよい。

　映像取得部２が取得する映像には時刻情報が付加されており、オペレータに有用な情報とマージすることができる。
　なお、本開示において、映像とは、動画と静止画の両方を含む。複数の静止画を連続的に表示した画像も映像に含む。
　また、本開示では、マシニングセンタの機内の映像と、操作盤を並べて表示するが、いずれか一方のみを表示してもよい。

　関連情報記憶部６は、イベントセットに対応する関連情報を記憶する。
　紐づけ部７は、関連情報決定部３が決定した関連情報記憶部６から関連情報を読み出す。紐づけ部７は、イベントの発現時刻を基に、関連情報の時刻を決定し、映像取得部２が取得した映像と関連情報とを時刻で紐づける。

　以上説明したように、第２の開示の映像関連情報決定装置１００は、産業機械に関するデータからトリガイベントを検出する。映像関連情報決定装置１００は、トリガイベントを検出すると、トリガイベントに対応するイベントセットを読み出す。映像関連情報決定装置１００は、イベントセットに含まれるイベントがデータ履歴に存在する場合、イベントセットに対応する関連情報を映像と紐づける。
　映像と、映像を補助するための関連情報とを紐付けることにより、産業機械のオペレータが必要な情報が提示できるため、視認性の高い映像を生成することができる。

［映像関連情報決定装置の具体例１］
　次いで、映像関連情報決定装置１００の具体例を説明する。この例では、ユーザの操作履歴を基に、映像を撮影中に実行した作業を判定し、作業に有用な情報を関連情報として読み出す。

　図６は、トリガイベントとイベントセットの一例を示す。作業「ワーク座標計測」は、トリガイベント「ワーク座標のデータ設定」、イベントセット「タッチプローブへの交換」、「ワーク計測画面の表示」、「ジョグ又はハンドル操作」、「タッチプローブがワークに接触」、「ワーク座標のデータ設定」という５つのイベントからなるイベントセットと紐づけられている。さらに、作業「ワーク座標計測」は、関連情報「ワーク座標一覧」が紐づけられている。

　５つのイベントのうち、「タッチプローブへの交換」は開始イベントである。開始イベントから順に「ワーク計測画面の表示」、「ジョグ又はハンドル操作」、「タッチプローブがワークに接触」、「ワーク座標のデータ設定」というイベントが発現すると、イベント発現時の映像と作業「ワーク座標計測」が対応づけられる。

　また、作業「加工開始」は、トリガイベント「サイクルスタートボタンの押下」、イベントセット「ＮＣモードをＭＥＭに変更するボタンの押下」、「自動運転画面の表示」、「サイクルスタートボタンの押下」という３つのイベントからなるイベントセットに紐づけられている。さらに、作業「加工開始」は、関連情報「ワーク図面」及び「加工工程の情報（加工種類、使用工具など）」が紐づけられている。

　３つのイベントのうち、「ＮＣモードをＭＥＭに変更するボタンの押下」は開始イベントである。開始イベントから順に「自動運転画面の表示」、「サイクルスタートボタンの押下」というイベントが実行されれば、映像と作業「加工開始」が紐づけられる。

　ここで、トリガイベントを起点として時間をさかのぼりながらイベントを検索し、作業単位を決定する例を示す。
　図７を参照して、作業単位の決定処理について説明する。関連情報決定部３は、データ取得部１が取得したデータを検索し、トリガイベント「ワーク座標のデータ設定」を検出する。関連情報決定部３は、検出したトリガイベントに対応するイベントセットを読み出す。
　ここで、トリガイベントとイベントセットは１対１ではなく、１つのトリガイベントに対し複数のイベントセットが対応することがある。このような場合、トリガイベントを起点として、時間をさかのぼりながらイベントを検索すると、最終的に１つのイベントセット（作業単位）に収束する。

　図７の例では、「ワーク座標のデータ設定」というトリガイベントが検出されると、その１つ前のイベント「タッチプローブがワークに接触」を検索する。そして、イベント「タッチプローブとワークの接触」が存在すれば、その１つ前のイベント「ジョグ又はハンドル操作」を検索する。時間をさかのぼりながらイベントを検索し、開始イベントに到達すると、イベントセットに対応する作業単位を決定する。

　映像の作業単位が決まれば、作業に有用な関連情報が決定する。
　図８及び図９を参照して、映像関連情報決定装置１００が生成した映像の例を示す。
　図８の映像は、３つの領域に分かれており、画面左上には作業「ワーク座標のデータ設定」の実行時における数値制御装置の表示画面、画面右上には作業「ワーク座標のデータ設定」の実行時における機内の映像が配置されている。画面下部には、「ワーク座標一覧」が表示されている。
　作業「ワーク座標のデータ設定」の映像に「ワーク座標一覧」の画像を追加すると、作業と、作業により設定されたワーク座標とを確認できる。「ワーク座標一覧」は、作業内容を確認するために有用な情報（関連情報）である。映像と関連情報を紐づけることで、ユーザの視認性が向上する。

　図９の映像は、３つの領域に分かれており、画面左上には作業「加工開始」の実行時における数値制御装置の表示画面、画面右上には作業「加工開始」の実行時における機内の映像、画面下部には「ワーク図面」が表示されている。
　作業「加工開始」の映像に「ワーク図面」の画像を追加すると、設計通りにワークが加工されているが確認できる。作業「加工開始」の実行中に、表示画面に表示されていない画像であるが、作業内容を確認するために有用な情報（関連情報）である。映像と関連情報を紐づけることで、ユーザの視認性が向上する。

　紐づけ部７は、作業単位の開始時刻及び終了時刻に映像と関連情報とを紐づける。紐づけ部７は、作業単位に含まれるイベントの時刻に合わせて映像と関連情報とを紐づけてもよい。紐づけ部７は、作業単位の開始時刻及び終了時刻を示すシークバーを生成してもよい。図１０は、シークバーの一例である。作業「ワーク座標のデータ設定」の開始時刻から終了時刻までは「ワーク座標一覧」を関連情報として表示する。作業「加工開始」の開始時刻から終了時刻までは、「ワーク図面」を関連情報として表示する。

　以上説明したように、映像関連情報決定装置の具体例１では、イベントセットと作業単位を対応付け、作業内容の確認に有用な情報（関連情報）を、映像と紐づけた映像を生成することにより、視認性を向上させる。

［映像関連情報決定装置の具体例２］
　具体例２におけるトリガイベントはアラームである。トリガイベント（アラーム）は、アラーム原因（イベントセット）と対応付けられている。関連情報決定部３は、データ取得部１が取得したデータを検索し、トリガイベント（アラーム）を検出すると、アラームに対応付けられたアラーム原因（イベントセット）を読み出す。
　関連情報決定部３は、データ履歴記憶部４に記憶された過去のデータを検索して、検出したアラームに対応するイベントセットが過去に発現した場合、イベントセットに対応する関連情報を、映像を補助するために表示する関連情報として決定する。
　関連情報には、パラメータ設定、センサ位置、工具オフセット、映像の画像検知結果、レーザ、加速度、振動、傾きなどのセンサ値、モータ電流、トルク、機械図面、マニュアルなどがある。例えば、干渉エラーを検知した場合には、干渉部位の機械図面を表示する。

　アラームの一例を説明する。ワーク計測では、図１１に示すように、タッチプローブなどを用いて加工後のワークの寸法を計測する。この例では、加工した穴の直径を計測する。数値制御装置は、実際の穴の直径と設計上の穴の直径を比較し、実際の穴の直径が設計上の穴の直径の許容値を超えている場合には、アラームを発生させる。アラームの情報はアラーム番号として（例えば「ＭＣ３７７０」）、データ履歴記憶部４に記憶されている。
　関連情報決定部３は、トリガイベントとしてアラーム番号を検出すると、アラームに対応付けられたイベントセットを読み出す。関連情報決定部３は、イベントセットから「加工後のワーク計測によるアラーム」であると判定する。関連情報決定部３は、イベントセットに対応する関連情報としてワーク図面を読み出す。

　映像関連情報決定装置１００は、図１２に示すように、アラーム発生時の映像にワーク図面を追加する。オペレータは、ワークに形成された実際の穴の直径と、設計上の穴の直径とを比較し、機械の調整を行う。例えば、削り不足の場合、工具オフセット値を調整し、削り量を調整する。削りすぎの場合、一度削りすぎたワークは修正できないので、ワーク図面の寸法を確認し、工具オフセット値を調整する。次のワークの加工では、新しい工具オフセット値で加工を行う。

　以上説明したように、具体例２では、アラームをトリガイベントとして検出し、トリガイベントに対応付けられたアラーム原因（イベントセット）に対応する関連情報を、映像に紐づける。

　以下、本開示を適用した映像関連情報決定装置１００のハードウェア構成について説明する。図１３は、映像関連情報決定装置１００のハードウェア構成図である。映像関連情報決定装置１００は、図１３に示すように、映像関連情報決定装置１００を全体的に制御するＣＰＵ１１１、プログラムやデータを記録するＲＯＭ１１２、一時的にデータを展開するためのＲＡＭ１１３を備え、ＣＰＵ１１１はバスを介してＲＯＭ１１２に記録されたシステムプログラムを読み出し、システムプログラムに従って映像関連情報決定装置１００の全体を制御する。

　不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、映像関連情報決定装置１００の電源がオフされても記憶状態が保持される。不揮発性メモリ１１４には、インタフェース１１５、１１８、１１９を介して外部装置１２０から読み込まれたプログラムや入力部３０を介して入力されたユーザ操作などの各種データが記憶される。

　インタフェース１１５は、映像関連情報決定装置１００とアダプタ等の外部装置１２０と接続するためのインタフェース１１５である。外部装置１２０側からはプログラムや各種パラメータ等が読み込まれる。

　　１００　映像関連情報決定装置
　　１　　　データ取得部
　　２　　　映像取得部
　　３　　　関連情報決定部
　　４　　　データ履歴記憶部
　　５　　　イベントセット記憶部
　　６　　　関連情報記憶部
　　７　　　紐づけ部
　　１１１　ＣＰＵ
　　１１２　ＲＯＭ
　　１１３　ＲＡＭ
　　１１４　不揮発性メモリ

Claims (7)

1. 　産業機械の機械状態を示すデータを取得するデータ取得部と、
   　前記産業機械のデータを記憶するデータ履歴記憶部と、
   　前記データを検索し、トリガイベントの発現を検出し、前記データ履歴記憶部に記憶した過去のデータを検索し、前記トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、前記イベントセットに対応する関連情報を決定する関連情報決定部と、
   　を備える映像関連情報決定装置。　
2. 　前記産業機械の動作を示す映像を取得する映像取得部と、
   前記イベントの発現時刻を基に、前記映像取得部が取得した映像と、前記関連情報とを紐づける紐づけ部と、
   　を備える請求項１記載の映像関連情報決定装置。
3. 　前記関連情報決定部は、前記トリガイベントを起点として、時間をさかのぼりながらイベントセットに含まれるイベントの発現を示すデータの検索を行う、請求項１記載の映像関連情報決定装置。
4. 　前記紐づけ部は、前記イベントの発現時間を示すシークバーを生成する、請求項１記載の映像関連情報決定装置。
5. 　前記トリガイベントはユーザの操作データであり、前記イベントセットはユーザの操作データの組み合わせであり、
   　前記関連情報決定部は、前記イベントセットを基に、前記映像を撮影した時点に実行された作業を決定し、前記作業の関連情報を決定する、請求項１記載の映像関連情報決定装置。
6. 　前記トリガイベントは前記産業機械のアラームであり、前記イベントセットは前記アラームの原因である、請求項１記載の映像関連情報決定装置。
7. 　１つ又は複数のプロセッサが実行することにより、
   　産業機械の状態を示すデータを取得し、
   　前記産業機械のデータ履歴を記憶し、
   　前記データを検索し、トリガイベントの発現を検出し、前記データ履歴として記憶した過去のデータを検索し、前記トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、前記イベントセットに対応する関連情報を決定する、
   　前記プロセッサが読み取り可能な命令を記憶する記憶媒体。

Images