WO2023218640A1 - 映像生成装置、及びコンピュータが読み取り可能な記憶媒体 - Google Patents

Abstract

映像生成装置は、産業機械の表示画面を含む、前記産業機械の映像を取得し、産業機械の機械状態を示すデータを取得し、表示画面の種類を判別し、表示画面の種類と産業機械の状態情報を元に、データの一部を抽出し、抽出したデータと取得した映像とを同時に表示する映像を生成する。

Description

映像生成装置、及びコンピュータが読み取り可能な記憶媒体

　本発明は、映像生成装置、及びコンピュータが読み取り可能な記憶媒体に関する。

　現在、産業機械の状態を記録し、制御の効率化や機械の保全に活用する技術が存在する。このような技術では、産業機械に関連するデータを収集し、収集したデータを分析することにより、産業機械の状態を把握し、産業機械の故障を防止したり、製品の品質を確認したり、生産管理の改善に活用したりしている。

　産業機械、及びその周囲に設けられたセンサが検出した機械は、データロガーと呼ばれるデータ収集装置に記録される。工場内には、多数のデータロガーが設けられており、工場内の機械の状態を記録している。
　また、機械の動作順序を制御するＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）や工作機械を制御する数値制御装置（Ｎｕｍｅｒｉｃａｌ　Ｃｏｎｔｒｏｌｌｅｒ）も内部に記録部を備えており、制御情報や状態情報を記憶している。

　収集したデータは、オペレータが視認しやすい形式に変換される。特許文献１には、「時刻負荷手段が、制御装置から取得した制御データ、カメラから取得した画像データ、および制御対象機器から取得した音響データを取得すると、それぞれのデータを取得した時点の時刻を付加した、時刻付加制御データ、時刻付加画像データ、時刻付加音響データを作成し、これらを一時ファイルに記憶させ、その後、ログデータ形成手段が、一時ファイルに記憶されている時刻付加制御データ、時刻付加画像データ、時刻付加音響データのうち、最も時刻が近い組の時刻付加制御データ、時刻付加画像データ、時刻付加音響データを読み出し、時刻、制御データ、画像データおよび音響データを有するログデータを形成するようにしたことにより、各データの同期を取りながら再生することができる」と記載されている。特許文献１によれば、制御対象機器の画像、音響、ログを時刻で同期を取りながら再生する。

　特許文献２には、「コントローラには、ロボットを撮影するカメラが接続されており、撮影で得られたロボットの挙動を示す画像データを電気信号の形式でコントローラに供給する」、「エラー（イベント）が発生した場合に、動作ログとは別個に、当該エラーに関連するエラー記録を作成する」と記載されている。特許文献２によれば、画像の撮影時にイベントが発生すると、イベントと画像とを関連付けて記録する。

特開２００１－１２５６１２号公報 特開２０１９－１５０９２３号公報

　特許文献１では画像とログとを同時に表示し、特許文献２ではイベント発生時のログ（データ）を記録する。エラー発生時のログと画像があれば、エラー発生時の状況が解明され、エラーの原因究明に役立つ。

　産業機械のデータ管理の分野では、視認性の向上という課題がある。

　本開示の一態様である映像生成装置は、産業機械の表示画面を含む、産業機械の映像を取得する映像取得部と、産業機械の機械状態を示すデータを取得するデータ取得部と、表示画面の種類を判別する画面判別部と、表示画面の種類と、産業機械の状態情報を元に、データの一部を抽出するデータ抽出部と、データ抽出部が抽出したデータと、データ取得部が取得した映像とを同時に表示する映像を生成する映像生成部と、を備える。
　本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、産業機械の表示画面を含む、産業機械の映像を取得し、産業機械の機械状態を示すデータを取得し、表示画面の種類を判別し、表示画面の種類と、産業機械の状態情報を元に、映像の生成に用いるデータを抽出し、抽出したデータと、取得した映像とを同時に表示する映像を作成する、プロセッサが読み取り可能な命令を記憶する。

　本発明の一態様により、記録映像の視認性を向上することができる。

映像生成装置の適用範囲を示す図である。 映像生成装置のブロック図である。 マシニングセンタの外観図である。 データの抽出条件を示す表である。 工具補正量の設定手順を示すフローチャートである。 工具補正画面の一例である。 工具計測器の機械座標値を説明する図である。 ワーク座標の設定を説明する図である。 工具と工具計測器の位置関係を示す図である。 工具長の設定を説明する図である。 従来の映像の一例を示す図である。 本開示を適用した映像の一例を示す図である。 映像生成装置のハードウェア構成図である。

　以下、本開示を適用した映像生成装置１００について説明する。映像生成装置は、工場に配置される産業機械の映像及び産業機械の状態を示すデータを取得する。映像及びデータは、データロガー、ＰＬＣ、内部及び外部サーバ、数値制御装置などに蓄積されている。映像生成装置１００は、既に蓄積されたデータを取得し、産業機械の動作を示す記録映像を生成する。記録映像は、産業機械の映像と、産業機械の状態を説明するデータから構成される。

　映像生成装置１００は、ＰＣ（パーソナルコンピュータ）、サーバ、携帯端末などの情報処理装置に適用される。具体的には、映像生成装置１００は、図１に示すように、工場の管理者が使用するＰＣ、クラウド上のサーバ、機械メーカや制御機械メーカのオペレータが使用するＰＣ、工場の管理者が使用する携帯端末などに適用されるが、これに限定さない。映像生成装置１００が生成した映像は、産業機械の管理（保守、生産管理など）に活用される。

　図２は、映像生成装置１００のブロック図である。映像生成装置１００は、映像取得部１、データ取得部２、画面判別部３、抽出条件記憶部４、データ抽出部５、映像生成部６を備える。

　映像取得部１は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、工場内の機械や設備の映像を取得する。本開示では、工作機械と数値制御装置が一体化したマシニングセンタの映像を取得する例を説明する。図３は、マシニングセンタの外観である。本開示のマシニングセンタには、２台のカメラが設けられている。一方のカメラはテーブルに取り付けられたワークを撮像し、他方のカメラは操作盤を撮影する。操作盤はボタンやダイヤルのみを撮影し、表示画面はキャプチャしてもよい。
　映像取得部１が取得する映像には時刻情報が付加されており、機械状態を表すデータ（後述）とマージすることができる。
　なお、本開示において、映像とは、動画と静止画の両方を含む。複数の静止画を連続的に表示した画像も映像に含む。
　また、本開示では、マシニングセンタの機内の映像と、数値制御装置の操作画面と数値制御装置の操作盤とを並べて表示するが、数値制御装置の操作盤又は数値制御装置の操作画面のいずれか一方のみを表示してもよい。

　データ取得部２は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、数値制御装置及び工作機械に関するデータを取得する。データ取得部２が取得するデータには、数値制御装置の状態情報、操作入力情報、工作機械の制御情報などがある。数値制御装置の状態情報とは、数値制御装置の内部変数などに設定されており、数値制御装置のモード、工具オフセット量、アラーム、時刻、加工部品数、モーダル情報、位置情報（座標系）、各種信号などがある。操作入力情報には、タッチパネルへの入力と、物理的なボタンやダイヤル、ハンドルによる入力がある。工作機械の制御情報は、工作機械の制御に必要な物理量、工作機械の状態情報などである。工作機械の制御情報には、電力消費量、サーボモータへの負荷、センサで計測したデータ（温度や圧力）などがある。

　画面判別部３は、データ取得部２が取得したデータ、及び映像取得部１が取得した映像を元に表示画面の種類を判別する。映像を元に表示画面の種類を判別するには、公知の画像解析を用いる。画像解析により表示されている画面がなんの画面であるかを判別してもよい。画像解析を用いて、ユーザの操作したボタン、工具の種類及び位置、ワークの設置及び位置、加工の開始及び終了などの情報を判別してもよい。
　データ取得部２が取得したデータには、数値制御装置の状態情報、数値制御装置の操作入力情報、工作機械の制御情報などがある。数値制御装置の状態情報には、数値制御装置のモード情報がある。画面判別部３は、数値制御装置の機械状態及び操作入力から、表示画面の種類を判別する。表示画面は、画面ＩＤで判別できる。

　抽出条件記憶部４は、データの抽出条件を記憶する。抽出するデータは、表示画面の種類と、数値制御装置（産業機械）の状態によって決まる。

　図４に抽出条件の一例を示す。図４の上の表は、表示画面の種類に対する抽出条件を定義しており、表示画面の種類が「工具画面」のとき、「工具データの変更情報」は抽出せず、「工具データの変更情報以外の機械状態の変化に関するデータ」を抽出すると定義している。「工具画面」には、「工具データの変更情報」が表示されるので、表示画面からは判断できないデータのみを抽出する。
　表示画面の種類が「ワーク座標画面」のとき、「ワーク座標データの変更情報」は抽出せず、「ワーク座標データの変更情報以外の機械の状態変化に関するデータ」を抽出すると定義している。「ワーク座標画面」には、「ワーク座標データの変更情報」が表示されるので、表示画面から判断できないデータを抽出する。
　表示画面が「マクロ変数画面」のとき、「マクロ変数データの変更情報」は抽出せず、「マクロ変数データの変更情報以外の機械の状態変化に関するデータ」を抽出すると定義している。「マクロ変数画面」には、「マクロ変数データの変更情報」が表示されているので、表示画面から判断できないデータを抽出する。
　図４の下の表は、状態情報に対する抽出条件を定義している。数値制御装置が「自動運転実行中」のとき、「座標値の情報」は抽出せず、「座標値の情報以外の機械の状態変化に関するデータ」を抽出すると定義している。

　データ抽出部５は、抽出条件記憶部４に記憶する抽出条件に基づき、データを抽出する。抽出するデータには、生成した映像に常時表示するデータと、データの値が変化したときのみ表示するデータがある。
　常時表示するデータの場合、定期的にデータを読み出す。
　データの値が変化したときのみ表示するデータの場合、データの変化（変更）を検出すると、抽出条件を参照し、データを抽出するか否かを判断する。データ抽出部５は、抽出したデータにタイムスタンプを付加する。タイムスタンプはデータが変化（変更）した時刻を示す。

 　上記で例示するように、抽出条件は、表示画面が提供する情報と重複する情報を除外する条件となる。

　図５を参照し、工具長補正画面が表示されたときの、データ抽出について説明する。
　データ抽出部５は、工具補正量の設定開始を指示するデータを検出し、その指示により工具補正画面が表示されたと判断する（ステップＳ１）。図６は、工具補正画面の一例である。図６の工具補正画面では、工具番号、工具形状の補正量（工具長）、摩耗補正量（工具長）、工具形状の補正量（工具径）、摩耗補正量（工具径）の一覧表示と、相対座標、絶対座標、機械座標が表示されている。工具オフセット画面の下部には、補正量の入力ボタン、消去ボタンが表示されている。

　データ抽出部５は、工具補正画面に対応する抽出条件を読み出す（ステップＳ２）。

　データ抽出部５は、抽出条件に含まれるデータの変化を検索する（ステップＳ３）。

　データ抽出部５は、データ取得部２が取得したデータを基に、工具計測器のスイッチを原点とするワーク座標系（絶対座標）の設定（変化）を検出する（ステップＳ４）。
　制御盤を操作するとき「↑（上向き矢印）」、「↓（下向き矢印）」、「←（左向き矢印）」、「→（右向き矢印）」などのキー入力を行うが、このような入力信号の変化は映像から判断できるので表示データとして抽出しない。
　図８の例では、工具計測器のスイッチの機械座標「Ｘ：３００．０」、「Ｙ：２４０．０」、「Ｚ：－３８０．０」をワーク座標原点「Ｇ５５」に設定する。ワーク座標原点「Ｇ５５」の設定は、映像から判断できるため、表示データとして抽出されない。

　データ抽出部５は、計測対象となる工具の選択（変化）を検出する（ステップＳ５）。工具に関するデータは、図６の工具補正画面から判断できない。そのため、「工具交換：Ｔ１→Ｔ５」など、工具に関するデータを表示データとして抽出する。なお、選択された工具が複数の場合、ステップＳ４からステップＳ５までの処理を複数回繰り返す。

　データ抽出部５は、「メモリモード」から「ハンドルモード」へのモードの切り替え（変化）を検出する（ステップＳ６）。
　「メモリモード」とはプログラムに従って数値制御装置が自動的に動くモードであり、「ハンドルモード」とはハンドル操作で主軸を動かすモードである。モードの抽出条件は、「常時表示」である。データ抽出部５は、モードを示すデータを抽出する。

　データ抽出部５は、ハンドルの操作方向の変化を検出する（ステップＳ７）。手動操作の結果、工具は工具計測器の真上に配置される（図９参照）。
　ハンドルの操作方向は映像から判断できないので、操作方向のデータ、例えば、「ＨＡＮＤＬＥ　＋Ｚ」、「ＨＡＮＤＬＥ　－Ｚ」、「ＨＡＮＤＬＥ　＋Ｘ」、「ＨＡＮＤＬＥ　－Ｘ」などは、表示データとして抽出される。

　主軸の先端には、工具が取り付けられている。主軸を工具計測器の方向に移動すると（図１０参照）、工具の先端が工具計測器に接触する（ステップＳ８）。工具計測器のスイッチ位置をワーク座標原点「Ｇ５５」と設定したため、工具が工具計測器に接触したときのワーク座標原点「Ｇ５５」を原点としたときのＺ軸の値は工具長を示す。図１０の例では、Ｚ軸の値は「１１０．０００」である。

　データ抽出部５は、工具形状補正量の設定（変化）を検出する（ステップＳ９）。図１０の例では、工具番号「００２」の工具長補正量が「１１０．０００」に設定される。工具長補正量は、「０．０００」から「１１０．０００」に変化するが、この変化は映像から判断できるので表示データとして抽出されない。

　映像生成部６は、映像取得部１が取得した映像と、データ抽出部５が抽出したデータとを、時刻でマージし、機械の状態変化をデータで表示する画面を作成する。
　図１１及び図１２を参照して表示画面の変化を説明する。図１１は従来の映像生成装置１００で生成した映像の例であり、図１２は本開示を適用した映像生成装置１００で生成した映像の例である。

　従来の映像（図１１）では、工具オフセットが設定された時点の映像に対し、「工具長補正量　ＨＧ　０００５　１０．２６４－＞１０２．６４０」、「ＭＤＩモード」、「操作Ｇ００１４．１」というデータが表示される。

　本開示を適用した映像（図１２）では、工具長補正量の変化は表示しない。そのため、「ＭＤＩモード」、「操作Ｇ００１４．１」のみが表示される。表示されるデータの数が少ないため、産業機械の動作及び表示画面がテキストで隠れることがない。

　映像の解析を行うとき、全てのデータを画面に表示すると、データの数が多くなり、画面が煩雑になる。本開示では、映像が撮影された時点での、データの抽出条件を設定し、抽出条件に適合するデータを表示データとして抽出する。表示データはタイムスタンプを付して保存する。映像生成装置は、時刻をキーとして、映像とデータをマージし、データを映像に重ねて表示する。
　本開示の映像生成装置によれば、表示データの数が抑えられるので、視認性のよい表示画面が提供できる。

　以下、本開示を適用した映像生成装置のハードウェア構成について説明する。図１３は、映像生成装置１００のハードウェア構成図である。映像生成装置１００は、図１に示すように、映像生成装置１００を全体的に制御するＣＰＵ１１１、プログラムやデータを記録するＲＯＭ１１２、一時的にデータを展開するためのＲＡＭ１１３を備え、ＣＰＵ１１１はバスを介してＲＯＭ１１２に記録されたシステムプログラムを読み出し、システムプログラムに従って映像生成装置１００の全体を制御する。

　不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、映像生成装置１００の電源がオフされても記憶状態が保持される。不揮発性メモリ１１４には、インタフェース１１５、１１８、１１９を介して外部機器から読み込まれたプログラムや入力部３０を介して入力されたユーザ操作などの各種データが記憶される。

１００　　　映像生成装置
　　１　　　映像取得部
　　２　　　データ取得部
　　３　　　画面判別部
　　４　　　抽出条件記憶部
　　５　　　データ抽出部
　　６　　　映像生成部
１１１　　　ＣＰＵ
１１３　　　ＲＡＭ
１１４　　　不揮発性メモリ

Claims (9)

1. 　産業機械の表示画面を含む、前記産業機械の映像を取得する映像取得部と、
   　前記産業機械の機械状態を示すデータを取得するデータ取得部と、
   　前記表示画面の種類を判別する画面判別部と、
   　前記表示画面の種類と、前記産業機械の状態情報を元に、前記データの一部を抽出するデータ抽出部と、
   　前記データ抽出部が抽出したデータと、前記データ取得部が取得した映像とを同時に表示する映像を生成する映像生成部と、
   　を備える映像生成装置。　
2. 　前記映像取得部が取得した映像には前記映像を撮影した時刻が含まれ、
   　前記データ取得部が取得したデータが出力された時刻が付加されており、
   　前記映像生成部は、前記時刻をキーとして、映像とデータをマージさせる、請求項１記載の映像生成装置。
3. 　前記画面判別部は、前記映像取得部から取得した表示画面に基づき、前記表示画面の種類を判別する、請求項１記載の映像生成装置。
4. 　前記画面判別部は、前記データ取得部が取得したデータに含まれる、前記産業機械の動作モード又は操作信号の少なくとも一方に基づき、前記表示画面の種類を判別する、請求項１記載の映像生成装置。
5. 　前記データ抽出部は、前記画面判別部が判定した表示画面が提供する情報と重複するデータを除外して抽出する、請求項１記載の映像生成装置。
6. 　前記データ抽出部は、前記データ取得部が取得したデータに含まれる、前記産業機械の動作モード又は信号の少なくとも一方に基づき、データを抽出する、請求項１記載の映像生成装置。
7. 　前記データ抽出部は、前記データ取得部が取得したデータの値が変化すると、変化したデータを抽出するか否かを判断する、請求項１記載の映像生成装置。
8. 　前記データ抽出部の抽出条件には、データの値の変化に関わらず常時抽出されるデータが含まれる、請求項７記載の映像生成装置。
9. 　１つ又は複数のプロセッサが実行することにより、
   　産業機械の表示画面を含む、前記産業機械の映像を取得し、
   　前記産業機械の機械状態を示すデータを取得し、
   　前記表示画面の種類を判別し、
   　前記表示画面の種類と、前記産業機械の状態情報を元に、映像の生成に用いるデータを抽出し、
   　前記抽出したデータと、前記取得した映像とを同時に表示する映像を作成する、
   　前記プロセッサが読み取り可能な命令を記憶する記憶媒体。

Images