JP7275327B1 - プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラム - Google Patents

プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラム Download PDF

Info

Publication number
JP7275327B1
JP7275327B1 JP2021575079A JP2021575079A JP7275327B1 JP 7275327 B1 JP7275327 B1 JP 7275327B1 JP 2021575079 A JP2021575079 A JP 2021575079A JP 2021575079 A JP2021575079 A JP 2021575079A JP 7275327 B1 JP7275327 B1 JP 7275327B1
Authority
JP
Japan
Prior art keywords
moving image
log
time
reference point
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021575079A
Other languages
English (en)
Other versions
JPWO2022259379A1 (ja
Inventor
偉浩 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022259379A1 publication Critical patent/JPWO2022259379A1/ja
Application granted granted Critical
Publication of JP7275327B1 publication Critical patent/JP7275327B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058Safety, monitoring
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054Input/output
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • General Factory Administration (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PLC(10)は、クロック素子(120)と、クロック素子が発するクロック信号に基づいて、ログを記録時刻とともに記憶装置(110)に記録するログ記録部(101)と、撮像装置により撮像された動画像を示す動画像データを撮像装置から取得する動画像データ取得部(102)と、クロック素子(120)が発するクロック信号に基づいて、動画像データが示す動画像のフレーム速度を測定するフレーム速度測定部(103)と、フレーム速度に基づいて動画像データが示す動画像に付される時刻を補正する補正部(104)と、補正部(104)により補正された時刻が付された動画像を示す新たな動画像データ(DM)を記憶装置(110)に保存する動画像保存部(105)と、を備える。

Description

本開示は、プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラムに関する。
FA(Factory Automation)の分野において、PLC(Programmable Logic Controller:プログラマブルロジックコントローラ)が記録したログと、撮像装置により撮像された生産設備の動画像とを用いて、生産設備に生じるトラブルの原因究明を行うことがある。例えば、生産設備が異常な動作をした際に、その異常な操作についての動画像と、動画像に付された時刻におけるログとを照合して、その異常な操作の原因を究明することがある。なお、動画像に付された時刻として、例えば撮像装置により動画像の各フレームが撮像された時刻、PLCにより動画像の各フレームのデータが取得された時刻などが考えられる。
ここで、原因究明の際に、動画像に付された時刻と、ログの記録時刻との間に不整合があると、原因究明に支障が生じる可能性があるため、動画像に付された時刻とログの記録時刻とを整合させる技術が必要とされている。
特許文献1には、撮像装置とPLCとを専用の低遅延な撮像トリガラインにて接続することにより、動画像に付された時刻とログの記録時刻とを精度良く同期させる技術が示されている。特許文献1に記載の技術により、動画像に付された時刻とログの記録時刻とを整合させることができる。
特開2020-134985号公報
特許文献1に記載の技術では、撮像装置とPLCとを専用の撮像トリガラインにて接続する必要がある。そのため、撮像装置については、ネットワークカメラ、Webカメラ等の一般的に普及している撮像装置を採用することができず、撮像トリガラインに対応した専用の撮像装置を用意する必要がある。
本開示の目的は、上記の事情に鑑み、一般的な撮像装置を採用しても、動画像に付された時刻とPLCが記録したログの記録時刻とを整合できるプログラマブルロジックコントローラ等を提供することにある。
上記の目的を達成するため、本開示に係るプログラマブルロジックコントローラは、
クロック素子と、
前記クロック素子が発するクロック信号に基づいて、ログを記録時刻とともに第1記憶装置に記録するログ記録手段と、
撮像装置により撮像された動画像を示す動画像データを前記撮像装置から取得する動画像データ取得手段と、
前記クロック素子が発するクロック信号に基づいて、前記動画像データが示す動画像のフレーム速度を測定するフレーム速度測定手段と、
前記フレーム速度に基づいて前記動画像データが示す動画像に付される時刻を補正する補正手段と、
前記補正手段により補正された時刻が付された動画像を示す新たな動画像データを第2記憶装置に保存する動画像保存手段と、
を備える。
本開示によれば、一般的な撮像装置を採用しても、動画像に付された時刻とPLCが記録したログの記録時刻とを整合できる。
本開示の実施の形態1に係る動画像管理システムの全体構成を示す図 本開示の実施の形態1に係る動画像管理システムにおいて回避すべき動画像の不整合を説明する図 本開示の実施の形態1に係るPLCの構成を示す図 本開示の実施の形態1に係るPLCによる動画像の補正を説明する図 本開示の実施の形態1に係る動画像管理装置の構成を示す図 本開示の実施の形態1に係る動画像管理装置により表示されるログ基準点の指定画面の一例を示す図 本開示の実施の形態1に係る動画像管理装置により表示される動画像基準点の指定画面の一例を示す図 本開示の実施の形態1に係るPLCによる動画像の時刻補正についての動作の一例を示すフローチャート 本開示の実施の形態1に係る動画像管理装置によるログと動画像との連動再生についての動作の一例を示すフローチャート 本開示の実施の形態2に係るPLCの構成を示す図 本開示の実施の形態2に係るPLCの記憶装置に保存されるデータを示す図 本開示の実施の形態2に係るPLCによる、パターンに基づく動画像の時刻補正についての動作の一例を示すフローチャート 本開示の変形例に係る動画像管理装置により表示されるログ基準点の通知画面の一例を示す図 本開示の変形例に係る動画像管理装置により表示される動画像基準点の通知画面の一例を示す図
以下、図面を参照しながら、本開示の実施の形態に係る動画像管理システムを説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
(実施の形態1)
図1を参照しながら、実施の形態1に係る動画像管理システム1を説明する。動画像管理システム1は、例えば生産設備が設置された生産現場に設けられる。動画像管理システム1は、PLC10と動画像管理装置20とカメラ30とを備える。後述するとおり、動画像管理システム1によれば、カメラ30により撮像された生産設備の動画像に付された時刻と、PLC10が記録したログの記録時刻とを整合させることができる。動画像管理システム1は、本開示に係る動画像管理システムの一例である。
PLC10と動画像管理装置20とは、例えば汎用的な通信ケーブルにより通信可能に接続されている。同様にPLC10とカメラ30とは、例えば汎用的な通信ケーブルにより通信可能に接続されている。汎用的な通信ケーブルとは、例えば汎用的なUSB(Universal Serial Bus)ケーブル、汎用的なネットワークケーブルなどの一般的な通信ケーブルである。これらのケーブルは、極めて低いジッタ、極めて低いレイテンシ等を実現するといった特定用途に特化した専用の通信ケーブルではない。
カメラ30は、例えば市販されているネットワークカメラ、Webカメラ等の一般的な撮像装置である。ネットワークカメラ、Webカメラ等の一般的な撮像装置は、極めて低いジッタ及び極めて低いレイテンシにて動画像データを送信することは想定されずに製造されている。カメラ30は、生産設備を一定時間間隔にて継続的に撮像する。カメラ30は、生産設備を継続的に撮像して得られた動画像を示す動画像データをPLC10に送信する。図1ではカメラ30を1つのみ示しているが、カメラ30は複数存在してもよい。カメラ30は、本開示に係る撮像装置の一例である。
PLC10は、プログラマブルロジックコントローラである。PLC10には、動画像管理装置20及びカメラ30のほか、図示しないセンサ、アクチュエータ等が接続されている。PLC10は、カメラ30により撮像された動画像を示す動画像データをカメラ30から取得する。後述するとおり、PLC10は、自身の動作に関するログを記録する。また、後述するとおり、PLC10は、取得した動画像データが示す動画像に付される時刻を補正し、動画像データを保存する。PLC10は、本開示に係るプログラマブルロジックコントローラの一例である。
動画像管理装置20は、PLC10が記録したログと、PLC10が保存した動画像データとを読み出し、ログと動画像とを連動再生する。連動再生とは、動画像を再生する際に、現在再生対象となっている時刻におけるログを動画像とともに表示することをいう。この連動再生により、例えばユーザは、ログが異常を示すデータを記録した時刻において生産設備がどのような状態になっていたのかを、連動再生していた動画像を見ることにより確認できる。また、逆に、ユーザは、動画像において生産設備に異常が発生していることを発見したときに、連動再生していたログを見て、異常が発生した時刻においてログがどのようなデータを記録しているかを確認することができる。動画像管理装置20は、本開示に係る動画管理装置の一例である。
また、詳細は後述するが、実施の形態1において、動画像管理装置20は、連動再生にあたり、ユーザの指定に基づいてログと動画像との時刻のずれを補正して連動再生を行う。
次に、図2を参照しながら、動画像管理システム1において回避すべき動画像の不整合を説明する。
まず、「撮像時」の段について説明する。「撮像時」の段においては、カメラ30が一定時間間隔にて生産設備を撮像し連続的に撮像画像を得ていることが示されている。「時刻」の軸に刻まれている各縦棒が、それぞれ1枚の撮像画像、つまり動画像における1フレームを示す。「撮像時」の段においては、縦棒が一定間隔にて並べられているため、動画像の各フレームが一定時間間隔で得られていることが示されている。カメラ30は、各フレームが得られ次第、各フレームを示す画像データをPLC10に送信する。
しかし、カメラ30の撮像時には一定時間間隔で得られていた各フレームは、ジッタの発生によりPLC10が受信する際には必ずしも一定時間間隔にて受信できるとは限らない。また、カメラ30にて使用されるクロック素子とPLC10にて使用されるクロック素子とが異なりクロック差が生じることから、カメラ30の撮像時におけるフレーム間の時間間隔と、PLC10の受信時におけるフレーム間の時間間隔とが等しくならないことがある。また、カメラ30とPLC10とは汎用的な通信ケーブルにて接続されていることから、各フレームの送信にあたりレイテンシも生じる。
以上の事情から、カメラ30が各フレームを撮像した時刻と、PLC10が各フレームを示す画像データを受信した時刻とは、一般的には一致しない。そのため、PLC10が各フレームを受信した時刻に基づいて動画像とログとを対応付けようとしても、各フレームに対応付けられた時刻とログに対応付けられた時刻とが現実には一致せず、不整合が生じてしまう。以下、不整合の原因となるクロック差、ジッタ、レイテンシについて詳細に説明する。
まず、クロック差について説明する。図2に示す「クロック差発生時」の段は、「ジッタ」及び「レイテンシ」は発生せず、「クロック差」のみ発生している場合における、PLC10の受信時におけるフレーム間隔を示す。「クロック差発生時」の段において、各フレームの間隔は一定であるものの、クロック差を原因としてフレーム間隔が「撮像時」のものと異なっている。例えば「クロック差発生時」の段には、撮像時における7フレーム分の時間と、受信時における7フレーム分の時間とを比較して受信時における7フレーム分の時間のほうが長いことが示されている。そのため、受信時における時刻は撮像時における時刻と一致せず、動画像とログとを対応付ける際に不整合が生じうる。
次に、ジッタについて説明する。図2に示す「ジッタ発生時」の段は、「クロック差」及び「レイテンシ」は発生せず、「ジッタ」のみ発生している場合における、PLC10の受信時におけるフレーム間隔を示す。「ジッタ発生時」の段に示すとおり、ジッタにより受信時におけるフレーム間隔が一定とならず、揺らぎが生じている。そのため、受信時における時刻は撮像時における時刻と一致せず、動画像とログとを対応付ける際に不整合が生じうる。
そして、レイテンシについて説明する。図2に示す「レイテンシ」の段は、「クロック差」及び「ジッタ」は発生せず、「レイテンシ」のみ発生している場合における、PLC10の受信時におけるフレーム間隔を示す。「レイテンシ」の段においては、フレーム間隔は一定かつ撮像時と等しい間隔であるものの、各フレームの受信時刻が撮像時よりも遅れている。この「遅れ」、つまりレイテンシは、例えば通信ケーブル、通信インタフェースに起因する遅延により生じる。そのため、受信時における時刻は撮像時における時刻と一致せず、動画像とログとを対応付ける際に不整合が生じうる。なお、レイテンシは、通信ケーブル、通信インタフェース等に起因することから、概ね一定であることが期待できる。
図2の各段においては、「クロック差」「ジッタ」「レイテンシ」のいずれか1つのみが発生するものとして説明したが、一般的には、これら3つの全てが生じる。そのため、これら3つに対応して不整合を解消する必要がある。
後述するように、PLC10により「クロック差」及び「ジッタ」に対応でき、動画像管理装置20により「レイテンシ」に対応できる。
次に、図3を参照しながら、PLC10の構成を説明する。PLC10は、プロセッサ100と記憶装置110とクロック素子120と通信インタフェース130とを備える。プロセッサ100と記憶装置110とクロック素子120と通信インタフェース130とは、バスB1を介して互いに通信可能に接続されている。
プロセッサ100は、例えばCPU(Central Processing Unit:中央演算装置)である。プロセッサ100が、記憶装置110に記憶された制御プログラムDPを読み込んで実行することにより、後述する各機能が実現される。
記憶装置110は、例えばRAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶装置を含む。記憶装置110は、ログDLと動画像データDMと制御プログラムDPとバッファリングデータDBとを保存する。ログDL、動画像データDM及びバッファリングデータDBについては後述する。また、記憶装置110は、プロセッサ100が制御プログラムDPを読み込んで実行する際のワークメモリとして機能する。記憶装置110は、本開示に係る第1記憶装置及び第2記憶装置の一例である。
クロック素子120は、プロセッサ100、記憶装置110及び通信インタフェース130が動作する際に使用するクロック信号を発する。クロック素子120は、本開示に係るクロック素子の一例である。
通信インタフェース130は、例えばUSBインタフェース、ネットワークインタフェース等の一般的な通信インタフェースである。通信インタフェース130に動画像管理装置20及びカメラ30が接続されることにより、PLC10は動画像管理装置20及びカメラ30と通信することができる。
プロセッサ100が制御プログラムDPを読み込んで実行することにより実現される各機能を説明する。プロセッサ100は、制御プログラムDPを読み込んで実行することにより、機能部として、ログ記録部101と、動画像データ取得部102と、フレーム速度測定部103と、補正部104と、動画像保存部105とを備える。
ログ記録部101は、図示しないセンサから取得したセンサデータ、PLC10の内部状態を示すデータ等についてのログを、ログDLとして記憶装置110に記録する。ログ記録部101は、ログを記録する際に、クロック素子120が発するクロック信号に基づいて、記録時刻とともにログを記録する。ログ記録部101は、本開示に係るログ記録手段の一例である。
動画像データ取得部102は、カメラ30が撮像した動画像を示す動画像データを取得し、記憶装置110にバッファリングデータDBとして保存することにより動画像データをバッファリングする。この際、動画像データ取得部102は、各フレームを受信した時刻についてもバッファリングデータDBに保存する。なお、各フレームを受信した時刻は、クロック素子120が発するクロック信号に基づいて得られる。ここで、バッファリングデータDBには上限容量が設定され、バッファリングデータDBのデータサイズが上限容量に達したときには、古いデータから削除される。バッファリングデータDBは、例えばリングバッファのデータ構造により実現される。バッファリングデータDBのデータサイズは、例えば30分の動画像を保存できる程度のデータサイズである。動画像データ取得部102は、本開示に係る動画像データ取得手段の一例である。
フレーム速度測定部103は、記憶装置110にバッファリングされた動画像データを読み込み、クロック素子120が発するクロック信号に基づいて、動画像データが示す動画像のフレーム速度を測定する。フレーム速度測定部103は、本開示に係るフレーム速度測定手段の一例である。
以下、図4を参照しながら、フレーム速度の測定について説明する。まず、前提として、動画像の各フレームには、時系列順に連番のフレーム番号が付されているものとする。例えば、カメラ30が起動後最初に撮像したフレームに付されるフレーム番号を0とし、フレーム番号0の次に撮像したフレームのフレーム番号を1、その次を2、・・・とする。
図4に示す黒点は、バッファリングデータDBに保存された動画像データにおける、各フレームのフレーム番号と受信時刻との対応関係を示すグラフである。図4に示す黒点の近辺を通る直線は、各フレーム番号と各受信時刻とに対して最小二乗法を適用して得られた直線である。この直線は、例えば以下の式(1)にて表される。
y=0.0169x+D ・・・式(1)
ここで、xはフレーム番号、yは受信時刻、Dはy切片である。この数式におけるxの係数「0.0169」が、平均フレーム間隔となる。つまり、この逆数がフレーム速度となる。したがって、フレーム速度を測定することは、式(1)を求めることと等価である。
ここで、バッファリングデータDBにおける受信時刻はクロック素子120が発するクロック信号に基づいて付されるものである。そのため、上記の式(1)も、クロック信号に基づいて得られたものである。そのため、式(1)はクロック信号に基づいて得られたものであり、式(1)にて求められる受信時刻については、「クロック差」に関する問題が解消されている。また、式(1)はフレーム番号xについての一次関数であることから、各フレーム間において式(1)で求められる受信時刻の差は一定である。そのため、式(1)にて求められる受信時刻については、「ジッタ」に関する問題も解消されている。つまり、式(1)にて求められる受信時刻については、「クロック差」「ジッタ」の2つの問題に対応したものとなる。
後述するとおり、「レイテンシ」についての問題は動画像管理装置20にて対処するので、この段階では「クロック差」「ジッタ」の2つの問題に対応すれば十分である。まとめると、フレーム速度測定部103は、クロック素子120が発するクロック信号に基づいて、動画像データが示す動画像のフレーム速度を測定することにより(つまり式(1)を求めることにより)、「クロック差」「ジッタ」の2つの問題に対応する。
再び図3を参照する。補正部104は、フレーム速度測定部103が測定したフレーム速度に基づいて、動画像の各フレームに付される受信時刻を式(1)により補正する。補正部104により補正される時刻はレイテンシを考慮していないものではあるが、上記のとおりレイテンシについては動画像管理装置20にて対処する。補正部104は、本開示に係る補正手段の一例である。
動画像保存部105は、トリガが発生したときに、バッファリングデータDBに含まれる動画像データのうち、トリガ発生時刻の近辺の動画像データを抽出し、各フレームについて補正部104にて補正された受信時刻を付した新たな動画像データを動画像データDMとして記憶装置110に保存する。ここでいうトリガとは、動画像保存部105に動画像の保存を指示するための信号をいう。例えばログDLに生産設備の異常に関するログが記録されたとき、生産設備に異常が生じた時点の前後における動画像が必要となる可能性が高いので、トリガが発生する。そして動画像保存部105は、トリガの発生に応じて動画像を保存する。トリガ発生時刻の近辺とは、例えばトリガ発生時刻の2分前から2分後までである。動画像保存部105は、本開示に係る動画像保存手段の一例である。
次に、図5を参照しながら、動画像管理装置20の構成を説明する。動画像管理装置20は、プロセッサ200と記憶装置210と入力装置220と表示装置230と通信インタフェース240とを備える。プロセッサ200と記憶装置210と入力装置220と表示装置230と通信インタフェース240とは、バスB2を介して互いに通信可能に接続されている。動画像管理装置20は、例えばパーソナルコンピュータ、スマートフォンなどのコンピュータである。
プロセッサ200は、例えばCPUである。プロセッサ100が、記憶装置210に記憶された制御プログラムを読み込んで実行することにより、後述する各機能が実現される。
記憶装置210は、例えばRAM、HDD、SSD等の記憶装置を含む。記憶装置210は、プロセッサ200にて実行される制御プログラムを保存する。制御プログラムは、例えばPLC10の製造者が提供するエンジニアリングツールのプログラムである。また、記憶装置110は、プロセッサ200が制御プログラムを読み込んで実行する際のワークメモリとして機能する。
入力装置220は、ユーザからの入力操作に基づく信号を出力する。入力装置220は、例えば後述の表示装置230と一体となったタッチスクリーンである。あるいは、入力装置220は、キーボード、マウスなどの入力装置であってもよい。
表示装置230は、後述の表示制御部204の制御に基づいて、ユーザに知らせるべき情報を表示する。表示装置230は、例えば入力装置220と一体となったタッチスクリーンである。あるいは、表示装置230は、独立したディスプレイ装置であってもよい。表示装置230は、本開示に係る表示手段の一例である。
通信インタフェース240は、例えばUSBインタフェース、ネットワークインタフェース等の一般的な通信インタフェースである。通信インタフェース240にPLC10が接続されることにより、動画像管理装置20はPLC10と通信することができる。
プロセッサ200が記憶装置210に保存された制御プログラムを読み込んで実行することにより実現される各機能を説明する。プロセッサ200は、制御プログラムを読み込んで実行することにより、機能部として、データ取得部201と、ログ基準点指定部202と、動画像基準点指定部203と、表示制御部204とを備える。
データ取得部201は、通信インタフェース240を介してPLC10と通信し、PLC10の記憶装置110に保存されたログDLと動画像データDMとを取得する。
ログ基準点指定部202は、ユーザの入力に基づいて、ログDLにおける時系列的な基準点であるログ基準点を指定する。例えばログ基準点指定部202は、後述の表示制御部204に、図6に示すような画面を表示させる。図6に示す画面は、センサ値に関するログをグラフにて時系列的に表示しつつ、ログ基準点となる時刻の指定をユーザに促す画面である。例えばユーザが、図6に示す画面に表示されるグラフを見て、時刻12:00:13.000をログ基準点として指定することを考えたとする。その場合、ユーザは、「OK」ボタンの左にあるテキストボックスに「12:00:13.000」とミリ秒単位にて入力して「OK」ボタンを押すことにより、ログ基準点として時刻12:00:13.000を指定することができる。ログ基準点指定部202は、本開示に係るログ基準点指定手段の一例である。
動画像基準点指定部203は、ユーザの入力に基づいて、動画像データDMが示す動画像における時系列的な基準点である動画像基準点を指定する。例えば動画像基準点指定部203は、後述の表示制御部204に、図7に示すような画面を表示させる。図7に示す画面は、生産設備を撮像して得られた動画像を再生しつつ、動画像基準点となる時点の指定をユーザに促す画面である。例えばユーザが、現在図6に示す画面にて再生されているフレームの時点を動画像基準点として指定したい場合、「停止」ボタンを押して動画像の再生を停止し、その後に画面下部の「はい」のボタンを選択することにより、現在表示されているフレームの時点を動画像基準点として指定できる。動画像基準点指定部203は、本開示に係る動画像基準点指定手段の一例である。
ここで、ユーザは、ログ基準点として指定した時刻と同一時刻と考えられる時点を動画像基準点として指定すべきである。例えば、ユーザは、ログを確認してセンサデータに異常が見受けられた時刻をログ基準点として指定し、動画像を確認して生産設備に異常が見受けられた時点を動画像基準点として指定すべきである。
表示制御部204は、表示装置230を制御して、ログ基準点と動画像基準点とが同一時刻となるように、ログDLと動画像データDMが示す動画像とを連動再生させる。表示制御部204がログ基準点と動画像基準点とが同一時刻となるよう連動再生させることにより、「レイテンシ」により生じる時刻差を補正してログDLと動画像とを同期的に再生することができる。したがって、動画像管理装置20により、「レイテンシ」についての問題に対処することができる。表示制御部204は、本開示に係る表示制御手段の一例である。
次に、図8を参照しながら、PLC10による動画像の時刻補正についての動作の一例を説明する。
PLC10のログ記録部101は、クロック素子120が発するクロック信号に基づいて、ログDLを記録時刻とともに記憶装置110に記録する(ステップS101)。
PLC10の動画像データ取得部102は、カメラ30から動画像データを取得して記憶装置110にバッファリングする(ステップS102)。
PLC10のフレーム速度測定部103は、クロック素子が発するクロック信号に基づいて、バッファリングされた動画像データが示す動画像のフレーム速度を測定する(ステップS103)。具体的には上記のように、最小二乗法により平均フレーム間隔を求める。
PLC10の補正部104は、測定されたフレーム速度に基づいて、動画像の各フレームに付される受信時刻を補正する(ステップS104)。この補正により「クロック差」及び「ジッタ」についての問題が解消する。
PLC10の動画像保存部105は、トリガが発生しているか否かを判定する(ステップS105)。トリガが発生していないと判定されたとき(ステップS105:No)、PLC10のプロセッサ100はステップS101からの動作を繰り返す。
トリガが発生していると判定されたとき(ステップS105:Yes)、動画像保存部105は、補正された受信時刻を付した上で、トリガ発生時刻の近辺の動画像データを記憶装置110に動画像データDMとして保存する(ステップS106)。そしてプロセッサ100はステップS101からの動作を繰り返す。
上記のPLC10による動画像の時刻補正についての動作により、「クロック差」及び「ジッタ」についての問題が解消する。次に、図9を参照しながら、動画像管理装置20によるログと動画像との連動再生についての動作の一例を説明する。この動作により「レイテンシ」についての問題が解消する。
動画像管理装置20のデータ取得部201は、PLC10からログDLを読み出す(ステップS201)。
動画像管理装置20のログ基準点指定部202は、ユーザによるログ基準点の指定を待ち受ける(ステップS202)。ログ基準点指定部202は、例えば上記のように、図6に示す画面を表示させることにより、ユーザによるログ基準点の指定を待ち受ける。
データ取得部201は、PLC10から動画像データDMを読み出す(ステップS203)。
動画像管理装置20の動画像基準点指定部203は、ユーザによる動画像基準点の指定を待ち受ける(ステップS204)。動画像基準点指定部203は、例えば上記のように、図6に示す画面を表示させることにより、ユーザによる動画像基準点の指定を待ち受ける。
動画像管理装置20の表示制御部204は、ログ基準点と動画像基準点とが同一時刻となるように、動画像データDMが示す動画像とログDLとを連動再生させる(ステップS205)。この動作により、「レイテンシ」を補正して動画像とログDLとを同期的に連動再生することができる。そして動画像管理装置20のプロセッサ200は、動画像及びログDLの再生を終えると、連動再生の動作を終了する。
以上、実施の形態1に係る動画像管理システム1を説明した。動画像管理システム1によれば、まず、PLC10のフレーム速度測定部103がクロック素子120のクロック信号に基づいてフレーム速度を測定し、PLC10の補正部104がフレーム速度に基づいて動画像の各フレームの受信時刻を補正することにより、「クロック差」及び「ジッタ」についての問題を解消する。次に、動画像管理装置20のログ基準点指定部202がユーザにログ基準点を指定させ、動画像管理装置20の動画像基準点指定部203がユーザに動画像基準点を指定させ、動画像管理装置20の表示制御部204がログ基準点と動画像基準点とが同一時刻となるように動画像とログDLとを連動再生することにより、「レイテンシ」についての問題を解消する。そして、これらの問題の解消において、カメラ30が一般的な撮像装置であっても適用できる。したがって、実施の形態1に係る動画像管理システム1によれば、一般的な撮像装置を採用しても、動画像に付された時刻とPLCが記録したログの記録時刻とを整合できる。
(実施の形態1の変形例)
実施の形態1において、ログDLと動画像データDMとバッファリングデータDBとは、同一の記憶装置110に保存されるものとしたが、これらはそれぞれ別個の記憶装置に保存されるものであってもよい。例えば、ログDLとバッファリングデータDBとはPLC10が備える記憶装置110に保存されるものとし、動画像データDMは外部の記憶装置に保存されるものであってもよい。
実施の形態1において、フレーム速度測定部103がフレーム速度を求める際に最小二乗法を利用した。しかし、例えば大量の動画像データがバッファリングされている場合、全てのフレームについて最小二乗法を適用するのは計算コストが重い。そのため、フレーム速度測定部103は、例えば50フレームごとに代表となる点を選択し、選択された点についてのみ最小二乗法を適用してもよい。代表となる点は、例えば50フレーム間における各点のうち中央値となる点を選択してもよいし、各点の平均値を採用してもよい。
あるいは逆に、少量の動画像データのみがバッファリングされている場合、データが少なすぎて最小二乗法を適用しても誤差が大きくなってしまう場合がある。この場合、カメラ30の撮像速度が既知であれば、フレーム速度測定部103は、その撮像速度に基づいてフレーム速度を仮定してもよい。例えばカメラ30が1秒間に60回撮像可能である場合、フレーム速度測定部103は、フレーム速度を60fpsと仮定してもよい。この場合、式(1)のxについての係数は0.16667となる。データ数が少ない場合、このような仮定のもとにおいても絶対誤差が大きくならないため、問題は生じにくい。
実施の形態1において、フレーム速度測定部103は、フレーム番号と受信時刻とに基づいて式(1)を求めた。しかし、カメラ30が、クロックカウンタが計時したカウンタ値を各フレームに付す場合、カウンタ値と受信時刻とに基づいて式(1)と同様の式を求めてもよい。例えばカメラ30のクロックカウンタの動作周波数が90kHzであり、動画像のフレーム速度が60fpsである場合、1フレームごとにカウンタ値は1500増加することとなる。例えばカメラ30が撮像する動画像のフレーム速度が可変であるときには、フレーム間隔が不均一となることから、カウンタ値を用いるほうが好ましい。カウンタ値を用いる場合、式(1)におけるxの係数の単位は、[秒/フレーム]ではなく[秒/クロック]となり、フレーム速度の単位はその逆数である[クロック/秒]となる。そのため、フレーム番号に代えてカウンタ値を用いる場合求められるフレーム速度は、一般的なフレーム速度とは異なる単位とはなるものの、別の単位にて表現されたフレーム速度とみなすことができる。
実施の形態1において、動画像管理装置20は入力装置220及び表示装置230を備えるものとしたが、入力装置220及び表示装置230は外部装置であってもよい。
(実施の形態2)
以下、図面を参照しながら実施の形態2に係る動画像管理システム1を説明する。ただし、動画像管理システム1の全体構成は図1に示す実施の形態1の場合と同様である。
実施の形態1においては、「レイテンシ」についての問題の解消のために、ユーザがログ基準点と動画像基準点とを指定した。しかし、ユーザにログ基準点と動画像基準点とを指定させるのはユーザの手間を増やすものである。また、ユーザが正しく基準点を指定できなかった場合、連動再生において不整合が生じてしまう。
そこで、実施の形態2においては、PLC10が自動的に「レイテンシ」についての補正をも行う。概略的に説明すると、予め定められたパターンを表示装置に表示させてカメラ30にて撮像し、動画像内にて当該パターンを検出した時点と当該パターンを表示させたときのログの記録時刻とが同一となるように「レイテンシ」を補正する。そのため、実施の形態2においては、動画像管理装置20による基準点の指定は必須ではない。以下具体的に説明する。
まず、図10及び図11を参照しながら、実施の形態2に係るPLC10について、実施の形態1と異なる点を説明する。なお図11は、実施の形態2に係るPLC10の記憶装置110に保存されるデータを示す図である。
まず、PLC10は、バスB1に接続された表示装置140を備える点が実施の形態1と異なる。表示装置140は、例えばPLC10の筐体表面に設けられたランプである。あるいは、表示装置140は、PLC10の筐体表面に設けられたディスプレイであってもよい。表示装置140は、本開示に係る表示装置の一例である。
ここで、カメラ30は、表示装置140を撮像できる位置に設置される必要がある。後述するとおり、実施の形態2に係るPLC10は、動画像に含まれるパターンを利用して「レイテンシ」を補正するからである。
次に、プロセッサ100が制御プログラムDPを読み込んで実行することにより実現される機能について説明する。プロセッサ100が機能部として新たに表示制御部106とパターン判定部107とを備える点が実施の形態1と異なる。また、後述するように、補正部104の機能も若干異なる。
また、図11に示す記憶装置110に保存されるデータについては、新たにパターンデータDTを保存する点が実施の形態1と異なる。また、上記のとおり、プロセッサ100が制御プログラムDPを読み込んで実行することにより実現される機能が実施の形態1と異なることから、制御プログラムDPも実施の形態1とは異なる。
表示制御部106は、パターンデータDTが示すパターンに従って表示装置140を制御し、表示装置140に予め定められたパターンを表示させる。表示装置140がランプである場合、パターンとは例えばランプを3秒間に5回点滅させるようなパターンである。後述するとおり、パターン判定部107は、動画像に当該パターンが含まれているか否かを判定するため、パターンは判定しやすいものが好ましい。また、表示制御部106は、パターンを表示させたときに、パターンを表示させたときの時刻を補正部104に出力する。表示制御部106は、本開示に係る表示制御手段の一例である。
パターン判定部107は、記憶装置110に保存されたバッファリングデータDBとパターンデータDTとを参照し、バッファリングされた動画像データが示す動画像内に、パターンデータDTが示すパターンを撮像して得られた動画像が含まれているか否かを判定する。例えばパターンデータDTが、ランプを3秒間に5回点滅させるようなパターンである場合、パターン判定部107は、ランプが3秒間に5回点滅している動画像が、バッファリングされた動画像データが示す動画像内に含まれているかどうかを判定する。また、パターン判定部107は、パターンを撮像して得られた動画像が含まれていると判定したとき、パターンが撮像されたフレームに付された時刻を補正部104に出力する。パターン判定部107は、本開示に係るパターン判定手段の一例である。
実施の形態2に係る補正部104は、表示制御部106が出力した、パターンを表示させたときの時刻と、パターン判定部107が出力した、パターンが撮像されたフレームに付された時刻とに基づいて、動画像に付される時刻を補正する。具体的には、補正部104は、パターンを表示させたときの時刻と、パターンが撮像されたフレームに付された時刻とが同一となるように、動画像に付される時刻を補正する。このような補正により、実施の形態2に係る補正部104は、「レイテンシ」についての問題をも解消できる。
図12を参照しながら、実施の形態2に係るPLC10による、パターンに基づく動画像の時刻補正についての動作の一例を説明する。図12に示す動作は、図8に示す実施の形態1に係る時刻補正の動作とは独立に行われる。つまり、実施の形態2においても、図8に示す動作は実行される。実施の形態2においては、図8に示す動作により「クロック差」及び「ジッタ」についての問題が解消され、図12に示す動作により「レイテンシ」についての問題が解消される。
PLC10の表示制御部106は、表示装置140にパターンを表示させる(ステップS301)。続いて表示制御部106は、パターンを表示させたときの時刻を補正部104に出力する(ステップS302)。
PLC10の動画像データ取得部102は、カメラ30から動画像データを取得して記憶装置110にバッファリングする(ステップS303)。
判定部107は、バッファリングされた動画像データを参照して、パターンを撮像して得られた動画像が含まれているか否かを判定する(ステップS304)。パターンを撮像して得られた動画像が含まれていないと判定されたとき(ステップS304:No)、PLC10のプロセッサ100はステップS301からの動作を繰り返す。
パターンを撮像して得られた動画像が含まれていると判定されたとき(ステップS304:Yes)、パターン判定部107は、パターンが撮像されたフレームに付された時刻を補正部104に出力する(ステップS305)。
補正部104は、パターンを表示させたときの時刻と、パターンが撮像されたフレームに付された時刻とが同一となるように、動画像に付される時刻を補正する(ステップS306)。そしてプロセッサ100は、パターンに基づく動画像の時刻補正についての動作を終了する。
以上、実施の形態2に係る動画像管理システム1を説明した。実施の形態2に係る動画像管理システム1によれば、表示装置140にパターンを表示させたときの時刻と、パターンが撮像されたフレームに付された時刻とが同一となるように動画像に付される時刻を補正することにより、ユーザの手間をかけることなく、「レイテンシ」についての問題を解消することができる。したがって、実施の形態2に係る動画像管理システム1によれば、実施の形態1よりもユーザの手間をかけることなく、動画像に付された時刻とPLCが記録したログの記録時刻とを整合できる。
(実施の形態2の変形例)
実施の形態2においては、PLC10が表示装置140を備えるものとしたが、PLC10が表示装置を備えず、外部の表示装置にパターンを表示させるものであってもよい。例えばカメラ30がPLC10を撮像できない位置に設置されている場合、カメラ30が撮像可能な位置に外部の表示装置を設置し、当該表示装置にパターンを表示させることにより、実施の形態2と同様の効果を得ることができる。
(実施の形態3)
実施の形態1及び2においては、PLC10が「クロック差」及び「ジッタ」についての問題を解消するものであった。一方、精度は劣る可能性があるものの、以下に説明するように動画像管理装置20により「クロック差」「ジッタ」「レイテンシ」の全てについての問題を解消するものであってもよい。
概略的に説明すると、実施の形態3に係る動画像管理システム1においては、動画像管理装置20は、ログ、動画像のそれぞれについて2つずつ基準点をユーザに指定させる。そして、動画像管理装置20は、2つの基準点のそれぞれが同一時刻となるようにログと動画像とを連動再生させる。
実施の形態3に係る動画像管理装置20の構成は、図5に示す実施の形態1と概ね同様である。ただし、以下に説明する点が異なる。
まず、ログ基準点指定部202は、2つのログ基準点をユーザに指定させる点が実施の形態1と異なる。以下では、これらのログ基準点をそれぞれ第1ログ基準点及び第2ログ基準点という。
次に、動画像基準点指定部203は、2つの動画像基準点をユーザに指定させる点が実施の形態1と異なる。以下では、これらの動画像基準点をそれぞれ第1動画像基準点及び第2動画像基準点という。また、適宜、第1ログ基準点と第1動画像基準点とをまとめて第1基準点といい、第2ログ基準点と第2動画基準点とをまとめて第2基準点ということがある。
表示制御部204は、第1ログ基準点と第1動画像基準点とが同一時刻となり、第2ログ基準点と第2動画像基準点とが同一時刻となるように、ログと動画像とを連動再生する点が実施の形態1と異なる。実施の形態1の場合と異なり、第1基準点と第2基準点との2つの基準点に基づいて連動再生をすることにより、以下に説明するように、「レイテンシ」のみならず「クロック差」及び「ジッタ」についての問題も解消できる。
まず、「クロック差」により生じる問題は、フレーム間隔が撮像時と受信時とで異なることである。一方、表示制御部204は、第1ログ基準点と第1動画像基準点とが同一時刻となり、第2ログ基準点と第2動画像基準点とが同一時刻となるように連動再生をすることから、第1ログ基準点から第2ログ基準点までの間隔と、第1動画像基準点から第2動画像基準点までの間隔とは、同一である。そのため、平均のフレーム間隔は、撮像時と受信時とで同一とみなせる。撮像時における時刻は、ログの記録時刻と対応するからである。
次に、「ジッタ」により生じる問題は、フレーム間隔にばらつきが生じることである。一方、表示制御部204は、第1ログ基準点と第1動画像基準点とが同一時刻となり、第2ログ基準点と第2動画像基準点とが同一時刻となるように連動再生をすることから、フレーム間隔が概ね一定となるように連動再生をすることが可能である。例えば、第1基準点から第2基準点までの時間と総フレーム数とに基づいて平均フレーム間隔を算出できるので、算出した平均フレーム間隔に従って各フレームを表示することにより、フレーム間隔のばらつきを抑えることができる。
ただし、上記のいずれについても、第1基準点と第2基準点とがあまりに近い時点である場合、「クロック差」及び「ジッタ」により生じる問題を十分に解消できない可能性がある。
以上、実施の形態3に係る動画像管理システム1を説明した。実施の形態3に係る動画像管理システム1によれば、ユーザに第1基準点と第2基準点とを指定させることにより、PLC10によらずとも、動画像に付された時刻とPLCが記録したログの記録時刻とを整合できる。
(その他の変形例)
各実施の形態において、動画像管理装置20のログ基準点指定部202は、ユーザの入力に基づいてログ基準点を指定するものとした。これに代えて、ログ基準点指定部202は、ユーザの入力によらずに、トリガが発生した時刻をログ基準点として指定してもよい。
具体的には、PLC10のログ記録部101は、トリガが発生したときに当該トリガと対応付けてログを記録する。トリガと対応付けられたログの記録時刻は、トリガが発生した時刻となる。例えばログ記録部101は、トリガを識別するトリガ番号をログに含めて記録する。ログ基準点指定部202は、トリガが発生した時刻をログ基準点として指定する。その後、ログ基準点指定部202は、例えば図13に示す通知画面を表示させ、トリガ発生時刻をログ基準点として指定した旨をユーザに通知する。そして動画像基準点指定部203は、実施の形態1及び2と同様に図7に示す画面を表示させる。
この場合、各実施の形態とは異なり、図9に示すステップS202のログ基準点の指定待ち受けの動作は不要となる。そのため、ユーザの手間を軽減することができる。
また、ログ基準点指定部202はユーザの入力に基づいてログ基準点を指定する一方、動画像基準点指定部203はユーザの入力によらずに、トリガが発生した時刻を動画像基準点として指定してもよい。動画像基準点指定部203は、例えば図14に示す通知画面を表示させ、表示中の時点を動画像基準点として指定した旨をユーザに通知する。ユーザは、表示された画像を参照しながらログ基準点を指定する。
現時点では動画像保存部105が動画像に付した時刻とログ記録部101が記録したログの記録時刻とは整合しないので、通知画面に表示される画像はトリガ発生時刻にカメラ30が撮像した画像とは一致しない。しかし、表示される画像はトリガ発生時刻の近辺の画像であり、ユーザは、表示された画像を参照しながらトリガ発生時刻の近辺のログを例えば図6に示す画面にて詳細に確認することができる。そのため、表示される画像がトリガ発生時刻に撮像された画像でなくとも、ユーザは表示される画像に対応するログ基準点をトリガ発生時刻の近辺から指定することができる。
この場合、各実施の形態とは異なり、図9に示すステップS204の動画像基準点の指定待ち受けの動作は不要となる。そのため、ユーザの手間を軽減することができる。なお、この場合、図9に示すステップS203の動作はステップS201の動作よりも前に行われる。
PLC10あるいは動画像管理装置20で用いられるプログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、USBフラッシュドライブ、メモリカード、HDD等のコンピュータ読み取り可能な記録媒体に格納して配布することが可能である。そして、かかるプログラムを専用のコンピュータであるプログラマブルロジックコトローラあるいは汎用のコンピュータにインストールすることによって、当該プログラマブルロジックコトローラあるいは汎用コンピュータをPLC10あるいは動画像管理装置20でとして機能させることが可能である。
また、上述のプログラムをインターネット上の他のサーバが有する記憶装置に格納しておき、当該サーバから上述のプログラムがダウンロードされるようにしてもよい。
本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
1 動画像管理システム、10 PLC、20 動画像管理装置、30 カメラ、100 プロセッサ、101 ログ記録部、102 動画像データ取得部、103 フレーム速度測定部、104 補正部、105 動画像保存部、106 表示制御部、107 パターン判定部、110 記憶装置、120 クロック素子、130 通信インタフェース、140 表示装置、200 プロセッサ、201 データ取得部、202 ログ基準点指定部、203 動画像基準点指定部、204 表示制御部、210 記憶装備、220 入力装置、230 表示装置、240 通信インタフェース、B1、B2 バス、DB バッファリングデータ、DL ログ、DM 動画像データ、DP 制御プログラム、DT パターンデータ。

Claims (7)

  1. クロック素子と、
    前記クロック素子が発するクロック信号に基づいて、ログを記録時刻とともに第1記憶装置に記録するログ記録手段と、
    撮像装置により撮像された動画像を示す動画像データを前記撮像装置から取得する動画像データ取得手段と、
    前記クロック素子が発するクロック信号に基づいて、前記動画像データが示す動画像のフレーム速度を測定するフレーム速度測定手段と、
    前記フレーム速度に基づいて前記動画像データが示す動画像に付される時刻を補正する補正手段と、
    前記補正手段により補正された時刻が付された動画像を示す新たな動画像データを第2記憶装置に保存する動画像保存手段と、
    を備えるプログラマブルロジックコントローラ。
  2. 表示装置に予め定められたパターンを表示させる表示制御手段と、
    前記動画像データが示す動画像に前記パターンを撮像して得られた動画像が含まれているか否かを判定するパターン判定手段と、
    をさらに備え、
    前記補正手段は、前記動画像データが示す動画像に前記パターンを撮像して得られた動画像が含まれていると前記パターン判定手段により判定されたとき、前記表示制御手段により前記パターンを表示させた時刻に基づいて、前記動画像データが示す動画像に付される時刻を補正する、
    請求項1に記載のプログラマブルロジックコントローラ。
  3. 請求項1又は2に記載のプログラマブルロジックコントローラの前記ログ記録手段により前記第1記憶装置に記録された前記ログにおける時系列的な基準点であるログ基準点を、ユーザの入力に基づいて指定し又は前記動画像保存手段に動画像の保存を指示するための信号であるトリガの発生時刻に基づいて指定するログ基準点指定手段と、
    ユーザの入力に基づいて、前記プログラマブルロジックコントローラの前記動画像保存手段により前記第2記憶装置に保存された前記新たな動画像データが示す動画像における時系列的な基準点である動画像基準点を指定する動画像基準点指定手段と、
    前記ログ基準点と前記動画像基準点とが同一時刻となるように、前記ログと前記新たな動画像データが示す動画像とを連動して表示装置に表示させる表示制御手段と、
    を備える動画像管理装置。
  4. プログラマブルロジックコントローラにより第1記憶装置に記録されたログにおける2つの時系列的な基準点である第1ログ基準点と第2ログ基準点とを、ユーザの入力に基づいて指定し又は第2記憶装置への動画像の保存を指示するための信号であるトリガの発生時刻に基づいて指定するログ基準点指定手段と、
    ユーザの入力に基づいて、前記プログラマブルロジックコントローラにより前記第2記憶装置に保存された動画像データが示す動画像における2つの時系列的な基準点である第1動画像基準点と第2動画像基準点とを指定する動画像基準点指定手段と、
    前記第1ログ基準点と前記第1動画像基準点とが同一時刻となり、前記第2ログ基準点と前記第2動画像基準点とが同一時刻となるように、前記ログと前記動画像データが示す動画像とを連動して表示手段に表示させる表示制御手段と、
    を備える動画像管理装置。
  5. 請求項1又は2に記載のプログラマブルロジックコントローラと、請求項3に記載の動画像管理装置とを備える動画像管理システム。
  6. プログラマブルロジックコントローラにより動画像を管理する方法であって、
    前記プログラマブルロジックコントローラが備えるクロック素子が発するクロック信号に基づいて、前記プログラマブルロジックコントローラに関するログを記録時刻とともに第1記憶装置に記録し、
    撮像装置により撮像された動画像を示す動画像データを前記撮像装置から取得し、
    前記クロック素子が発するクロック信号に基づいて、前記動画像データが示す動画像のフレーム速度を測定し、
    前記フレーム速度に基づいて前記動画像データが示す動画像に付される時刻を補正し、
    補正された時刻が付された動画像を示す新たな動画像データを第2記憶装置に保存する、
    動画像管理方法。
  7. コンピュータを、
    クロック素子、
    前記クロック素子が発するクロック信号に基づいて、ログを記録時刻とともに第1記憶装置に記録するログ記録手段、
    撮像装置により撮像された動画像を示す動画像データを前記撮像装置から取得する動画像データ取得手段、
    前記クロック素子が発するクロック信号に基づいて、前記動画像データが示す動画像のフレーム速度を測定するフレーム速度測定手段、
    前記フレーム速度に基づいて前記動画像データが示す動画像に付される時刻を補正する補正手段、
    前記補正手段により補正された時刻が付された動画像を示す新たな動画像データを第2記憶装置に保存する動画像保存手段、
    として機能させるプログラム。
JP2021575079A 2021-06-08 2021-06-08 プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラム Active JP7275327B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021786 WO2022259379A1 (ja) 2021-06-08 2021-06-08 プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022259379A1 JPWO2022259379A1 (ja) 2022-12-15
JP7275327B1 true JP7275327B1 (ja) 2023-05-17

Family

ID=84425945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575079A Active JP7275327B1 (ja) 2021-06-08 2021-06-08 プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラム

Country Status (4)

Country Link
US (1) US12093012B2 (ja)
JP (1) JP7275327B1 (ja)
CN (1) CN116685914A (ja)
WO (1) WO2022259379A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213838A1 (en) * 2014-01-30 2015-07-30 Imperx, Inc. Network based video event recording system
JP2018073185A (ja) * 2016-10-31 2018-05-10 株式会社小林製作所 記録システム、端末装置、サーバ装置、プログラムおよび方法
WO2018151202A1 (ja) * 2017-02-17 2018-08-23 日本電信電話株式会社 センシングシステムおよびタイムスタンプ補正方法
JP2021082028A (ja) * 2019-11-19 2021-05-27 株式会社キーエンス 安全コントローラおよび履歴表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005638A (en) * 1996-03-04 1999-12-21 Axcess, Inc. Frame averaging for use in processing video data
JPH11331766A (ja) * 1998-05-15 1999-11-30 Omron Corp 設備ロギング装置
JP2001125612A (ja) * 1999-10-25 2001-05-11 Omron Corp 設備ロギング装置
EP1515298A1 (en) * 2003-08-21 2005-03-16 VastView Technology Inc. High-quality image liquid crystal display device with improved response speed and the driving method thereof
JP4276920B2 (ja) * 2003-10-07 2009-06-10 オリンパス株式会社 情報処理プログラム、記憶媒体、情報処理装置、情報処理方法
JP4381952B2 (ja) * 2004-10-14 2009-12-09 株式会社タイテック 記録再生装置
US9116001B2 (en) * 2012-06-14 2015-08-25 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
JP5935903B2 (ja) * 2013-01-08 2016-06-15 富士電機株式会社 制御システム、マスタープログラマブルコントローラ、スレーブプログラマブルコントローラ、および、制御方法
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
JP6757385B2 (ja) 2018-10-23 2020-09-16 株式会社キーエンス プログラマブルロジックコントローラおよびメインユニット
JP7316056B2 (ja) * 2019-02-12 2023-07-27 株式会社キーエンス プログラマブルロジックコントローラ及びカメラ入力拡張ユニット
US10983743B2 (en) * 2019-03-29 2021-04-20 Keyence Corporation Programmable display and programmable logic controller system including the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213838A1 (en) * 2014-01-30 2015-07-30 Imperx, Inc. Network based video event recording system
JP2018073185A (ja) * 2016-10-31 2018-05-10 株式会社小林製作所 記録システム、端末装置、サーバ装置、プログラムおよび方法
WO2018151202A1 (ja) * 2017-02-17 2018-08-23 日本電信電話株式会社 センシングシステムおよびタイムスタンプ補正方法
JP2021082028A (ja) * 2019-11-19 2021-05-27 株式会社キーエンス 安全コントローラおよび履歴表示装置

Also Published As

Publication number Publication date
CN116685914A (zh) 2023-09-01
WO2022259379A1 (ja) 2022-12-15
JPWO2022259379A1 (ja) 2022-12-15
US20240027985A1 (en) 2024-01-25
US12093012B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
JP6816802B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US10127942B2 (en) Recording apparatus and recording method
US10334242B1 (en) Test system and test method for audio-video device
CN113473086B (zh) 视频播放的方法、装置、电子设备、智慧高速大屏
TW201740275A (zh) 錄製與重播滑鼠行為之系統及方法、記錄媒體及程式產品
JP2015136073A (ja) 記録装置、撮像装置、記録装置の制御方法、及びプログラム
JPH11331766A (ja) 設備ロギング装置
JP7275327B1 (ja) プログラマブルロジックコントローラ、動画像管理装置、動画像管理システム、動画像管理方法及びプログラム
JP5180910B2 (ja) 映像処理装置
US10755385B2 (en) Image processing apparatus and recording medium
JPWO2015083408A1 (ja) システム管理装置、システム管理方法、及びプログラム
US8824872B2 (en) Display control apparatus, reproduction system, and recording medium in which display control is performed based on a detected event
US7475290B2 (en) Debugging apparatus and method for information storage apparatus
JP2021027579A (ja) 画像判定装置および画像判定システム
JP2018084443A (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
CN112788332B (zh) 一种智能电视测试方法以及相关装置
JP7221463B1 (ja) 制御システム及びプログラマブルロジックコントローラ
KR20190090917A (ko) 비디오 감시 장치 및 비디오 감시 방법
JP2008085626A (ja) 出力処理装置及びその制御方法
CN115878379A (zh) 一种数据备份方法、主服务器、备份服务器及存储介质
KR101484783B1 (ko) 디지털 비디오 레코더와 하드디스크 관리방법
CN112307882A (zh) 图像判断装置及图像判断系统
KR200444596Y1 (ko) 디지털 비디오 레코더의 자동 테스트 제어시스템
US8929712B2 (en) Display for displaying progress
JP7013110B1 (ja) モデル生成装置、異常判定装置、異常判定システム、モデル生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7275327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150