JP7427820B1 - 状態解析装置、状態解析方法及び状態解析プログラム - Google Patents

Abstract

【課題】コンピュータリソースの必要量を抑えつつ、対象物の状態の変化のタイミングを精度よく検出可能にできるようにする。【解決手段】解析フレーム抽出部２２は、カメラ４１で対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する。状態判定部２４は、解析画像に基づき、対象物の状態が複数の状態のうちのどの状態であるかを判定する。レート設定部２５は、判定された状態である判定状態と、判定状態と判定された状態が継続している継続時間とに基づき、抽出レートを設定する。【選択図】図１

Description

本開示は、カメラで得られる画像データを用いて対象物の状態を監視する技術に関する。

カメラで得られる画像データを人が目視確認する監視業務が従来から行われている。近年では、カメラの価格が下がってきている。そのため、容易に多数のカメラを設置できる状態になっている。その結果、監視業務で監視対象となる画像データの取得元のカメラの台数が増え、人の監視業務の負担が大きくなっている。

人が目視確認していた作業を、コンピュータが画像データを解析することにより実現できるようになってきている。しかし、画像データの解析には、多くのコンピュータリソースが必要になる。そのため、監視対象となる画像データの取得元のカメラの台数が増えるに従い、画像データの解析を行うコンピュータの台数を増やす必要がある。

特許文献１には、映像から判定された作業に応じて、撮影のフレームレートを変更することが記載されている。

特開２０１９－１９１１１７号公報

製造現場等に設置されている製造装置の稼働状態を、カメラで得られる画像データを解析することにより可視化することが検討されている。画像データを解析することにより稼働状態を可視化することで、製造装置を構成する機器等の状態を検出する機能を持たない製造装置についても稼働状態を可視化できるようになる。
稼働状態を可視化する場合には、状態の変化のタイミングを精度よく検出することが望ましい。特許文献１に記載された技術では、判定された作業に応じてフレームレートが変わる。そのため、フレームレートが低い作業から次の作業への切り替わりについては、低いフレームレートでしか検出されず、タイミングがずれる可能性がある。
本開示は、コンピュータリソースの必要量を抑えつつ、対象物の状態の変化のタイミングを精度よく検出可能にできるようにすることを目的とする。

本開示に係る状態解析装置は、
カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する解析フレーム抽出部と、
前記解析フレーム抽出部によって抽出された前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定する状態判定部と、
前記状態判定部によって判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とに基づき、前記抽出レートを設定するレート設定部と
を備える。

本開示では、判定状態と継続時間とに基づき抽出レートが設定される。これにより、判定状態から次の状態への変化のタイミングが遠い場合には抽出レートを低くし、タイミングが近づいた際に抽出レートを高くすることが可能になる。その結果、コンピュータリソースの必要量を抑えつつ、対象物の状態の変化のタイミングを精度よく検出可能にできる。

実施の形態１に係る状態解析装置１０の構成図。 実施の形態１の説明に用いられる対象物の状態変化の説明図。 実施の形態１に係るフレームレート情報３１の説明図。 実施の形態１に係る状態解析装置１０の全体的な動作を示すフローチャート。 実施の形態１に係る解析フレーム抽出処理の説明図。 実施の形態１に係るレート設定処理の説明図。 変形例１に係る状態解析装置１０の構成図。 実施の形態２に係る状態解析装置１０の構成図。 実施の形態２に係る状態解析装置１０の動作の概要の説明図。 実施の形態２に係る状態解析装置１０の全体的な動作を示すフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る状態解析装置１０の構成を説明する。
状態解析装置１０は、コンピュータである。
状態解析装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。

状態解析装置１０は、通信インタフェース１４を介してカメラ１４１に接続されている。カメラ１４１は、対象物を撮影するように設置されている。

状態解析装置１０は、機能構成要素として、映像受信部２１と、解析フレーム抽出部２２と、画像解析部２３と、状態判定部２４と、レート設定部２５とを備える。状態解析装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、状態解析装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、状態解析装置１０の各機能構成要素の機能が実現される。

また、ストレージ１３には、フレームレート情報３１が記憶されている。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図６を参照して、実施の形態１に係る状態解析装置１０の動作を説明する。
実施の形態１に係る状態解析装置１０の動作手順は、実施の形態１に係る状態解析方法に相当する。また、実施の形態１に係る状態解析装置１０の動作を実現するプログラムは、実施の形態１に係る状態解析プログラムに相当する。

図２を参照して、実施の形態１の説明に用いられる対象物の状態変化を説明する。
対象物は、製造装置である。対象物は、第１状態と第２状態と第３状態との３つの状態を有する。原則として、対象物は、第１状態と第２状態とを交互に遷移する。第２状態において、特別な場合に第３状態に一時的に遷移することがある。

実施の形態１では、図２に示す対象物を例として説明を行う。しかし、状態解析装置１０が状態解析を行う対象物は図２に示す対象物に限定されるものではない。状態解析装置１０が状態解析を行う対象物としては、より多くの状態を遷移するような物が想定される。

図３を参照して、実施の形態１に係るフレームレート情報３１を説明する。
フレームレート情報３１は、判定状態と想定持続時間と第１フレームレートと第２フレームレートとを有する。判定状態は、対象物が取り得る状態である。想定持続時間は、判定状態になってから他の状態に変化するまでにかかると想定される時間である。第１フレームレートは、状態の変化が近づいていない場合に使用されるフレームレートである。第２フレームレートは、状態の変化が近づいている場合に使用されるフレームレートである。
ここで、第２フレームレートには、第１フレームレートよりも高い頻度を示すレートが設定される。

具体的には、図３ではフレームレート情報３１は以下のように設定されている。
判定状態が第１状態である場合には、想定持続時間が１２００秒、第１フレームレートが１／６０ＦＰＳ、第２フレームレートが１ＦＰＳと設定されている。判定状態が第２状態である場合には、想定持続時間が１８０秒、第１フレームレートが１／３０ＦＰＳ、第２フレームレートが１ＦＰＳと設定されている。判定状態が第３状態である場合には、想定持続時間が３６００秒、第１フレームレートが１／１２０ＦＰＳ、第２フレームレートが１ＦＰＳと設定されている。
ＦＰＳは、Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄの略である。つまり、１／６０ＦＰＳは、６０秒当たり１枚の画像データが抽出されることを意味する。１ＦＰＳは、１秒当たり１枚の画像データが抽出されることを意味する。１／３０ＦＰＳは、３０秒当たり１枚の画像データが抽出されることを意味する。１／１２０ＦＰＳは、１２０秒当たり１枚の画像データが抽出されることを意味する。

図４を参照して、実施の形態１に係る状態解析装置１０の全体的な動作を説明する。
（ステップＳ１１：映像受信処理）
映像受信部２１は、カメラ１４１から対象物を撮影して得られた映像データを構成する新しいフレーム画像を受信する。例えば、カメラ１４１が１５ＦＰＳでフレーム画像を取得する場合には、映像受信部２１は１秒間に１５枚のフレーム画像を受信する。フレーム画像には、カメラ１４１によって撮影された時刻が付加情報として含まれている。映像受信部２１は、受信したフレーム画像を解析フレーム抽出部２２に渡す。

（ステップＳ１２：解析フレーム抽出処理）
解析フレーム抽出部２２は、ステップＳ１１で渡されたフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する。抽出レートは、図４の処理の開始前に初期値が設定されており、後述するステップＳ１５でレート設定部２５により変更される。解析フレーム抽出部２２は、抽出された解析画像を画像解析部２３に渡す。

図５を参照して具体例を説明する。
図５では、カメラ１４１が１５ＦＰＳでフレーム画像を取得し、抽出レートが１ＦＰＳである。この場合には、解析フレーム抽出部２２は、ステップＳ１１で１５枚のフレーム画像を渡される度に、１枚のフレーム画像を解析画像として抽出する。

（ステップＳ１３：画像解析処理）
画像解析部２３は、ステップＳ１２で渡された解析画像を入力として、対象物を解析する。具体的には、画像解析部２３は、解析画像を入力として、対象物を構成する物の状態等を特定する。
例えば、対象物が製造装置であるとする。この場合には、画像解析部２３は、製造装置を構成する機器の状態と、製造装置で使用される原材料との状態と、製造装置の周辺にいる人の状態といった項目を特定する。具体例としては、画像解析部２３は、製造装置を構成する機器の状態として、機器の部品の配置を特定する。また、画像解析部２３は、原材料との状態として、原材料の位置を特定する。また、画像解析部２３は、人の状態として、製造装置を基準とする基準範囲に人がいるか否かを特定する。

（ステップＳ１４：状態判定処理）
状態判定部２４は、解析画像に基づき、対象物の状態が複数の状態のうちのどの状態であるかを判定する。ここでは、状態判定部２４は、ステップＳ１３で特定された情報に基づき、対象物の状態が複数の状態のうちのどの状態であるかを判定する。状態判定部２４は、判定結果を解析画像がカメラ１４１によって得られた時刻とともにメモリ１２に出力する。
例えば、対象物が製造装置であるとする。この場合には、状態判定部２４は、ステップＳ１３で特定された製造装置を構成する機器の状態と、製造装置で使用される原材料との状態と、製造装置の周辺にいる人の状態との組合せから、製造装置の状態を判定する。

（ステップＳ１５：レート設定処理）
レート設定部２５は、ステップＳ１４で判定された状態である判定状態と、判定状態と判定された状態が継続している継続時間とに基づき、抽出レートを設定する。
具体的には、レート設定部２５は、判定状態と継続時間とから、対象物の状態が変化するまでの残存期間を推定する。この際、レート設定部２５は、フレームレート情報３１における判定状態に対応する想定持続時間から、継続時間を減算して、残存期間を計算する。レート設定部２５は、残存期間が基準期間よりも短いか否かを判定する。レート設定部２５は、残存期間が基準期間以上の場合には、フレームレート情報３１における判定状態に対応する第１フレームレートを抽出レートに設定する。一方、レート設定部２５は、残存期間が基準期間よりも短い場合には、フレームレート情報３１における判定状態に対応する第２フレームレートを抽出レートに設定する。

図６を参照して具体的に説明する。
図６では、基準時間を６０秒としている。
まず第１状態と判定される。すると、図３に示すように、第１状態の場合には、想定持続時間が１２００秒である。したがって、継続時間が１１４０秒以下の場合には、残存期間が基準時間である６０秒以上であるため、第１状態についての第１フレームレートである１／６０ＦＰＳが抽出レートに設定される。そして、継続時間が１１４０秒を超えると、残存期間が基準時間である６０秒よりも短くなるため、第１状態についての第２フレームレートである１ＦＰＳが抽出レートに設定される。
その後第２状態であると判定される。すると、図３に示すように、第２状態の場合には、想定持続時間が１８０秒である。したがって、継続時間が１２０秒以下の場合には、残存期間が基準時間である６０秒以上であるため、第２状態についての第１フレームレートである１／３０ＦＰＳが抽出レートに設定される。そして、継続時間が１２０秒を超えると、残存期間が基準時間である６０秒よりも短くなるため、第２状態についての第２フレームレートである１ＦＰＳが抽出レートに設定される。
このように基準期間とは、１つの判定状態の想定持続期間の残存期間との比較に用いる期間である。基準期間と残存期間との比較により、第１フレームレートから第２フレームレートへの切り替えタイミングが設定される。

ここでは、基準時間は、全ての判定状態に共通の時間として説明した。しかし、基準時間は、判定状態毎に異なっていてもよい。つまり、第１状態における基準時間と、第２状態における基準時間と、第３状態における基準時間とは異なっていてもよい。

ステップＳ１５の処理が終わると、処理がステップＳ１１に戻され次のフレーム画像が取得される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る状態解析装置１０は、判定状態と継続時間とに基づき抽出レートを設定する。
これにより、判定状態から次の状態への変化のタイミングが遠い場合には抽出レートを低くし、タイミングが近づいた際に抽出レートを高くすることが可能になる。その結果、コンピュータリソースの必要量を抑えつつ、対象物の状態の変化のタイミングを精度よく検出可能にできる。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

図７を参照して、変形例１に係る状態解析装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、状態解析装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、状態の変化が近づいていないと想定している期間に状態変化が起こった場合に、解析画像として抽出せずに解析をスキップしたフレーム画像について解析を行う点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図８を参照して、実施の形態２に係る状態解析装置１０の構成を説明する。
状態解析装置１０は、機能構成要素として、戻し解析部２６を備える点が図１に示す状態解析装置１０と異なる。戻し解析部２６の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

＊＊＊動作の説明＊＊＊
図９及び図１０を参照して、実施の形態２に係る状態解析装置１０の動作を説明する。
実施の形態２に係る状態解析装置１０の動作手順は、実施の形態２に係る状態解析方法に相当する。また、実施の形態２に係る状態解析装置１０の動作を実現するプログラムは、実施の形態２に係る状態解析プログラムに相当する。

図９を参照して、実施の形態２に係る状態解析装置１０の動作の概要を説明する。
図９では、基準時間を６０秒としている。
まず第１状態と判定される。すると、図３に示すように、第１状態の場合には、想定持続時間が１２００秒である。したがって、継続時間が１１４０秒以下の場合には、残存期間が基準時間である６０秒以上であるため、第１状態についての第１フレームレートである１／６０ＦＰＳが抽出レートに設定される。継続時間が１１４０秒以下の期間は、状態の変化が近づいていないと想定している期間である。つまり、状態の変化が近づいていないと想定している期間は、第１フレームレートが抽出レートとして設定されている期間である。

第１フレームレートは、第２フレームレートよりも解析画像として抽出する頻度が低い。そのため、状態の変化が近づいていないと想定している期間に、状態の変化が検出された場合には、状態の変化のタイミングを精度よく検出できていない可能性がある。
例えば、第１状態の場合には、第２フレームレートが抽出レートとして設定されていれば、１秒毎に状態の変化があったかが判定される。これに対して、第１フレームレートが抽出レートとして設定されていると、６０秒に１度しか状態の変化があったかが判定されない。
図９のように、継続時間が１０２０秒のときに得られたフレーム画像を解析画像として状態が変化したと判定されたとする。この場合には、実施の形態１では、継続時間が１０２０秒のタイミングで状態が変化したと特定される。しかし、実際には、その前に解析画像が抽出されたタイミングである継続時間が９６０秒の後から、継続時間が１０２０秒までの間のどこかのタイミングで状態が変化している。つまり、状態が変化したタイミングに６０秒程度の誤差がある可能性がある。この期間を誤差期間と呼ぶ。

そこで、実施の形態２では、戻し解析部２６は、状態の変化が近づいていないと想定している期間に得られたフレーム画像（期限前画像）に基づき、対象物の状態が変化したと判定された場合には、誤差期間におけるフレーム画像を追加で解析対象とする追加画像として抽出する。そして、状態判定部２４は、追加画像に基づき、追加画像が得られた時点で前記対象物の状態が複数の状態のうちのどの状態であったかを判定する。

図１０を参照して、実施の形態２に係る状態解析装置１０の全体的な動作を説明する。
ステップＳ２１の処理は、図４のステップＳ１１の処理と同じである。ステップＳ２３からステップＳ２５の処理は、図４のステップＳ１３からステップＳ１５の処理と同じである。

（ステップＳ２２：解析フレーム抽出処理）
解析フレーム抽出部２２は、図４のステップＳ１２と同様に、ステップＳ２１で渡されたフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する。
解析フレーム抽出部２２は、抽出された解析画像を画像解析部２３に渡す。戻し解析部２６は、解析フレーム抽出部２２によって解析画像として抽出されなかったフレーム画像をメモリ１２に記憶する。

ステップＳ２５の処理が終わると、図４と同様に処理がステップＳ２１に戻され次のフレーム画像が取得される。これと並行して、ステップＳ２６以降の並行処理が実行される。

（ステップＳ２６：期限前判定処理）
状態判定部２４は、状態の変化が近づいていないと想定している期間に得られたフレーム画像である期限前画像に基づき、対象物の状態が変化したと判定されたか否かを判定する。つまり、状態判定部２４は、対象物の状態が変化したと判定された根拠のフレーム画像が期限前画像であるか否かを判定する。状態の変化が近づいていないと想定している期間に得られたフレーム画像は、残存期間が基準期間以上の間に得られたフレーム画像である。
状態判定部２４は、期限前画像に基づき、対象物の状態が変化したと判定された場合には、処理をステップＳ２７に進める。一方、状態判定部２４は、残存期間が基準期間よりも短くなってから得られたフレーム画像に基づき、対象物の状態が変化したと判定された場合には、並列処理を終了する。

（ステップＳ２７：追加抽出処理）
戻し解析部２６は、期限前画像よりも前に得られたフレーム画像であって、解析画像として抽出されなかったフレーム画像を、追加で解析対象とする追加画像として抽出する。
具体的には、戻し解析部２６は、期限前画像の１つ前に解析画像として抽出されたフレーム画像から、期限前画像として抽出されたフレーム画像までの間のフレーム画像を対象のフレーム画像に設定する。つまり、戻し解析部２６は、誤差期間に得られたフレーム画像を対象のフレーム画像に設定する。そして、戻し解析部２６は、対象のフレーム画像から、残存期間が基準期間よりも短い場合に設定される抽出レートでフレーム画像を追加画像として抽出する。図９の例であれば、戻し解析部２６は、対象のフレーム画像から、第１状態における第２フレームレートである１ＦＰＳで、追加画像を抽出する。
戻し解析部２６は、追加画像を画像解析部２３に渡す。

（ステップＳ２８：追加解析処理）
画像解析部２３は、ステップＳ２７で渡された各追加画像を入力として、ステップＳ２３と同様に対象物を解析する。

（ステップＳ２９：追加判定処理）
状態判定部２４は、各追加画像を対象として、対象の追加画像に基づき、対象物の状態が複数の状態のうちのどの状態であるかを判定する。ここでは、状態判定部２４は、ステップＳ２８で対象の追加画像から特定された情報に基づき、対象物の状態が複数の状態のうちのどの状態であるかを判定する。状態判定部２４は、判定結果を対象の追加画像がカメラ１４１によって得られた時刻とともにメモリ１２に出力する。
ステップＳ２９の処理が終わると、並列処理が終了する。

なお、ステップＳ２２でメモリ１２に記憶しておくフレーム画像は、誤差期間分だけでよい。戻し解析部２６は、不要になったフレーム画像についてはメモリ１２から削除する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る状態解析装置１０は、状態の変化が近づいていないと想定している期間に状態変化が起こった場合に、解析画像として抽出せずに解析をスキップしたフレーム画像について解析を行う。これにより、状態の変化が近づいていないと想定している期間に状態変化が起こった場合にも、状態の変化のタイミングを後付けで精度よく検出できる。
その結果、各状態の時間を集計する場合等に、正確な時間を修正することが可能になる。

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以下、本開示の諸態様を付記としてまとめて記載する。
（付記１）
カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する解析フレーム抽出部と、
前記解析フレーム抽出部によって抽出された前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定する状態判定部と、
前記状態判定部によって判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とに基づき、前記抽出レートを設定するレート設定部と
を備える状態解析装置。
（付記２）
前記レート設定部は、前記判定状態と前記継続時間とから、前記対象物の状態が変化するまでの残存期間を推定し、前記残存期間が基準期間よりも短いか否かに応じた前記抽出レートを設定する
付記１に記載の状態解析装置。
（付記３）
前記レート設定部は、前記残存期間が前記基準期間よりも短い場合には、前記残存期間が前記基準期間以上の場合よりも前記解析画像として抽出する頻度が高いレートを前記抽出レートとして設定する
付記２に記載の状態解析装置。
（付記４）
前記状態解析装置は、さらに、
前記残存期間が前記基準期間以上の間に得られたフレーム画像である期限前画像に基づき、前記対象物の状態が変化したと判定された場合に、前記期限前画像よりも前に得られたフレーム画像であって、前記解析画像として抽出されなかったフレーム画像を、追加で解析対象とする追加画像として抽出する戻し解析部
を備え、
前記状態判定部は、前記戻し解析部によって抽出された前記追加画像に基づき、前記追加画像が得られた時点で前記対象物の状態が複数の状態のうちのどの状態であったかを判定する
付記３に記載の状態解析装置。
（付記５）
前記戻し解析部は、前記期限前画像の１つ前に前記解析画像として抽出されたフレーム画像から、前記期限前画像として抽出されたフレーム画像までの間のフレーム画像から、前記残存期間が基準期間よりも短い場合に設定される前記抽出レートでフレーム画像を前記追加画像として抽出する
付記４に記載の状態解析装置。
（付記６）
前記状態判定部は、前記対象物の状態が変化する予兆を検出し、
前記レート設定部は、前記予兆が検出されたことを考慮して、前記残存期間を推定する
付記２から５までのいずれか１項に記載の状態解析装置。
（付記７）
前記対象物は製造装置であり、
前記状態判定部は、前記解析画像における前記製造装置を構成する機器と前記製造装置で使用される原材料との状態の組合せから、前記製造装置の状態を判定する
付記１から６までのいずれか１項に記載の状態解析装置。
（付記８）
コンピュータが、カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出し、
コンピュータが、前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定し、
コンピュータが、判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とに基づき、前記抽出レートを設定する状態解析方法。
（付記９）
カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する解析フレーム抽出処理と、
前記解析フレーム抽出処理によって抽出された前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定する状態判定処理と、
前記状態判定処理によって判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とに基づき、前記抽出レートを設定するレート設定処理と
を行う状態解析装置としてコンピュータを機能させる状態解析プログラム。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 状態解析装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 映像受信部、２２ 解析フレーム抽出部、２３ 画像解析部、２４ 状態判定部、２５ レート設定部、２６ 戻し解析部、３１ フレームレート情報、１４１ カメラ。

Claims (7)

1. カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する解析フレーム抽出部と、
   前記解析フレーム抽出部によって抽出された前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定する状態判定部と、
   前記状態判定部によって判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とから、前記対象物の状態が変化するまでの残存期間を推定し、前記残存期間が基準期間よりも短い場合には、前記残存期間が前記基準期間以上の場合よりも前記解析画像として抽出する頻度が高いレートを前記抽出レートとして設定するレート設定部と
   を備える状態解析装置。
2. 前記状態解析装置は、さらに、
   前記残存期間が前記基準期間以上の間に得られたフレーム画像である期限前画像に基づき、前記対象物の状態が変化したと判定された場合に、前記期限前画像よりも前に得られたフレーム画像であって、前記解析画像として抽出されなかったフレーム画像を、追加で解析対象とする追加画像として抽出する戻し解析部
   を備え、
   前記状態判定部は、前記戻し解析部によって抽出された前記追加画像に基づき、前記追加画像が得られた時点で前記対象物の状態が複数の状態のうちのどの状態であったかを判定する
   請求項１に記載の状態解析装置。
3. 前記戻し解析部は、前記期限前画像の１つ前に前記解析画像として抽出されたフレーム画像から、前記期限前画像として抽出されたフレーム画像までの間のフレーム画像から、前記残存期間が基準期間よりも短い場合に設定される前記抽出レートでフレーム画像を前記追加画像として抽出する
   請求項２に記載の状態解析装置。
4. 前記状態判定部は、前記対象物の状態が変化する予兆を検出し、
   前記レート設定部は、前記予兆が検出されたことを考慮して、前記残存期間を推定する請求項１に記載の状態解析装置。
5. 前記対象物は製造装置であり、
   前記状態判定部は、前記解析画像における前記製造装置を構成する機器と前記製造装置で使用される原材料との状態の組合せから、前記製造装置の状態を判定する
   請求項１に記載の状態解析装置。
6. コンピュータが、カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出し、
   コンピュータが、前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定し、
   コンピュータが、判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とから、前記対象物の状態が変化するまでの残存期間を推定し、前記残存期間が基準期間よりも短い場合には、前記残存期間が前記基準期間以上の場合よりも前記解析画像として抽出する頻度が高いレートを前記抽出レートとして設定する状態解析方法。
7. カメラで対象物を撮影して得られるフレーム画像から、抽出頻度を示す抽出レートに従い、解析対象とするフレーム画像を解析画像として抽出する解析フレーム抽出処理と、
   前記解析フレーム抽出処理によって抽出された前記解析画像に基づき、前記対象物の状態が複数の状態のうちのどの状態であるかを判定する状態判定処理と、
   前記状態判定処理によって判定された状態である判定状態と、前記判定状態と判定された状態が継続している継続時間とから、前記対象物の状態が変化するまでの残存期間を推定し、前記残存期間が基準期間よりも短い場合には、前記残存期間が前記基準期間以上の場合よりも前記解析画像として抽出する頻度が高いレートを前記抽出レートとして設定するレート設定処理と
   を行う状態解析装置としてコンピュータを機能させる状態解析プログラム。

Images