JP6451133B2 - 異常検知装置、異常検知方法、異常検知システム、及びプログラム - Google Patents

Description

本発明は、映像から異常を検知する異常検知装置、異常検知方法、異常検知システム、及びプログラムに関する。

近年、異常検知装置として、赤外線センサ、温度センサ等のセンサを用いて異常を検知するもの以外に、映像データより画像の変化に基づき異常を検知するものが知られている。
このような異常検知装置は、例えば、監視システム等に用いられ、映像データより取得されるフレームの各画素位置における画素値の変化により異常を検知している。

また、被写対象が所定の動作を行う場合等、検知対象となる映像データにおいて、画素値が変化することを前提に、予め正常時、又は異常時の映像（より詳細には、画素値の継時的変化）を記憶しておき、その映像と比較することで、異常を検知する異常検知装置も知られている。
特許文献１には、異常を表す特定の挙動パターンを予め登録しておき、検知対象となる映像データが、特定の挙動に該当するか否かを判定し、該当すると、その旨をアラートとして報知する異常検知装置が記載されている。

特許文献１に記載された異常検知装置では、予め登録した特定の挙動パターンに応じてアラートの種類を設定しておくことで、アラートの種類に応じた異常情報は取得できるものの、それは予め登録した特定の挙動パターンに限定され、その異常の詳細な情報を取得することができない。即ち、異常が発生した時点における被写対象の状態を示す画像を特定するためには、改めて映像データを確認しなければならない。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、監視対象に異常が発生したときに、ユーザはその異常の内容を容易かつ正確に把握することができるようにすることである。

本発明は、監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置であって、前記比較対象画像と前記監視対象画像との差分に基づき前記監視対象の異常を検知する異常検知部と、前記比較対象画像と前記監視対象画像との差分を示す画像を表示装置に表示させる表示制御部と、監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出部とを、有し、前記静止画像抽出部は、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第１の閾値未満のフレームを静止画像として抽出する異常検知装置である。

本発明によれば、監視対象に異常が発生したときに、ユーザはその異常の内容を容易かつ正確に把握することができる。

本発明の実施形態に係る異常検知装置の概略ブロック図である。 本発明の実施形態に係る異常検知装置の機能ブロック図である。 本発明の実施形態に係る異常検知装置における比較対象映像の読み込みから、監視対象画像の異常を検知し、アラートを発報するまでの処理手順を示すフロー図である。 フレーム比較データを示す図である。 フレーム比較データをグラフ化した図である。 静止画像データを示す図である。 本発明の実施形態に係る異常検知装置により静止画像区間を特定し、代表静止画像を取得するまでの処理手順を示すフロー図である。 映像データ記憶部にフレーム単位で記憶された比較対象映像を示す図である。 静止画像データ記憶部に記憶された静止画像を示す図である。 静止画像記憶部に記憶された代表静止画像を示す図である。 マスク画像の生成を示す図である。 マスク画像生成部によるマスク処理を示す図である。 検知非対象画像と検知対象画像に分類する処理を示す図である。 映像データ記憶部にフレーム単位で記憶された監視対象映像（フレーム番号１〜８）を示す図である。 異常検知部における、監視対象画像と、検知非対象画像として分類された比較対象画像との比較処理と、その比較結果に基づき実行される付随処理を示す図である。 映像データ記憶部にフレーム単位で記憶された監視対象映像（フレーム番号２〜９）を示す図である。 異常検知部における、監視対象画像と、検知非対象画像及び検知対象画像として分類された比較対象画像との比較処理と、その比較結果に基づき実行される付随処理を示す図である。 映像データ記憶部にフレーム単位で記憶された監視対象映像（フレーム番号１８〜２５）を示す図である。 異常検知部における、監視対象画像と、検知非対象画像及び検知対象画像として分類された比較対象画像との比較処理と、その比較結果に基づき実行される付随処理を示す図である。 異常検知部における、監視対象画像と、検知非対象画像及び検知対象画像として分類された比較対象画像との比較処理と、その比較結果に基づき実行される付随処理を示す図である。 ソフトウェアのホーム画面において、ユーザにより「教育」が選択された画面を示す図である。 検知対象画像の選択画面を示す図である。 検知対象画像と検知非対象画像の分類結果を表示した画面を示す図である。 ユーザにより「監視」が選択され、その後に異常が検知された画面を示す図である。 ユーザに対する監視対象画像の追加有無の問い合わせを示す図である。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る異常検知装置の概略ブロック図である。
異常検知装置３００は、撮影装置１００、外部記憶装置２００、入力装置４００、表示装置５００及び外部接続機器６００と接続することで、異常検知システム１を構成する。

撮影装置１００は、被写対象を撮影するための、例えば、ビデオカメラ、ＩＰ（Internet Protocol）カメラ、ｗｅｂカメラ等であり、異常検知装置３００にストリーミング映像を提供する。
なお、撮影装置１００により監視のために被写対象を撮影した映像を本発明では監視対象映像という。また、監視対象映像から所定の条件により抽出され、所定の方法により取得された静止画像を、本発明では、監視対象画像という。

撮影装置１００は、撮影時刻を管理する時刻管理部（不図示）と、撮影装置１００に固有なＩＤ（識別情報）を保持する固有ＩＤ部（不図示）とを備え、映像を撮影する際に、撮影時刻と固有ＩＤをメタ情報として映像データに関連付ける。
なお、撮影装置１００は、異常検知装置３００内部の映像データ記憶部３５０（図２）とは別に、外部の映像記憶手段としても機能し、撮影装置１００自体において撮影時の映像データを記憶することもできる。したがって、撮影装置１００に記憶した映像データを、異常検知装置３００に転送することもできる。

外部記憶装置２００は、ハードディスク等の大容量記憶装置であり、撮影装置１００以外の撮影装置により撮影された映像データを記憶する。
また、撮影装置１００以外の撮影装置で撮影し、その撮影装置自体に映像データを記憶させる場合、その撮影装置を外部記憶装置２００とすることもできる。この場合、その撮影装置のメモリカードをメモリスロット３２０（図２）に挿入することで、またＵＳＢ（Universal Serial Bus）ケーブルをＵＳＢ等接続インタフェース（Ｉ／Ｆ）３３０（図２）に接続することで、映像データを転送することができる。
なお、外部記憶装置２００に記憶された画像であって、監視のために撮影する同一の被写対象における正常時の映像を本発明では比較対象映像という。また、比較対象映像から所定の条件により抽出され、所定の方法により取得された静止画像を、本発明では、比較対象画像という。

異常検知装置３００は、監視対象画像と、比較対象画像とを比較し、その比較結果から異常を検知する。
異常検知装置３００は、異常を検知すると、アラートを発報し、監視対象画像と比較対象画像の比較結果（即ち、差分を示す画像）を表示装置５００、又は外部接続機器６００の表示領域（例えば、ディスプレイ、スクリーン等）に表示させる。
なお、異常検知装置３００は、ＬＡＮ（Local Area Network）やインターネット等のネットワークに接続することもできる。また、異常検知装置３００には、異常を検知する上で必要なソフトウェアがインストールされている。

入力装置４００は、例えば、キーボード、マウス等であり、ユーザが異常検知装置３００に対して種々の操作を行うための装置である。
表示装置（以下、モニタ）５００は、例えば、液晶表示装置等である。モニタ５００は、現在、異常検知装置３００に接続されている撮影装置１００により撮影されている映像、及び／又は異常検知装置３００内の映像データ記憶部３５０（図２）に記憶されている映像、それらの映像から取得した静止画像、並びに異常検知装置３００にインストールされたソフトウェアの操作画面等を表示する。

外部接続機器６００は、例えば、ＰＣ（Personal Computer）、タブレット、スマートフォン等である。
また、外部接続機器６００は、ＬＡＮケーブル等の有線、又は、Ｗｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線で、異常検知装置３００に接続される。
なお、外部接続機器６００のディスプレイ、又はスクリーンの表示仕様は、モニタ５００の表示仕様と同様である。

図２は、本発明の実施形態に係る異常検知装置の機能ブロック図である。
異常検知装置３００は、映像データ等の入出力機能として、外部映像入力部３１０、メモリスロット３２０、ＵＳＢ等接続インタフェース３３０、ユーザインタフェース３４０、外部映像出力部３７０、ＬＡＮポート３８０、無線インタフェース３９０を備え、また異常検知機能として、異常検知装置３００内部に、映像データ記憶部３５０、時刻管理部３５１、設定情報取得部３５２、フレーム比較部３５３、フレーム比較データ記憶部３５４、静止画像抽出部３５５、静止画像データ記憶部３５６、代表静止画像取得部３５７、静止画像記憶部３５８、マスク画像生成部３５９、異常検知部３６０、アラート発報部３６１、表示制御部３６２を備える。
なお、以上の各部のうち、時刻管理部３５１、設定情報取得部３５２、フレーム比較部３５３、静止画像抽出部３５５、代表静止画像取得部３５７、マスク画像生成部３５９、異常検知部３６０、アラート発報部３６１、表示制御部３６２は、異常検知装置３００のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。

外部映像入力部３１０は、異常検知装置３００と撮影装置１００とを接続するためのインタフェースである。
メモリスロット３２０は、撮影装置１００以外の撮影装置により撮影された映像データを記憶したメモリカードを挿入し、映像データを転送するためのスロットである。

ＵＳＢ等接続インタフェース３３０は、キーボード、マウス等の入力装置４００をＵＳＢケーブルで接続するためのインタフェースであり、ユーザによる異常検知装置３００の操作を可能にする。また、ユーザは、ＵＳＢ等接続インタフェース３３０に、外部記憶装置２００をＵＳＢケーブルで接続することにより、外部記憶装置２００に記憶された映像データを異常検知装置３００に転送することができる。
ユーザインタフェース３４０は、異常検知装置３００の電源操作、静止画像の記憶、選択及び表示の制御、アラートの音量調整等、ユーザが異常検知装置３００に対して直接、操作するためのインタフェースである。

映像データ記憶部３５０は、異常検知装置３００内部の映像記憶手段であり、撮影装置１００で撮影され、外部映像入力部３１０より入力された映像データをフレーム単位で記憶する。
また、映像データ記憶部３５０は、外部記憶装置２００よりメモリスロット３２０、又はＵＳＢ等接続インタフェース３３０を介して転送される映像データも、同様にフレーム単位で記憶する。

時刻管理部３５１は、異常検知装置３００内の時刻を管理し、撮影装置１００で撮影され、異常検知装置３００に記憶される映像データに関連付ける時刻情報、また映像データを同期させるときに用いられる時刻情報を管理する。
設定情報取得部３５２は、異常を検知する上で必要な情報を取得する。
例えば、比較対象画像と監視対象画像とを比較し、その比較結果（差分）に基づきアラートを発報する場合、ユーザにより設定される、アラートの発報対象と判定する閾値を、設定情報取得部３５２は設定情報として取得する。

フレーム比較部３５３は、映像データ記憶部３５０にフレーム単位で記憶された映像データより、時間的に前後に位置するフレームを読み込み、各フレーム内の画素毎にフレーム間における画素値の差分（変化量）を計算する。
本実施形態では、画素値の差分を計算する上で、ＲＧＢ値を用いる。
ＲＧＢ値で比較する場合、先ず、比較するフレーム１（ｒ１、ｇ１、ｂ１）及びフレーム２（ｒ２、ｇ２、ｂ２）の各画素に関して、ＲＧＢ値の差分の絶対値（即ち、｜ｒ１−ｒ２｜、｜ｇ１−ｇ２｜、｜ｂ１−ｂ２｜）を計算する。次に、各々の計算結果が設定した所定の閾値（ここでは、所定の感度という）以上となる画素数をカウントし、そのカウントされた画素数が、フレームの総画素数に対して占める割合を計算する。
但し、画素の差分を計算する方法としては、各画素のＲＧＢの値を比較する方法に必ずしも限定されず、各画素のＨＳＶ（Hue Saturation Value）の値を比較する方法、映像データ（画像）をグレースケール化して各画素の輝度値を比較する方法、また映像データ（画像）に対してエッジ処理を実行し、各画素のエッジ強度を比較する方法を用いてもよい。

なお、各画素のＲＧＢ値の変化を判定する感度、及びフレームの変化を判定する閾値は、ユーザにより設定される。
具体的には、ユーザは、異常検知装置３００にインストールされたソフトウェアの入力画面において、感度及び閾値を入力することで設定することができる。
また、ユーザは、監視を開始する前に、サンプルとする映像データから静止画像データを生成した上で、その生成した静止画像データをモニタ５００、若しくは外部接続機器６００のディスプレイ又はスクリーンに表示し、確認することで、感度及び閾値を調節することができる。

フレーム比較データ記憶部３５４は、フレーム比較部３５３における計算結果を、フレーム比較データとして記憶する。
静止画像抽出部３５５は、フレーム比較データ記憶部３５４に記憶されているフレーム比較データより、画素値の変化の小さいフレーム区間（以下、静止画像区間）を特定し、その特定した静止画像区間内にある静止画像を、静止画像区間毎の集合（以下、静止画像群ともいう）単位で抽出し、静止画像データ記憶部３５６に記憶する。

静止画像データ記憶部３５６は、静止画像抽出部３５５により抽出されたフレーム、フレーム番号、及びフレームの総画素数に対する、所定の感度以上となった画素数の割合を、静止画像抽出部３５５により設定された静止画像群単位で記憶する。
なお、静止画像データ記憶部３５６に記憶される静止画像データについては、図６を用いて後述する。

代表静止画像取得部３５７は、設定情報取得部３５２により取得された設定（方法）に基づき、静止画像区間の内容を特定するのに使用する静止画像（以下、代表静止画像）を静止画像群毎に取得する。
なお、代表静止画像取得部３５７は、取得した代表静止画像を静止画像群に関連付けて、静止画像記憶部３５８に記憶する。

代表静止画像取得部３５７による代表静止画像の取得方法としては、静止画像群を構成する静止画像の各画素の平均画素値（ＲＧＢ値の平均値）を算出し、（ｉ）その算出された平均画素値より代表静止画像を取得する方法、（ii）静止画像群の最初、又は最後等、所定の抽出位置で静止画像抽出部３５５により抽出され、静止画像データ記憶部３５６に記憶された静止画像を代表静止画像として取得する方法、また、（iii）フレームの総画素数に対する感度以上となった画素数の割合が最も小さいフレーム（静止画像）を代表静止画像として取得する方法がある。また、図示してはいないが、ユーザは、静止画像データ記憶部３５６に記憶されている所定の静止画像を、表示装置５００、又は外部接続機器６００の表示領域に表示させ、入力装置４００で選択することで、代表静止画像を取得することもできる。
静止画像記憶部３５８は、代表静止画像取得部３５７により取得した代表静止画像を静止画像群単位で記憶する。

マスク画像生成部３５９は、静止画像記憶部３５８に記憶される代表静止画像から、背景差分の技術を用いて検知対象物体以外の領域（即ち、検知非対象領域）を分離することで、マスク画像（フレームにおける検知対象物体の領域以外の領域をマスクすることで検知にあたりノイズを除去するための画像）を生成する。
マスク画像生成部３５９は、具体的には、静止画像記憶部３５８に記憶される代表静止画像を重ね合わせ、重ね合わせた画像中で画素値の差分が所定値よりも大きい領域（検知対象領域）を特定し、その領域以外の領域を検知非対象領域として抽出することで、マスク画像を生成する。
マスク画像生成部３５９は、マスク画像を生成すると、生成したマスク画像を代表静止画像に掛け合わせる（即ち、マスク処理を実行する）。
なお、この処理は、画像から検知対象領域を限定すること（即ち、検知非対象領域を除外すること）で、検知の過程で生じる可能性のあるノイズを除去して検知の精度を向上させるために実行される。

異常検知部３６０は、比較対象画像と監視対象画像とを比較し、その比較結果に所定の差分があると判定すると、異常を検知する。
具体的には、異常検知部３６０は、先ず、比較対象画像と監視対象画像に関して、フレーム比較部３５３と同様にＲＧＢ値を用いて、各静止画像内の画素毎に静止画像間における画素値の差分（即ち、ＲＧＢ値の差分の絶対値）を計算する。次に、その計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、静止画像の総画素数に対して占める割合を計算する。そして、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、所定の閾値以上となった場合に、異常検知部３６０は異常を検知する。
また、異常検知部３６０は、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、所定の値未満になる場合等に、異常検知の精度を向上させるために、比較対象画像を監視対象画像に置き換える処理を実行する。この処理については、図３のステップＳ１１７、Ｓ１１９、また図１５Ｂを用いて、後述する。
なお、異常検知部３６０は、比較対象画像と監視対象画像に関して、差分を計算すると、その計算結果から差分画像を生成し、静止画像記憶部３５８に記憶する。

アラート発報部３６１は、異常検知部３６０において異常が検知されると、アラートを発報する。
なお、アラート発報部３６１は、異常の程度（この場合、異常検知部３６０において計算される、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合）に応じて、アラートの音量を調整することもできる。

表示制御部３６２は、異常検知部３６０において異常が検知されると、比較対象画像、監視対象画像、及び／又は差分画像をモニタ５００又は外部接続機器６００の表示領域に表示させる。
また、表示制御部３６２は、入力装置４００又は外部接続機器６００からの入力情報に従って、静止画像データ記憶部３５６に記憶されている静止画像、静止画像記憶部３５８に記憶されている代表静止画像等を、同様にモニタ５００、又は外部接続機器６００の表示領域に表示させる。

外部映像出力部３７０は、異常検知装置３００と表示装置５００とを接続するためのインタフェースである。
ＬＡＮポート３８０は、異常検知装置３００と外部接続機器６００とをＬＡＮケーブル等の有線通信手段により接続するためのインタフェースである。
無線インタフェース３９０は、異常検知装置３００と外部接続機器６００とをＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信手段により接続するためのインタフェースである。

図３は、本発明の実施形態に係る異常検知装置３００における比較対象映像の読み込みから、監視対象画像の異常を検知し、アラートを発報するまでの処理手順を説明するフロー図である。
この処理手順は、比較対象映像から比較対象画像を取得し、その比較対象画像を検知対象画像と検知非対象画像に分類するまでの段階（ここでは、教育の段階という（ステップＳ１０１からステップＳ１０９））と、監視対象映像から監視対象画像を取得し、その取得した監視対象画像と比較対象画像を比較し、異常の発生有無を判定する段階（ここでは、監視の段階という（ステップＳ１１０からステップＳ１２５））から構成される。
ここで、比較対象画像を検知対象画像と検知非対象画像に分類するのは、監視対象画像を比較対象画像と比較するにあたり、異常検知装置３００における処理手順の実行上の効率化を図るためである。即ち、監視の段階では、先ず監視対象画像と検知非対象画像の比較を行い、一致する監視対象画像は検知対象画像でないとして除外し、検知非対象画像と一致しなかった監視対象画像についてのみ検知対象画像との比較を行う。これにより、検知対象画像と比較すべき監視対象画像を事前に制限することができる。

次に、図３のフロー図を用いて、本発明の実施形態に係る異常検知装置３００における前記処理手順を説明する。
先ず、フレーム比較部３５３は、映像データ記憶部３５０に記憶された比較対象映像から、時間的に前後に位置するフレームを読み込む（Ｓ１０１）。以下、説明の順序に従って処理手順を実行する。
フレーム比較部３５３は、時間的に前後に位置するフレームに関して、各フレーム内の画素毎にフレーム間における画素値の差分を計算し、フレーム比較データを生成する（Ｓ１０２）。
なお、生成されたフレーム比較データは、フレーム比較データ記憶部３５４に記憶される。また、フレーム比較データに関しては、図４を用いて後述する。

静止画像抽出部３５５は、フレーム比較データ記憶部３５４に記憶されたフレーム比較データを参照し、画素値の差分が所定の閾値（δ；図５）より小さいフレームからなる静止画像区間を特定し、その特定した静止画像区間毎に、画素値の差分が所定の閾値（ε＜δ；図５）未満のフレームを静止画像として静止画像群単位で抽出し（Ｓ１０３）、静止画像データ記憶部３５６に記憶する。
なお、静止画像区間の特定については図５を用いて後述する。また、静止画像データ記憶部３５６に記憶される静止画像データについては図６、静止画像については図９を用いて後述する。

代表静止画像取得部３５７は、静止画像データ記憶部３５６から静止画像群毎に代表静止画像を取得する（Ｓ１０４）。
なお、図３には図示していないが、異常検知装置３００は、比較対象映像からフレームの取得が可能な限り、ステップＳ１０１からＳ１０４までの処理を繰り返し実行する。また、ステップＳ１０１からステップＳ１０４までの処理については、図７のフロー図、また図８から図１０を用いて詳述する。

マスク画像生成部３５９は、全ての代表静止画像を重ね合わせ、検知対象領域を特定し、それ以外の領域（検知非対象領域）を分離することでマスク画像を生成する（Ｓ１０５）。
なお、マスク画像の生成については、図１１を用いて後述する。

マスク画像生成部３５９は、生成したマスク画像を代表静止画像に掛け合わせるマスク処理を実行する（Ｓ１０６）。
なお、マスク処理の実行については、図１２を用いて後述する。また、ステップＳ１０５のマスクの生成処理、及びステップＳ１０６のマスク処理は、異常を検知する精度を向上させるために実行させる処理であることから、任意であり省略することもできる。

表示制御部３６２は、マスク処理が施された代表静止画像をモニタ５００、又は外部接続機器６００の表示領域に表示させる（Ｓ１０７）。
即ち、表示制御部３６２は、ユーザにより検知対象画像（ユーザが実行しようとする検知のための画像）が選択されるまで（Ｓ１０８ Ｎｏ）、マスク処理が施された代表静止画像をモニタ５００、又は外部接続機器６００の表示領域に表示する。
そして、ユーザにより検知対象画像が選択されると（Ｓ１０８ Ｙｅｓ）、異常検知装置３００は、マスク処理が施された代表静止画像を、検知非対象画像と検知対象画像に分類し、静止画像記憶部３５８に記憶する（Ｓ１０９）。
なお、ステップＳ１０７からステップＳ１０９までの処理は、省略することができる。その場合、異常検知装置３００は、マスク処理が施された代表静止画像の全てを検知対象画像に分類して、以後の処理を実行する。また、ユーザによる検知対象画像の選択処理（即ち、ステップＳ１０８の処理）は、図１３を用いて後述する。

このように、ステップＳ１０１からステップＳ１０９の教育の段階が終了すると、ステップＳ１１０からの監視の段階に移行する
監視の段階では、先ず、フレーム比較部３５３は、映像データ記憶部３５０に記憶された監視対象映像からフレームの読み込み可否を判定する（Ｓ１１０）。フレーム比較部３５３は、フレームの読み込みが可能であると判定すると（Ｓ１１０ Ｙｅｓ）、時間的に前後に位置するフレームを読み込む（Ｓ１１１）。
フレーム比較部３５３は、時間的に前後に位置するフレームに関して、各フレーム内の画素毎にフレーム間における画素値の差分を計算し、フレーム比較データを生成する（Ｓ１１２）。
なお、生成されたフレーム比較データは、ステップＳ１０２の処理と同様に、フレーム比較データ記憶部３５４に記憶される。

静止画像抽出部３５５は、フレーム比較データ記憶部３５４から取得したフレーム比較データを参照し、静止画像区間を特定し、その特定した静止画像区間における画素値の差分が所定の閾値ε（図５）より小さいフレームを静止画像として抽出し（Ｓ１１３）、静止画像データ記憶部３５６に記憶する。
代表静止画像取得部３５７は、例えば、前述の代表静止画像の取得方法のいずれかに基づき、その特定した静止画像区間における代表静止画像を取得する（Ｓ１１４）。

マスク画像生成部３５９は、ステップＳ１１４において取得した代表静止画像に対して、ステップＳ１０５で生成したマスク画像を掛け合わせることで、マスク処理を実行する（Ｓ１１５）。
なお、ステップＳ１０５及びステップＳ１０６の処理が省略されている場合、ステップＳ１１５の処理も同様に省略することができる。

次に、異常検知部３６０は、監視対象映像から取得しマスク処理を施した監視対象画像と、ステップＳ１０９において検知非対象画像として記憶されたマスク処理が施された比較対象画像とを比較する（Ｓ１１６）。
具体的には、異常検知部３６０は、監視対象映像から取得され、マスク処理が施された監視対象画像と、教育の段階において検知非対象画像に分類され、マスク処理が施された比較対象画像に関して、各静止画像内の画素毎に両者間における画素値の差分を計算する。
次に、異常検知部３６０は、その計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、静止画像の総画素数に対して占める割合を計算する。そして、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、所定の閾値α以上になるか否かを判定する（Ｓ１１６）。

判定の結果、閾値α未満の場合（Ｓ１１６ α未満）、異常検知部３６０は、当該比較対象画像を比較対象から外し、代わりにマスク処理が施された前記監視対象画像を比較対象画像に置き換える処理を行う（Ｓ１１７）。その上で、再度ステップＳ１１０からの処理を実行する（この処理は、検索データ記憶部の検索対象映像に読み込み可能なフレームが無くなることで（Ｓ１１０ Ｎｏ）、終了する）。
この場合、教育の段階において検知非対象画像として分類し、マスク処理を施した前記比較対象画像を、静止画像記憶部３５８から削除、又は静止画像記憶部３５８の別の記憶領域に記憶するようにしてもよい。
なお、教育の段階において検知非対象として分類される比較対象画像は、必ずしも１つではないことから、異常検知部３６０は、比較対象画像の各々に対してステップＳ１１６の処理を実行し、そのうちの１つの比較対象画像との関係で、閾値α未満となれば（Ｓ１１６ α未満）、ステップＳ１１７（置き換え処理）に移行させる。また、ステップＳ１１６及びステップＳ１１７における処理は、図１４及び図１５を用いて後述する。

ここで、マスク処理が施された比較対象画像を、監視対象画像に置き換える処理（Ｓ１１７）は、監視対象画像と比較対象画像に差分がないことを前提として、比較対象画像より後に撮影された画像を、新たに比較対象画像に採用する処理、即ち、直近に撮影された画像に置き換える処理といえる。
これは、異常を検知する上での精度を向上させるために実行される処理であり、例えば、太陽光の影響等により、撮影装置１００により撮影される被写対象の輝度が撮影時刻と共に変化することを想定したものである。
したがって、同一の被写対象を撮影することを前提に、撮影日時により輝度等、画像が変化しないことが保障されれば、ステップＳ１１７の置き換え処理は省略することができる。

ステップＳ１１６において閾値α以上になると（Ｓ１１６ α以上）、異常検知装置３００は、異常検知部３６０により、マスク処理が施された監視対象画像と、ステップＳ１０９において検知対象画像として記憶されたマスク処理が施された比較対象画像とを比較する（Ｓ１１８）。
具体的には、異常検知部３６０は、マスク処理が施された監視対象画像と、検知対象画像として分類され、マスク処理が施された比較対象画像に関して、各静止画像内の画素毎に静止画像間における画素値の差分を計算する。次に、その計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、静止画像の総画素数に対して占める割合を計算する。そして、異常検知部３６０は、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、閾値β未満となるか、閾値β以上閾値γ未満となるか、閾値γ以上となるかを判定する（Ｓ１１８）。
なお、ここでは、閾値β以上閾値γ未満を異常としアラート発報を行い、閾値γ以上は異常以外の要因があるとみなす。

判定の結果、閾値β未満となる場合（Ｓ１１８ β未満）、異常検知部３６０は、静止画像記憶部３５８において、検知対象画像として分類され、マスク処理が施された比較対象画像を、マスク処理が施された監視対象画像に置き換え（Ｓ１１９）、再度、ステップＳ１１０から処理を実行する。この場合、異常検知装置３００は、検知対象画像として分類しマスク処理を施した比較対象画像を、静止画像記憶部３５８から削除、又は静止画像記憶部３５８の別の記憶領域に記憶しておいてもよい。
なお、既に述べたとおり、検知対象として分類される比較対象画像は、必ずしも１つではないことから、異常検知部３６０は、比較対象画像の各々に対してステップＳ１１８の処理を実行する。そのうちの１つの比較対象画像との関係で、閾値β未満となれば（Ｓ１１８ β未満）、ステップＳ１１９（置き換え処理）に移行させる。また、ステップＳ１１９の処理は、ステップＳ１１７の処理と同様に、検知精度を向上させるために実行される処理であることから、省略することができる。

また、ステップＳ１１８において判定した結果、いずれの比較対象画像との関係においても閾値β未満（即ち、正常）とならない場合であって、かつ、いずれか１つの比較対象画像との関係で閾値β以上閾値γ未満となる場合（Ｓ１１８ β以上 γ未満）、即ち、異常検知部３６０により異常が検知されると、アラート発報部３６１は、アラートを発報する（Ｓ１２０）。
なお、異常が検知された場合、アラート発報部３６１は、有線、又は無線により接続される外部接続機器６００からアラートを発報するように制御することもできる。

アラート発報部３６１によりアラートが発報されると（Ｓ１２０）、表示制御部３６２は、比較対象画像と監視対象画像との差分を示す画像を生成し、モニタ５００、又は外部接続機器６００の表示領域に表示させる（Ｓ１２１）。
なお、検知対象としてされる比較対象画像は、既に述べたように必ずしも１つではないことから、異常検知部３６０は、比較対象画像の各々に対してステップＳ１１８の処理を実行し、そのうちの１つの比較対象画像との関係で、閾値β以上閾値γ未満となれば、ステップＳ１２０に移行させる（即ち、アラートを発報する）。

表示制御部３６２は、差分を画像として表示し、ユーザによりエラー内容が確認されると、監視の続行有無をユーザに問い合わせる（Ｓ１２２）。
具体的には、表示制御部３６２は、監視の続行有無に関するメッセージを、モニタ５００、又は外部接続機器６００の表示領域に表示させる。
そして、ユーザにより監視の続行が選択された場合（Ｓ１２２ Ｙｅｓ）、異常検知装置３００は、再度、ステップＳ１１０から処理を実行し、ユーザにより監視の中止が選択された場合（Ｓ１２２ Ｎｏ）、監視を終了する。
なお、ステップＳ１１６（α以上）、ステップＳ１１８（β以上 γ未満）、ステップＳ１２１、ステップＳ１２２の処理は、図１７を用いて後述する。

また、ステップＳ１１８において判定した結果、いずれの比較対象画像との関係においても閾値β未満とならない場合であって、かつ閾値β以上閾値γ未満とならない場合（即ち、閾値γ以上となる場合（Ｓ１１８ γ以上））、表示制御部３６２は、比較対象画像と監視対象画像を、モニタ５００、又は外部接続機器６００の表示領域に表示させる（Ｓ１２３）。
なお、ステップＳ１２３において表示制御部３６２は、比較対象画像と監視対象画像を表示することと同時に、表示した監視対象画像を比較対象画像の検知非対象画像として追加（設定）するか否かをユーザに問い合わせる。

そして、表示した監視対象画像を比較対象画像の検知非対象画像として追加するようにユーザにより選択された場合（Ｓ１２４ Ｙｅｓ）、異常検知部３６０は、静止画像記憶部３５８において、表示した監視対象画像を比較対象画像の検知非対象画像として追加する（Ｓ１２５）。その後、再度、ステップＳ１１０から処理を実行する。
また、表示した監視対象画像を比較対象画像の検知非対象画像として追加しないようにユーザにより選択された場合（Ｓ１２４ Ｎｏ）も、同様に、再度、ステップＳ１１０から処理を実行する。
なお、ステップＳ１１６（α以上）、ステップＳ１１８（γ以上）、ステップＳ１２３、ステップＳ１２５の処理は、図１９を用いて後述する。

次に、説明の順序は逆になるが、図４から図７を用いて、映像データから静止画像区間を特定し、その特定した静止画像区間内にある静止画像を静止画像区間（静止画像群）単位で抽出し、さらに抽出した静止画像から代表静止画像を取得するまでの具体的な処理を説明する。
なお、図４から図７は、図３のステップＳ１０１からステップＳ１０４、またステップＳ１１１からステップＳ１１４に関連する。

図４は、フレーム比較データ記憶部３５４に記憶されるフレーム比較データである。
図４において、左欄はフレーム番号（映像データより所定の時間間隔で読み込むフレームの順番）、右欄はフレームの総画素数に対する所定の感度以上となった画素数の割合（％）を示している。例えば、フレーム番号１１では、フレーム番号１０との関係で、フレーム内の各画素に関してＲＧＢ値の差分の絶対値を計算し、その計算結果が設定した所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が８５％であることを示している。フレーム番号１２では、フレーム番号１１との関係で、所定の感度以上となる画素数のフレーム総画素数に対して占める割合が６％であることを示している。フレーム番号１３以下も同様である。

次に、図５を用いて、静止画像抽出部３５５による静止画像区間の特定及び静止画像の抽出のための処理手順について説明する。
図５は、図４に示す、フレーム比較データ記憶部３５４に記憶されるフレーム比較データをグラフ化したものである。図５において、横軸はフレーム番号、縦軸はフレームの総画素数に対する感度以上となった画素数の割合を示している。
なお、図５では、説明の便宜上、フレームを読み込む時間間隔を相応に長く設定している。

図５を参照すると、所定の感度以上となった画素数のフレームの総画素数に対する割合が比較的低いフレーム区間として、フレーム番号１２〜２２までの区間と、フレーム番号２９〜３４までの区間がある。
この場合、レーム番号１２〜２２までの区間において抽出される静止画像とフレーム番号２９〜３４までの区間において抽出される静止画像とでは、フレーム番号２３〜２８にかけてフレームの総画素数に対する所定の感度以上となった画素数の割合が大きく変化していることから、異なる場面（シーン）における静止画像となる可能性がある。
そこで、静止画像抽出部３５５は、場面毎に静止画像を抽出するために、静止画像区間を特定し、その特定した静止画像区間毎に（即ち、静止画像群単位で）静止画像を抽出し、静止画像データ記憶部３５６に記憶する。

以下、フレーム比較部３５３及び静止画像抽出部３５５における処理を説明する。
フレーム比較部３５３は、映像データから所定の時間間隔でフレームを連続的に読み込み、時間的に前後に位置するフレームのフレーム間で画素値（ＲＧＢ値）の差分の絶対値を計算し、その計算された絶対値が所定の感度以上となる後のフレームの画素数をカウントする。
次に、静止画像抽出部３５５は、後のフレームのカウントされた画素数のフレームの総画素数に対する割合が、閾値δ以上から閾値δ未満になった時点から閾値δ未満から閾値δ以上になった時点までの区間（即ち、閾値δ未満となる区間）を、静止画像区間として特定する。
なお、閾値δは、本発明の第１の閾値に対応する。

静止画像抽出部３５５は、次に、その特定した静止画像区間毎に、この静止画像区間に属する静止画像（ここでは、便宜上、第１の静止画像という）から、画素数の割合が閾値δよりも小さい閾値ε（本発明の第２の閾値に対応する）未満となる静止画像（ここでは、便宜上、第２の静止画像という）を抽出する。そして、この抽出した第２の静止画像に基づき、後述する各取得方法に従って、静止画像区間における映像データの内容を特定する静止画像を取得する。具体的には、静止画像抽出部３５５は、所定の感度以上となった画素数のフレームの総画素数に対する割合が閾値ε未満となる第２の静止画像を、静止画像群に関連付けて静止画像データ記憶部３５６に記憶する。
なお、静止画像区間は、所定の感度以上となった画素数のフレームの総画素数に対する割合が、閾値δ未満から閾値δ以上になって初めて特定される区間であること、また、静止画像抽出部３５５は、静止画像区間を特定する前に、フレームを連続的に読み込み、閾値ε未満となる第２の静止画像を抽出し、記憶する必要があることから、実際の処理では、静止画像抽出部３５５は、静止画像区間の開始時点を特定すると、所定の条件を充足するフレーム（第２の静止画像）を順次、抽出し、静止画像データ記憶部３５６に記憶する。

その際、本実施形態では、静止画像群設定フラグという所定のフラグを用いて、静止画像群の設定がされたか否かを判別できるようにしている。
具体的には、静止画像群設定フラグは、時間的に連続する前後のフレームに関して、各フレームの画素値の差分の絶対値が設定した所定の値（感度）以上となる画素数のフレームの総画素数に対する割合が、閾値δ以上から閾値δ未満になると（例えば、図５において、フレーム番号１１から１２、フレーム番号２８から２９）「１」にセットされ、逆に閾値δ未満から閾値δ以上になると（図５において、フレーム番号２２から２３、フレーム番号３４から３５）「０」にセットされる。
また、異常検知装置３００は、内部の処理として、静止画像区間を特定するために、静止画像群設定フラグを用いる。具体的には、異常検知装置３００は、静止画像群設定フラグが「１」にセットされてから、「０」にセットされるまでのフレーム区間を静止画像区間として特定することができる。

図５の表示例では、静止画像区間を特定するための閾値δ（図中、点線）を２０％に設定していることから、静止画像抽出部３５５は、フレーム番号１２から２２までを静止画像区間Ａと特定し、またフレーム番号２９から３４までを静止画像区間Ｂと特定する。さらに、本実施形態では、図５に示すように、第２の静止画像であるか否かを判定するための閾値ε（図中、破線）を１０％に設定していることから、静止画像抽出部３５５は、静止画像区間Ａにおいて抽出されるフレーム番号１２、１４、１６、１８、２０、２１、２２のフレームを、静止画像群Ａの第２の静止画像として、また静止画像区間Ｂにおいて抽出されるフレーム番号３０、３１、３３のフレームを静止画像群Ｂの第２の静止画像として抽出し、静止画像データ記憶部３５６に記憶する。

なお、図５では、静止画像区間を特定するための閾値δを、閾値εの１０％に対して、１０％ほど高い２０％に設定している。
このように閾値δとεを設定して、静止画像を、第１及び第２の静止画像として２段階に分けたのは、同一の場面において、静止画像として抽出されるフレームが時間的に連続することが予定される場合であっても、映像データにノイズが混入されることで画素値が変化する場合があり、その場合においても、画素数の割合が閾値δに達しない限り、ノイズが混入したフレームを同一の場面（即ち、同じ静止画像区間内）のフレームと判定できるようにするためである。

図６は、静止画像データ記憶部３５６に記憶される静止画像データを示している。
図６において、左欄は静止画像群、中欄はフレーム番号、右欄はフレームの総画素数に対する感度以上となった画素数の割合を示している。
なお、静止画像抽出部３５５により抽出したフレーム（静止画像）については、図９を用いて説明する。

次に、図７のフロー図を用いて、本発明の実施形態に係る異常検知装置３００により静止画像区間を特定し、代表静止画像を取得するまでの処理手順を説明する。
フレーム比較部３５３は、映像データ記憶部３５０よりフレームの読み込みが可能であるか否かを判定する（Ｓ２０１）。即ち、フレーム比較部３５３は、静止画像（第２の静止画像）の抽出対象となる映像データが映像データ記憶部３５０に記憶されているか否かを判定する。

フレーム比較部３５３は、フレームの読み込みが可能であると判定すると（Ｓ２０１ Ｙｅｓ）、時間的に前後に位置するフレームを読み込む（Ｓ２０２）。
フレーム比較部３５３は、ステップＳ２０２において読み込んだ時間的に前後に位置するフレームに対して、各フレーム内の画素毎にフレーム間におけるＲＧＢ値の差分の絶対値を計算する（Ｓ２０３）。
次に、フレーム比較部３５３は、時間的に前後に位置するフレームの各画素のＲＧＢ値の差分の絶対値が所定の感度以上となる画素数をカウントし、フレームの総画素数に対して占める割合を算出する（Ｓ２０４）。
なお、図７のフロー図には図示していないが、フレーム比較部３５３における計算結果（図４）は、後のフレームの算出結果としてフレーム比較データ記憶部３５４に記憶される。

次に、静止画像抽出部３５５は、ステップＳ２０１において読み込んだフレームに関して、所定の感度以上となる画素数の割合が静止画像区間を特定する閾値δ未満となるか否かを判定する（Ｓ２０５）。
静止画像抽出部３５５は、ステップＳ２０１において読み込んだフレームに関して、所定の感度以上となる画素数の割合が閾値δ未満であると判定すると（Ｓ２０５ Ｙｅｓ）、次に、静止画像群の設定がされているか否かを判定する（Ｓ２０６）。具体的には、静止画像抽出部３５５は、静止画像群の設定の有無を示す静止画像群設定フラグが「１」にセットされているか否かを判定する。

即ち、静止画像群設定フラグが「１」にセットされている場合、静止画像群が設定されていることを示し、また、静止画像群設定フラグが「０」にセットされている場合、静止画像群が設定されていないことを示す。また、既に述べたように、静止画像抽出部３５５は、静止画像群設定フラグが「１」にセットされてから、「０」にセットされるまでのフレーム区間を静止画像区間として特定する。

静止画像抽出部３５５は、静止画像群の設定がされている場合（Ｓ２０６ Ｙｅｓ）、ステップＳ２０１において読み込んだフレームが第２の静止画像であるか否かを判定する（Ｓ２０８）。具体的には、静止画像抽出部３５５は、所定の感度以上となる画素の割合が、閾値ε未満であるか否かを判定する。
なお、ステップＳ２０６において、静止画像抽出部３５５は、静止画像群の設定がされていないと判定すると（Ｓ２０６ Ｎｏ）、静止画像群を新規に設定した上で（Ｓ２０７）、ステップＳ２０１において読み込んだフレームが第２の静止画像であるか否かを判定する（Ｓ２０８）。

ここで、フレームが第２の静止画像であると判定すると（Ｓ２０８ Ｙｅｓ）、そのフレーム（第２の静止画像）を、当該フレームに設定された静止画像群に関連付けて、静止画像データ記憶部３５６に記憶する（Ｓ２０９）。

次に、異常検知装置３００は、フレームをカウントアップさせ（Ｓ２１０）、再度、ステップＳ２０１から処理を実行する。
なお、ステップＳ２０８において、静止画像抽出部３５５は、ステップＳ２０１において読み込んだフレームが第２の静止画像でないと判定した場合も（Ｓ２０８ Ｎｏ）、同様にフレームをカウントアップさせ（Ｓ２１０）、再度、ステップＳ２０１から処理を実行する。
これらのステップＳ２０１からＳ２１０までの処理は、ステップＳ２０１において読み込んだ時間的に前後に位置するフレームに関して、後のフレームの画素数の割合が静止画像区間を特定する閾値δ以上（即ち、静止画像区間外）と判定されるまで（Ｓ２０５、Ｎｏ）、繰り返し実行される。これにより、１静止画像区間を構成する静止画像群が静止画像データ記憶部３５６に記憶される。

ステップＳ２０５において、静止画像抽出部３５５により、読み込んだ時間的に前後に位置するフレームに関して、後のフレームの所定の感度以上となる画素数の割合が静止画像区間を特定する閾値δ以上と判定されると、代表静止画像取得部３５７は、静止画像群が設定されているか（即ち、静止画像群設定フラグが「１」にセットされているか）否かを判定する（Ｓ２１１）。
代表静止画像取得部３５７は、静止画像群が設定されていると判定すると（Ｓ２１１ Ｙｅｓ）、設定された静止画像群に静止画像データが記憶されているか否かを判定する（Ｓ２１２）。

そして、代表静止画像取得部３５７は、設定された静止画像群に静止画像データが関連付けられ、記憶されていると判定すると（Ｓ２１２ Ｙｅｓ）、設定情報取得部３５２により取得された設定に基づき、代表静止画像の取得方法を選択する（Ｓ２１３）。
取得方法１が選択されると（Ｓ２１３ 取得方法１）、代表静止画像取得部３５７は、その静止画像群に関連付けられ記憶された静止画像に関して、各画素位置における画素の平均画素値を計算し、その平均画素値に基づき代表静止画像を生成し、静止画像記憶部３５８に記憶する（Ｓ２１４）。
取得方法２が選択されると（Ｓ２１３ 取得方法２）、代表静止画像取得部３５７は、最初、又は最後等、所定の抽出位置で抽出され、静止画像群に関連付けられ記憶された静止画像を代表静止画像として取得し、静止画像記憶部３５８に記憶する（Ｓ２１５）。
取得方法３が選択されると（Ｓ２１３ 取得方法３）、代表静止画像取得部３５７は、フレームの総画素数に対する感度以上となった画素数の割合が最も低いフレームを代表静止画像として取得し、静止画像記憶部３５８に記憶する（Ｓ２１６）。

代表静止画像取得部３５７は、代表静止画像を静止画像記憶部３５８に記憶すると（Ｓ２１４、Ｓ２１５、Ｓ２１６）、静止画像群設定フラグをリセットする（即ち、「０」にセットする）（Ｓ２１７）。
なお、ステップＳ２１２において、設定された静止画像群に静止画像データが記憶されていないと判定された場合（Ｓ２１２ Ｎｏ）も、同様に、代表静止画像取得部３５７は、静止画像群設定フラグをリセットする（Ｓ２１７）。

代表静止画像取得部３５７により静止画像群設定フラグがリセットされると（Ｓ２１７）、異常検知装置３００は、次のフレームを読み込むために、フレームをカウントアップさせ（Ｓ２１０）、再度、ステップＳ２０１から処理を実行する。
なお、ステップＳ２１１において静止画像群が設定されていない（即ち、静止画像群設定フラグが「０」にセットされている）場合（Ｓ２１１ Ｎｏ）も、同様に、フレームをカウントアップさせ（Ｓ２１０）、再度、ステップＳ２０１から処理を実行する。

異常検知装置３００は、映像データ記憶部３５０よりフレームを読み込むことができなくなるまで、以上の処理を繰り返し実行し、映像データ記憶部３５０よりフレームを読み込むことができなくなると（Ｓ２０１ Ｎｏ）、静止画像の取得に関する処理を終了する。

次に、図８から図１０を用いて、図３のステップＳ１０１からステップＳ１０４、また図６で示した異常検知装置３００（静止画像抽出部３５５）により静止画像区間を特定し、代表静止画像を取得するまでの処理を、工場等における作業を撮影した映像（画像）を例に取って説明する。
なお、工場等における作業は、円形孔状の収納部に円柱体を手動でセットする工程（工程Ａ）と、手動でセットした円柱体を径の小さい円柱体に置換する工程（工程Ｂ）と、置換された円柱体を手動で収納部から取り出す工程（工程Ｃ）から成り、また、映像は、撮影装置１００（又は、撮影装置１００以外の撮影装置）により、円形孔状の３つが横一列に整列されるように、撮影される。

図８は、映像データ記憶部３５０にフレーム単位で記憶された比較対象映像を示している。
なお、図８において、フレーム番号１から８は前記工程Ａに、フレーム番号９から２３は前記工程Ｂに、またフレーム番号２４から２８は前記工程Ｃに該当する。

フレーム比較部３５３は、前述のように、先ず、時間的に前後に位置するフレームである、フレーム番号１及び２のフレームを読み込み、各フレーム内の画素毎にフレーム間における画素値の差分を計算して、計算結果をフレーム比較データ記憶部３５４に記憶する。
フレーム比較部３５３は、次に、フレーム番号３を読み込み、フレーム番号２及び３に関して、同様に、各フレーム内の画素毎にフレーム間における画素値の差分を計算し、計算結果をフレーム比較データ記憶部３５４に記憶する。

フレーム比較データがフレーム比較データ記憶部３５４に記憶されると、静止画像抽出部３５５は、フレーム比較データより、静止画像区間（静止画像群）を特定し、その特定した静止画像区間内にある静止画像を、静止画像群単位で抽出し、静止画像データ記憶部３５６に記憶する。
図９は、静止画像データ記憶部３５６に記憶された静止画像を示している。
図９に示すように、静止画像群Ｇ１にはフレーム番号２、静止画像群Ｇ２にはフレーム番号７、８、静止画像群Ｇ３にはフレーム番号１１、静止画像群Ｇ４にはフレーム番号１５、静止画像群Ｇ５にはフレーム番号１９、静止画像群Ｇ６にはフレーム番号２２、２３、静止画像群Ｇ７にはフレーム番号２８の静止画像が第２の静止画像として関連付けられ、静止画像データ記憶部３５６に記憶される。
なお、静止画像群には、図６に示したように、第２の静止画像以外に、フレーム番号、フレームの総画素数に対する感度以上となった画素数の割合も関連付けられる。

静止画像データ記憶部３５６に静止画像データが記憶されると、代表静止画像取得部３５７は、設定情報取得部３５２により取得された代表静止画像の取得方法に基づき、静止画像群毎に代表静止画像を取得し、静止画像記憶部３５８に記憶する。
図１０は、静止画像記憶部３５８に記憶された代表静止画像を示している。
図１０では、静止画像群において最初に抽出された静止画像を代表静止画像として取得する取得方法（図７ ステップＳ２１５）に基づき、代表静止画像取得部３５７は、静止画像データ記憶部３５６より代表静止画像を取得している。
そのため、静止画像群Ｇ１からはフレーム番号２、静止画像群Ｇ２からはフレーム番号７、静止画像群Ｇ３からはフレーム番号１１、静止画像群Ｇ４からはフレーム番号１５、静止画像群Ｇ５からはフレーム番号１９、静止画像群Ｇ６からはフレーム番号２２、静止画像群Ｇ７からはフレーム番号２８の静止画像が、代表静止画像として静止画像記憶部３５８に記憶される。
なお、以後の説明で、静止画像群Ｇ１の代表静止画像をＭ１、静止画像群Ｇ２の代表静止画像をＭ２、静止画像群Ｇ３の代表静止画像をＭ３、静止画像群Ｇ４の代表静止画像をＭ４、静止画像群Ｇ５の代表静止画像をＭ５、静止画像群Ｇ６の代表静止画像をＭ６、静止画像群Ｇ７の代表静止画像をＭ７ともいう。

ここで、図８から図１０は、説明の便宜上、異常検知装置３００の各処理に従って図示しているが、実際の処理は図７の処理手順に倣う。
即ち、異常検知装置３００は、例えば、フレーム比較部３５３によりフレーム番号３から読み込み、静止画像抽出部３５５によりフレーム番号７で静止画像群設定フラグをセットする。そして、フレーム番号９で静止画像群設定フラグがリセットされると静止画像区間が特定されることから、次のフレーム番号１０のフレームを読み込む前に、特定された静止画像区間から代表静止画像を選択し、静止画像記憶部３５８に記憶する。

代表静止画像取得部３５７が静止画像記憶部３５８に代表静止画像を記憶すると、検知の精度を向上させるため、マスク画像生成部３５９はマスク画像を生成し、代表静止画像に掛け合わせる。
図１１は、マスク画像の生成を示す図であり、図３のステップＳ１０５の処理に該当する。
図１１に示すように、マスク画像生成部３５９は、Ｍ１からＭ７までの代表静止画像を重ね合わせ、画素値の差分の大きい領域を特定する。図１１では、径の大きい円柱体を円形孔状の収納部にセットし、次に径の小さい円柱体に置換し、さらに径の小さい円柱体を取り出すことから、径の大きい円柱体が画像に対して占める領域が画素値の差分の大きい領域として特定される。

マスク画像生成部３５９は、画素値の差分の大きい領域を特定すると、それ以外の領域を検知非対象領域として抽出し、マスク画像（以下、Ｉｍａｓｋともいう）を生成する。マスク画像生成部３５９は、生成したマスク画像を、Ｍ１からＭ７までの代表静止画像の各々に掛け合わせ、マスク処理を実行する。
図１２は、マスク画像生成部３５９によるマスク処理を示す図であり、図３のステップＳ１０６の処理に該当する。
図１２に示すように、マスク画像生成部３５９は、代表静止画像Ｍ１からＭ７の各々に、マスク画像Ｉｍａｓｋを掛け合わせ、マスク処理を施す。
なお、以後の説明で、代表静止画像Ｍ１にマスク処理が施された画像をＮ１、代表静止画像Ｍ２にマスク処理が施された画像をＮ２、代表静止画像Ｍ３にマスク処理が施された画像をＮ３、代表静止画像Ｍ４にマスク処理が施された画像をＮ４、代表静止画像Ｍ５にマスク処理が施された画像をＮ５、代表静止画像Ｍ６にマスク処理が施された画像をＮ６、代表静止画像Ｍ７にマスク処理が施された画像をＮ７ともいう。
また、マスク処理が施された代表静止画像Ｎ１からＮ７は、静止画像記憶部３５８に記憶される。

表示制御部３６２は、静止画像記憶部３５８にマスク処理が施された代表静止画像が記憶されると、モニタ５００、又は外部接続機器６００の表示領域に表示させる。そして、表示されたマスク処理が施された代表静止画像から、ユーザにより検知対象画像が選択されると、異常検知装置３００は、検知非対象画像と検知対象画像に分類し、静止画像記憶部３５８に記憶する。
なお、検知対象画像の選択は、ユーザが条件を予め設定することにより、自動的に実行させることもできる。

図１３は、マスク処理が施された代表静止画像から、検知非対象画像と検知対象画像に分類する処理を示している。
図１３では、マスク処理が施された代表静止画像Ｎ２及びＮ６が検知対象画像としてユーザにより選択されていることから、マスク処理が施された代表静止画像Ｎ１、Ｎ３、Ｎ４、Ｎ５、及びＮ７が検知非対象画像として、またＮ２及びＮ６が検知対象画像として分類され、静止画像記憶部３５８に記憶される。
なお、図１３は、図３のステップＳ１０７からステップＳ１０９の処理に関連する。

以上のように、図８から図１３は、図３のステップＳ１０１からステップＳ１０９までの処理、即ち、教育の段階に関連する。
次に、図１４から図１９を用いて、監視の段階（図３のステップＳ１１０からステップＳ１２５）を説明する。
図１４は、映像データ記憶部３５０に、撮影装置１００から提供されるストリーミング映像を逐次、フレーム単位で記憶する様子を示している。
なお、図１４では、前述の工程Ａまでの作業が監視対象映像として映像データ記憶部３５０に記憶された直後の状態を示している。

図１４において、フレーム比較部３５３は、最初のフレーム（フレーム番号１）と次のフレーム（フレーム番号２）を読み込み、フレーム番号１とフレーム番号２のフレームを比較するが、フレーム番号１とフレーム番号２のフレームとでは画素の差分がないため、フレーム番号２のフレームを静止画像として抽出し（図３ Ｓ１１３）、静止画像データ記憶部３５６に記憶する。
フレーム比較部３５３は、次に、フレーム番号３のフレームを読み込むが、フレーム番号２とフレーム番号３のフレームとでは画素の差分が閾値δよりも大きいことから、静止画像及び静止画像区間はフレーム２として特定される。そこで、代表静止画像取得部３５７による代表静止画像の取得処理に移行する（図７ Ｓ２０５ Ｎｏ）。

代表静止画像取得部３５７は、静止画像群において最初に抽出された静止画像を代表静止画像として取得する取得方法（図７ ステップＳ２１５）に基づき、代表静止画像を取得する。
図１４において、静止画像群にはフレーム番号２の静止画像しか関連付けられていないため、フレーム番号２の静止画像が代表静止画像として取得される（図３ Ｓ１１４）。

代表静止画像取得部３５７により代表静止画像を取得すると、マスク画像生成部３５９は、図１１において生成したマスク画像（図３ Ｓ１０５）を、代表静止画像に掛け合わせ、マスク処理を実行する。
なお、この処理は、図３のステップＳ１１５に該当する。

異常検知装置３００は、図１４に示すように、監視対象映像から代表静止画像（即ち、監視対象画像）を取得し、マスク処理を実行する（図３ Ｓ１１０からＳ１１５）。次に、異常検知部３６０は、マスク処理が施された監視対象画像と、図１３において検知非対象画像として分類された比較対象画像を比較する。
図１５は、異常検知部３６０における、監視対象画像と、検知非対象画像として分類された比較対象画像との比較処理（図１５Ａ）と、その比較結果に基づき実行される付随処理（図１５Ｂ）を示しており、各々、図３のステップＳ１１６、Ｓ１１７の処理に該当する。

異常検知部３６０は、マスク処理が施された監視対象画像と、検知非対象画像として分類された比較対象画像の各々（フレーム番号２、１１、１５、１９、２８）を比較する。
図１５Ａでは、異常検知部３６０は、マスク処理が施された監視対象画像と、フレーム番号２の比較対象画像とを比較した結果として差分がないと判定する（即ち、差分が閾値α未満と判定する）。
この判定に基づき、異常検知装置３００の処理は、図３のステップＳ１１７の処理に移行する（図１５Ｂ）。ここで、異常検知部３６０は、図１５Ｂに示すように、静止画像記憶部３５８において、検知非対象画像として分類されたフレーム番号２の比較対象画像を、監視対象画像に置き換える（図３ Ｓ１１７）。

比較対象画像が監視対象画像に置き換わると、既にフレーム番号３のフレームまでは読み込んでいるので、次に、図７のフローに従って、映像データ記憶部３５０より、図１６に示す監視対象映像のフレーム番号４のフレームを読み込み、フレーム番号３のフレームと比較し、静止画像データを生成する。但し、この場合、フレーム番号４のフレームは、フレームの総画素数に対する、所定の感度以上となった画素数の割合がδ以上となることから、静止画像として抽出されない。
続いて、フレーム比較部３５３によりフレーム番号５、６、７、８、９のフレームを読み込むと、静止画像抽出部３５５は、フレーム番号８と９のフレームを比較した結果から静止画区間を特定すると、フレーム番号７と８のフレームを静止画像として抽出する。さらに、代表静止画像取得部３５７は、図７のステップＳ２１５の取得方法に基づき、フレーム番号７のフレームを代表静止画像として取得する（図３ Ｓ１１４）。

マスク画像生成部３５９は、取得されたフレーム番号７の代表静止画像に対してマスク処理を実行し、さらに、図１７Ａに示すように、異常検知部３６０により、検知非対象画像として分類された比較対象画像の各々（フレーム番号２、１１、１５、１９、２８）と比較する（図３ Ｓ１１６）。
この場合、フレーム番号７の代表静止画像（即ち、監視対象画像）は、検知非対象画像として分類された、いずれの比較対象画像との関係においても、画素値の差分が閾値α以上となる（図３、Ｓ１１６ α以上）。そこで、異常検知部３６０は、次に、図１７Ｂに示すように、フレーム番号７の監視対象画像と、検知対象画像として分類された比較対象画像の各々（フレーム番号７、２２）と比較する（図３ Ｓ１１８）。

ステップＳ１１８における比較の結果、フレーム番号７の比較対象画像との関係で画素値の差分が閾値β以上γ未満となり、またフレーム番号２２の比較対象画像との関係では画素値の差分が閾値γ以上となることから、異常検知装置３００は異常を検知し、アラート発報部３６１は、アラートを発報する（Ｓ１２０）。
異常検知装置３００は、アラートを発報すると（Ｓ１２０）、図１７Ｃに示すように、監視対象画像、検知対象画像として分類された比較対象画像、及びそれらの差分を示す画像を表示し（Ｓ１２１）、さらにユーザに対して監視の続行有無を問い合わせる（Ｓ１２２）。

なお、差分を示す画像は、ここでは、図示のように、監視画像と透視図で示した比較対象画像の差分画像で構成している。また、図１７Ｃには図示していないが、異常検知装置３００は、異常が発生した時刻、撮影装置の固有ＩＤ等を表示させることもできる（図２３）。また、前述のように、この図１７Ｃに示す画面は、モニタ５００だけではなく、スマートフォン等の外部接続機器６００の表示領域に表示させることができる。したがって、担当者は、作業現場で常に監視している必要はなくなり、異常が発生した時点で作業現場に急行することができる。

その後、ユーザにより監視が続行されると（Ｓ１２２ Ｙｅｓ）、映像データ記憶部３５０より、監視対象映像のフレーム番号１０のフレームを読み込み、フレーム番号９のフレームと比較し、静止画像データを生成する。
そして、フレーム番号１１、１２、１３・・・と読み込み、フレーム番号２４と２５のフレームを比較した結果から静止画像区間を特定すると、図１８に示すように、フレーム番号２２、２３、２４のフレームを静止画像として抽出し、さらに図７のステップＳ２１５の取得方法に基づき、フレーム番号２３のフレームを代表静止画像として取得する（図３ Ｓ１１４）。

異常検知装置３００は、取得されたフレーム番号２３の代表静止画像に対して、マスク画像生成部３５９によりマスク処理を実行し、さらに、図１９Ａに示すように、異常検知部３６０により、検知非対象画像として分類された比較対象画像の各々（フレーム番号２、１１、１５、１９、２８）と比較する（図３ Ｓ１１６）。
この場合、フレーム番号２３の代表静止画像（即ち、監視対象画像）は、検知非対象画像として分類されたいずれの比較対象画像との関係においても、画素値の差分が閾値α以上となることから（図３、Ｓ１１６ α以上）、異常検知装置３００は、次に、図１９Ｂに示すように、フレーム番号７の監視対象画像と、検知対象画像として分類された比較対象画像の各々（フレーム番号７、２２）と比較する（図３ Ｓ１１８）。

ステップＳ１１８における比較の結果、フレーム番号７、及び２２の比較対象画像との関係において、画素値の差分がγ以上となることから、異常検知装置３００は、図１９Ｃに示すように、監視対象画像、検知対象画像として分類された比較対象画像、及びそれらの差分を示す画像を表示し（図３ Ｓ１２３）、さらにユーザに対して監視対象画像を比較対象画像の検知非対象画像に追加するか、又は追加せずに削除するかを問い合わせる（図３ Ｓ１２４）。
そして、ユーザにより追加が選択すると、異常検知装置３００は、図１９Ｄに示すように、フレーム番号２２の監視対象画像を、比較対象画像の検知非対象画像として追加する（図３ Ｓ１２５）。

これは、作業機械が円柱体をセットした後に、円柱体が問題なくセットされているか否かを静止して確認する場合があり、その正常時の作業を撮影した画像が比較対象画像として選択された場合であっても、その画像を比較対象画像の検知非対象画像に追加することで（図３ Ｓ１２５）、その後のユーザの確認に費やす時間及び労力を低減するものである。
即ち、正常時の画像を、比較対象画像の検知非対象画像に追加することで（図３ Ｓ１２５）、以後の監視処理において同様のケースが生じた場合であっても、図３のステップＳ１１６からステップＳ１１７に移行させ、図３のステップＳ１２４に関係するユーザの作業を省略することができる。

次に、図２０から図２４に示す、本発明の実施形態に係る異常検知装置３００に接続されるモニタ５００の表示画面を用いて、ソフトウェアの操作について説明する。
図２０は、モニタ５００に表示されるソフトウェアのホーム画面において、ユーザにより「教育」が選択された画面を示す図である。
ホーム画面において「教育」が選択されると、表示が「教育中」に切り替わり、異常検知装置３００は、図３のステップＳ１０１から処理を開始する。

そして、代表静止画像を取得し（図３ Ｓ１０４）、さらにマスク画像を生成し（図３ Ｓ１０５）、マスク処理を実行すると（図３ Ｓ１０６）、異常検知装置３００は、ユーザに代表静止画像（即ち、比較対象画像）から検知対象画像を選択させるために、マスク処理が施された比較対象画像を表示する（図３ Ｓ１０７）。
図２１は、モニタ５００に表示される、検知対象画像の選択画面を示す図である。
マスク処理が終了すると、図２１に示すように、検知対象画像の選択画面がポップアップ画面で、別のウィンドウとして表示される。
図２１において、ユーザはフレーム番号７の比較対象画像を検知対象画像として選択している。なお、ここでは、図１３と同様に、フレーム番号７及び２２を検知対象画像として選択するものとする。

ユーザにより検知対象画像が選択（分類）されると、異常検知装置３００は分類結果をモニタ５００に表示させる。
図２２は、モニタ５００に表示される検知対象画像と検知非対象画像の分類結果を表示した画面を示す図である。
図２２に示すように、検知対象・検知非対象の分類結果がポップアップ画面で、別のウィンドウとして表示される。
なお、図２２の表示処理については、付属的な処理であることから、図３の処理フローに図示していない。

検知対象画像と検知非対象画像が分類されると（即ち、検知対象画像と検知非対象画像が分類され、画面に表示されると）、ユーザは「監視」を選択する。
図２３は、モニタ５００に表示されるソフトウェアのホーム画面において、ユーザにより「監視」が選択され、その後に異常が検知された画面を示す図である。
ホーム画面において「監視」が選択されると、表示が「監視中」に切り替わり、異常検知装置３００は、図３のステップＳ１１０から処理を開始する。

そして、異常検知装置３００は、監視を実行し、異常を検知すると（図３ Ｓ１１８ β以上 γ未満）、アラートを発報し、図２３に示すように監視対象画像と比較対象画像の差分を示す画像をポップアップ画面で、別のウィンドウとして表示する。
図２３に示す、ポップアップ画面では、アラート発報時における監視対象画像と比較対象画像の差分を示す画像を表示している。ポップ画面には、差分を示す画像以外に、監視対象画像、比較対象画像、異常が発生した時刻、監視対象画像を撮影している撮影装置の固有ＩＤ、さらに監視続行有無を選択するボタンも表示される。

また、ユーザにより「監視」が選択された後、異常検知装置３００は、図３のステップＳ１１８においてγ以上と判定すると、監視対象画像を比較対象画像の検知非対象画像に追加するか否か、ユーザに問い合わせる。
図２４は、ユーザに監視対象画像の追加有無を問い合わせる図である。
図２４に示すように、監視対象画像を、検知非対象画像に追加するか否かをユーザに問い合わせる画面をポップアップ画面で、別のウィンドウとして表示する。

以上、説明したように、本発明の実施形態に係る異常検知装置によれば、監視対象映像と比較対象映像とを比較し、異常の検知時において、監視対象映像から取得した監視対象画像と比較対象映像から取得した比較対象画像との差分を示す画像を表示することができる。そのため、ユーザは異常を容易かつ正確に把握することができ，異常に対する適切な対処が可能である。とくに、ライブ映像を監視する場合には、異常の発生を即座に知ることが出来、迅速かつ的確な処置を実行することができる。本発明は、安全管理、品質管理、工程管理など広範な分野において適用可能である。

１００…撮影装置、２００…外部記憶装置、３００…異常検知装置、３１０…外部映像入力部、３２０…メモリスロット、３３０…ＵＳＢ等接続インタフェース、３４０…ユーザインタフェース、３５０…映像データ記憶部、３５１…時刻管理部、３５２…設定情報取得部、３５３…フレーム比較部、３５４…フレーム比較データ記憶部、３５５…静止画像抽出部、３５６…静止画像データ記憶部、３５７…代表静止画像取得部、３５８…静止画像記憶部、３５９…マスク画像生成部、３６０…異常検知部、３６１…アラート発報部、３６２…表示制御部、３７０…外部映像出力部、３８０…ＬＡＮポート、３９０…無線インタフェース、４００…入力装置、５００…表示装置、６００…外部接続機器。

特許公開２０１２−０２３５６６号公報

Claims (12)

1. 監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置であって、
   前記比較対象画像と前記監視対象画像との差分に基づき前記監視対象の異常を検知する異常検知部と、
   前記比較対象画像と前記監視対象画像との差分を示す画像を表示装置に表示させる表示制御部と、
   監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出部とを、
   有し、
   前記静止画像抽出部は、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第１の閾値未満のフレームを静止画像として抽出する異常検知装置。
2. 請求項１に記載された異常検知装置において、
   前記静止画像抽出部は、複数の静止画像が連続するとき、当該連続した静止画像で構成される静止画像区間を特定し、
   前記異常検知部は、前記それぞれ特定された当該静止画像区間に属する前記比較対象画像及び前記監視対象画像の差分に基づき異常検知を行う異常検知装置。
3. 請求項１に記載された異常検知装置において、
   前記監視対象の映像から複数の前記比較対象画像が抽出されたとき、前記異常検知に用いる比較対象画像を検知対象画像又は検知非対象画像のいずれかに選択する手段を備えた異常検知装置。
4. 請求項３に記載された異常検知装置において、
   前記異常検知部は、前記検知非対象画像と前記監視対象画像との差分が所定の閾値以上の場合にのみ、前記検知対象画像と前記監視対象画像に基づく異常検知を行う異常検知装置。
5. 請求項１に記載された異常検知装置において、
   前記比較対象画像から検知対象領域以外の領域をマスク処理するマスク画像を生成するマスク画像生成部を備え、
   前記マスク画像生成部は、前記比較対象画像と前記監視対象画像とをマスク処理する異常検知装置。
6. 請求項３に記載された異常検知装置において、
   前記異常検知部は、前記検知非対象画像と前記監視対象画像との差分が所定の閾値未満の場合に、当該監視対象画像を前記検知非対象画像に置き換える処理を行う異常検知装置。
7. 請求項２に記載された異常検知装置において、
   代表静止画像取得部を有し、
   前記代表静止画像取得部は、前記静止画像区間において、第１の閾値よりも低い第２の閾値未満の静止画像から異常を検知するための静止画像を取得する異常検知装置。
8. 請求項１に記載された異常検知装置において、
   前記異常検知部は、前記比較対象画像及び前記監視対象画像の差分の大きさに応じて前記監視対象画像の異常の有無、又は異常の有無及び比較対象画像に置き換える処理を行う異常検知装置。
9. 監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置における異常検知方法であって、
   前記比較対象画像と監視対象画像の差分に基づき前記監視対象の異常を検知する異常検知工程と、
   前記比較対象画像と前記監視対象画像との差分を表す画像を表示装置で表示する表示制御工程と、
   監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出工程と、
   を有し、
   前記静止画像抽出工程では、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第１の閾値未満のフレームを静止画像として抽出する異常検知装置における異常検知方法。
10. 請求項９に記載された異常検知装置における異常検知方法において、
    前記静止画像抽出工程では、複数の静止画像が連続するとき、当該連続した静止画像で構成される静止画像区間を特定し、前記異常検知工程は、前記それぞれ特定された当該静止画像区間に属する前記比較対象画像と前記監視対象画像の差分に基づき異常検知を行う異常検知装置における異常検知方法。
11. 監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置のコンピュータを、
    前記比較対象画像と前記監視対象画像の差分に基づき前記監視対象の異常を検知する異常検知部と、
    前記比較対象画像と前記監視対象画像との差分を表す画像を表示装置に表示させる表示制御部と、
    監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出部であって、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第１の閾値未満のフレームを静止画像として抽出する前記静止画像抽出部として機能させるプログラム。
12. 請求項１に記載された異常検知装置と、監視対象を撮影する撮影装置と、表示装置とを有する異常検知システム。

Images