JP7130170B1 - 異常検知プログラム、異常検知装置及び異常検知方法 - Google Patents

Abstract

プログラムは、異常検知装置（１００）を、連続して撮影された画像を示す連続画像データを取得する取得部（１１）、連続画像データを、画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、連続画像データに基づいて決定するパラメータ決定部（１２）、パラメータ決定部（１２）によって決定されたパラメータを用いて連続画像データを分割して得るパッチデータそれぞれから特徴量を算出する特徴量算出部（１４）、特徴量算出部（１４）によって算出された特徴量と基準値との比較に基づいて、画像に写る撮影対象に関する異常を検知する検知部（１５）、として機能させる。

Description

本開示は、異常検知プログラム、異常検知装置及び異常検知方法に関する。

ＦＡ（Factory Automation）の現場では、機器の制御に際して異常の有無を監視することが多い（例えば、特許文献１を参照）。特許文献１には、生産ラインの機器及び設備といった検知対象を連続して撮影した画像データから検知対象の異変を検知する技術について記載されている。この技術では、各画像が複数のブロックにメッシュ分割されて、ブロック単位で抽出される特徴量を用いて異変が検知される。この技術によれば、製造物の良否とは異なる異変として、生産ラインの機器及び設備といった検知対象の異変を画像データから検知することができる。

特開２０１３－１９１１８５号公報

特許文献１の技術においては、画像から分割されるブロックのサイズをユーザがパラメータとして設定する必要がある。そのため、知見及び経験の少ないユーザがブロックのサイズを設定した場合には、ブロックのサイズが不適当になり、異常を正確に検知することができないおそれがある。また、知見又は経験を有しているユーザであっても、撮影のシチュエーションが従前のものから変化した場合には、適当なブロックのサイズが不明となる。いずれの場合にも、試行錯誤により適当なブロックのサイズを探ることとなり、画像から異常を検知する装置に対してパラメータを設定する作業の負担が大きい。

本開示は、上述の事情の下になされたもので、画像から異常を検知する装置に対してパラメータを設定する作業の負担を軽減することを目的とする。

上記目的を達成するため、本開示の異常検知プログラムは、コンピュータを、連続して撮影された画像を示す連続画像データを取得する取得手段、連続画像データを、画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、連続画像データに基づいて決定する決定手段、決定手段によって決定されたパラメータを用いて連続画像データを分割して得るパッチデータそれぞれから第１特徴量を算出する特徴量算出手段、特徴量算出手段によって算出された第１特徴量と基準値との比較に基づいて、画像に写る撮影対象に関する異常を検知する検知手段、として機能させる。

本開示によれば、決定手段が、連続画像データを、画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、連続画像データに基づいて決定する。このため、連続画像データを分割するためのパラメータをユーザが試行錯誤して探る作業は不要となる。これにより、画像から異常を検知する装置に対してパラメータを設定する作業の負担を軽減することができる。

実施の形態１に係る異常検知装置及び撮影機器を含むシステムを示す図 実施の形態１に係る異常検知装置のハードウェア構成を示す図 実施の形態１に係る異常検知装置による連続画像データの分割の概要を示す図 実施の形態１に係る異常検知装置の機能的な構成を示す図 実施の形態１に係るパッチサイズの決定について説明するための図 実施の形態１に係るパッチ時間長の決定について説明するための図 実施の形態１に係る異常検知処理を示すフローチャート 実施の形態１に係る異常検知結果を示す画面例を示す図 実施の形態２に係る異常検知装置の機能的な構成を示す図 実施の形態２に係る連続画像データの圧縮を示す図 実施の形態３に係る異常検知装置の機能的な構成を示す図 実施の形態３に係る物体検出の結果に基づくパッチサイズの決定について説明するための図 実施の形態４に係る異常検知装置の機能的な構成を示す図 実施の形態５に係る異常検知装置の機能的な構成を示す図 実施の形態６に係る異常検知装置の機能的な構成を示す図 実施の形態７に係るパッチサイズの決定について説明するための図 第１の変形例に係る連続画像データの分割を示す図 第２の変形例に係る連続画像データの分割を示す図

以下、本開示の実施の形態に係る異常検知プログラムを実行する異常検知装置について、図面を参照しつつ詳細に説明する。

実施の形態１．
本実施の形態に係る異常検知装置１００は、図１に示されるように、撮影機器２００によって連続して撮影された工場内の画像を取得して、一連の画像から異常を検知する装置である。異常検知装置１００は、撮影機器２００とともに撮影対象となる工場内に配置される産業用ＰＣ（Personal Computer）である。ただし、異常検知装置１００は、このような産業用ＰＣに限定されず、工場内のＰＬＣ（Programmable Logic Controller）に代表される制御装置又は他のＦＡ装置であってもよいし、工場外に配置される管理用コンピュータ又はサーバ装置であってもよい。

異常検知装置１００と撮影機器２００とは、画像を示すデータの伝送が可能な通信路で接続される。この通信路は、例えば、専用線であってもよいし、工場内の産業用ネットワーク又は一般的な情報用ネットワークであってもよいし、インターネットに代表される通信網であってもよい。また、この通信路は、有線通信及び無線通信のいずれを実現するものであってもよい。

撮影機器２００によって撮影される対象は、工場内の一部の区画である。図１の例では、ベルトコンベア、当該ベルトコンベア上を搬送されるワーク、ワークの搬送を制御するロボットアーム、及び、ワークを検査する検査機及び検査台を撮影対象として、これらの撮影対象の直上には、画角が調整された撮影機器２００が固定される。撮影機器２００は、直下の撮影対象を周期的に撮影した画像を異常検知装置１００に逐次送信する。なお、撮影機器２００は、工場外を撮影してもよい。例えば、撮影機器２００は、工場の出入り口を外部から撮影する監視カメラ、又は、工場の稼働を管理するための工場外の管理室を撮影する監視カメラであってもよい。

画像から検知される異常は、工場の運営に関わる関係者によって撮影対象の正常な稼働状態として想定される範囲から逸脱した状態を意味する。このような異常として、例えば、ワークの破損、並びに、ベルトコンベア、ロボットアーム及び検査機の故障が挙げられる。また、上述の関係者は、例えば、工場の管理者、運営者、作業者であってもよいし、ロボットアーム及び検査機に代表されるＦＡ機器の製造メーカーであってもよい。

図２には、異常検知装置１００のハードウェア構成が模式的に示されている。図２に示されるように、異常検知装置１００は、プロセッサ１０１と、主記憶部１０２と、補助記憶部１０３と、入力部１０４と、出力部１０５と、通信部１０６と、を有するコンピュータである。主記憶部１０２、補助記憶部１０３、入力部１０４、出力部１０５及び通信部１０６はいずれも、内部バス１０７を介してプロセッサ１０１に接続される。

プロセッサ１０１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）に代表される集積回路を含む。プロセッサ１０１は、補助記憶部１０３に記憶されるプログラムＰ１を実行することにより、種々の機能を実現して、後述の処理を実行する。プログラムＰ１は、異常検知プログラムの一例に相当する。

主記憶部１０２は、ＲＡＭ（Random Access Memory）を含む。主記憶部１０２には、補助記憶部１０３からプログラムＰ１がロードされる。そして、主記憶部１０２は、プロセッサ１０１の作業領域として用いられる。

補助記憶部１０３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）及びＨＤＤ（Hard Disk Drive）に代表される不揮発性メモリを含む。補助記憶部１０３は、プログラムＰ１の他に、プロセッサ１０１の処理に用いられる種々のデータを記憶する。補助記憶部１０３は、プロセッサ１０１の指示に従って、プロセッサ１０１によって利用されるデータをプロセッサ１０１に供給する。また、補助記憶部１０３は、プロセッサ１０１から供給されたデータを記憶する。

入力部１０４は、ハードウェアスイッチ、入力キー、キーボード及びポインティングデバイスに代表される入力デバイスを含む。入力部１０４は、異常検知装置１００を使用する作業者によって入力された情報を取得して、取得した情報をプロセッサ１０１に通知する。

出力部１０５は、ＬＥＤ（Light Emitting Diode）、ＬＣＤ（Liquid Crystal Display）に代表される表示デバイス、ブザー及びスピーカに代表される出力デバイスを含む。出力部１０５は、プロセッサ１０１の指示に従って種々の情報をユーザに提示する。

通信部１０６は、外部の装置と通信するためのインタフェース回路を含む。通信部１０６は、外部の装置から信号を受信して、この信号により示されるデータをプロセッサ１０１へ出力する。通信部１０６は、プロセッサ１０１から出力されたデータを示す信号を外部の装置へ送信してもよい。

上述のハードウェア構成が協働することにより、異常検知装置１００は、時系列の画像である連続画像データを複数のパッチデータに分割して、当該パッチデータそれぞれについて異常の有無を検知する。ここで、異常検知装置１００による連続画像データの分割の概要について、図３を用いて説明する。

図３に示されるように、連続して撮影された画像３１，３２，３３を含む一連の画像データをまとめて連続画像データ３０と呼ぶ。画像３１～３３はそれぞれ、矩形の画像であって、幅及び高さを有する。これらの画像３１～３３を時系列順に並べることで得る連続画像データ３０は、幅方向及び高さ方向に加えて、時間方向の長さを有する３次元のデータとなる。

この連続画像データ３０を、画像３１～３３の幅方向及び高さ方向並びに時間方向に分割するためのパラメータが決定される。図３の例では、連続画像データ３０を、幅方向に４分割し、高さ方向に２分割し、時間方向に２分割するためのパラメータが決定される。このパラメータは、連続画像データ３０を分割して得るパッチデータ４０それぞれの幅、高さ及び時間方向の長さの値を示す。

例えば、図３の例において画像３１～３３それぞれの幅が９６０ピクセルであれば、パッチデータ４０の幅を示すパラメータの値は２４０ピクセルとして決定される。同様に、画像３１～３３それぞれの高さが７２０ピクセルであれば、パッチデータ４０の高さを示すパラメータの値は３６０ピクセルとして決定される。また、連続画像データ３０の時間方向の長さが２４０フレームであれば、パッチデータ４０の時間方向の長さを示すパラメータの値は１２０フレームとして決定される。ただし、パッチデータ４０の時間方向の長さの単位は、ミリ秒であってもよい。

連続画像データ３０から分割されたパッチデータ４０は、連続画像データ３０と同様に３次元のデータであるが、幅方向、高さ方向及び時間方向のいずれについても連続画像データ３０より小さいデータに相当する。

異常検知装置１００は、図３に示すような分割、及び、分割で得たパッチデータに基づく異常の検知を実行する機能を有する。詳細には、異常検知装置１００は、図４に示されるように、その機能として、連続画像データを撮影機器２００から取得する取得部１１と、連続画像データを分割するためのパラメータを当該連続画像データに基づいて決定するパラメータ決定部１２と、決定されたパラメータを用いて連続画像データを分割する分割部１３と、連続画像データの分割により得たパッチデータそれぞれから特徴量を算出する特徴量算出部１４と、算出された特徴量を用いて異常を検知する検知部１５と、異常の検知結果を外部に出力する出力部１６と、を有する。

取得部１１は、主としてプロセッサ１０１、主記憶部１０２及び通信部１０６の協働により実現される。取得部１１は、撮影機器２００によって連続して撮影された画像を示す連続画像データを撮影機器２００から受信して、受信した連続画像データをパラメータ決定部１２及び分割部１３に出力する。なお、取得部１１によって取得される連続画像データは、１つのブロックデータであってもよいし、撮影機器２００から順次送信される画像を示す画像データの集合であってもよいし、撮影機器２００からストリーミング形式で送信されるビデオデータであってもよい。また、取得部１１は、必要に応じて、画像のリサイズ、又は、ノイズ除去処理を実行してもよい。取得部１１は、異常検知装置１００において、連続画像データを取得する取得手段の一例に相当する。

パラメータ決定部１２は、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。パラメータ決定部１２は、連続画像データにより示される情報に基づいて、パッチデータの幅方向、高さ方向及び時間方向のサイズを示すパラメータの値を決定する。ここで、パッチデータの幅方向及び高さ方向のサイズをパッチサイズと呼び、パッチデータの時間方向の長さをパッチ時間長と呼ぶ。

パッチサイズは、連続画像データを構成する画像の画像特徴量と閾値とを比較することによって検出されたブロブ領域のうちの、最小のブロブ領域を含む矩形領域として決定される。画像特徴量としては、例えば、画素値、勾配量、オプティカルフロー及びＨＯＧ（Histograms of Oriented Gradients）特徴量のうちの少なくとも１つが用いられる。

具体的には、図５に示されるように、パラメータ決定部１２が、連続画像データを構成する各画像に対して、当該画像を構成する部分領域それぞれについて画像特徴量を算出する。部分領域は、１つのピクセルであってもよいし、複数の隣接するピクセルからなるセル領域であってもよい。そして、パラメータ決定部１２は、互いに類似する値を有する画像特徴量が算出され、かつ、互いに隣接する部分領域の集合としてブロブ領域を検出する。互いに類似する画像特徴量の検出は、予め定められた閾値が用いられることで実行される。また、互いに類似する画像特徴量の検出は、画像特徴量の分類といえるため、画像特徴量のクラスタリングによってなされてもよい。パラメータ決定部１２は、各画像から検出されたブロブ領域のうちの最小のサイズのブロブ領域に接するようにパッチサイズを決定する。ただし、最小のブロブ領域に代えて、ブロブ領域をサイズの大きい順に並べたときに下位１０％に位置するブロブ領域を採用してもよいし、最小のブロブ領域に対してマージンを設定してパッチサイズを決定してもよい。

ここで、画像特徴量は、第２特徴量の一例に相当する。また、パラメータ決定部１２は、画像を構成する部分領域それぞれについて第２特徴量を算出し、第２特徴量を分類することにより、同一のグループに分類された第２特徴量を有し互いに隣接する部分領域の集合であるブロブ領域を検出して、検出されたブロブ領域から選択される一のブロブ領域をパッチデータが含むようにパッチデータの幅及び高さを示すパラメータを決定する決定手段の一例に相当する。

パッチ時間長は、図６に示されるように、時間軸に沿って変化する画像特徴量の推移の周波数領域表現から代表的な周期を選択することで決定される。パッチ時間長を決定するための画像特徴量は、パッチサイズを決定するための画像特徴量と同一であってもよいし異なっていてもよい。また、パッチ時間長を決定するための画像特徴量は、各画像について１つの値のみを有していてもよい。周波数領域表現は、フーリエ変換、ウェーブレット変換その他の変換により得てもよい。代表的な周期は、周波数領域表現のピークに対応する周期であってもよいし、他の手法で選択された周期であってもよい。

パッチ時間長を決定するための画像特徴量は、第３特徴量の一例に相当する。また、パラメータ決定部１２は、画像から算出される第３特徴量の推移の周波数領域表現から周期を選択することで、パッチデータの時間方向の長さを示すパラメータを決定する決定手段の一例に相当する。

分割部１３は、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。分割部１３は、パラメータ決定部１２によって決定されたパラメータを用いて連続画像データを分割することで、複数のパッチデータを含むパッチデータセットを生成する。生成されたパッチデータセットは、特徴量算出部１４に出力される。

特徴量算出部１４は、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。特徴量算出部１４は、各パッチデータについて特徴量を算出することで、算出した複数の特徴量を含む特徴量データセットを生成する。この特徴量は、例えば、オプティカルフロー、ＨＯＧ特徴量、ＫＡＺＥ特徴量、及び、深層学習を用いた学習ベース特徴量のうちの少なくとも１つである。特徴量として、１種類のみを採用してもよいし、複数の種類の特徴量を組み合わせてもよい。さらに、パッチデータ毎に特徴量の種類或いはその組み合わせが異なってもよい。特徴量算出部１４によって算出される特徴量は、第１特徴量の一例に相当する。また、特徴量算出部１４は、異常検知装置１００において、決定手段によって決定されたパラメータを用いて連続画像データを分割して得るパッチデータそれぞれから第１特徴量を算出する特徴量算出手段の一例に相当する。

検知部１５は、主としてプロセッサ１０１、主記憶部１０２及び補助記憶部１０３の協働により実現される。検知部１５は、異常検知装置１００において、特徴量算出手段によって算出された第１特徴量と基準値との比較に基づいて、画像に写る撮影対象に関する異常を検知する検知手段の一例に相当する。検知部１５は、特徴量と基準値とを比較して相違度を算出する相違度算出部１５１と、基準値に相当する基準特徴量を記憶する基準特徴量記憶部１５２と、相違度が閾値を超えるか否かを判定することで異常の有無を診断する診断部１５３と、診断に用いる閾値を設定するための閾値設定部１５４と、を有する。

相違度算出部１５１は、特徴量データセットを構成する特徴量それぞれを、基準特徴量と比較して、これらが相違する度合いを示す相違度をパッチデータそれぞれについて算出することにより、算出した複数の相違度を含む相違度データセットを生成する。相違度は、ヒストグラム類似度及びコサイン類似度に代表される類似度であってもよいし、ユークリッド距離、マンハッタン距離、チェビシェフ距離及びマハラノビス距離に代表される特徴量間距離であってもよいし、シャムネットワークに代表される深層学習により算出される特徴量であってもよい。また、基準特徴量は、パッチデータの画像上の位置に応じて異なることが望ましい。相違度算出部１５１は、異常検知装置１００において、パッチデータそれぞれの第１特徴量と基準値との相違度を算出する算出手段の一例に相当する。

基準特徴量記憶部１５２には、基準特徴量の集合である基準特徴量データセットが予め格納される。基準特徴量は、撮影対象の正常な稼働状態を撮影した連続画像データを分割して得るパッチデータから予め算出される。基準特徴量記憶部１５２には、少なくとも１つの組み合わせのパッチサイズ及びパッチ時間長について生成された基準特徴量データセットを保持し、パッチサイズ及びパッチ時間長が互いに異なる複数の組み合わせについて生成された基準特徴量データセットを保持してもよい。基準特徴量記憶部１５２から相違度算出部１５１に供給される基準特徴量データセットは、分割部１３によって分割されたパッチデータのパッチサイズ及びパッチ時間長について予め生成されたものであることが望ましい。

診断部１５３は、相違度データセットを構成する相違度それぞれを、閾値設定部１５４から供給される閾値と比較して、相違度が閾値を超えるか否かを判定することにより異常の有無を診断する。そして、診断部１５３は、各パッチデータについての診断結果を示す診断結果データセットを生成する。相違度が閾値より大きい場合に異常と判定するか、或いは相違度に相当する類似度が閾値より小さい場合に異常と判定するかは、予め定められる。相違度と比較される閾値は、パッチデータの画像上の位置に応じて異なることが望ましく、相違度と閾値との比較は、画像上の位置が異なるパッチデータ毎に実行されることが望ましい。診断部１５３は、異常検知装置１００において、算出手段によって算出された相違度が閾値を超えるか否かを判定する判定手段の一例に相当する。

閾値設定部１５４は、各パッチデータについて予め定められた閾値の集合である閾値データセットを設定するために用いられる。閾値データセットの設定は、ユーザによってなされてもよいし、異常の検知対象となる連続画像データの画像上の位置的或いは時間的な部分データの特徴量の統計量として算出されてもよい。この特徴量は、例えば、オプティカルフロー、ＨＯＧ特徴量、ＫＡＺＥ特徴量、深層学習ベースの特徴量であってもよい。また、特徴量の統計量は、例えば、当該特徴量の平均、中央値、最頻値、分散、標準偏差、最大値、最小値から算出されてもよい。

出力部１６は、主として出力部１０５によって実現される。出力部１６は、検知部１５による異常の検知結果をユーザに対して報知する。

続いて、異常検知装置１００によって実行される異常検知処理について、図７を用いて説明する。この異常検知処理は、異常検知装置１００に対するユーザの特定の操作をトリガーとして開始する。特定の操作は、例えば、ハードウェアスイッチの操作であってもよいし、特定のアプリケーションソフトウェアの実行であってもよい。異常検知処理は、異常検知装置１００によって実行される異常検知方法の一例に相当する。

異常検知処理では、取得部１１が、連続画像データを取得する（ステップＳ１）。取得部１１は、撮影機器２００から連続画像データを取得してもよいし、ユーザから指定された補助記憶部１０３、メモリカードに代表される脱着可能な記録媒体、又は外部のサーバ装置のアドレスを参照して、連続画像データ３０を読み出すことにより取得してもよい。

次に、パラメータ決定部１２が、幅方向、高さ方向及び時間方向に連続画像データを分割するためのパラメータを、連続画像データを用いて決定する（ステップＳ２）。ここで、パラメータは、実質的にパッチデータの幅方向及び高さ方向並びに時間方向のサイズを示していればよい。例えば、パラメータは、図３に示される連続画像データ３０を分割するための太線に対応する境界線の位置を示してもよいし、連続画像データ３０が等分割される場合においては分割数を示してもよい。決定されたパラメータは、分割部１３による連続画像データの分割に用いられる。これにより、複数のパッチデータが得られる。

次に、特徴量算出部１４が、パラメータを用いて連続画像データを分割して得るパッチデータそれぞれから特徴量を算出する（ステップＳ３）。これによりパッチデータの数に等しい数の特徴量が算出される。

次に、検知部１５が、未選択のパッチデータを１つ選択する（ステップＳ４）。ここでパッチデータを選択する手法は任意であるが、例えば、図３に示されるような予め定められた幅方向、高さ方向及び時間方向の座標値がこの順で小さいパッチデータを優先的に選択する。

次に、検知部１５の相違度算出部１５１が、ステップＳ４で選択されたパッチデータについてステップＳ３で算出された特徴量と、基準特徴量記憶部１５２から読み出した基準特徴量との相違度を算出する（ステップＳ５）。

次に、検知部１５の診断部１５３は、ステップＳ５で算出された相違度が、閾値設定部１５４で設定された閾値を超えるか否かを判定する（ステップＳ６）。ただし、相違度として、特徴量が類似する度合いを示す類似度が用いられる場合には、このステップＳ６では、類似度が閾値を下回るか否かが判定されてもよい。

相違度が閾値を超えると判定された場合（ステップＳ６；Ｙｅｓ）、検知部１５が異常を検知して、出力部１６が検知結果を表示する（ステップＳ７）。例えば、図８に示されるように、出力部１６は、異常が検知されたパッチデータに対応する領域を強調する画面を表示する。

相違度が閾値を超えないと判定された場合（ステップＳ６；Ｎｏ）、又は、ステップＳ７の終了後に、検知部１５は、連続画像データから分割されたすべてのパッチデータが選択されたか否かを判定する（ステップＳ８）。すべてのパッチデータが選択されてはいないと判定された場合（ステップＳ８；Ｎｏ）、ステップＳ４以降の処理が繰り返される。一方、すべてのパッチデータが選択されたと判定された場合（ステップＳ８；Ｙｅｓ）、異常検知処理が終了する。

なお、異常検知処理は、１つの連続画像データに関する処理が完了した後に、終了することなく、次の連続画像データに関する処理を実行し、反復的に実行されてもよい。また、図７に示される異常検知処理は一例に過ぎず、異常検知処理を構成する各ステップの順序を任意に変更してもよい。例えば、選択された１つのパッチデータについてステップＳ５～Ｓ７を実行するのに代えて、すべてのパッチデータについて相違度を算出してから、すべての相違度と閾値との比較を実行した後に、異常の検知結果を表示してもよい。

以上、説明したように、本実施の形態に係るパラメータ決定部１２は、連続画像データを、画像の幅方向及び高さ方向並びに時間方向に分割するためのパラメータを、連続画像データに基づいて決定する。このため、連続画像データを分割するためのパラメータをユーザが試行錯誤して探る作業は不要となる。これにより、画像から異常を検知する装置に対してパラメータを設定する作業の負担を軽減することができる。

また、適当なパラメータを早く設定することができるため、異常検知装置１００を稼働させるための準備時間を短縮することができる。さらに、ユーザによって設定されるパラメータが不適当であり、異常を正確に検知することができないおそれがあるのに対して、本実施の形態に係る異常検知装置１００によれば、異常を正確に検知することが期待される。これにより、知見及び経験のないユーザであっても容易に、正確に異常を検知することが可能になる。

また、パラメータ決定部１２は、ブロブ領域を検出して、検出したブロブ領域から選択された一のブロブ領域をパッチデータが含むようにパッチサイズを決定する。互いに類似する特徴量を有する部分領域のかたまりをパッチサイズとすることにより、パッチサイズが必要以上に細かくなってしまうことを回避することができる。

また、パラメータ決定部１２は、特徴量の推移の周波数領域表現から周期を選択することでパッチ時間長を決定する。これにより、必要以上に長いパッチ時間長を決定することが回避される。

実施の形態２．
続いて、実施の形態２について、上述の実施の形態１との相違点を中心に説明する。なお、上記実施の形態１と同一又は同等の構成については、同等の符号を用いる。本実施の形態は、連続画像データを圧縮することにより演算量を低減する点で、実施の形態１とは異なる。

本実施の形態に係る異常検知装置１００は、図９に示されるように、画像サイズの縮小及びフレームレートの低減により連続画像データを圧縮する圧縮部１７を有する。圧縮部１７は、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。圧縮部１７は、取得部１１によって取得された連続画像データと、パラメータ決定部１２によって決定されたパラメータとに基づいて、連続画像データをどのように圧縮するかを示す圧縮パラメータを算出する。圧縮パラメータは、画像サイズの縮小に関する画像縮小パラメータと、時間方向の長さを短縮するための時間短縮パラメータと、を有する。

詳細には、圧縮部１７は、パッチサイズの算出の際に用いた部分領域の特徴量に対して縮小処理を行い、特徴量から算出したブロブ形状の変化、ブロブの消失などの影響が生じない範囲で画像サイズを縮小させるための画像縮小パラメータを算出する。例えば、圧縮部１７は、画像サイズの縮小率を大きくしつつブロブ領域を検出する処理を繰り返し、ブロブ領域が消失するときの直前の縮小率を画像縮小パラメータとして決定する。

また、圧縮部１７は、オプティカルフローから連続画像データにおける最大速度を算出し、その速度以上のフレームレートとなるように時間短縮パラメータを設定する。例えば、圧縮部１７は、オプティカルフローにより示される速度のうちの最大速度を選択し、その最大速度に対応するオプティカルフローが消失することがない範囲で、連続画像データの時間方向の長さを短縮するための時間短縮パラメータを算出する。

そして、圧縮部１７は、算出した圧縮パラメータを用いて連続画像データを圧縮し、圧縮した連続画像データを分割部１３に出力する。分割部１３は、圧縮された連続画像データをパッチデータに分割し、特徴量算出部１４は、圧縮された連続画像データを分割して得るパッチデータから特徴量を算出する。

以上、説明したように、圧縮部１７は、ブロブ領域の大きさに基づいて連続画像データを圧縮し、特徴量算出部１４は、圧縮部１７によって圧縮された連続画像データを分割して得るパッチデータから特徴量を算出する。これにより、取得部１１から出力される連続画像データをそのまま処理すると処理時間が膨大になる場合があるのに対して、異常の検知に影響が出ない程度に画像サイズを縮小しフレームレートを低減して、図１０に示されるように連続画像データを圧縮することにより、処理時間を短縮することができる。

なお、圧縮部１７が画像サイズを縮小するとともにフレームレートを低減する例について説明したが、圧縮部１７は、画像サイズの縮小と、フレームレートの低減と、のいずれか一方のみを実行してもよい。また、圧縮部１７は、画像の幅方向及び高さ方向のいずれか一方のみに画像サイズを圧縮してもよい。圧縮部１７は、ブロブ領域の大きさに基づいて画像の幅方向及び高さ方向の少なくとも一方に連続画像データを圧縮すればよい。圧縮部１７は、異常検知装置１００において、ブロブ領域の大きさに基づいて画像の幅方向及び高さ方向の少なくとも一方に連続画像データを圧縮する圧縮手段の一例に相当する。

なお、実施の形態１に係る取得部１１と分割部１３との間に圧縮部１７が挿入される例について説明したが、これには限定されない。例えば、圧縮部１７は、分割部１３と特徴量算出部１４との間に挿入され、パッチデータを圧縮してもよい。

実施の形態３．
続いて、実施の形態３について、上述の実施の形態１との相違点を中心に説明する。なお、上記実施の形態１と同一又は同等の構成については、同等の符号を用いる。本実施の形態は、連続画像データを分割するためのパラメータが、画像特徴量に代えて、画像に写る物体の検出結果に基づいて決定される点で、実施の形態１とは異なる。

本実施の形態に係る異常検知装置１００は、図１１に示されるように、画像に写る物体を検出する物体検出部１８を有する。物体検出部１８は、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。物体検出部１８は、連続画像データを構成する画像それぞれから、図１２に太線の枠で示されるように物体を検出して、検出したすべての物体を示す検出結果データセットをパラメータ決定部１２に出力する。

物体の検出は、ｈａａｒ－ｌｉｋｅ特徴量及びＨＯＧ特徴量に代表される特徴量を用いる手法、又は、ＹＯＬＯ（You Look Only Once）アルゴリズム及びＳＳＤ（Single Shot multi-box Detector）アルゴリズムに代表される深層学習ベースの手法によって達成される。検出結果は、検出された物体の画像における座標、及び、物体の写る領域の幅及び高さを含むサイズを示す。検出結果は、さらに、分類クラス情報及び信頼度その他の情報を含んでもよい。物体検出部１８は、異常検知装置１００において、画像に写る物体を検出する物体検出手段の一例に相当する。

パラメータ決定部１２は、連続画像データ及び検出結果データセットを取得して、連続画像データを分割するためのパラメータを決定する。例えば、パラメータ決定部１２は、検出された最小の物体のサイズ、又は、検出されたすべての物体の平均サイズを、パッチサイズとして決定する。

以上、説明したように、異常検知装置１００は、物体検出部１８を備え、パラメータ決定部１２は、物体検出部１８によって検出された物体が写る画像における領域の大きさに基づいてパッチデータの幅及び高さを示すパラメータを決定する。これにより、実際に画像に写る物体の大きさに応じたパッチサイズが決定され、異常の正確な検知が期待される。

実施の形態４．
続いて、実施の形態４について、上述の実施の形態３との相違点を中心に説明する。なお、上記実施の形態３と同一又は同等の構成については、同等の符号を用いる。本実施の形態は、連続画像データを圧縮することにより演算量を低減する点で、実施の形態３とは異なる。

本実施の形態に係る異常検知装置１００は、図１３に示されるように、画像サイズの縮小により連続画像データを圧縮する圧縮部１７ａを有する。圧縮部１７ａは、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。圧縮部１７ａは、物体検出部１８による検出結果に基づいて、連続画像データを構成する画像をどのように縮小するかを示す圧縮パラメータを算出する。

詳細には、圧縮部１７ａは、物体検出部１８によって検出された物体のうちの最小の物体が写っている領域のピクセル数の逆数に、予め定められた係数を乗じて得る補正画像サイズから、圧縮パラメータを算出する。ここで、圧縮される前の画像サイズと補正画像サイズとの比が、圧縮パラメータとなる。

圧縮部１７ａは、異常検知装置１００において、物体検出手段によって検出された物体が写る画像における領域の大きさに基づいて、連続画像データを圧縮する圧縮手段の一例に相当する。圧縮部１７ａは、決定した圧縮パラメータを用いて圧縮した連続画像データを分割部１３に出力する。分割部１３は、圧縮された連続画像データを分割し、特徴量算出部１４は、圧縮された連続画像データを分割して得るパッチデータから特徴量を算出することとなる。

以上、説明したように、異常検知装置１００は、圧縮部１７ａを備え、特徴量算出部１４は、圧縮部１７ａによって圧縮された連続画像データを分割して得るパッチデータそれぞれから特徴量を算出する。これにより、異常検知装置１００の演算量を軽減することができる。

なお、圧縮部１７ａは、画像の幅及び高さの一方又は双方を縮小してもよい。圧縮部１７ａは、画像の幅方向及び高さ方向の少なくとも一方に連続画像データを圧縮すればよい。

実施の形態５．
続いて、実施の形態５について、上述の実施の形態３との相違点を中心に説明する。なお、上記実施の形態３と同一又は同等の構成については、同等の符号を用いる。本実施の形態は、時間の経過とともに移動する物体を検出して画像上で追跡し、追跡結果に基づいてパラメータを決定する点で、実施の形態３とは異なる。

本実施の形態に係る異常検知装置１００は、図１４に示されるように、画像に写る物体を追跡する物体追跡部１９を有する。物体追跡部１９は、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。物体追跡部１９は、連続画像データ及び物体検出の結果に基づいて、物体を追跡し、すべての物体の追跡結果を示す追跡結果データセットを出力する。

物体の追跡は、ｋ近傍法を用いた検出ベースの追跡手法によりなされてもよいし、物体が最初に検出された位置を初期位置として、パーティクルフィルタ又はテンプレートマッチングを用いた手法によりなされてもよいし、その他の手法によりなされてもよい。物体追跡部１９は、異常検知装置１００において、連続して撮影された画像に写る物体を追跡する物体追跡手段の一例に相当する。

パラメータ決定部１２は、連続画像データ、物体検出の結果及び物体追跡の結果を取得して、連続画像データを分割するためのパラメータを決定する。詳細には、パラメータ決定部１２は、追跡された物体のうちの最も長い時間にわたって追跡された物体が画像に写る時間長をパッチ時間長として決定する。

また、パラメータ決定部１２は、パッチデータに対応する画像ブロックに物体が入ってきた時刻から、当該画像ブロックから当該物体が出て行った時刻までの時間長をパッチ時間長としてもよい。ここで、画像ブロックは、連続画像データを構成する画像からパッチサイズに従って分割された部分的な画像に相当する。さらに、パラメータ決定部１２は、追跡された物体の最低速度をＶｍｉｎとし、予め設定された最大撮影距離をＭｍａｘとし、αを予め規定される係数として、パッチ時間長としてのＰｔを、Ｐｔ＝α・｜Ｖｍｉｎ｜／Ｍｍａｘという式を用いて算出してもよい。

以上、説明したように、異常検知装置１００は、物体追跡部１９を備え、パラメータ決定部１２は、物体追跡部１９による物体の追跡結果に基づいて、パッチデータの時間方向の長さを示すパッチ時間長を含むパラメータを決定する。これにより、パッチデータが、撮影された物体が写る画像ブロックを含むものとなり、結果的に、物体に関する異常を正確に検知することが期待される。パラメータ決定部１２は、物体追跡手段によって追跡された物体が画像において移動する速さに基づいて、パッチデータの時間方向の長さを示すパラメータを決定する決定手段の一例に相当する。

実施の形態６．
続いて、実施の形態６について、上述の実施の形態５との相違点を中心に説明する。なお、上記実施の形態５と同一又は同等の構成については、同等の符号を用いる。本実施の形態は、連続画像データを圧縮することにより演算量を低減する点で、実施の形態５とは異なる。

本実施の形態に係る異常検知装置１００は、図１５に示されるように、フレームレートの低減により連続画像データを圧縮する圧縮部１７ｂを有する。圧縮部１７ｂは、主としてプロセッサ１０１及び主記憶部１０２の協働により実現される。圧縮部１７ｂは、物体追跡部１９による物体の追跡結果に基づいて、連続画像データの時間方向の長さをどのように短縮するかを示す圧縮パラメータを算出する。

詳細には、圧縮部１７ｂは、追跡された物体がそれぞれ画像に写っている時間長のうちの最も短い時間長に、予め定められた係数を乗じて得る補正時間長から補正フレームレートを算出し、圧縮前の連続画像データのフレームレート及び補正フレームレートから圧縮パラメータを算出する。補正フレームレートは、補正時間の逆数になる。なお、パッチデータに対応する画像ブロックに物体が入ってきた時刻から、当該画像ブロックから当該物体が出て行った時刻までの時間長に、予め定められた係数を乗じることで補正時間長を得てもよい。

圧縮部１７ｂは、異常検知装置１００において、物体追跡手段によって追跡された物体が画像に写る時間の長さに基づいて、連続画像データを時間方向に圧縮する圧縮手段の一例に相当する。圧縮部１７ｂは、決定した圧縮パラメータを用いて圧縮した連続画像データを分割部１３に出力する。分割部１３は、圧縮された連続画像データを分割し、特徴量算出部１４は、圧縮された連続画像データを分割して得るパッチデータから特徴量を算出することとなる。

以上、説明したように、異常検知装置１００は、圧縮部１７ｂを備え、特徴量算出部１４は、圧縮部１７ｂによって圧縮された連続画像データを分割して得るパッチデータそれぞれから特徴量を算出する。これにより、異常検知装置１００の演算量を軽減することができる。

実施の形態７．
続いて、実施の形態７について、上述の実施の形態１との相違点を中心に説明する。なお、上記実施の形態１と同一又は同等の構成については、同等の符号を用いる。上記実施の形態１では、各パッチデータが共通のパッチサイズを有していた。すなわち、パラメータ決定部１２が、パッチデータの幅及び高さを示す１組のパラメータを決定していた。これに対して、本実施の形態は、パラメータ決定部１２が、画像上の位置に応じて異なるパッチサイズをパラメータとして決定する点で、実施の形態１とは異なる。

本実施の形態に係るパラメータ決定部１２は、図１６に示されるように、画像上の位置に応じて異なるパッチサイズを有するパッチデータが分割されるように、パラメータを決定して、パッチデータすべてのパッチサイズを示すパラメータデータセットを出力する。このパラメータデータセットは、パッチデータのパッチサイズと、当該パッチデータの画像上における位置と、を関連付けて示す。なお、パッチサイズは、画像の幅に対応する水平方向及び高さに対応する鉛直方向の一方又は双方に応じて、異なる値を有してもよい。すなわち、水平方向及び鉛直方向のいずれか一方に関しては、各パッチデータについて共通の値を有するパラメータが決定されてもよい。

以上、説明したように、パラメータ決定部１２によって決定されるパラメータのうちの、一のパッチデータの幅及び高さの少なくとも一方を示すパラメータは、画像における位置が一のパッチデータとは異なる他のパッチデータの該パラメータとは異なる値を有する。これにより、撮影対象の画像上の大きさに応じてパッチデータが生成されて、異常の検知が正確になされることが期待される。

例えば、実施の形態１から本実施の形態への変形を、上記実施の形態３に対して施して、物体検出部１８によって検出された物体の位置及び大きさに基づいて、パッチサイズを決定することが考えられる。また、同様の変形を、上記実施の形態５に対して施して、物体追跡部１９によって追跡された物体をパッチデータが可能な限り多く含むように、パッチサイズが決定されてもよい。さらに、決定されたパッチサイズを有するパッチデータの画像上の位置が、ユーザにより設定されてもよい。

以上、本開示の実施の形態について説明したが、本開示は上記実施の形態によって限定されるものではない。

例えば、連続画像データが、画像の幅方向及び高さ方向の双方に分割される例について説明したが、これには限定されない。パラメータ決定部１２は、連続画像データを、画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、連続画像データに基づいて決定すればよい。

具体的には、異常検知装置１００は、図１７に示されるように、連続画像データを高さ方向には分割することなく幅方向及び時間方向に分割することでパッチデータ４０を得てもよい。図１７に例示されるように高さ方向に分割しない場合には、上述した各実施の形態から、高さ方向に分割するためのパラメータの決定、及び、当該パラメータに基づく高さ方向における分割を省略すればよい。例えば、画像に写る被写体が幅方向に並んでいて高さ方向には並ばない場合、及び、被写体が幅方向に移動し高さ方向には移動しない場合には、高さ方向の分割を省略することで、異常検知装置１００の計算負荷を軽減することができる。

また、異常検知装置１００は、図１８に示されるように、連続画像データを幅方向には分割することなく高さ方向及び時間方向に分割することでパッチデータ４０を得てもよい。幅方向に分割しない場合には、上述した各実施の形態から、幅方向に分割するためのパラメータの決定、及び、当該パラメータに基づく幅方向における分割を省略すればよい。例えば、画像に写る被写体が高さ方向に並んでいて幅方向には並ばない場合には、幅方向の分割を省略することで、異常検知装置１００の計算負荷を軽減することができる。

また、パラメータ決定部１２によるパラメータの決定手法は、上述の各実施形態で説明した例に限定されず、任意に変更してもよい。

また、各パッチデータが図３に示されるように重複しない例について説明したが、パッチデータの一部は重複してもよい。例えば、図３に示されるように分割して得る部分データに対してマージンを設定することによりパッチデータを得てもよい。各パッチデータの少なくとも一部が、画像上及び時間方向の少なくとも一方において他のパッチデータと異なる位置にあればよい。

また、上記実施の形態２，４，６で説明した圧縮部１７，１７ａ，１７ｂとは異なる形態で連続画像データを圧縮する圧縮部を設けることが考えられる。例えば、連続画像データを圧縮することなく異常検知処理を試行してから、連続画像データを圧縮して異常検知処理をさらに試行し、検知精度に影響を及ぼさない程度に連続画像データを圧縮するパラメータを採用してもよい。具体的には、予め設定された閾値の範囲内に検知精度の変動が収まるように圧縮パラメータを決定すればよい。

また、上述の各実施の形態を任意に組み合わせてもよい。例えば、実施の形態２に係る圧縮部１７と、実施の形態６に係る圧縮部１７ｂと、の双方が異常検知装置１００に含まれてもよい。

上述の実施形態に係る異常検知装置１００の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。

例えば、プログラムＰ１を、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）に代表されるコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムＰ１をコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。

また、プログラムＰ１をインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。

また、インターネットに代表されるネットワークを介してプログラムＰ１を転送しながら起動実行することによっても、上述の処理を達成することができる。

さらに、プログラムＰ１の全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムＰ１を実行することによっても、上述の処理を達成することができる。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

また、異常検知装置１００の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を専用のハードウェア又は回路によって実現してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

本開示は、画像を用いた異常の検知に適している。

１００ 異常検知装置、 １１ 取得部、 １２ パラメータ決定部、 １３ 分割部、 １４特徴量算出部、 １５ 検知部、 １５１ 相違度算出部、 １５２ 基準特徴量記憶部、 １５３ 診断部、 １５４ 閾値設定部、 １６ 出力部、 １７，１７ａ，１７ｂ 圧縮部、 １８ 物体検出部、 １９ 物体追跡部、 １０１ プロセッサ、 １０２ 主記憶部、 １０３ 補助記憶部、 １０４ 入力部、 １０５ 出力部、 １０６ 通信部、 １０７ 内部バス、 ３０ 連続画像データ、 ３１～３３ 画像、 ４０ パッチデータ、 ２００ 撮影機器、 Ｐ１ プログラム。

Claims (12)

1. コンピュータを、
   連続して撮影された画像を示す連続画像データを取得する取得手段、
   前記連続画像データを、前記画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、前記連続画像データに基づいて決定する決定手段、
   前記決定手段によって決定された前記パラメータを用いて前記連続画像データを分割して得るパッチデータそれぞれから第１特徴量を算出する特徴量算出手段、
   前記特徴量算出手段によって算出された前記第１特徴量と基準値との比較に基づいて、前記画像に写る撮影対象に関する異常を検知する検知手段、
   として機能させるための異常検知プログラム。
2. 前記決定手段は、前記画像を構成する部分領域それぞれについて第２特徴量を算出し、前記第２特徴量を分類することにより、同一のグループに分類された前記第２特徴量を有し互いに隣接する前記部分領域の集合であるブロブ領域を検出して、検出された前記ブロブ領域から選択される一の前記ブロブ領域を前記パッチデータが含むように前記パッチデータの幅及び高さを示す前記パラメータを決定する、
   請求項１に記載の異常検知プログラム。
3. 前記コンピュータを、前記画像に写る物体を検出する物体検出手段、としてさらに機能させ、
   前記決定手段は、前記物体検出手段によって検出された物体が写る前記画像における領域の大きさに基づいて前記パッチデータの幅及び高さを示す前記パラメータを決定する、
   請求項１に記載の異常検知プログラム。
4. 前記決定手段は、前記画像から算出される第３特徴量の推移の周波数領域表現から周期を選択することで、前記パッチデータの時間方向の長さを示す前記パラメータを決定する、
   請求項１から３のいずれか一項に記載の異常検知プログラム。
5. 前記コンピュータを、連続して撮影された前記画像に写る物体を追跡する物体追跡手段、としてさらに機能させ、
   前記決定手段は、前記物体追跡手段によって追跡された物体が前記画像において移動する速さに基づいて、前記パッチデータの時間方向の長さを示す前記パラメータを決定する、
   請求項１から３のいずれか一項に記載の異常検知プログラム。
6. 前記決定手段によって決定される前記パラメータのうちの、一のパッチデータの幅及び高さの少なくとも一方を示す前記パラメータは、前記画像における位置が前記一のパッチデータとは異なる他のパッチデータの該パラメータとは異なる値を有する、
   請求項１から５のいずれか一項に記載の異常検知プログラム。
7. 前記コンピュータを、前記ブロブ領域の大きさに基づいて前記画像の幅方向及び高さ方向の少なくとも一方に前記連続画像データを圧縮する圧縮手段、としてさらに機能させ、
   前記特徴量算出手段は、前記圧縮手段によって圧縮された前記連続画像データを分割して得る前記パッチデータそれぞれから前記第１特徴量を算出する、
   請求項２に記載の異常検知プログラム。
8. 前記コンピュータを、前記物体検出手段によって検出された物体が写る前記画像における領域の大きさに基づいて、前記画像の幅方向及び高さ方向の少なくとも一方に前記連続画像データを圧縮する圧縮手段、としてさらに機能させ、
   前記特徴量算出手段は、前記圧縮手段によって圧縮された前記連続画像データを分割して得る前記パッチデータそれぞれから前記第１特徴量を算出する、
   請求項３に記載の異常検知プログラム。
9. 前記コンピュータを、前記物体追跡手段によって追跡された物体が前記画像に写る時間の長さに基づいて、前記連続画像データを時間方向に圧縮する圧縮手段、としてさらに機能させ、
   前記特徴量算出手段は、前記圧縮手段によって圧縮された前記連続画像データを分割して得る前記パッチデータそれぞれから前記第１特徴量を算出する、
   請求項５に記載の異常検知プログラム。
10. 前記検知手段は、
    前記パッチデータそれぞれの前記第１特徴量と前記基準値との相違度を算出する算出手段と、
    前記算出手段によって算出された前記相違度が閾値を超えるか否かを判定する判定手段と、
    を有し、
    前記相違度が前記閾値を超えると判定された場合に、異常を検知する、
    請求項１から９のいずれか一項に記載の異常検知プログラム。
11. 連続して撮影された画像を示す連続画像データを取得する取得手段と、
    前記連続画像データを、前記画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、前記連続画像データに基づいて決定する決定手段と、
    前記決定手段によって決定された前記パラメータを用いて前記連続画像データを分割して得るパッチデータそれぞれから特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出された前記特徴量と基準値との比較に基づいて、前記画像に写る撮影対象に関する異常を検知する検知手段と、
    を備える異常検知装置。
12. 連続して撮影された画像を示す連続画像データを、前記画像の幅方向及び高さ方向の少なくとも一方並びに時間方向に分割するためのパラメータを、前記連続画像データに基づいて決定するステップと、
    決定された前記パラメータを用いて前記連続画像データを分割して得るパッチデータそれぞれから特徴量を算出するステップと、
    前記特徴量と基準値との比較に基づいて、前記画像に写る撮影対象に関する異常を検知するステップと、
    を含む異常検知方法。

Images