JP6368798B2 - 監視装置、監視システムおよび監視方法 - Google Patents

Description

本発明は、監視装置、監視システムおよび監視方法に関する。

特許文献１には、「搬送装置上にあって該搬送装置に搬送される第１の移動体及び第２の移動体を撮像した時系列撮像データを生成する撮像装置と、前記時系列撮像データから、第１の移動体の特徴点の位置を時系列に抽出する特徴点抽出手段と、前記時系列撮像データから求められた、前記特徴点に対する前記第２の移動体の相対位置に基づいて、前記第１の移動体を静止させた状態で示す基準座標上における第２の移動体の時系列位置座標を算出する時系列位置座標算出手段と、前記基準座標上における第２の移動体の時系列位置座標を蓄積するデータ蓄積部と、を備える動線モニタリングシステム。」との記載がある。

特開２０１０−２１１６２６号公報

上記技術においては、予め設定された特徴点の位置からの乖離に応じて異常を検知している。そのため、予め設定された特徴点の位置情報が実態にそぐわず妥当でない場合には、実態上は正常な位置座標を検出した場合でも異常と誤検出するおそれがある。

本発明の目的は、実態に沿うように標準となるデータを学習する技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る監視装置は、動画の入力を受け付けて、該動画に写り込んでいる人物の時刻ごとの位置座標を特定する認識処理部と、所定の時間帯における上記位置座標を経時順に追跡して動線データを生成する動線追跡処理部と、上記動線データと複数の動線データとの乖離に応じた所定の距離を算出することで、上記動線データを高次元空間へ割り当てる次元変換処理部と、上記高次元空間において上記所定の距離に応じて上記動線データの確率分布を推定するクラスター処理部と、上記動線データについて上記確率分布を用いて正常である確率を算出する正常確率算出部と、上記正常である確率が所定の閾値を下回る場合に、異常状態であると判定し、前記クラスター処理部の推定により確率分布が所定以上となるいずれかのクラスターまでの距離に応じて前記所定の閾値を算出することで、複数の前記人物間での前記動線データのばらつきを許容する異常判定部と、を備える。

本発明によると、実態に応じた標準となるデータを学習して異常の報知を行うことができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る監視システムの概略を示す図である。 正常動線動作記憶部に格納されるデータ構造を示す図である。 閾値記憶部に格納されるデータ構造を示す図である。 標準モデル記憶部に格納されるデータ構造を示す図である。 監視装置のハードウェア構成を示す図である。 異常動作監視処理の動作フローを示す図である。 異常動作監視処理の出力画面の例を示す図である。 第二の実施形態に係る異常動作監視処理の動作フローを示す図である。 第二の実施形態に係る異常動作監視処理の出力画面の例を示す図である。 第三の実施形態に係る監視システムの概略を示す図である。 第三の実施形態に係る異常動作監視処理の動作フローを示す図である。 第三の実施形態に係る異常動作監視処理の出力画面の例を示す図である。 第四の実施形態に係る異常動作監視処理の動作フローを示す図である。 第四の実施形態に係る正常データ適正化処理の動作フローを示す図である。 第五の実施形態に係る監視システムの概略を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下に、本発明に係る第一の実施形態を適用した監視システム１の一例について、図面を参照して説明する。

図１は、本発明に係る監視システム１の概略を示す図である。監視システム１には、監視装置１００と、監視装置１００とネットワーク５０を介して通信可能に接続されるカメラ２００と、が含まれる。監視装置１００は、制御部１２０と、記憶部１３０と、通信部１４０と、これらをつなぐ通信バス１５０と、を含んで構成される。

なお、ユーザー（システム運用担当者等）は、図示しない入出力装置あるいは遠隔入出力装置の操作を通じて監視装置１００の機能を利用することができる。監視装置１００は、一般的な計算機（ＰＣ等）で構成可能であり、例えばソフトウェアプログラム処理により特徴的な処理機能（監視装置１００の各処理部）を実現する。

また、本システムでは、入力装置および制御部１２０の処理に基づいて、出力装置に表示される画面において、グラフィカルユーザインタフェース（ＧＵＩ）を構成し、各種の情報が表示される。

制御部１２０には、認識処理部１２１と、動線追跡処理部１２２と、次元変換処理部１２３と、クラスター処理部１２４と、正常確率算出部１２５と、異常判定部１２６と、異常通報部１２７と、が含まれる。

認識処理部１２１は、動画の入力を受け付けて、該動画に写り込んでいる人物の時刻ごとの位置座標を特定する。

動線追跡処理部１２２は、所定の時間帯における位置座標を経時順に追跡して動線データを生成する。

次元変換処理部１２３は、ある動線データと複数の動線データとの乖離に応じた所定の距離を算出することで、その動線データを高次元空間へ割り当てる。なお、高次元空間とは、当該空間に割り当てられる動線データの数がｎ（ｎは自然数）である場合に、ｎ次元となる空間のことである。すなわち、高次元空間は、ｎが無限大に近づく場合には、同様に無限に近づくため、無限次元空間であるともいえる。

クラスター処理部１２４は、次元変換処理部１２３により規定された高次元空間において動線データ間の距離に応じて動線データの確率分布を推定する。

正常確率算出部１２５は、ある動線データについて、クラスター処理部１２４が推定した確率分布を用いて正常である確率を算出する。なお、正常確率算出部１２５は、他の動線データの集合とのハウスドルフ（Hausdorff）距離に応じて正常である確率を算出する。例えば、正常確率算出部１２５は、ハウスドルフ距離が最も短くなるクラスターを最も近いクラスターであると特定して、そのクラスターに係る確率分布に応じて正常確率を算出する。

異常判定部１２６は、正常である確率が所定の閾値を下回る場合、あるいは、相異なる二つの閾値の間に挟まれる値であった場合に、異常状態であると判定する。なお、異常判定部１２６は、クラスター処理により確率分布が所定以上となるいずれかのクラスターまでの距離に応じて所定の閾値を算出することで、高次元空間において複数の人物間でばらつきやすい方向の動線データのばらつきを許容する。すなわち、ばらつきが発生しやすい方向へのばらつきは許容し、ばらつきが発生する方向でない方向への動線データのばらつきは厳しく検出することができる。

異常通報部１２７は、異常判定部１２６により異常状態であると判定されると、異常状態が発生した旨を所定の他の装置に通報する。

記憶部１３０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の公知の要素により構成される。記憶部１３０には、正常動線動作記憶部１３１と、閾値記憶部１３２と、標準モデル記憶部１３３と、が含まれる。

図２は、正常動線動作記憶部１３１に格納されるデータ構造を示す図である。正常動線動作記憶部１３１は、動線データを格納する。動線データは、時刻ごとの対象者の位置を特定する情報を時系列に繋げた離散的な位置のデータである。正常動線動作記憶部１３１には、時刻ｔ１３１Ａと、水平ｘ１３１Ｂと、垂直ｙ１３１Ｃと、幅ｗ１３１Ｄと、高さｈ１３１Ｅと、動線ＩＤ１３１Ｆと、が含まれる。

時刻ｔ１３１Ａは、時刻を特定する情報である。水平ｘ１３１Ｂと、垂直ｙ１３１Ｃとは、動線データの対象者の所定の点（特異点）の、動画上における水平位置と垂直位置とを特定する情報である。

幅ｗ１３１Ｄと、高さｈ１３１Ｅとは、動画上の、動線データの対象者が占める所定の矩形（例えば、四角形）の水平幅と垂直高さとを特定する情報である。

動線ＩＤ１３１Ｆは、動線データを識別する情報である。

図３は、閾値記憶部１３２に格納されるデータ構造を示す図である。閾値記憶部１３２は、異常な動線か正常な動線かを判定するための発生確率に関する閾値を格納する。閾値は、所定の固定値でもよいし、動線データ毎に、他の動線データが属するクラスターとの距離と方向に応じて求められる値であってもよい。閾値記憶部１３２には、動線ＩＤ１３２Ａと、基本閾値１３２Ｂと、他クラスターの方向１３２Ｃと、閾値低減比１３２Ｄと、が含まれる。

動線ＩＤ１３２Ａは、動線データを識別する情報である。基本閾値１３２Ｂは、動線データに固有の基本の閾値を特定する情報である。他クラスターの方向１３２Ｃは、動線ＩＤ１３２Ａにより特定される動線データから、他のクラスターへの方向を特定する情報である。閾値低減比１３２Ｄは、他クラスターの方向１３２Ｃに向かって当該他クラスターへ近づくごとに低減される閾値を算出する際に用いる比の値である。なお、閾値記憶部１３２については、このようなクラスター単位に可変に設定されるものに限られるものではなく、例えばカメラ２００単位に予め設定された閾値でもよいし、監視装置１００の監視範囲単位に予め設定された閾値でもよいし、より大きな管理単位で予め設定された閾値でもよい。

図４は、標準モデル記憶部１３３に格納されるデータ構造を示す図である。標準モデル記憶部１３３は、近似する複数の動線データにより形成されるクラスターを標準モデルとして規定する情報を格納する。標準モデルとなるクラスターは、最も精度高く規定する場合には、ノンパラメトリックなデータとして扱うのが適切である。反面、クラスターを用いた各種の処理負荷も高くなる。そのため、これを簡略化する態様も許容するのが望ましい。本実施形態では、クラスターは、ノンパラメトリックなデータであってもよいし、所定の代表点を有する指数分布族によるデータであってもよい。特に、処理負荷を減らすのに最適なクラスターのデータは、多重正規分布により表現されるデータである。

標準モデル記憶部１３３には、クラスター識別子１３３Ａと、クラスター代表点１３３Ｂと、クラスター領域特定情報１３３Ｃと、構成動線１３３Ｄと、が含まれる。

クラスター識別子１３３Ａは、クラスターを識別する情報である。なお、クラスターは、通常は動線データにより示される対象者単位で動線データに所定の偏りが生じる性質を反映して形成される。そのため、対象者ごとに固有のクラスターが独立して存在することとなる。

クラスター代表点１３３Ｂは、クラスターの代表となる所定の点である。クラスター代表点は、クラスターを構成する動線データの一つであって、クラスターの性質を最もよく表す点が望ましい。例えば、そのクラスターを構成する他の動線データからの距離の和が最少となる点であってもよいし、クラスターの重心、あるいは中心であってもよい。

クラスター領域特定情報１３３Ｃは、クラスター領域を特定する情報である。クラスターは、クラスター代表点を基準として表される発生確率の分布であるといえるが、その同確率となる領域を結んで得られる所定の矩形がクラスター領域である。例えば、平均値と標準偏差により表現される正規分布の確率分布は、真円に近い矩形でクラスター領域を表現できる。

構成動線１３３Ｄは、クラスターを構成する複数の動線データである。すなわち、構成動線１３３Ｄには、クラスター識別子１３３Ａにより特定されるクラスターに分類される構成動線が列挙される。

なお、記憶部１３０は、ネットワーク５０あるいは図示しないネットワークを介して接続される他の装置に設けられ、制御部１２０は通信を介して記憶部１３０が格納する情報にアクセスするもの（ＳＡＮ：Ｓｔｏｒａｇｅ Ａｒｅａ ＮｅｔｗｏｒｋあるいはＮＡＳ：Ｎｅｔｗｏｒｋ Ａｃｃｅｓｓ Ｓｔｏｒａｇｅ）であってもよい。

通信部１４０は、他の装置である一台または複数のカメラ２００との通信を、ネットワーク５０を介して行う。なお、ネットワーク５０は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、携帯電話網、無線通信網等の、各種のネットワークのいずれでもよい。

カメラ２００は、所定の画角に写り込んだ映像を時間軸と共に記録して、動画データを取得する。例えば、動画データは、フレームレートを１秒当たり２４フレームとするプログレッシブ方式のデータであってもよいし、より高いフレームレート（例えば、１秒当たり９６０フレーム）であってもよい。あるいは、プログレッシブ方式に限られず、インターレース方式であってもよいし、その他の方式によるものであってもよい。

図５は、監視装置１００のハードウェア構成を示す図である。監視装置１００は、典型的にはパーソナルコンピュータ装置であるが、これに限らず、スマートフォン、携帯電話端末あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、タブレットＰＣ、サーバー装置等の電子情報端末であってもよい。

監視装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１等の演算装置と、メモリ１１２等の主記憶装置と、ハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置１１３と、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の可搬記憶媒体に対して電子データの読み書きを行う装置との通信を可能に接続する外部ＩＦ（Ｉｎｔｅｒ Ｆａｃｅ）装置１１４と、キーボードやマウス等の入力装置１１５と、ディスプレイやプリンタ等の出力装置１１６と、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置１１７と、これらをつなぐバスと、を含んで構成される。

通信装置１１７は、ネットワークケーブルを介して有線通信を行う有線の通信装置、又はアンテナを介して無線通信を行う無線通信装置である。通信装置１１７は、ネットワーク５０等に接続される他の装置との通信を行う。

主記憶装置は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ１１２である。外部記憶装置１１３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤ、あるいはフラッシュメモリなどの不揮発性記憶装置である。

入力装置１１５は、キーボードやマウス等のポインティングデバイスを含む入力情報を受け付ける装置である。

出力装置１１６は、ディスプレイやプリンタを含む出力情報を生成する装置である。

上記した制御部１２０は、ＣＰＵ１１１に処理を行わせるプログラムによって実現される。このプログラムは、メモリ１１２、外部記憶装置１１３または可搬記憶媒体内に記憶され、実行にあたってメモリ１１２上にロードされ、ＣＰＵ１１１により実行される。

また、記憶部１３０は、メモリ１１２及び外部記憶装置１１３により実現される。

また、通信部１４０は、通信装置１１７により実現される。また、入出力装置は、入力装置１１５および出力装置１１６により実現される。

以上が、本実施形態における監視システム１に係る監視装置１００のハードウェア構成例である。しかし、これに限らず、その他のハードウェアを用いて構成されるものであってもよい。例えば、ネットワークに接続しないスタンドアロン型の監視装置１００であってもよい。

また、記憶部１３０に格納される各記憶部は、ネットワークに接続された他のサーバー装置や外部記憶装置に記憶されている情報をクローリングにより収集して情報を更新するものであってもよいし、他の装置からデータの送信を受けて更新するものであってもよい。

なお、監視装置１００は、図示しないが、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ミドルウェア、アプリケーションなどの公知の要素を有し、特にディスプレイなどの入出力装置にＧＵＩ画面を表示するための既存の処理機能を備える。制御部１２０は、上記の既存の処理機能を用いて、所定の画面を描画し表示する処理や、画面を介してユーザーにより入力されるデータ情報の処理などを行う。

［動作の説明］次に、本実施形態における監視システム１の動作を説明する。

図６は、本実施形態における監視装置１００が実施する異常動作監視処理の動作フローを示す図である。異常動作監視処理の動作フローとしては、監視装置１００が起動している状態で、利用者（運用管理者）から異常動作監視処理の開始指示を受け付けると、開始される。

監視装置１００の認識処理部１２１は、監視対象を撮影したカメラから画像データの読込みを行う（ステップＳ００１）。具体的には、カメラ２００において撮影された動画の画像データを受け付ける。

次に、認識処理部１２１は、画像認識処理を行う（ステップＳ００２）。具体的には、認識処理部１２１は、読み込んだ画像データを対象として、被写体の輪郭認識を行い、時刻ごとの画像データ上の座標情報を特定する。複数の被写体が画像データに含まれる場合には、それぞれの被写体について座標情報を特定する。

そして、動線追跡処理部１２２は、動線・動作追跡処理を行う（ステップＳ００３）。具体的には、動線追跡処理部１２２は、ステップＳ００２において特定した被写体ごとに、座標の変化を時系列に繋げてトラッキングし、動線データを生成する。生成された動線データは、動線追跡処理部１２２により、図２に示す正常動線動作記憶部１３１に格納され、動線データごとに動線ＩＤ１３１Ｆが割り当てられる。

次に、次元変換処理部１２３は、高次元空間への動線データの埋め込み処理を行う（ステップＳ００４）。具体的には、次元変換処理部１２３は、トラックされた２つの動線データ間の距離を算出する。なお、動線データ間の距離は、例えば類似度のように、類似する動線データ間では近く、そうでない動線データ間では遠くなるように所定のアルゴリズムを用いて算出するものであればよい。

そして、クラスター処理部１２４は、クラスタリング処理を行う（ステップＳ００５）。具体的には、クラスター処理部１２４は、過去の動線データも含めて動線データを分類し、クラスターを特定する。なお、クラスターの特定においては、クラスター処理部１２４は、動線データとクラスターを構成する動線データ間の高次元空間におけるハウスドルフ距離（グロモフ−ハウスドルフ（Gromov-Hausdorff）距離）を求め、所定以下のハウスドルフ距離となるクラスターのうち最も近いハウスドルフ距離を有するクラスターに当該動線データを帰属させる。所定以下のハウスドルフ距離となるクラスターが存在しない場合には、クラスター処理部１２４は、当該動線データを新たなクラスターとする。

正常確率算出部１２５は、正常確率算出処理を行う（ステップＳ００６）。具体的には、正常確率算出部１２５は、動線データごとに、最寄りのクラスターへの帰属確率を算出して、正常確率とする。

異常判定部１２６は、当該動線データごとに、動線が異常か否か判定する（ステップＳ００７）。具体的には、異常判定部１２６は、動線データごとに、正常確率が所定の閾値を下回るか否かを判定し、下回る場合には異常と判定する。なお、異常判定部１２６は、閾値記憶部１３２を読み出して、閾値を動線データごとに算出する。異常判定部１２６は、動線データが帰属するクラスター代表点から当該動線データへ至る距離と方向についてベクトルを設定し、帰属するクラスター以外の複数の他のクラスターの方向成分へのベクトル分解を行う。そして、異常判定部１２６は、方向成分ごとのベクトルの大きさに応じて閾値低減比１３２Ｄを基本閾値１３２Ｂに掛けた値を重み付けして閾値を算出する。

動線が異常である場合（ステップＳ００７にて「Ｙｅｓ」の場合）には、異常通報部１２７は、異常発生を他の装置に報知する（ステップＳ００８）。具体的には、異常通報部１２７は、異常判定部１２６により異常状態であると判定されると、異常状態が発生した旨のメッセージを所定の他の装置（例えば、システムの運用監視を行っているサーバー装置等）に通報する。そして、異常判定部１２６は、異常動作監視処理を終了させる。

動線が異常ではない場合（ステップＳ００７にて「Ｎｏ」の場合）には、動線追跡処理部１２２は、動線データを正常データとして蓄積する正常データ蓄積処理を行う（ステップＳ００９）。具体的には、動線追跡処理部１２２は、正常動線動作記憶部１３１に格納した動線データを確定させる処理を行う。そして、動線追跡処理部１２２は、異常動作監視処理を終了させる。

以上が、異常動作監視処理の動作フローである。異常動作監視処理によれば、取得した動線データを分類して標準データとすることで、異常な動線を容易に検出することができる。すなわち、実態に沿うように標準となるデータを学習することができる。

図７は、異常動作監視処理の出力画面３００の例を示す図である。出力画面３００は、異常動作監視処理において監視装置１００において生成される出力情報である。出力画面３００には、確率分布モデル表示領域３１０と、異常検知メッセージ表示領域３２０と、正常クラスター包含確率表示領域３３０と、が含まれる。

確率分布モデル表示領域３１０には、クラスター３１１、３１２と、検知データ３１３と、が表示される。クラスター３１１、３１２は、動線データの集合から導き出した確率分布が比較的高い領域である。検知データ３１３は、読み込まれた動線データを示す点である。検知データ３１３は、クラスター３１１、３１２およびその他のクラスターそれぞれとの距離に基づいて特定される位置にプロットされる。

異常検知メッセージ表示領域３２０には、異常として検知された異常状態に応じた所定のメッセージが検知された日時とともに表示される。

正常クラスター包含確率表示領域３３０には、検知データがクラスターに包含される確率についてグラフにより表示される。当該グラフは、例えば横軸はクラスターを識別するクラスター識別子であり、縦軸は当該クラスターに包含される確率である。以上が、異常動作監視処理の出力画面３００の例である。

以上、第一の実施形態に係る監視システム１について説明した。本実施形態によると、
実態に沿うように標準となるデータを学習することができる。

本発明は、第一の実施形態に制限されない。上記の第一の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、第一の実施形態では本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、異常判定部１２６は、正常である確率が所定の閾値を下回る場合のみに限らず、最寄のクラスターの代表点について時系列上の移動平均の単調変化が発生する場合に、異常状態であると判定するようにしてもよい。このような実施形態について、第二の実施形態として以下説明する。

図８は、第二の実施形態に係る異常動作監視処理の動作フローを示す図である。第二の実施形態においては、異常判定部１２６は、正常である確率が所定の閾値を下回る場合のみに限らず、最寄のクラスターの代表点について時系列上の移動平均の単調変化が発生する場合に、異常状態であると判定する。

第二の実施形態に係る異常動作監視処理は、基本的に第一の実施形態に係る異常動作監視処理と同様である。しかし、第二の実施形態においては、ステップＳ００６の後に実行するステップＳ１０７では、異常判定部１２６は、動線が異常であるか、または動線にドリフトが発生しているか、を判定する。いずれかが満たされる場合（ステップＳ１０７にて「Ｙｅｓ」の場合）には、異常発生またはドリフト発生を報知するステップＳ１０８へ制御を進める。いずれも満たされない場合（ステップＳ１０７にて「Ｎｏ」の場合）には、正常データを蓄積するとともに、クラスターごとにクラスターの代表点の移動量の蓄積を行う（ステップＳ１０９）。なお、ドリフトとは、クラスターの代表点について時系列上の移動平均の単調変化が見られる場合をいう。すなわち、代表点の移動量の蓄積を分析して、代表点の移動平均が時の経過とともに所定の方向へ単調に徐々に（所定の変化量の傾向を伴って）変化する場合に、ドリフトの発生が疑われる。

図９は、第二の実施形態に係る異常動作監視処理の出力画面３００´の例を示す図である。第二の実施形態に係る異常動作監視処理の出力画面３００´は、基本的には第一の実施形態に係る出力画面３００と同様であるが、一部において相違する。第二の実施形態に係る異常動作監視処理の出力画面３００´は、第一の実施形態に係る異常動作監視処理の出力画面３００にさらに、正常クラスタードリフト表示領域３４０を備える。

正常クラスタードリフト表示領域３４０には、横軸に時間、縦軸に距離をそれぞれ有するグラフが表示される。そして、検知データ３１３が属するクラスターについて、時間経過に沿ってその代表点が初期の代表点から離れた距離を示す。すなわち、この距離が多少の揺らぎを含みつつも漸増あるいは漸減する場合には、ドリフトが発生している可能性が高いことを示すといえる。なお、ドリフトが発生している場合には、異常検知メッセージ表示領域３２０に、ドリフトが検知された日時を特定する情報とともにメッセージが表示される。

以上が、第二の実施形態に係る監視システム１である。第二の実施形態によれば、正常な動線データであっても、動作反復による慣れや合理化により徐々に変化がみられるようになった場合に、その兆候を検知した段階で報知することができる。

また、第一の実施形態および第二の実施形態に係る監視システム１においては、正常でない動線データは異常に分類していたが、異常な動線データの中にも原因に応じて所定の傾向がある可能性がある。そのような場合には、その傾向に応じて異常原因を早期に特定して改善につなげることが可能となる。第三の実施形態は、このような効果を挙げるために、異常な動線データについても分類して記憶する監視システム１´である。

図１０は、第三の実施形態に係る監視システム１´の概略を示す図である。第三の実施形態に係る監視システム１´は、基本的に第一の実施形態に係る監視システム１と同様の構成を備えるが、一部において相違する。以下、相違点を中心に説明する。

第三の実施形態に係る監視システム１´は、監視装置１００´の記憶部１３０´に、異常動線動作記憶部１３４を備える。異常動線動作記憶部１３４は、正常動線動作記憶部１３１と同様の構成を備える。動線データのうち、正常と判定された動線データは正常動線動作記憶部１３１に格納され、異常と判定された動線データは異常動線動作記憶部１３４に格納される。

図１１は、第三の実施形態に係る異常動作監視処理の動作フローを示す図である。第三の実施形態に係る異常動作監視処理は、第一の実施形態に係る異常動作監視処理と基本的に同様であるが、一部において相違する。以下、相違点を中心に説明する。

第三の実施形態に係る異常動作監視処理は、ステップＳ００７において動線が異常であると判定された場合に、ステップＳ００８の異常発生の報知処理を行う前に、ステップＳ２０８およびステップＳ２０９の処理を行う。

ステップＳ２０８では、異常判定部１２６は、異常データのクラスタリング処理をクラスター処理部１２４に実施させる（ステップＳ２０８）。具体的には、異常判定部１２６は、異常状態と判定された動線データと、異常状態と判定された他の前記動線データと、を用いて、クラスター処理部１２４に異常状態と判定された動線データについての確率分布を推定させる。

ステップＳ２０９では、動線追跡処理部１２２は、動線データを異常データとして異常動線動作記憶部１３４に蓄積する異常データ蓄積処理を行う（ステップＳ２０９）。具体的には、動線追跡処理部１２２は、動線データを異常データとして異常動線動作記憶部１３４に格納するとともに、異常動線動作記憶部１３４に格納した動線データを確定させ、正常動線動作記憶部１３１に格納された当該動線データを削除する処理を行う。

図１２は、第三の実施形態に係る異常動作監視処理の出力画面３００´´の例を示す図である。出力画面３００´´は、基本的には第二の実施形態に係る出力画面３００´と同様であるが、一部において相違する。以下、相違点を中心に説明する。

出力画面３００´´には、異常クラスター包含確率表示領域３５０が含まれる。異常クラスター包含確率表示領域３５０には、検知データが異常動線データを用いて生成されたクラスターに包含される確率についてグラフにより表示される。当該グラフは、例えば横軸はクラスターを識別するクラスター識別子であり、縦軸は当該クラスターに包含される確率である。以上が、異常動作監視処理の出力画面３００´´の例である。

以上、第三の実施形態に係る監視システム１´について説明した。本実施形態によると、
異常原因を早期に特定して改善につなげることが可能となる。

また、第一の実施形態、第二の実施形態および第三の実施形態に係る監視システムにおいては、全ての動線データを対象として正常か異常かの判定を行っていた。しかし、非定常の動線データについては、正常異常の判定を行わず、さらに学習もするべきではない場合があることを考慮すると、非定常の動線データについては蓄積対象から除外するのが望ましい。そのようにすることで、ノイズ要因を除外して効率的な学習を行うことが可能となる。第四の実施形態においては、このような効果を挙げるために、非定常の動線データを適切に除外する。

第四の実施形態は、基本的に第一の実施形態同様の構成を備えるが、一部において相違する。以下、相違点を中心に説明する。

図１３は、第四の実施形態に係る異常動作監視処理の動作フローを示す図である。第四の実施形態に係る異常動作監視処理は、ステップＳ００３の処理後、ステップＳ００４の高次元空間への動線データの埋め込み処理を行う前に、ステップＳ４０４およびステップＳ４０５の処理を行う。

ステップＳ４０４では、動線追跡処理部１２２は、動画データの同一時刻帯に非定常の他の人物の動線がさらに含まれるか否かを判定する（ステップＳ４０４）。これは、例えば定常の作業者とは異なる作業者の情報が含まれる動画について監視および学習対象から除外するための処理である。動画データの同一時刻帯に非定常の他の人物の動線がさらに含まれない場合（ステップＳ４０４にて「Ｎｏ」の場合）には、次元変換処理部１２３は、上述のステップＳ００４の処理を行う。

動画データの同一時刻帯に非定常の他の人物の動線がさらに含まれる場合（ステップＳ４０４にて「Ｙｅｓ」の場合）には、動線追跡処理部１２２は、当該動画に基づき生成した動線データ、同一時刻帯の動線データとともに破棄する（ステップＳ４０５）。そして、動線追跡処理部１２２は、異常動作監視処理を終了させる。

以上が、第四の実施形態に係る異常動作監視処理である。第四の実施形態に係る異常動作監視処理によれば、明らかに非定常の動画データについては、クラスターを作成することなく除外することができる。

図１４は、第四の実施形態に係る正常データ適正化処理の動作フローを示す図である。正常データ適正化処理は、異常動作監視処理とは異なるタイミングで開始されることを想定するが、同時あるいは異常動作監視処理の実施中に開始されるものであってもよい。正常データ適正化処理は、正常な動線データとして蓄積されている情報について、後に実施される検査結果において不合格となった場合に、かかる動線データを遡って除外する処理である。例えば、監視対象が製品の製造工程における作業者の動作である場合に、後の検査工程において当該製品が不合格となった場合を想定する。この場合には、その製造工程の動作に問題があることが多く、そのような製造工程の動線データは非定常であるとして標準データの学習対象から除外するのが望ましいからである。

まず、クラスター処理部１２４は、他の装置から前記動画に関連する検査結果を取得する（ステップＳ５０１）。そして、クラスター処理部１２４は、当該検査結果が不合格である製品個体に係る着工時刻と完工時刻とを動画の開始時刻と終了時刻として特定する（ステップＳ５０２）。

そして、クラスター処理部１２４は、開始時刻と終了時刻とにより特定される時刻帯に検知した動線データを正常動線動作記憶部１３１から読み出して特定し、当該時刻帯を含む動線データを削除する（ステップＳ５０３）。そして、クラスター処理部１２４は、クラスタリング処理を行う（ステップＳ５０４）。

以上が、正常データ適正化処理の動作フローである。正常データ適正化処理によれば、後に動線データが非定常でないと判明した場合にも、当該データを適切に除外した正常データに再編成することができる。そのため、例えば製造工程後に実施される検査工程で不合格となった製品の製造にかかる動線データを学習対象から除外することができるため、動線データの精度を高めることができるといえる。

以上、第四の実施形態について説明した。本実施形態によると、非定常の動線データを予めあるいは後から学習対象データから除外することができる。

また、第一の実施形態から第四の実施形態については、監視装置がほぼ単独で各処理を行っているが、これに限られない。例えば、リソースの効率利用の観点から、処理負荷が大きいと想定される処理については、処理能力の高い統括装置で集約して処理するようにしてもよい。つまり、監視システム１をクラウド化してもよい。

第五の実施形態は、このようなクラウド化を適用した実施形態である。図１５は、第五の実施形態に係る監視システム１´´の概略を示す図である。監視システム１´´においては、監視装置１００´´は、制御部１２０´´に、認識処理部１２１と、動線追跡処理部１２２と、正常確率算出部１２５と、異常判定部１２６と、異常通報部１２７と、を備える。また、記憶部１３０´´には、閾値記憶部１３２と、標準モデル記憶部１３３と、が格納される。

さらに、監視装置１００´´の通信部１４０は、インターネット等のネットワーク６０を介して、統括装置８００と通信可能に接続される。

統括装置８００は、制御部８２０と、記憶部８３０と、通信部８４０と、これらをつなぐ通信バス８５０と、を含んで構成される。

なお、統括装置８００は、一般的な計算機（ＰＣ、サーバー装置等）で構成可能であり、例えばソフトウェアプログラム処理により特徴的な処理機能（統括装置８００の各処理部）を実現する。

制御部８２０には、次元変換処理部８２３と、クラスター処理部８２４と、が含まれる。次元変換処理部８２３は、動線データを監視装置１００´´の動線追跡処理部１２２から受信して、動線データと複数の動線データとの乖離に応じた所定の距離を算出することで、動線データを高次元空間へ割り当てる次元変換処理ステップを実施する。また、クラスター処理部８２４は、高次元空間において所定の距離に応じて動線データの確率分布を推定して監視装置１００´´へ送信するクラスター処理ステップを実施する。

記憶部８３０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の公知の要素により構成される。記憶部８３０には、正常動線動作記憶部８３１と、閾値記憶部８３２と、標準モデル記憶部８３３と、異常動線動作記憶部８３４と、が含まれる。正常動線動作記憶部８３１と、閾値記憶部８３２と、標準モデル記憶部８３３と、異常動線動作記憶部８３４とは、それぞれ、第三の実施形態に係る正常動線動作記憶部１３１と、閾値記憶部１３２と、標準モデル記憶部１３３と、異常動線動作記憶部１３４と略同様の構成を備える。通信部８４０は、監視装置１００´´との通信を行う。

このようにすることで、統括装置８００と監視装置１００´´を分けることが可能となり、ハードウェアリソースの適正な分散と集中が可能となる。これにより、例えば製品の製造工場に監視装置１００´´を分散して配備し、クラウドとして統括装置８００を集中管理することで、時差のある地域の工場の処理を時分割して処理することが可能となり、リソースを有効活用することが可能となる。

なお、監視装置１００´´の制御部１２０´´および記憶部１３０´´に配置する構成要素は、これに限られず、他の配置であってもよい。統括装置８００の制御部８２０および記憶部８３０に配置する構成要素についても同様である。

以上が、第五の実施形態に係る監視システム１´´である。第五の実施形態に係る監視システム１´´によれば、例えば他の工場で既に製造を開始している製品の製造を新たに工場で開始する場合に、他の工場から得られたクラスターを用いて初期導入の容易化を図る、あるいはパフォーマンスの高い他工場のデータと比較することで共通点や差異を分析することができるようになる。

また、カメラ２００を複数扱う場合には、それぞれのカメラ２００で取得した画像データ毎に動線データを算出する。あるいは、カメラ２００を複数用いて視野角を補う目的で一つの画像データを構成する場合には、結合後の画像データを用いて動線データを算出するようにしてもよいことは、いうまでもない。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

以上、本発明について、実施形態を中心に説明した。

１・・・監視システム、５０・・・ネットワーク、１００・・・監視装置、１２０・・・制御部、１２１・・・認識処理部、１２２・・・動線追跡処理部、１２３・・・次元変換処理部、１２４・・・クラスター処理部、１２５・・・正常確率算出部、１２６・・・異常判定部、１２７・・・異常通報部、１３０・・・記憶部、１３１・・・正常動線動作記憶部、１３２・・・閾値記憶部、１３３・・・標準モデル記憶部、１４０・・・通信部、１５０・・・バス、２００・・・カメラ

Claims (9)

1. 動画の入力を受け付けて、該動画に写り込んでいる人物の時刻ごとの位置座標を特定する認識処理部と、
   所定の時間帯における前記位置座標を経時順に追跡して動線データを生成する動線追跡処理部と、
   前記動線データと複数の動線データそれぞれとの乖離に応じた所定の距離を算出することで、前記動線データを高次元空間へ割り当てる次元変換処理部と、
   前記高次元空間において前記所定の距離に応じて前記動線データの確率分布を推定するクラスター処理部と、
   前記動線データについて前記確率分布を用いて正常である確率を算出する正常確率算出部と、
   前記正常である確率が所定の閾値を下回る場合に、異常状態であると判定し、前記クラスター処理部の推定により確率分布が所定以上となるいずれかのクラスターまでの距離に応じて前記所定の閾値を算出することで、複数の前記人物間での前記動線データのばらつきを許容する異常判定部と、
   を備えることを特徴とする監視装置。
2. 請求項１に記載の監視装置であって、
   前記正常確率算出部は、他の動線データの集合とのハウスドルフ（Hausdorff）距離に応じて正常である確率を算出する、
   ことを特徴とする監視装置。
3. 動画の入力を受け付けて、該動画に写り込んでいる人物の時刻ごとの位置座標を特定する認識処理部と、
   所定の時間帯における前記位置座標を経時順に追跡して動線データを生成する動線追跡処理部と、
   前記動線データと複数の動線データそれぞれとの乖離に応じた所定の距離を算出することで、前記動線データを高次元空間へ割り当てる次元変換処理部と、
   前記高次元空間において前記所定の距離に応じて前記動線データの確率分布を推定するクラスター処理部と、
   前記動線データについて前記確率分布を用いて正常である確率を算出する正常確率算出部と、
   前記正常である確率が所定の閾値を下回る場合と、最寄りのクラスターの代表点について時系列上の移動平均の単調変化が発生する場合に、異常状態であると判定し、前記クラスター処理により確率分布が所定以上となるいずれかのクラスターまでの距離に応じて前記所定の閾値を算出することで、複数の前記人物間での前記動線データのばらつきを許容する異常判定部と、
   を備えることを特徴とする監視装置。
4. 請求項１に記載の監視装置であって、
   前記異常判定部は、異常状態であると判定すると、異常状態と判定された該動線データと異常状態と判定された他の前記動線データとを用いて、前記クラスター処理部に前記異常状態と判定された該動線データについての前記確率分布を推定させる、
   ことを特徴とする監視装置。
5. 請求項１に記載の監視装置であって、
   前記動線追跡処理部は、前記動画の同一時刻帯に非定常の他の人物の動線がさらに含まれる場合に、当該動画に基づき生成した動線データを破棄する、
   ことを特徴とする監視装置。
6. 請求項１に記載の監視装置であって、
   前記クラスター処理部は、他の装置から前記動画に関連する所定の検査結果を取得すると、当該検査結果に係る前記動画の開始時刻と終了時刻とにより特定される時刻帯を所定の記憶装置から読み出して特定し、当該時刻帯を含む前記動線データを削除する、
   ことを特徴とする監視装置。
7. 請求項１に記載の監視装置であって、
   前記異常状態であると判定されると、前記異常状態が発生した旨を他の装置に通報する異常通報部、
   を備えることを特徴とする監視装置。
8. サーバー装置と、監視装置と、を備える監視システムであって、
   前記監視装置は、
   動画の入力を受け付けて、該動画に写り込んでいる人物の時刻ごとの位置座標を特定する認識処理部と、
   所定の時間帯における前記位置座標を経時順に追跡して動線データを生成し、前記サーバー装置へ該動線データを送信する動線追跡処理部と、
   前記サーバー装置から所定の前記動線データに係る確率分布を取得して、前記動線データについて前記確率分布を用いて正常である確率を算出する正常確率算出部と、
   前記正常である確率が所定の閾値を下回る場合に、異常状態であると判定し、所定のクラスター処理により確率分布が所定以上となるいずれかのクラスターまでの距離に応じて前記所定の閾値を算出することで、複数の前記人物間での前記動線データのばらつきを許容する異常判定部と、
   を備え、
   前記サーバー装置は、
   前記動線データを受信して、前記動線データと複数の動線データとの乖離に応じた所定の距離を算出することで、前記動線データを高次元空間へ割り当てる次元変換処理部と、
   前記高次元空間において前記所定の距離に応じて前記動線データの確率分布を推定して前記監視装置へ送信するクラスター処理部と、
   を備えることを特徴とする監視システム。
9. 監視システムを用いて監視を行う監視方法であって、
   前記監視システムは、サーバー装置と、監視装置と、を備え、
   前記監視装置は、認識処理部と、動線追跡処理部と、正常確率算出部と、異常判定部と、異常通報部と、を備え、
   前記認識処理部は、動画の入力を受け付けて、該動画に写り込んでいる人物の時刻ごとの位置座標を特定する認識処理ステップを実施し、
   前記動線追跡処理部は、所定の時間帯における前記位置座標を経時順に追跡して動線データを生成し、前記サーバー装置へ該動線データを送信する動線追跡処理ステップを実施し、
   前記正常確率算出部は、前記サーバー装置から所定の前記動線データに係る確率分布を取得して、前記動線データについて前記確率分布を用いて正常である確率を算出する正常確率算出ステップを実施し、
   前記異常判定部は、前記正常である確率が所定の閾値を下回る場合に、異常状態であると判定し、所定のクラスター処理により確率分布が所定以上となるいずれかのクラスターまでの距離に応じて前記所定の閾値を算出することで、複数の前記人物間での前記動線データのばらつきを許容する異常判定ステップを実施し、
   前記サーバー装置は、次元変換処理部と、クラスター処理部と、を備え、
   前記次元変換処理部は、前記動線データを受信して、前記動線データと複数の動線データとの乖離に応じた所定の距離を算出することで、前記動線データを高次元空間へ割り当てる次元変換処理ステップを実施し、
   前記クラスター処理部は、前記高次元空間において前記所定の距離に応じて前記動線データの確率分布を推定して前記監視装置へ送信するクラスター処理ステップを実施する、
   ことを特徴とする監視方法。

Images