JP7355674B2 - 映像監視システムおよび映像監視方法 - Google Patents

Description

本発明は、監視領域を撮影した映像から事象を検出する映像監視システムおよび映像監視方法に関する。

近年、コンサート会場やアミューズメント施設などのイベント会場、駅や空港などの公共施設における映像監視の必要性が増大している。例えば、セキュリティエリア内外における荷物の受け渡し行為や物の置き去り行為等に対しては、爆発物や有害液体等の危険物を用いたテロ行為を防ぐために、その監視、検出および行為を行ったもしくは行う予兆のある人物への声掛けといったアクションがなされることが保安上要請される。また、撮像人物の転倒やうずくまる動作等の早期発見によって、施設管理者は施設内において発生した要救護対象者の迅速な保護を行うことができ、安全の確保に貢献することが可能になる。

従来、例えば、特許文献１に記載の画像監視装置においては、監視領域を撮影した画像から、人物が所持する物品の種類識別、複数人物の物品の受け渡し行為検出、受け渡し位置算出を行っている。検出した受け渡し行為の監視重要度を算出し、監視重要度に応じて前記受け渡し行為の検出結果を出力している。また、前記特許文献１では、受け渡し行為の検出結果の出力について、「監視センタの監視員」に対する画面表示、警報ランプ、警報音等による通知方法が記載されている。

特開２０１７－０２８５６１号公報

上記の特許文献１では、監視員に対する通知方法は、物品受け渡し行為の情報（時刻、場所、物品名、監視重要度）や撮影画像を表示するのみであり、その後の対策は監視員が判断し実施することが前提となっている。しかしながら、監視領域内の監視すべき事象は、前述の通り、荷物の受け渡し以外にも柵の乗り越えや物の投げ入れ等様々なものが多くある。そのような事象全てを監視員に通知すると、監視員によっては不要とする事象も全て通知されてしまい、監視員の負担が増大する可能性がある。また、発生した事象に対する対策を監視員に委ねることも、監視員の負担増大につながる。そして、このような負担の増大は、事象の見落としや対処の遅れなどを引き起こし、監視の実効性を低下させかねない。

そこで、本発明では、監視領域内の様々な事象に対する監視を行う際に、効率的な発報を実現し、監視の実効性を向上することが可能な映像監視システムを提供することを目的とする。

本発明の一態様としての映像監視システムは、監視領域を撮影した映像を用いて、前記監視領域における複数の事象を検出する映像監視システムにおいて、前記映像から人物及び／又は物体の像を検出し、検出された人物の状態を表す特徴量及び／又は検出された物体の特徴量である事象特徴量を算出する算出部と、前記事象特徴量に基づいて、前記事象の発生を検出し、検出した事象である発生事象の種類および前記発生事象の判定確度から前記発生事象に係る発報の対象者を判定する判定部と、を有することを特徴とする。

また、本発明は、監視領域を撮影した映像を用いて、前記監視領域における複数の事象を検出する映像監視方法において、前記映像から人物及び／又は物体の像を検出し、検出された人物の状態を表す特徴量及び／又は検出された物体の特徴量である事象特徴量を算出する算出ステップと、前記事象特徴量に基づいて、前記事象の発生を検出する検出ステップと、検出した事象である発生事象の種類及び前記発生事象の判定確度から前記発生事象に係る発報の対象者を判定する判定ステップと、を含むことを特徴とする。

本発明によれば、監視領域内の様々な事象に対する監視を行う際に、効率的な発報を実現し、監視の実効性を向上することが可能となる。

本実施の形態における映像監視システムの全体構成を示した図である。 本実施の形態における映像監視システムのハードウェア構成図である。 本実施の形態における映像解析システムのブロック図を示した図である。 本実施の形態における映像解析システムの記憶部と判定部のブロック図を示した図である。 本実施の形態における映像解析システムのフローチャートを示した図である。 本実施の形態における監視基準情報の設定例を示した図である。 本実施の形態における監視基準情報の設定画面例を示した図である。 本実施の形態における画像表示部の表示例を示した図である。 撮像人物に対する骨格検知結果を示した図である。 本実施の形態における撮像人物のエリア判定例を示した図である。 人物間の各部位ごとの相対的な距離関係を示した図である。

以下、本発明にかかる映像監視システムの実施の形態について説明する。本実施の形態では、イベント会場、駅や空港などの公共施設において対テロ行為を目的としたセキュリティエリア内外における荷物の受け渡し行為や物の置き去り行為等や、前記施設利用者の安全確保を目的とした撮像人物の転倒やうずくまる動作等の早期発見を行うものである。そのような事象に対して、監視センタの監視員の負担軽減のため、検出結果の事象と、その判定確度と、事前設定された監視基準情報に従って発報対象者を判定し、通知することによって、効率的な保安業務の運用を促進するものである。以下、図面を用いて、実施例を説明する。

なお、本実施の形態における「事象」とは、人物の所定行動または所定物体など監視領域における検知すべき対象のことをいう。例えば、人物の行動であれば、荷物の受け渡し、柵の乗り越え、物の置き去り、人物同士の争いなどの違反行為、危険行為の可能性がある行動や、転倒またはうずくまる動作などの要救護対象となり得る可能性がある行動など、人物の所定の行動が挙げられる。物体であれば、置き去られたスーツケースやリュックサック等の荷物、ドラム缶や包丁などの危険物、または紛失物などの所定の物体が挙げられる。これら、人物の所定行動または所定物体は、空港、イベント会場、アミューズメント施設等の監視領域の場所に応じて変わることが考えられるが、本実施の形態において「事象」といった場合は、監視領域における検知すべき対象の全てを含むものとする。

また、判定確度とは、後述するディープラーニングや機械学習を用いて、前記事象がどの程度の確信度合いをもって判定されたかを示す数値であり、確率または任意の階級数の連続値によって表される。

また、本実施の形態における「映像」とは、カメラなどの撮影装置で撮影した結果としての像であり、静止画像、動画像を含む。また、時系列に沿って撮像した複数の静止画像の組であってもよい。

図１は、本実施の形態における映像監視システムを活用した映像監視ソリューションの全体構成を示した図である。図１に示すように、監視対象エリアに設置された撮像システム２、撮像システム２からの入力映像を解析することで、人物の行動や撮影された物体の種類等から事象の検知を行い、発報対象者を決定する映像解析システム３、および映像解析システム３からの解析結果を受け取る監視センタシステム４で構成されている。以下、具体的に、撮像システム２、映像解析システム３、および監視センタシステム４について説明する。

撮像システム２は、監視対象エリアに設置された一つまたは複数のカメラ部２１を有し、撮像された映像は、映像解析システム３の画像入力部３１へ順次入力される。カメラ部２１は、監視を対象とするエリア全体を撮像できるように配置された監視カメラである。なお、エリア設定を必要としない場合には、監視カメラは固定されていない移動型のカメラでもよく、監視対象のエリアを撮像できていれば、形式は問わない。一方、エリア設定を要する場合には、壁や支柱等へ固定された監視カメラを使用し、キャリブレーション設定が事前になされていることが望ましい。また、そのような場合は、パン・チルト・ズーム（ＰＴＺ）操作が不可能な固定カメラの利用が想定されるが、それらの設定とキャリブレーション設定の組み合わせが事前に調整されている場合、ＰＴＺ操作が可能なカメラを利用してもよく、また、同一のカメラで様々なエリアを監視してもよい。

また、カメラ部２１と画像入力部３１は、有線通信手段または無線通信手段によって接続され、カメラ部２１から画像入力部３１へ５ｆｐｓ程度でカラー画像を連続送信する。後述の画像処理部３２や画像表示部４２等における処理が前記指定フレームレート内に収まれば、カメラ部２１と映像解析システム３は一対一の対応ではなくてもよく、複数のカメラ部と一つの映像解析システムとして用いてもよい。なお、カメラ部２１は、後述する映像解析システムを搭載してもよく、本実施例で説明する処理の一部または全部を行ってもよい。

映像解析システム３は、画像入力部３１、画像処理部３２、記憶部３３を有する。画像入力部３１は、前記カメラ部２１からの画像入力を受け付け、画像処理部３２へ画像データを送信する。なお、解析対象とする映像は、カメラ部２１から直接入力された映像ではなく、別途記録・保存されたレコーダ内の映像でもよい。画像処理部３２では、後述する記憶部３３に保存された事前設定情報を読み込み、入力画像を解析することによって発報対象者を決定する機能を有する。記憶部３３では、後述する管理制御部４３において設定された監視基準等の情報を保存し、前記画像処理部３２の出力となる発報対象者の判定へ用いる。また、本実施の形態では、映像解析システム３は運用施設内のサーバへ構築するようなオンプレミス型のシステムに限定されるものではなく、クラウドサービスを活用するなど施設外部サーバに構築されてもよい。

監視センタシステム４は、記録部４１と画像表示部４２と管理制御部４３を有する。記録部４１では、画像処理部３２によって得られた検出事象やその判定確度、発生場所、イベントや発報対象者といった情報をデータベースとして保持する機能を有する。

なお、本実施の形態における「イベント」とは、検出した事象種別または事象種別から管理者によって事前設定される「監視重要度」と、前記判定確度の二種から算出され、発報対象者を判定するために利用される種別を示す。その組と結果を事前設定することによって、イベントは算出される。換言するならば、イベントは、発報対象者の組合せパターンであり、検知された事象（発生事象）の種別と、発生の確からしさである判定確度により特定される。また、本実施の形態における「発報対象者」は、現場スタッフや警備員、監視センタ、警察など、監視業務に従事する職域の区分ごとに以下で例示されているが、特定の現場スタッフや特定の警備員など、発報対象者は個人であってもよい。

画像表示部４２では、前記データベースへ保存された情報の一覧、選択された検出事象の撮像フレーム全体、その画像へ前記検出部分の検出枠の重畳を行った画像、または前記検出部分の拡大画像等の情報を画面へ表示する。管理制御部４３では、前記画像処理部３２で用いる監視基準等の設定情報を保存するため、監視対象者によって前記記憶部３３へ設定情報を入力することができる機能を有する。

図２は、本実施の形態における映像監視システムのハードウェア構成図である。図２にでは、カメラユニット１０２がネットワークを介してコンピュータ１０３に接続されている。さらに、コンピュータ１０３は、ネットワークを介してコンピュータ１０４と通信可能である。

カメラユニット１０２は、監視領域に１又は複数設置され、映像データをコンピュータ１０３に適宜送信する。コンピュータ１０３は、演算制御装置としてのＣＰＵ（Central Processing Unit）、主記憶装置としてのＲＡＭ（Random access memory）、補助記憶装置としてのＨＤＤ（hard disk drive）を備える。コンピュータ１０３は、各種プログラムをＨＤＤから読み出してＲＡＭに展開し、ＣＰＵによって実行することで、映像解析システム３としての機能を実現する。また、コンピュータ１０３は、所定の通信インタフェース（ＩＦ）を介してカメラユニット１０２及びコンピュータ１０４と通信する。なお、図示を省略したが、キーボードやディスプレイなどの入出力装置も所定のＩＦを介してコンピュータ１０３に接続される。

コンピュータ１０４は、演算制御装置としてのＣＰＵ、主記憶装置としてのＲＡＭ、補助記憶装置としてのＨＤＤを備え、各種プログラムをＨＤＤから読み出してＲＡＭに展開し、ＣＰＵによって実行することで、監視センタシステム４としての機能を実現する。また、コンピュータ１０４は、所定のインタフェース（ＩＦ）を介してコンピュータ１０３、キーボードやディスプレイなどの入出力装置と接続される。

次に、図３を参照して、映像解析システム３の詳細を説明する。図３は、本実施の形態における映像解析システムのブロック図を示した図である。以下で、映像解析システム３の構成要素である画像入力部３１、画像処理部３２、記憶部３３について詳細に説明する。画像処理部３２は、さらに、算出部３２１と判定部３２２と出力制御部３２３とを有する。

本実施の形態では、一つまたは複数のカメラ部２１から構成された撮像システム２によって、画像入力部３１へ静止画像が順次入力される。ただし、後述する事象検出部３２２１が、時系列情報を扱う事象検出手段を用いる場合、入力は動画像であってもよい。

算出部３２１は、対象検出部３２１１と特徴抽出部３２１２とを有する。画像入力部３１で受け付けられた画像は、対象検出部３２１１へ入力される。対象検出部では、撮像された人物や物体の矩形領域の画像上座標位置、または、人物の骨格の座標位置といった、事象の検出に用いるために必要な対象物体の画像上の位置に関する情報を入力画像から推定する。同時に、対象検出部３２１１では、推定された人物や物体が位置するエリア判定を行う。エリア判定は、後述する事象検出部３２２１において、荷物の受け渡し行為を検出する際のセキュリティエリア内外のエリア指定、または、撮像した画像全体において一部の領域を監視対象とすることで、誤検知の低減や画像処理速度の向上を図りたい場合における、入力画像のマスク処理を目的として用いられる。各々のエリア判定は、前記で推定した対象物体の画像上の位置に関する情報に基づいて決定される。

次に、特徴抽出部３２１２では、前記対象検出部３２１１において推定された人物や物体の画像領域から、判定部３２２における検出モデルに入力するための事象特徴量を抽出する。画像に基づく特徴量には、色ヒストグラム、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、または学習済みディープラーニングモデルのネットワークの中間層から出力されるベクトルなど一般的な画像特徴量を用いればよい。また、骨格から人物の姿勢を表す特徴量として、骨格を示す関節点のうち一点を基準として、その他の関節点の座標を基準点に対する相対座標に変換した座標集合を使用できる。または、極座標変換を実施することによって得られるノルムや角度の集合を特徴量としてもよい。入力が映像である場合には、別途、カルマンフィルタに代表される移動物体の追跡手段を用意し、前記骨格の各推定座標の移動量から算出される特徴量を利用することも好適である。それらの特徴量は後段の判定部３２２の学習や識別において個々に用いられてもよいし、ベクトル結合または特徴変換もしくは特徴選択によって組み合わせて用いられてもよい。

判定部３２２は、事象検出部３２２１とイベント算出部３２２２から構成される。事象検出部３２２１は、解析を行ったカメラＩＤと、前記算出部によって求められた人物や物体の特徴量およびそれらが位置するエリアと、管理制御部４３によって設定・保存されたエリア情報３３１を用いて、事象とその発生位置、さらに、その判定確度を求める。これらを求める際には、ディープラーニングや、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や決定木などの機械学習手法といったAＩモデルの利用を想定しているが、ルールベースのアルゴリズムに基づく事象検出の方法を採用してもよい。例えば、セキュリティエリア内外を横断するように、それぞれのエリアから手が接近していると判定された場合、これは荷物の受け渡し行為が発生したと判定することができる。また、検出した対象の画像を入力とし、事象を出力とするディープラーニングを用いてもよい。この場合、特徴抽出と事象検出は同一のネットワークで処理されるため、特徴抽出部と事象検出部は同一の処理部としてみなすことができる。

求められた検出事象とその判定確度はイベント算出部３２２２へ入力され、管理制御部４３によって設定・保存された監視基準情報３３２に基づいてイベントが判定され、発報対象者が判定される。イベント算出部３２２２の詳細は、後述する図４において説明する。最終的に、発生事象、発生位置、判定確度、イベント、そして発報対象者は、出力制御部３２３によって監視センタシステム４の記録部４１へ送信される。

次に、図４を参照して、監視情報基準３３２およびイベント算出部３２２２の詳細を説明する。図４は、本実施の形態における映像解析システムの記憶部と判定部のブロック図を示した図である。監視情報基準３３２は、監視重要度判定基準３３２１とイベント判定基準３３２２と発報対象者判定基準３３２３とを含む。また、前記イベント算出部３２２２は、監視重要度判定部３２２２１とイベント判定部３２２２２と発報対象者判定部３２２２３とを含む。

監視重要度判定部３２２２１は、事象検出部３２２１から検出事象を受け付ける。ここでは、監視重要度判定基準３３２１に基づいて、発生事象各々の監視重要度を判定する。監視重要度判定基準３３２１は、事象ごとに管理者が設定する。

イベント判定部３２２２２は、監視重要度判定部３２２２１で判定した発生事象または事象の監視重要度と、事象検出部３２２１の出力である事象の判定確度を入力とし、監視基準情報３３２に設定・保存されたイベント判定基準３３２２に基づいて、イベントを判定する。イベント判定基準は、監視重要度と判定確度の組み合わせごと、または事象種別と判定確度の組み合わせごとに管理者が設定する。

発報対象者判定部３２２２３は、イベント判定部３２２２２で判定したイベントを入力とし、監視基準情報３３２に設定・保存された発報対象者判定基準３３２３に基づいて、イベントごとに発報対象者を判定する。発報対象者判定基準３３２３は、イベントごとに管理者が設定する。

次に、図５を参照して、映像解析システムにおける処理を説明する。図５は、本実施の形態における映像解析システムのフローチャートを示した図である。
図５において、一つまたは複数のカメラ部２１によって撮像された画像は、画像入力部３１へ順次送られる（Ｓ１）。ただし、事象検出部３２２１が、時系列情報を扱う事象検出手段を用いる場合、入力は動画像であってもよい。

画像入力部３１で受け付けられた画像は、対象検出部３２１１へ入力され、撮像された人物や物体の矩形領域の画像上座標位置、または、人物の骨格の座標位置といった、事象の検出に用いるために必要な対象領域を入力画像から推定する（Ｓ２）。

対象検出部３２１１で、推定された人物や物体が位置するエリア判定を行う（Ｓ３）。このエリア判定は、事象検出部３２２１において、荷物の受け渡し行為等を検出する際のセキュリティエリア内外のエリア指定、または、撮像した画像全体において一部の領域を監視対象とすることで、誤検知の低減や画像処理速度の向上を図りたい場合における、入力画像のマスク処理を目的として用いられる。したがって、管理者が施設内で受け渡し行為等の検出を行わない場合や、前記目的のためのマスク処理を行わない場合は、処理をステップＳ５に移行する。エリア判定を行う場合は、ステップＳ４に移行し、対象物体の画像上の位置に関する情報に基づいて、エリアを決定する。

特徴抽出部３２１２で、前記対象検出部において推定された人物や物体の画像領域を、全ての検出対象の処理が終了するまで、判定部３２２における検出モデルに入力するための事象特徴量を抽出する（Ｓ５からＳ７）。

事象検出部３２２１で、算出部３２１によって求められた人物や物体の特徴量およびそれらが位置するエリアと、管理制御部４３によって設定・保存されたエリア情報３３１を用いて、事象とその発生位置、さらに、その判定確度を求める（Ｓ８）。

全ての検出事象の処理が終了するまで、求められた検出事象とその判定確度はイベント算出部３２２２へ入力され、管理制御部４３によって設定・保存された監視基準情報３３２に基づいて監視重要度が判定され、イベントが判定され、発報対象者が判定される（Ｓ９からＳ１１）。

最終的に、発生事象、発生位置、判定確度、イベント、そして発報対象者は、出力制御部３２３によって監視センタシステム４の記録部４１へ送信される（Ｓ１２）。以上の処理が終了すると、処理をステップＳ１へ戻し、次の画像の取得を行う。

なお、本図中に示したフローの処理は、必ずしも単一のプロセスで処理される必要はなく、計算効率向上のために、複数のプロセスを用いて非同期に処理されてもよい。

次に、図６を参照して、監視基準情報３３２の設定例を説明する。図６は、本実施の形態における監視基準情報の設定例を示した図であり、（Ａ）監視重要度判定基準、（Ｂ）イベント判定基準、（Ｃ）発報対象者判定基準、の三種のテーブルを有する。これらは管理者によってそれぞれ設定可能なテーブルであり、後述する図７の設定画面例から設定を行うことができる。

まず、（Ａ）監視重要度判定基準では、事象種別に監視重要度が設定される。この設定を参照し、監視重要度判定部３２２２１において検出事象および判定確度から発生事象各々の監視重要度を決定する。例えば、領域５１において、事象種別「荷物の受け渡し」は監視重要度「中」と設定され、事象種別「もみ合い」は監視重要度「大」と設定されている。

次に、（Ｂ）イベント判定基準では、事象種別または監視重要度判定部３２２２１で判定した発生事象の監視重要度と、事象の判定確度に基づいて、イベント判定部３２２２２においてイベントを判定する。例えば、領域５１において監視重要度「中」である事象種別「柵乗り越え」が、判定確度（大）で発生した場合、領域５２から前記イベントは「イベントC」と判定される。事象を監視重要度に変換せずに、その判定確度からイベントを判定してもよい。例えば、「群衆離散」という事象が判定確度（中）で発生した場合、領域５２から前記イベントは「イベントE」と判定される。同様に、「傷害事件」という事象が判定確度（大）で発生した場合、前記イベントは「イベントG」と判定される。

次に、（Ｃ）発報対象者判定基準では、イベントから発報対象者を判定する。領域５３において、「１」は発報対象者であることを指し、「０」は発報対象者ではないことを指す。この設定を参照し、イベント判定部３２２２２で判定したイベントから、発報対象者判定部３２２２３においてイベントごとに発報対象者を判定する。例えば、領域５２において「イベントＢ」と判定されたイベントは、領域５３から発報対象者を「現場スタッフ」および「警備員」と判定する。

なお、監視重要度判定基準における監視重要度の大きさは任意に設定可能としてよい。また、イベント判定基準におけるイベントAやイベントBといった表記、また発報対象者判定基準における１や０といった表記は、相当する異なる表現であってもよい。

このように、監視重要度を事象種別毎にそれぞれ大きさを区別して設定し、判定確度の大きさと合わせてイベントを判定することにより、監視すべき事象の重要度とその事象に対応すべき発報対象者の選択をより柔軟に行うことが可能となる。例えば、監視重要度が大きい事象は判定確度が小さくても警備員に発報してほしいというユーザや、判定確度が大きい事象は事象の監視重要度によらず現場スタッフが確認に行くため、現場スタッフに発報してほしいというユーザなど、それぞれのユーザに適した設定ができる。これにより、本来発報が不要な事象についての監視員への発報を減らすことに繋がるため、監視員の負担軽減が可能となる。あるいは、監視センタの監視員が事象に対する判断を行うまで、または、監視員が至急対応出来ない状況においても、高い監視重要度の事象については直接現場スタッフや警備員等に通知することで、事象に対する即応性を向上させることができる。

さらに、現場近くの現場スタッフや警備員等の個人を指名して通知することで、傍観者効果を避けることも可能となる。また、コンサート会場やアミューズメント施設などのイベント会場、駅や空港などの公共施設では、そのフロア面積の大きさから、現場スタッフとして登録されている発報対象者全体への通知では無駄な発報となる可能性がある。このため、高い即応性を保持しつつ、かつ効率的な映像監視を行うために、個人の指名は有効である。指名は、事象の発生場所付近にいる現場スタッフ等が所有する端末のＧＰＳ等の手段で個人を特定し、そのスタッフらへ発報を行うことによって実現可能となる。

次に、図７を参照して、図６の監視基準情報を設定するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を説明する。図７は、本実施の形態における監視基準情報の設定画面例を示した図である。図７の設定画面例は、監視重要度判定基準３３２１の設定を行う領域６１と、イベント判定基準３３２２の設定を行う領域６２と、発報対象者判定基準３３２３の設定を行う領域６３から構成されている。

領域６１に示す監視重要度判定基準３３２１の設定画面例では、領域６１１において管理者によって選択された事象の監視重要度をプルダウンで選択することができる。具体的に、各事象の逆三角様記号を押下することによって、事前定義されている監視重要度のプルダウンリストを表示することができ、管理者は表示された一覧から所望の監視重要度を設定する。領域５１に示されるような「大」、「中」、「小」の三階級の監視重要度が設けられているが、これらのみならず、任意の階級数を他の設定画面において管理者が設定できるようにしてもよい。また、領域６１２に示すような「検知対象事象を追加」ボタンを押下することで、所望の検知対象事象を追加することができ、一方で、領域６１１の各事象の選択欄押下によって事象を選択し、領域６１３に示すような「選択した検知対象事象を削除」ボタンを押下することで、選択済みである検知対象事象を削除することができる。このように、管理者が発見したい事象の有無を容易に操作できることが好適である。

領域６２に示すイベント判定基準３３２２の設定画面例は、監視重要度および事象種別を行方向、判定確度を列方向に持つマトリックス図であり、管理者が各要素のイベントをプルダウンで選択することができる。具体的に、各事象の逆三角様記号を押下することによって、イベントのプルダウンリストを表示することができ、管理者は表示された一覧から所望のイベントを設定する。このイベントの数は制限なく設定することができる。また、本マトリックス図における列方向の要素数は、監視重要度の階級数と登録された事象種別の数の総和に等しい。同様に、マトリックス図における行方向の要素数も、判定確度の階級数に等しく、他の設定画面において管理者が設定できるようにしてもよい。ただし、領域６２で登録しようとする事象が、既に監視重要度判定基準３３２１で設定されている場合、イベント判定において基準の二重化が発生するため、これを防ぐために監視重要度を設定済みの事象は領域６２で設定できない等のエラー処理を実装する必要がある。

領域６３に示す発報対象者判定基準３３２３の設定画面例は、イベントを行方向、発報対象者を列方向に持つマトリックス図であり、イベント判定基準３３２２の設定画面において設定されたイベントそれぞれに対応する発報対象者を設定する。領域６３１に示す行数は、イベント判定基準３３２２の設定画面において設定されたイベントの数に等しい。発報対象者候補は他の設定画面によってその対象が管理される。領域６３２に示すような「発報対象者を追加」ボタンを押下することで、所望の発報対象者を追加することができ、一方で、領域６３の表の左端列の選択欄押下によって発報対象者を選択し、領域６３３に示すような「選択した発報対象者を削除」ボタンを押下することで、選択済みである発報対象者を削除することができる。管理者は、各要素の発報対象フラグをプルダウンで選択することができる。具体的に、各事象の逆三角様記号を押下することによって、「ＯＮ」と「ＯＦＦ」というフラグのプルダウンリストを表示することができ、管理者は表示された候補の二者択一によって所望のフラグを設定する。

以上、領域６１、領域６２、および領域６３の設定が完了したとき、管理者は領域６４１に示す「保存」ボタンの押下によって設定を保存し、領域５１、領域５２、および領域５３の監視基準情報へそれぞれの設定を反映する。

次に、図８を参照して、発報対象者への検出事象の通知画面例について説明する。図８は、本実施の形態における画像表示部の表示例を示した図である。まず、出力制御部３２３によって、発生事象、発生位置、判定確度、イベント、そして発報対象者が監視センタシステム４の記録部４１へ送信され、記録部４１は現時点までに送信された情報をデータベースとして保持する。次に、図８に例を示す画像表示部４２において、データベースへ保存された情報の一覧や、選択された検出事象の撮像フレーム全体および検出部分の拡大画像等の情報を画面上へ表示する。

領域７３では、事象発生時刻、カメラＩＤと発生場所、検出事象と判定確度、判定イベントと発報対象者が、画面下部に現時刻までの発生事象一覧として表示される。本画面のユーザは、その一覧表の左端列の選択欄の押下によって所望の事象を選択することで、領域７１に検出事象の撮像フレーム全体を、領域７２に検出部分の拡大画像を表示することができる。

ここで、領域７３では最新の検出事象の詳細が表の上の列に表示され、過去の事象は順に下の列に表示されており、この表示例では現在最新時刻の検出事象が選択されている。過去の検出結果を参照したい場合は、領域７３をスクロールできるようにしてもよいし、月日や時刻、カメラＩＤや発生場所、検出事象や判定確度、判定イベントや発報対象者によって検索できる検索窓を別途用意してもよい。カメラＩＤと発生場所の表示のためには、記録部４１への情報の登録時に、映像を取得したカメラのＩＰアドレス等の情報と、カメラＩＤと発生場所を紐づけるデータベースとして別途用意し、データベースを参照することによって情報を取得する。

領域７１では事象検出時の撮像フレーム全体が表示されており、本実施例においては、荷物の受け渡し行為が発生したと推定される位置を点線の矩形で囲んでいる。一方、領域７２では領域７１において検出された点線の矩形部分の拡大画像が表示されている。このように、画像全体と検出位置の拡大画像を並べて表示することによって、本実施例では、周囲がどのような環境下にあり、撮影しているエリアの具体的にどの場所で、どのような人物が、どのような物体の受け渡し行為を行ったのかを確認することができる。撮影しているエリアのどの場所で事象が発生したかという具体位置は、カメラのキャリブレーション設定時に別途データベースを作成し、検出事象と照合可能にすることで、監視員が領域７１や領域に７２における目視確認を行うことなく自動で算出することもできる。そのためには、領域７３において、カメラＩＤと発生場所に加えて具体位置の表示列を挿入すればよい。

また、本画面を確認することができるのは、監視センタの監視員のような、大型のディスプレイの利用が想定される発報対象者のみならず、現場で対応するスタッフや警備員であっても、スマートフォン端末やタブレット端末、またはＡＲゴーグル等を利用することによって、図８に示す画面の一部または全部を現場において確認することができる。

また、もし同一のフレームから複数の事象が検出された場合、各イベントに対して、発報重要度を表すテーブルを別途用意し、そのテーブルに従って発報重要度の高いイベントを優先的に通知するようにしてもよい。

また、現場スタッフや警備員が事象発生場所へ行く場合において、現場スタッフらが到着した時には、既に事象を発生させた行為者がその場から離れている可能性も考えられる。そのような場合、別途、カルマンフィルタに代表される移動物体の追跡手段を用意し、行為者を追跡することが好適である。したがって、図８の別の表示態様として、事象を発生させて追跡中の人物および位置をリアルタイムで表示するようにしてもよい。

また、もし発報対象者がある発報事象に対応している際に別の事象が発生した場合、発生事象間で前述のようなイベントの重要度の比較を行い、同じ重要度の場合は先に発生した事象を優先する等の処理を行い、その結果に基づいて発報対象者へ適宜再通知を行うなどして対応してもよい。

以下、本発明の画像処理部３２における別の実施形態について説明する。実施例１では、検出した事象の種類と、検出の判定確度と、事前設定された監視基準情報から判定されるイベントに応じて発報対象者を判定する例について説明した。ここで、事象の種類については、複数の人物間のインタラクション検知が必要になる場合が考えられる。そこで、特に、本実施例２では、機械学習を利用したインタラクション検知の実施方法について説明する。なお、本実施例２における「インタラクション」とは、図８で例示した荷物の受け渡し行為のほか、スリやもみ合いといった複数の人物間の連携行動を指す。

例えば、単なるうずくまる動作やしゃがみこむ動作の検出であれば、救護や声かけのために現場スタッフへの発報が求められるケースが考えられる。しかしながら、その周囲の人物が走り去る行動をとれば、現場で何らかの傷害事件や事故等が発生している可能性も考えられるため、警備員への発報が必要になる可能性がある。図８に例示するような状況における受け渡し行為であれば、単独行動認識を用いる場合、例えば「手を伸ばす行為」や「引き寄せる行為」で受け渡し行為を検知しなければならず、正確な判定は困難である。このように、単独行動認識のみでは認識が困難な事象を検出するためには、インタラクションの検出が必要となる。以下、上述した実施例１と共通する処理については説明を省略し、本実施例２における差異についてのみを説明する。

まず、対象検出部３２１１において、撮像された人物に対して骨格検知手法の適用による対象検出を実施する。図９は、撮像人物に対する骨格検知結果を示した図である。図中の丸印は骨格検知の結果推定された各関節位置である。また、図中の点線は推定の様子を示すために図示したものであり、後述する特徴抽出部において算出する特徴量としては必ずしもこれを用いない。本実施の形態では、取得する関節位置は肩、手首、足首など人体の主要な関節点であり、それぞれの各骨格点は、画像上の二次元の座標データを持つ。

インタラクション検知において、例えば、セキュリティエリア内外を横断するような荷物の受け渡しを検知する場合、さらに、各撮像人物がどのエリア上にいるかというエリア判定を行う必要がある。図１０は、撮像人物のエリア判定例を示した図である。点線で囲まれた領域８０１を「検知対象エリアＡ１」、実線で囲まれた領域８０２を「検知対象エリアＡ２」とすると、「検知対象エリアＡ１」と「検知対象エリアＡ２」を横断する荷物の受け渡しは検知対象とする一方で、「検知対象エリアＡ１」内や「検知対象エリアＡ２」内のように同一エリア内における荷物の受け渡しは検知対象外とする。検知対象エリアの領域設定は、画像上の座標によって設定する。例えば、「検知対象エリアＡ１」は、点８０３、点８０４、点８０５、点８０６のように四点の座標を取得し、時計回りまたは半時計周りに描かれる多角形によって囲まれる領域として設定される。座標は、管理者が用意した設定ファイルに記述してもよく、ＧＵＩで描画してもよい。また、本領域設定は固定カメラでの運用が望ましいが、ＰＴＺカメラを用いて撮像エリアを変更しつつ運用する場合、事前に各ＰＴＺ設定に対応する領域設定を行えばよい。または、画像座標と世界座標の変換により、ＰＴＺの大きさに応じて領域設定を更新してもよい。

次に、撮像人物それぞれの推定領域において、撮像人物が位置するエリア判定を行う。ここでは、両足首の推定位置の中点の座標がどのエリア上に位置するかに基づいて、エリアを判定する例を示している。ほかにも、膝や腰、体の重心を利用するなどしてもよい。図１０の例においては、例えば、人物８１１の両足首の推定位置の中点は座標８１２となり、前記座標は「検知対象エリアＡ１」上に位置するため、人物８１１は「検知対象エリアＡ１」に位置すると判定される。同様に、人物８１３は座標８１４から「検知対象エリアＡ２」上に、人物８１５は座標８１６から「検知対象エリアＡ２」上に、それぞれが位置すると判定される。

次に、特徴抽出部３２１２において、指定した両エリア上に存在すると判定された全ての人物に対して、画像上の二次元の座標データから機械学習の学習モデルへ入力するための特徴抽出を行う。

骨格に基づく特徴量には、骨格を示す関節点のうち一点を基準として、その他の関節点の座標を基準点に対する相対座標に変換した座標集合を使用できる。または、極座標変換を実施することによって得られるノルムや角度の集合を特徴量としてもよい。また、撮像人物のカメラに対する遠近によってそのノルムは変化することが考えられる。この影響を防ぐためには、各撮像人物の矩形領域の大きさを利用して、それぞれのノルムを正規化すればよい。

また、インタラクション検知においては、人物間の各部位間の相対的な距離関係を測ることも判定に効果的である。図１１は、人物間の各部位ごとの距離関係を示した図である。特に、図中（A）では荷物の受け渡し行為における受け渡しの直前である時刻ｔの様子を示し、図中（B）では前記行為における受け渡しの瞬間である時刻ｔ＋τの様子を示している。図中では、人物９１と人物９２における双方の頭部間、手首部間、足首部間の対応関係を例示している。例えば、線分９３と線分９６では頭部間、線分９４と線分９７では手首部間、線分９５と線分９８では足首部間の対応関係を示しており、このような部位間距離に基づいた特徴量を算出する。例えば、荷物の受け渡しを行う場合、人物９１と人物９２の頭部間距離（線分９３と線分９６）や足首部間距離（線分９５と線分９８）よりも、手首部間距離（線分９４と線分９７）は特に小さくなることが考えられる。図中（A）と（B）を比較すると、頭部間距離や足首部間距離の変化は少ない一方で、受け渡しの瞬間を図示した（B）における手首部間距離は特に小さくなっていることが分かる。このように、全身の骨格点に基づく人物間の相対的な距離関係を特徴量として用いることは、識別に対して有効に機能すると考えられる。

もし、例えば手首間距離のみを用いる場合、カメラに対する遠近方向で偶然手首部が重なってしまった人物間を受け渡し行為の可能性有りとして誤検知してしまうことに繋がるため、全身の骨格点を活用することが効果的である。なお、ここでは、頭部間や手首部間のように同一の部位間における相対距離に基づく特徴算出について例示したが、人物９１の頭部と人物９２の手首部の距離のように、人物間の異なる部位間の相対距離に基づく特徴量を算出してもよい。

また、人物の骨格に基づく情報のみならず、受け渡しが行われている物品の情報を算出し、荷物の受け渡しや窃盗等、物品を利用したインタラクションの判定に利用してもよい。この場合、ディープラーニング等でスーツケースやリュックサックの検知を行い、骨格検知を含む人物検知手法との組み合わせによって人物とその人物が保持する物品を紐づける。その後、例えば人物９１が保持し続けていると判定された物品が、一定時間後に人物９２が保持し続けていると判定された場合、この人物間で物品を利用したインタラクションが行われたと判定することができる。

受け渡し行為の検出を行う場合、同一エリア内での荷物の受け渡し行為を許容するため、事象検出部３２２１において、異なるエリアに位置する人物間の全ての組でのみ事象検出判定を行う。例えば、人物８１１と人物８１３間、人物８１１と人物８１５間においては、それぞれ「検知対象エリアＡ１」上と「検知対象エリアＡ２」上にいるとエリア判定されているため、事象検出の有無を判定する。一方で、人物８１３と人物８１５間においては、両者ともに「検知対象エリアＡ２」上にいるとエリア判定されているため、事象検出判定を行わない。他のインタラクション検知の場合、全ての人物間または他の領域設定基準によって指定された領域内の全ての人物間の組で事象検出判定を行う。ただし、前記の相対距離を全人物間で算出し、一定の閾値を超えた人物間においては、計算の効率化のために、事象検出の対象から除外してもよい。

特徴抽出部３２１２で算出された特徴量を事象検出部３２２１に入力することで、事象とその発生位置、さらに、その判定確度を求める。これらを求める際には、ディープラーニングや、ＳＶＭや決定木などの機械学習手法といったAＩモデルを利用する。ただし、前述のように、ルールベースによる判定方法を用いてもよい。例えば、荷物の受け渡し行為の検出であれば、セキュリティエリア内外を横断するように、それぞれのエリアから手が接近し、それが一定の閾値以下であると判定された場合、これは荷物の受け渡し行為が発生したとみなすことができる。

このように、本実施例２に係る映像監視システム１は、荷物の受け渡し行為、スリやもみ合いといった人物間のインタラクションを、人物の骨格検知に基づいて特徴量を算出し、機械学習を用いて事象検出判定することが可能である。インタラクションを検出した場合、後段のイベント算出部３２２２を用いて、管理者によって事前設定済みの監視情報基準３３２を参照してイベントが選択され、発報対象者へ通知する。したがって、検出事象に対する対策者の負担軽減が可能となり、効率的な保安業務の運用を促進することができる。

以上、説明してきたように、上述の各実施例によれば、監視領域を撮影した映像から人物及び／又は物体の像を検出し、検出された人物の状態を表す特徴量及び／又は検出された物体の特徴量である事象特徴量を算出し、事象特徴量に基づいて事象の発生を検出し、検出した事象である発生事象の種類及び発生事象の判定確度から発生事象に係る発報の対象者を判定する。このため、監視領域内の様々な事象に対する監視を行う際に効率的な発報を実現し、監視の実効性を向上することができる。

具体的には、上述の実施例に係る映像監視システムは、発生事象の種類及び発生事象の判定確度に基づいて、発報の対象者の組合せを示すイベントを特定し、特定したイベントに示された発報の対象者を出力することを特徴とする。また、発報の対象者として、監視領域で発生事象の対処を行う対処者（例えば、現場スタッフや警備員）と、監視領域の状態を管理する管理者（例えば、監視センタの監視員）とを含み、イベントの一部は、管理者を対象者から除外した組合せを示す。このため、発報対象者を簡易に特定することが可能であり、また、管理者の負担を軽減することができる。

また、上述の実施例に係る映像監視システムは、入力が動画像であれば、人物の事象判定のために人物骨格検知を用い、人物骨格検知による骨格の推定結果から算出される人物の姿勢を表す特徴量と、前後の画像フレームを併用することで骨格の移動量を表す特徴量とを算出し、それらを複合的に用いる。

また、映像監視システムは、発生事象および発生事象の判定確度に基づいて発報対象者を出力するために参照する監視基準情報を記憶する記憶部を有し、判定部は、監視重要度判定部を有し、監視基準情報に設定された監視重要度判定基準に基づいて、事象の種類ごとに定められた監視重要度を判定する。
さらに、判定部は、イベント判定部を有し、監視基準情報に設定されたイベント判定基準に基づいて、発生事象の種類又は監視重要度と、発生事象の判定確度からイベントを判定する。
さらに、判定部は、発報対象者判定部を有し、監視基準情報に設定された発報対象者判定基準に基づいて、イベントから発報対象者を判定することを特徴とする。
これらの構成により、多様な事象と状況に適応した報知対象を迅速かつ適切に選択することができる。

また、実施例２に係る映像監視システムは、監視領域を撮影した映像を用いて、監視領域における複数の人物間の連携行動であるインタラクションに基づく事象を検出する。
具体的には、実施例２に係る映像監視システムは、検出された人物の骨格に基づいて算出する特徴量について、インタラクション検知のために、人物間の部位間の一種類または複数種類の距離を用いる。もしくは、インタラクション検知のために、人物と物品の検知結果から、物品がどの人物に所持されているかを推定し、その情報に基づいて、人物間の物品を介したインタラクションを判定してもよい。かかる処理により、実施例２に係る映像監視システムは、複数の人物が関与して発生する事象を高精度に検出することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１…映像監視システム、２…撮像システム、３…映像解析システム、４…監視センタシステム、２１…カメラ部、３１…画像入力部、３２…画像処理部、３３…記憶部、４１…記録部、４２…画像表示部、４３…管理制御部、３２１…算出部、３２２…判定部、３２３…出力制御部、３３１…エリア情報、３３２…監視基準情報、３２１１…対象検出部、３２１２…特徴抽出部、３２２１…事象検出部、３２２２…イベント算出部、３３２１…監視重要度判定基準、３３２２…イベント判定基準、３３２３…発報対象者判定基準、３２２２１…監視重要度判定部、３２２２２…イベント判定部、３２２２３…発報対象者判定部

Claims (9)

1. 監視領域を撮影した映像を用いて、前記監視領域における複数の事象を検出する映像監視システムにおいて、
   前記映像から人物及び／又は物体の像を検出し、検出された人物の状態を表す特徴量及び／又は検出された物体の特徴量である事象特徴量を算出する算出部と、
   前記事象特徴量に基づいて、前記事象の発生を検出し、検出した事象である発生事象の種類及び前記発生事象の判定確度から前記発生事象に係る発報の対象者を判定する判定部と、を有し、
   前記判定部は、前記発生事象の種類及び前記発生事象の判定確度に基づいて、前記発報の対象者の組合せを示すイベントを特定し、特定したイベントに示された発報の対象者を出力するものであり、
   前記発報の対象者として、前記監視領域で前記発生事象の対処を行う対処者と、前記監視領域の状態を管理する管理者とを含み、前記イベントの一部は、前記管理者を対象者から除外した組合せを示すことを特徴とする映像監視システム。
2. 前記算出部は、前記映像監視システムに対する入力が動画像であり、人物の事象判定のために人物骨格検知を用いる場合において、
   前記人物骨格検知による骨格の推定結果から算出される人物の姿勢を表す特徴量と、前後の画像フレームを併用することで骨格の移動量を表す特徴量とを算出し、それらを複合的に用いることを特徴とする請求項１に記載の映像監視システム。
3. 前記映像監視システムは、発生事象および発生事象の判定確度に基づいて発報対象者を出力するために参照する監視基準情報を記憶する記憶部を有し、
   前記判定部は、監視重要度判定部を有し、前記監視基準情報に設定された監視重要度判定基準に基づいて、前記事象の種類ごとに定められた監視重要度を判定することを特徴とする請求項１に記載の映像監視システム。
4. 前記判定部は、イベント判定部を有し、前記監視基準情報に設定されたイベント判定基準に基づいて、前記発生事象の種類又は前記監視重要度と、前記発生事象の判定確度からイベントを判定することを特徴とする請求項３に記載の映像監視システム。
5. 前記判定部は、発報対象者判定部を有し、前記監視基準情報に設定された発報対象者判定基準に基づいて、前記イベントから発報対象者を判定することを特徴とする請求項４に記載の映像監視システム。
6. 前記映像監視システムは、前記監視領域を撮影した映像を用いて、前記監視領域における複数の人物間の連携行動であるインタラクションに基づく事象を検出することを特徴とする請求項１に記載の映像監視システム。
7. 前記算出部は、検出された人物の骨格に基づいて算出する特徴量について、インタラクション検知のために、人物間の部位間の一種類または複数種類の距離を用いることを特徴とする請求項６に記載の映像監視システム。
8. 前記算出部は、インタラクション検知のために、人物と物品の検知結果から、物品がどの人物に所持されているかを推定し、その情報に基づいて、人物間の物品を介したインタラクションを判定することを特徴とする請求項６に記載の映像監視システム。
9. 監視領域を撮影した映像を用いて、前記監視領域における複数の事象を検出する映像監視方法において、
   前記映像から人物及び／又は物体の像を検出し、検出された人物の状態を表す特徴量及び／又は検出された物体の特徴量である事象特徴量を算出する算出ステップと、
   前記事象特徴量に基づいて、前記事象の発生を検出する検出ステップと、
   検出した事象である発生事象の種類及び前記発生事象の判定確度から前記発生事象に係る発報の対象者を判定する判定ステップと、
   を含み、
   前記判定ステップは、前記発生事象の種類及び前記発生事象の判定確度に基づいて、前記発報の対象者の組合せを示すイベントを特定し、特定したイベントに示された発報の対象者を出力するものであり、
   前記発報の対象者として、前記監視領域で前記発生事象の対処を行う対処者と、前記監視領域の状態を管理する管理者とを含み、前記イベントの一部は、前記管理者を対象者から除外した組合せを示すことを特徴とする映像監視方法。

Images