JP6910786B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、監視システムは、アナログカメラからネットワークカメラへの移行に併せ、カメラの高解像度化、高フレームレート化および数百台を超えるカメラを用いた大規模なシステムの構築が行われている。このような監視システムは、従来の百貨店、スーパー、コンビニエンスストア、レンタルビデオ店といった一つの店舗にとどまらず、ショッピングモールや地域全体を監視することを要求されている。

こうした中、監視カメラの画像情報から人物や車などを認識する画像解析技術が実用段階に入っており、数百台の監視カメラの画像を人に代わってシステムが自動で監視するなど、監視支援技術を用いた監視システムのニーズも高まっている。
このような監視支援技術として、特許文献１には、人間の正常行動を学習しておき、学習した正常行動から逸脱した行動を異常行動として検出する技術が開示されている。この特許文献１には、監視対象の画像中の人数に応じて、複数の学習データの中から１つの学習データを選択し、選択した学習データを用いて異常行動を検出する点が開示されている。

特開２００９−２６６０５２号公報

しかしながら、特許文献１に記載の技術にあっては、選択された単一の学習データを用いて異常行動を検知するので、監視対象の画像中に、人物の行動傾向が異なる複数の領域が存在する場合に対応できない。
例えば、エスカレータと階段とが併設されているシーンが考えられる。階段では、利用者が階段の途中で立ち止まったり、階段を上り下りしたりすることは正常な行動である。一方、エスカレータでは、途中で利用者の移動が止まったり、利用者がエスカレータを逆走したりすることは異常な行動である。このように、異常行動と正常行動とが異なる領域が同時に存在する画像に対し、特許文献１の技術のように単一の学習データを用いた異常行動検知処理を行ってしまうと、誤検知が多く発生してしまう。

予めシステム設定者から領域の分割指示を受け付け、分割された領域ごとに正常行動を学習できれば、精度の高い異常行動検知を行うことができるが、カメラごとに複数の領域へ分割するような設定を行うことは手間がかかる。特に、市街監視のようにカメラが数百台規模になると、その手間は膨大となる。
そこで、本発明は、監視対象画像から異常行動検知を精度良く行うための領域設定を適切に行うことを目的としている。

上記課題を解決するために、本発明に係る情報処理装置の一態様は、画像中の撮像対象の動き情報を取得する取得手段と、前記取得手段により取得された動き情報に基づいて、前記画像における前記撮像対象の動作領域を、前記撮像対象の動作傾向に対応した複数の部分領域に分割する分割手段と、前記分割手段により分割された複数の部分領域について、前記部分領域ごとに学習対象の動作を学習し、前記部分領域に対応した学習データをそれぞれ生成する学習手段と、前記学習手段によって生成された学習データに基づいて、監視対象を撮像した対象画像から前記部分領域ごとに異常動作を検知する手段と、を備える。

本発明によれば、監視対象画像から異常行動検知を精度良く行うための領域設定を適切に行うことができる。

監視システムの一例を示すネットワーク構成図である。 情報処理装置のハードウェア構成の一例を示す図である。 動作傾向が異なる複数の領域が含まれるシーンの一例である。 情報処理装置の機能ブロック図である。 学習から運用までの流れを示す概念図である。 領域分割処理の手順を示すフローチャートである。 領域分割処理における小領域への分割例である。 領域分割処理で使用する特徴量の一例である。 クラスタリング結果の一例である。 異常行動検知処理の手順を示すフローチャートである。 異常行動検知における警告表示の一例である。 領域修正処理を加えた学習から運用までの流れを示す概念図である。 領域修正のためのユーザインタフェースの一例である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における監視システムの動作環境の一例を示したネットワーク構成図である。本実施形態では、監視システムをネットワークカメラシステムに適用する。
ネットワークカメラシステム１０は、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）２０と、録画サーバ装置３０と、情報処理装置４０と、クライアント装置５０と、を備える。カメラ２０、録画サーバ装置３０、情報処理装置４０およびクライアント装置５０は、ネットワーク６０によって接続されている。なお、ネットワーク６０は、ＬＡＮ（Local Area Network）やインターネット、ＷＡＮ（Wide Area Network）などとすることができる。なお、ネットワーク６０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１において、カメラ２０、録画サーバ装置３０、情報処理装置４０およびクライアント装置５０がネットワーク６０に接続される台数は、図１に示す数に限定されない。

カメラ２０は、監視対象を撮像し、撮像した映像（画像）をネットワーク６０経由で送信可能な撮像装置である。カメラ２０は、ネットワーク６０を介して録画サーバ装置３０に画像を送信する。カメラ２０は、大型商業施設や市街に設置することができる。録画サーバ装置３０は、カメラ２０から画像を受信し、受信した画像を保存すると共に、受信した画像を情報処理装置４０やクライアント装置５０に送信する。
情報処理装置４０は、映像解析サーバである。情報処理装置４０は、録画サーバ装置３０から受信した画像に対して画像解析処理を実行し、解析結果をクライアント装置５０に送信することができる。なお、本実施形態では、カメラ２０によって撮像された画像は、録画サーバ装置３０を経由して情報処理装置４０に送信される場合について説明するが、情報処理装置４０は、カメラ２０から直接画像を受信してもよい。

クライアント装置５０は、例えばパーソナルコンピュータ（ＰＣ）により構成することができる。本実施形態では、クライアント装置５０は、例えば警備室に配備されているオペレータが情報処理装置４０の解析結果を参照するための端末とする。クライアント装置５０は、ＰＣに限定されるものではなく、タブレット端末などでも代用可能である。クライアント装置５０は、オペレータからの指示を受け付けて、その指示に基づいて情報処理装置４０から解析結果を取得する機能を有していてもよい。また、クライアント装置５０は、オペレータからの要求を受け付けて、その要求に基づいて録画サーバ装置３０に録画の指示を行う機能を有していてもよい。
なお、本実施形態では、録画サーバ装置３０および情報処理装置４０は、オンプレミスのサーバ上に構築するものとして説明する。ただし、上記に限ったものではなく、これらの装置をクラウドコンピューティング基盤上で構築するようにしてもよい。

図２は、情報処理装置４０のハードウェア構成の一例を示す図である。
情報処理装置４０は、ＣＰＵ４１と、ＲＡＭ４２と、ＲＯＭ４３と、ＨＤＤ４４と、出力装置４５と、入力装置４６と、通信装置４７と、システムバス４８とを備える。
ＣＰＵ４１は、情報処理装置４０における動作を統括的に制御するプロセッサであり、システムバス４８を介して、各構成部（４２〜４７）を制御する。ＲＡＭ４２は、ＲＯＭ４３やＨＤＤ４４からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、ＲＡＭ４２は、通信装置４７を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。また、ＲＡＭ４２は、ＣＰＵ４１が各処理を実行する際に用いるワークエリアも有する。

ＲＯＭ４３は、ＣＰＵ４１が画像解析処理を実行するために必要な画像解析プログラム等を記憶する不揮発性メモリである。この画像解析プログラムは、ＯＳ（オペレーティングシステム）上で動作するアプリケーションプログラムであってよい。なお、当該プログラムは、ＨＤＤ４４や不図示の記録媒体に記録されていてもよい。ＣＰＵ４１は、ＯＳとアプリケーションプログラムとをＲＯＭ４３あるいはＨＤＤ４４から読み出してＲＡＭ４２にロードし、実行することで各種の機能動作を実現することができる。

出力装置４５は、各種処理結果やユーザインタフェース画面（ＵＩ画面）を表示するモニタにより構成される。入力装置４６は、キーボードやマウス等のポインティングデバイス、タッチパネル等により構成することができる。情報処理装置４０のユーザ（例えば、システム設定者）は、入力装置４６を操作して情報処理装置４０に対して指示を入力することができる。通信装置４７は、ネットワーク６０に接続された外部装置と通信するためのインタフェースである。システムバス４８は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、ＨＤＤ４４、出力装置４５、入力装置４６および通信装置４７を通信可能に接続する。
なお、録画サーバ装置３０やクライアント装置５０も、図２と同様のハードウェア構成を有することができる。

本実施形態では、情報処理装置４０は、上記の画像解析処理として、画像中の監視対象の正常動作から逸脱した動作である異常動作を検知する異常動作検知処理を行い、その処理結果をクライアント装置５０の表示画面に表示させる表示制御の機能を有する。本実施形態では、監視対象は人間であり、情報処理装置４０は、画像中の人間の異常行動を検知する異常行動検知処理を実行する場合について説明する。

また、情報処理装置４０は、画像解析処理に先立って、画像中の撮像対象の動作を学習する学習処理を行い、画像解析処理に用いる学習データを生成する機能を有する。本実施形態では、撮像対象は人間であり、学習処理における学習対象の動作は、正常動作（正常行動）である場合について説明する。つまり、本実施形態において、異常行動検知処理は、予め正常行動が撮像されている画像から人間の正常行動を学習して得られた学習データを用いて、画像中の人間の異常行動を検知する処理である。

異常行動ではなく正常行動を学習する方式のメリットは、正常行動から外れた行動をすべて異常行動として検知できることにある。また、異常行動を学習する場合には、異常行動を実際に起こして学習させなければならないため、学習の手間がかかるが、正常行動を学習する場合はその手間を省くことができる。一方で、正常行動を学習する方式のデメリットは、異常行動の種類を検知できないことにある。
なお、本実施形態では、正常行動を学習する場合について説明するが、異常行動を学習する場合でも適用可能である。

図３は、異常行動検知処理の対象となる画像の一例である。この図３に示すシーンは、人間の行動傾向が異なる複数の領域が含まれるシーンの一例である。ここで、人間の行動傾向とは、階段なら上り下り、通路なら双方向通行、広場ならランダムな方向への移動といった、領域ごとに想定される人間の動きの傾向である。
画像１００には、階段１０１と上りのエスカレータ１０２とが撮像されている。階段１０１では、利用者はそれぞれ上りまたは下りで移動する。また、利用者は、階段１０１の途中で立ち止まったり、階段１０１の途中で引き返したりし得る。一方で、エスカレータ１０２では、利用者は基本的に一方向（例えば、上昇する方向）に移動する。

エスカレータ１０２では、例えば利用者が逆走した場合に怪我などを伴うため、利用者が下降する方向に移動した場合に異常として検知できることが望ましい。しかしながら、階段１０１では上り、下りの双方向で利用者が移動するため、エスカレータ１０２と同様に利用者が下降する方向に移動した場合に異常として検知されると、不所望な異常検知が通知されてしまう。つまり、階段１０１に対応する領域とエスカレータ１０２に対応する領域とで同一の学習データを用いて異常行動を検知すると、誤検知が多く発生してしまう。

そこで、本実施形態では、１つの画像に撮像対象の動作傾向が異なる複数の領域が含まれる場合を考慮し、画像中の撮像対象の動き情報に基づいて、画像における撮像対象の動作領域を、撮像対象の動作傾向に対応した複数の部分領域に自動的に分割する。そして、分割した部分領域ごとに異なる学習データを用いて異常行動検知を行う。
図４は、情報処理装置４０の機能構成を示すブロック図である。情報処理装置４０は、映像取得部４０１と、人体検出部４０２と、領域分割部４０３と、学習部４０４と、学習データ記憶部４０５と、領域判定部４０６と、異常行動検知部４０７と、警告通知部４０８と、領域データ記憶部４０９と、を備える。この図４に示す情報処理装置４０の各部の機能は、ＣＰＵ４１がプログラムを実行することで実現され得る。ただし、図４で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ４１の制御に基づいて動作する。

映像取得部４０１は、録画サーバ装置３０から画像を取得し、取得した画像を人体検出部４０２に出力する。人体検出部４０２は、映像取得部４０１から入力した画像から人体を検出し、画像上の人体の座標、幅、高さ、移動方向、移動速度といった人体情報を出力する。なお、本実施形態では、人体検出部４０２が人体を検出する場合について説明するが、特定の人物の顔を検出するようにしてもよい。また、監視対象が人間以外の特定の物体である場合には、人体検出部４０２は上記物体を検出する物体検出部とすることができる。

領域分割部４０３は、人体検出部４０２により検出された人体の動き情報（移動方向、移動速度）を集計し、画像の領域分割を行う。ここで、領域分割部４０３は、画像における人体の動作領域を、人体の行動傾向に対応した複数の部分領域に分割する領域分割処理を行う。そして、領域分割部４０３は、領域分割の結果を、領域データとして領域データ記憶部４０９に出力する。領域データは、領域分割により分割された各部分領域を示すデータであり、カメラ２０ごとに生成される。領域データの例については後述する。領域データ記憶部４０９は、領域データを、例えばＲＡＭ４２やＨＤＤ４４の領域データ記憶領域に保存する。

学習部４０４は、領域データを参照して学習処理を行い、領域分割処理により分割された部分領域ごとに学習データを生成する。具体的には、学習部４０４は、正常行動が撮像された画像をもとに、部分領域ごとに人間の正常行動を学習し、複数の部分領域にそれぞれ対応した学習データを生成する。そして、学習部４０４は、生成された複数の学習データを学習データ記憶部４０５に出力する。
学習データは、画像から抽出した、部分領域ごとの特徴量により構成することができる。特徴量としては、例えば動画像中の物体の動作特徴を表現可能な立体高次局所自己相関特徴（Cubic Higher-order Local Auto-Correlation：ＣＨＬＡＣ）を用いることができる。なお、ＣＨＬＡＣのように時系列で特徴量を扱う場合、複数フレームに亘って特徴量を取得する必要がある。そのため、人の行動が収まる程度の大きさの人体領域について、特徴量を取得するものとする。

学習データ記憶部４０５は、学習データを、例えばＲＡＭ４２やＨＤＤ４４の学習データ記憶領域に保存する。領域判定部４０６は、領域データを参照し、異常行動の監視対象である人体が、領域分割部４０３により分割されたどの部分領域に存在するかを判定する。異常行動検知部４０７は、領域判定部４０６により判定された部分領域に対応する学習データを用いて、監視対象の異常行動を検知する。
警告通知部４０８は、異常行動検知部４０７により異常行動が検知された場合に、クライアント装置５０に対して異常行動を検知した旨を通知する。通知を受け取ったクライアント装置５０は、表示画面に異常行動が発生した旨を表示する。これにより、警備室にいるオペレータは、クライアント装置５０を介して異常が発生したことを認識することができる。クライアント装置５０における表示例については後述する。

次に、情報処理装置４０が正常行動を学習し、異常行動検知を実行するまでの流れを、図５を用いて説明する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
まず、カメラ２０は、所定期間（数時間〜数日間）、実際に人が行動する様子を撮像し、撮像した画像を録画サーバ装置３０に録画する。そして、情報処理装置４０は、録画された画像をもとに領域分割処理および学習処理を行う。これを「学習フェーズ」と呼ぶ。次に、情報処理装置４０は、学習フェーズにより生成された学習データを用いて異常行動検知を行う。これを「運用フェーズ」と呼ぶ。

Ｓ１では、録画サーバ装置３０は、カメラ２０により撮像された実際に人が通過する様子を、所定期間（数時間〜数日間）録画する。次に、Ｓ２では、情報処理装置４０は、Ｓ１において録画された所定期間（数時間〜数日間）の画像をもとに、画像を人の行動傾向に応じた複数の部分領域に分割する領域分割処理を行う。次に、Ｓ３では、情報処理装置４０は、領域分割処理により分割された部分領域ごとに学習データを生成する。情報処理装置４０は、領域分割処理において使用した上記所定期間の画像のみを用いて学習データを生成してもよいし、精度向上のために、追加で数日間録画した画像を用いて学習データを生成してもよい。Ｓ１からＳ３の処理が、学習フェーズにおける処理である。

Ｓ４では、情報処理装置４０は、学習フェーズにおいて生成された学習データを用いて、監視対象となる画像に対して異常行動を検知する異常行動検知処理を行う。
以下、情報処理装置４０が図５のＳ２において実行する領域分割処理について、図６〜図９を参照しながら詳細に説明する。
図６に示す処理は、例えば情報処理装置４０がユーザからの処理の開始指示を受け付けたタイミングで開始される。ただし、図６の処理の開始タイミングは、上記のタイミングに限らない。情報処理装置４０は、ＣＰＵ４１が必要なプログラムを読み出して実行することにより、図６に示す各処理を実現することができる。ただし、上述したように、図４に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図６の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ４１の制御に基づいて動作する。

Ｓ２１では、領域分割部４０３は、画像を部分領域以下の大きさとなる複数の領域（小領域）に分割する。図７は、図３で示したシーンを小領域に分割した例である。図７の例では、小領域１１０のサイズを所定の固定サイズで設定している。なお、小領域１１０のサイズは、プログラムの設定ファイル等で予め設定しておいてもよいし、システム設定者から入力を受け付けて設定してもよい。また、小領域１１０のサイズは、画面手前ではサイズを大きくし、画面奥ではサイズを小さくする、といったように可変でもよい。

Ｓ２２では、領域分割部４０３は、所定期間（数時間〜数日間）録画された画像に対して、小領域１１０ごとに特徴量を算出する。本実施形態では、領域分割部４０３は、人体検出部４０２によって検出された人体の動き情報である移動方向を集計し、移動方向の発生頻度を特徴量として用いることができる。特徴量の一例を図８に示す。
図８（Ａ）は、人体が移動し得る方向に番号を振った概念図である。ここでは、人体の移動方向として１６方向を設定したが、より多くの方向または少ない方向を設定してもよい。図８（Ｂ）は、２つの小領域１１１および１１２に関し、特徴量を算出した結果を示している。特徴量１１１ａは小領域１１１の特徴量であり、特徴量１１２ａは小領域１１２の特徴量である。小領域１１１は、上昇するエスカレータに対応した領域であるため、特徴量１１１ａとしては方向１の発生頻度が高く現れる。これに対して小領域１１２は、階段に対応した領域であるため、利用者の移動方向は上り下りの双方向があり、また直進して歩かない利用者も存在する。そのため、特徴量１１２ａとしては方向１周辺や、方向９周辺に発生頻度が高く現れる。

Ｓ２３では、領域分割部４０３は、小領域１１０ごとの特徴量に基づいて、画像から移動する人体が存在しない小領域１１０を除外することで、人体の動作領域を導出する。このＳ２３の処理は、人体が通らない小領域１１０を、後述するＳ２５のクラスタリング対象から除外する処理である。Ｓ２４では、領域分割部４０３は、クラスタ数を設定する。クラスタ数は、システム設定者から受け付けるようにしてもよいし、予め設定された固定値であってもよい。

Ｓ２５では、領域分割部４０３は、Ｓ２３における領域除外後の小領域１１０を、各小領域１１０の特徴量をもとに、Ｓ２４において設定されたクラスタ数となるようクラスタリングする。クラスタリングには、例えばｋ−ｍｅａｎｓ法などの教師なし学習を用いることができる。クラスタリングにより得られた領域分割結果の例を図９に示す。
図９（Ａ）は元画像、図９（Ｂ）は領域分割の結果得られた領域データ１２０である。図９（Ｂ）において、同じインデックスが付与された小領域は、分割された１つの部分領域に対応している。図９（Ｂ）は、クラスタ数を２とし、０：人体が通らなかった領域、１：階段に対応する領域、２：エスカレータに対応する領域というインデックスが付与された部分領域に分割された例を示している。領域データ１２０は、各小領域の情報（左上座標、幅、高さ、インデックス）を含んで構成される。

以上のように、領域分割部４０３は、小領域ごとの動き情報に関する特徴量をクラスタリングすることで、人体の行動傾向が同一または類似している小領域の集合を、行動傾向に対応した部分領域として導出する。また、領域分割部４０３は、人が通らない小領域１１０をクラスタリングの対象から除外した後、クラスタリングを行う。そのため、クラスタ数が２である場合に、画像が「人が通らない領域」と「人が通る領域」とで分割されることを防止し、「人が通る領域」である動作領域を、複数の部分領域に分割することができる。

なお、Ｓ２２における特徴量の算出処理において、人体の動き情報として人体の移動方向のみを用いる場合について説明したが、動き情報は移動方向のみに限定されない。例えば、撮像シーンに、一方通行の階段と、階段において通行が許可された方向と同じ方向に移動するエスカレータとが映っている場合、階段に対応する小領域とエスカレータに対応する小領域とでは人体の移動方向に基づく特徴量の算出結果はほぼ同じになる。そのため、人体の動き情報として移動方向のみを用いた場合、階段に対応する領域とエスカレータに対応する領域とを分割できない。そこで、人体の動き情報として、人体の移動速度を追加し、移動速度のばらつきを特徴量に加えるようにしてもよい。
また、Ｓ２５では、Ｓ２４により設定された所定のクラスタ数に従ってクラスタリングを行う場合について説明したが、ｘ−ｍｅａｎｓ法などによりクラスタ数を自動で決定するようにしてもよい。

次に、情報処理装置４０が図５のＳ４において実行する異常行動検知処理について、図１０を参照しながら説明する。
図１０に示す処理は、例えば情報処理装置４０が監視対象となる画像を取得したタイミングで開始される。ただし、図１０の処理の開始タイミングは、上記のタイミングに限らない。情報処理装置４０は、ＣＰＵ４１が必要なプログラムを読み出して実行することにより、図１０に示す各処理を実現することができる。ただし、上述したように、図４に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図１０の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ４１の制御に基づいて動作する。

情報処理装置４０は、カメラ２０ごとに、所定フレーム（例えば３０フレーム）の画像を入力し、図１０に示すフローチャートに従って異常行動検知処理を実行する。
Ｓ４１では、人体検出部４０２は、画像に撮像された人体を検出し、人体情報（画像上の人体の座標、幅、高さ）を出力する。Ｓ４２では、領域判定部４０６は、領域データ１２０を参照し、Ｓ４１において検出された人体が、それぞれどの部分領域に存在するかを判定する。ここで、人体が複数の部分領域に跨って存在する場合には、より多くの面積が跨っている部分領域を選択する。

Ｓ４３では、異常行動検知部４０７は、Ｓ４１において検出された人体について、それぞれ異常行動のスコアを算出する。まず、異常行動検知部４０７は、検出された人体に関して、それぞれ異常行動を検知するための特徴量を抽出する。ここで抽出される特徴量は、学習データを構成する特徴量と同様であり、例えばＣＨＬＡＣなどを用いることができる。そして、異常行動検知部４０７は、検出された人体の特徴量と、検出された人体が存在する部分領域に対応する学習データ（特徴量）との距離を、当該人体の異常行動のスコアとして算出する。

Ｓ４４では、異常行動検知部４０７は、Ｓ４３において算出された異常行動のスコアが閾値以上であるか否かを判定する。そして、異常行動のスコアが閾値以上である場合にはＳ４５に移行し、異常行動のスコアが閾値を下回っている場合にはそのまま処理を終了する。
Ｓ４５では、警告通知部４０８は、クライアント装置５０に対して異常行動を検知した旨を通知する。通知の際には、異常行動を撮像したカメラ２０の識別情報（例えばＩＤ）や、異常行動が発生した画像上の位置情報（例えば座標）なども送信する。当該通知を受信したクライアント装置５０は、表示画面に警告表示を行う。これにより、警備室に配備されているオペレータは、異常行動が発生したことを把握することができる。クライアント装置５０における表示画面の表示例を図１１に示す。

図１１（Ａ）は、異常行動が発生してない状況における表示画面２００の一例である。表示画面２００は、映像表示部２０１と、地図表示部２０２と、を備える。映像表示部２０１は、複数（図１１では９台）のカメラ２０のライブビュー映像をタイル状に配置して表示する。地図表示部２０２は、カメラ２０が設置されている建物の地図と共に、どのカメラ２０が建物内のどこに設置されているかを表示する。
図１１（Ｂ）は、異常行動が発生した状況における表示画面２００の一例である。表示画面２００は、映像表示部２０１中に、異常行動を撮像したカメラ２０の映像を拡大して表示する拡大表示部２０３を備える。拡大表示部２０３では、図１１（Ｂ）に示すように、画像中のどの位置で異常行動が発生したのかを視認可能に表示してもよい。

また、地図表示部２０２では、異常行動を撮像したカメラ２０の建物内における設置位置を、地図上で表示する。例えば、建物の１階に設置されたカメラ２０が異常行動を撮像した場合、図１１（Ｂ）に示すように、そのカメラ２０の設置位置に対応する位置にマーカー２０４を表示してもよい。このような表示により、警備室に配備されているオペレータは、建物内のどこで異常行動が発生したのかを容易に把握することができ、必要に応じて迅速に現場に向かうことが可能となる。

以上のように、本実施形態における情報処理装置４０は、画像中の撮像対象の動き情報を取得し、取得された動き情報に基づいて、画像における撮像対象の動作領域を、撮像対象の動作傾向に対応した複数の部分領域に分割する。撮像対象を人体とした場合、情報処理装置４０は、画像中の人体の動き情報に基づいて、画像における人体の動作領域を、人体の行動傾向に対応した複数の部分領域に分割する。このように、情報処理装置４０は、１つのシーンに動作傾向（行動傾向）が異なる複数の領域が含まれる場合、自動的に領域分割を行うことが可能である。したがって、システム設定時にシステム設定者が領域分割を行う手間を省くことができる。

上記動き情報は、人体の移動方向に関する情報とすることができる。エスカレータと階段とが併設されているシーンの場合、通常、エスカレータに対応する領域では、利用者は一定方向に移動し、階段に対応する領域では、利用者は双方向に移動する。したがって、動き情報として移動方向に関する情報を用いれば、適切にエスカレータに対応する領域と階段に対応する領域とを分割することができる。例えば、上りエスカレータと下りエスカレータとが併設されているシーンや、エスカレータと通路とが併設されているシーンについても同様である。

また、上記動き情報は、人体の移動速度に関する情報であってもよい。上り専用の階段と上りエスカレータとが併設されているシーンの場合、階段の利用者の移動方向とエスカレータの利用者の移動方向とは同じであるため、移動方向に関する情報からでは適切に領域分割が行えない。移動速度に関する情報を用いることで、上記のようなシーンに対応することができ、適切な領域分割が可能となる。例えば、一方通行の通路と動く歩道とが併設されているシーンについても同様である。

また、情報処理装置４０は、画像を部分領域以下の大きさで分割した複数の小領域ごとに動き情報に関する特徴量を導出し、小領域の特徴量をクラスタリングすることで、行動傾向に応じた領域分割を行う。ここで、動き情報に関する特徴量は、移動方向の発生頻度や移動速度のばらつきとすることができる。これにより、情報処理装置４０は、容易かつ適切に行動傾向が異なる複数の領域を分割することができる。
さらに、情報処理装置４０は、画像から人が通過しない小領域をクラスタリングの対象から除外した後、クラスタリングを行う。したがって、画像における人体の動作領域を、行動傾向に応じた複数の領域に分割することができる。つまり、領域分割処理の結果、人が通過する領域と人が通過しない領域とに分割されることを回避することができる。

また、情報処理装置４０は、領域分割された複数の部分領域について、それぞれ部分領域ごとに学習対象の動作を学習し、それぞれ部分領域に対応した学習データを生成する。そして、情報処理装置４０は、画像中の監視対象である人体が、領域分割されたどの部分領域に存在するかを判定し、判定された部分領域に対応する学習データを用いて、監視対象の異常動作を検知する。このように、行動傾向が異なる領域ごとに、異なる学習データを用いて異常行動検知処理を行う。そのため、エスカレータでは途中で利用者の移動が停止したり、逆走したりすることを異常行動として判定し、階段では上記の行動を正常行動として判定するなど、行動傾向が異なる領域ごとに適切な検知処理を行うことができる。

ここで、学習対象の動作を正常動作（正常行動）とすれば、異常行動検知処理において、正常行動から外れた行動をすべて異常行動として検知することができる。そのため、異常行動の検知漏れを抑制することができる。また、異常行動を実際に起こして学習させる必要がないため、学習が容易である。一方、学習対象の動作を異常動作（異常行動）とすれば、異常行動検知処理において、異常行動の種類を判別することが可能となり、異常行動の発生を通知する際に、異常行動の種類も併せて通知することができる。

以上説明したように、本実施形態における情報処理装置４０によれば、システム設定者の手間をかけずに、異常行動検知を精度良く行うための領域分割を適切に行うことができ、監視対象である人体の異常行動を精度良く検知することができる。
なお、監視対象は人に限定されるものではなく、人以外の物であってもよい。例えば、監視対象が自動車である場合、自動車の逆走などの異常動作を適切に検知することができる。

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、情報処理装置４０は、領域分割処理の結果をそのまま用いて異常行動検知処理を実行する場合について説明した。第二の実施形態では、情報処理装置４０が、領域分割処理の後、システム設定者による修正指示に基づいて分割された部分領域を修正する機能を有する場合について説明する。
上述した第一の実施形態における領域分割処理により、自動的に領域分割が可能であるが、画像中に人体の移動方向が似た領域が複数含まれている場合、領域分割が正しく行われないおそれがある。領域分割が正しく行われなかった場合、正常行動を正しく学習することができず、異常行動の誤検知が発生し得る。

図１２は、情報処理装置４０が正常行動を学習し、異常行動検知を実行するまでの流れを示す図である。図１２において、図５と同様の処理を行う部分には図５と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
Ｓ２における領域分割処理の後、Ｓ５において、情報処理装置４０は、領域分割処理により分割された部分領域を、表示部（出力装置４５）に表示させる表示制御を行う。そして、情報処理装置４０は、システム設定者から、領域分割処理により分割された部分領域の修正を受け付け、当該部分領域を修正する。Ｓ３では、情報処理装置４０は、Ｓ５において修正された部分領域ごとに学習を行う。

以下、Ｓ５において実行される領域修正処理について、具体的に説明する。
図１３は、領域分割処理により分割された領域を修正するためのＵＩ画面１３０の一例である。なお、図１３では図示を省略しているが、ＵＩ画面１３０上ではカメラ２０が撮像した画像が背景画像として表示され、小領域が透過で表示されているものとする。
図１３（Ａ）は、小領域単位で領域を修正する場合のＵＩ画面１３０である。図１３（Ａ）のＵＩ画面１３０は、領域分割処理により得られた部分領域の領域データ１２０をもとに、各小領域がどの部分領域に属しているかを、インデックスを付与して表示している。例えば、小領域１１３は部分領域「１」に属しており、小領域１１４は部分領域「２」に属している。ここで、小領域１１４を部分領域「１」に修正したい場合を考える。この場合、システム設定者は、矢印１３１に示すように、部分領域「１」に属する小領域１１３を指定（例えばクリック）した後、矢印１３２に示すように、修正対象である小領域１３２を指定（例えばクリック）する。これにより、小領域１１４を、直前に指定した小領域１１３と同じ部分領域「１」に修正することができる。

図１３（Ｂ）は、領域分割処理により得られた部分領域単位で領域を修正する場合のＵＩ画面１３０である。部分領域単位での領域の修正は、複数の部分領域を統合する処理に相当する。システム設定者は、例えば、領域統合を指示するためのボタン１３３を押下することで、部分領域単位で領域を修正するモードに設定することができる。
ここで、部分領域「２」と部分領域「３」とを統合し、部分領域「２」に修正したい場合を考える。この場合、システム設定者は、ボタン１３３を押下することで領域統合の指示を入力し、矢印１３４に示すように、統合元の部分領域「２」に属する小領域１１５を指定（例えばクリック）する。次に、システム設定者は、矢印１３５に示すように、統合先の部分領域「３」に属する小領域１１６を指定（例えばクリック）する。これにより、部分領域「３」の領域が部分領域「２」に統合される。

なお、領域修正の方法は上記に限定されるものではない。例えば、修正対象である小領域または部分領域を指定した後、修正後の部分領域のインデックスの番号を直接指示するようにしてもよい。
このように、本実施形態における情報処理装置４０は、領域分割処理により分割された部分領域を表示部に表示させる表示制御を行い、システム設定者から部分領域の修正を受け付ける。このとき、情報処理装置４０は、部分領域よりも小さい領域である小領域単位で、部分領域の範囲の修正を受け付けてもよいし、複数の部分領域を統合する修正を受け付けてもよい。そして、情報処理装置４０は、システム設定者からの修正の指示に基づいて、部分領域を修正する。したがって、より適切に領域分割を行うことができ、より精度の高い異常行動検知を行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…ネットワークカメラシステム、２０…カメラ、３０…録画サーバ装置、４０…情報処理装置、５０…クライアント装置、６０…ＬＡＮ、４０１…映像取得部、４０２…人体検出部、４０３…領域分割部、４０４…学習部、４０５…学習データ記憶部、４０６…領域判定部、４０７…異常行動検知部、４０８…警告通知部、４０９…領域データ記憶部

Claims (14)

1. 画像中の撮像対象の動き情報を取得する取得手段と、
   前記取得手段により取得された動き情報に基づいて、前記画像における前記撮像対象の動作領域を、前記撮像対象の動作傾向に対応した複数の部分領域に分割する分割手段と、
   前記分割手段により分割された複数の部分領域について、前記部分領域ごとに学習対象の動作を学習し、前記部分領域に対応した学習データをそれぞれ生成する学習手段と、
   前記学習手段によって生成された学習データに基づいて、監視対象を撮像した対象画像から前記部分領域ごとに異常動作を検知する検知手段と、
   を備えることを特徴とする情報処理装置。
2. 前記動き情報は、前記撮像対象の移動方向に関する情報を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記動き情報は、前記撮像対象の移動速度に関する情報を含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段は、前記画像を前記部分領域以下の大きさで分割した複数の小領域ごとに前記動き情報を取得し、
   前記分割手段は、前記小領域ごとに前記動き情報に関する特徴量を導出し、前記動作領域に対応する前記小領域の前記特徴量をクラスタリングすることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記分割手段は、前記取得手段により取得された前記小領域ごとの前記動き情報に基づいて、前記画像から移動する前記撮像対象が存在しない前記小領域を除外し、前記クラスタリングの対象となる前記動作領域を導出することを特徴とする請求項４に記載の情報処理装置。
6. 前記対象画像中の前記監視対象が、前記分割手段により分割されたどの部分領域に存在するかを判定する判定手段をさらに備え、
   前記検知手段は、前記判定手段により判定された部分領域に対応する学習データを用いて、前記監視対象の異常動作を検知することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記学習対象の動作は、正常動作であることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記学習対象の動作は、異常動作であることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
9. 前記分割手段により分割された部分領域を表示部に表示させる表示制御手段と、
   前記分割手段により分割された部分領域の修正を受け付け、前記部分領域を修正する修正手段と、をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記修正手段は、前記部分領域よりも小さい領域単位で、前記部分領域の範囲の修正を受け付けることを特徴とする請求項９に記載の情報処理装置。
11. 前記修正手段は、複数の前記部分領域を統合する修正を受け付けることを特徴とする請求項９または１０に記載の情報処理装置。
12. 画像中の撮像対象の動き情報を取得するステップと、
    前記動き情報に基づいて、前記画像における前記撮像対象の動作領域を、前記撮像対象の動作傾向に対応した複数の部分領域に分割するステップと、
    前記複数の部分領域について、前記部分領域ごとに学習対象の動作を学習し、前記部分領域に対応した学習データをそれぞれ生成するステップと、
    前記学習データに基づいて、監視対象を撮像した対象画像から前記部分領域ごとに異常動作を検知する検知ステップと、
    を含むことを特徴とする情報処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。

Images