JP6437217B2 - 画像出力装置、画像管理システム、画像処理方法及びプログラム - Google Patents

Description

本発明の実施形態は、画像出力装置、画像管理システム、画像処理方法及びプログラムに関する。

複数のカメラが撮像した動画像データをサーバ装置に伝送することで、複数の動画像データをサーバ装置で管理する画像管理システムがある。このような画像管理システムにおいて、伝送における通信負荷を軽減するため、動画像データに写った事象の検出を行い、動画像データのうち当該事象が写った部分を抽出してサーバに伝送する技術がある。

ところで、動画像データの画像は、それを見て監視しようとする者にとって、常に同じ精細度である必要は無く、動画像に映った事案によって、少々画像が粗くとも必ずしも監視に支障が生じるものでもない。
例えば、動画像データに人物が写っている場合、この動画像の精細さは、人物の顔を識別できる程度である必要があるし、動画像データに不審な物体が写っている場合は、この物体を取り巻く状況を識別できる程度の画像であれば、それほど繊細でなくとも良い場合もある。

特許第４９２９１９１号公報 特開２０１０−１９３４４１号公報 特許第４５４１３１６号公報

本発明が解決しようとする課題は、適切な監視の利用に供することのできる画像データを出力できる画像出力装置、画像管理システム、画像処理方法及びプログラムを提供することである。

実施形態の画像出力装置は、物体検出部と、事象特定部と、静止画出力部と、動画出力部とを備える。物体検出部は、撮像された動画像から物体を検出する。事象特定部は、撮像された動画像から物体の動きを特定する。静止画出力部は、物体検出部で検出された物体の動きが、事象特定部により一定の変化に係る動きであると特定された場合は、動画像より静止画を出力する。動画出力部は、物体検出部で検出された物体の動きが、事象特定部により一定の変化に係る動きでないと特定された場合は、動画像を出力する。

少なくとも１つの実施形態に係る画像管理システムの一例を示すシステム図である。 第１の実施形態に係る画像出力装置の構成を示す概略ブロック図である。 第１の実施形態に係る画像管理装置の構成を示す概略ブロック図である。 第１の実施形態に係る画像出力装置の動作を示すフローチャートである。 画像データベースが記憶する情報の例を示す図である。 動画像データの解析結果の表示例を示す第１の図である。 動画像データの解析結果の表示例を示す第２の図である。 動画像データの解析結果の表示例を示す第３の図である。 第２の実施形態に係る画像出力装置の構成を示す概略ブロック図である。 第２の実施形態に係る画像管理装置の構成を示す概略ブロック図である。 画像処理の条件の設定画面の例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、実施形態の画像出力装置２００、画像管理システム１、画像処理方法及びプログラムを、図面を参照して説明する。

（第１の実施形態）
図１は、少なくとも１つの実施形態に係る画像管理システム１の一例を示すシステム図である。第１の実施形態に係る画像管理システム１は、複数の撮像装置１００と、複数の画像出力装置２００と、画像管理装置３００とを備える。撮像装置１００と画像出力装置２００とは、それぞれ有線または無線により直接接続される。画像出力装置２００と画像管理装置３００とは、ネットワークを介して接続される。尚、撮像装置１００と画像出力装置２００とが有線で接続されるものである場合、画像出力装置２００は、撮像装置１００との間の通信線や、画像管理装置３００との間の通信線と図示しないインターフェイスで着脱可能なものである。

撮像装置１００は、視野に捉えた画像を撮像して動画像データを生成する。撮像装置１００が生成した動画像データは、当該撮像装置１００に接続された画像出力装置２００に対し出力される。撮像装置１００は、ＮＴＳＣ（National Television System Committee）方式に準拠したカメラや、Ｗｅｂカメラなど、撮像した動画像データを画像出力装置２００に出力することができる装置である。なお、撮像装置１００は、必ずしも固定設置されている必要はなく、移動式のカメラであっても良い。つまり、撮像装置１００は、車両に搭載される車載カメラや、携帯電話端末に搭載されたカメラであっても良い。定点観測を行う場合は、撮像装置１００は三脚などによって固定される。
撮像装置１００は、動画像データのメタデータとして少なくとも撮像時刻と自装置の位置情報とを記録する。撮像装置１００は、自装置の位置情報を、例えば、ＧＰＳ（Global Positioning System）等の位置測定技術によって取得しても良いし、予め管理者によって記録されても良い。

画像出力装置２００は、撮像装置１００から入力された動画像データに対してデータ量を削減する画像処理を行い、画像処理によって得られた画像データを画像管理装置３００に対して出力する。出力された画像データは、通信線を介して画像管理装置３００に対し送信される。なお、画像データは、動画像データと静止画像データを含む概念である。これにより、画像出力装置２００が画像データを画像管理装置３００に伝送することによる通信負荷を軽減することができる。本実施形態に係る画像出力装置２００は、ＰＣ（Personal Computer）や組み込み用ボードなどのコンピュータ９００に実装される。

画像管理装置３００は、複数の画像出力装置２００から入力された画像データを画像データベース３０３（管理側記憶部）に記録する。画像管理システム１のユーザは、画像管理装置３００の画像データベース３０３に記録された画像データを閲覧することができる。本実施形態に係る画像出力装置２００は、ＰＣやワークステーションなど、画像出力装置２００が実装されるコンピュータ９００と比較して処理能力の高いコンピュータ９００に実装される。

本実施形態では、画像管理装置３００が１台のコンピュータ９００に実装される場合について説明するが、実施形態はこれに限られない。例えば、他の実施形態においては、画像管理装置３００が災害時にも稼働できるように遠隔に離れた複数の拠点にそれぞれ配置され、デュアルシステムやデュプレックスシステムなどの冗長構成をとるものであっても良い。この場合、画像出力装置２００は、画像データを優先的に伝送する画像管理装置３００を登録しておくことができる。また、画像出力装置２００は、複数の画像管理装置３００に画像データを伝送することで、画像管理システム１の冗長性を高めることができる。
また、他の実施形態においては、複数のコンピュータ９００からなるクラウドコンピューティングシステムによって画像管理装置３００が構成されても良い。この場合、画像管理システム１が備える画像出力装置２００の数が多くなり画像管理装置３００の負荷が増大した場合にも、スケールアウトやスケールアップ等の手法により適切にパフォーマンスを調節することができる。

図２は、第１の実施形態に係る画像出力装置２００の構成を示す概略ブロック図である。
画像出力装置２００は、動画像入力部２０１、人物記憶部２０２、物体検出部２０３、事象特定部２０４、定常動態特定部２０５、画像処理部２０６、及び出力部２０７を備える。
動画像入力部２０１には、撮像装置１００から動画像データが入力される。本実施形態では、画像出力装置２００が１台の撮像装置１００と接続される場合について説明するが、実施形態はこれに限られない。例えば、他の実施形態では、画像出力装置２００が複数台の撮像装置１００と接続されていても良い。
人物記憶部２０２は、動画像データに写る可能性がある人物の情報を記憶する。具体的には、人物記憶部２０２は、人物ごとに、当該人物の顔画像の特徴ベクトル、当該人物が不審人物であるか否かを記憶する。なお、本実施形態では、顔領域の各画素の濃淡情報を特徴ベクトルとする。

物体検出部２０３は、動画像データを解析し、動画像データに写った所定の物体の検出を行う。物体検出部２０３が検出する所定の物体とは、動画像データのうち画像出力装置２００による画像処理の対象となる部分を特定するために利用者などによって指定された種類の物体である。物体の種類とは、例えば、人物、動物、車両など、物体の特徴から特定されるカテゴリーのことである。なお、所定の物体は複数種類の指定があっても良い。具体的には、物体検出部２０３は、動画像データのフレーム画像ごとに、当該フレーム画像に所定の物体のテンプレート画像（例えば、人物の顔領域のテンプレート画像）との相関度が所定の閾値以上となる領域があるか否かを判定することで、所定の物体の検出を行う。また、他の実施形態では、物体検出部２０３は、固有空間法や部分空間法などを適用することで所定の物体の検出を行っても良い。また、他の実施形態では、物体検出部２０３は、所定の物体を複数の方向から撮影した画像に基づいて局所特徴量等の統計量を用いたパターン検出を行うことで所定の物体の検出を行っても良い。

また、物体検出部２０３は、動画像データのフレーム画像間の変化差分に基づいて背景領域を特定することで、動画像データに写った物体の検出を行う。背景領域とは、動画像データにおいて物体としての検出の対象にならない部分のことである。具体的には、物体検出部２０３は、所定の周期の間における動画像データのフレーム画像同士を比較することで、時系列的な画素単位の変化を統計的に求め、背景領域を特定する。そして、物体検出部２０３は、動画像データのフレーム画像における背景領域以外の部分を、物体が写った部分して検出する。これにより、物体検出部２０３は、動画像データに含まれる樹木の揺れなどの背景の変化と、動画像データに含まれる物体とを判別することができる。

事象特定部２０４は、動画像データを解析し、動画像データに写った事象を特定する。動画像データに写った事象とは、実空間において発生したできごとであって、当該動画像データを撮像する撮像装置の視野に捉えられたもののことである。本実施形態に係る事象特定部２０４は、物体検出部２０３が検出した物体の種類と、当該物体の動態と、動画像データの背景領域の変化を、事象として特定する。

本実施形態に係る事象特定部２０４は、物体検出部２０３が所定の物体を検出したときに、当該検出に用いられたテンプレート画像の種類に従って、物体の種類を特定する。例えば、事象特定部２０４は、物体検出部２０３が物体を検出したときに、物体検出部２０３が人物の顔のテンプレート画像を用いた場合、当該物体が人物であると特定する。また事象特定部２０４は、背景との差分に基づいて物体が検出された場合や、複数のテンプレート画像から物体が検出された場合には、当該物体と複数のテンプレート画像とを比較し、最も類似度が高いテンプレート画像の種類に基づいて、当該物体の種類を特定する。つまり、事象特定部２０４は、テンプレート画像との類似度を信頼度として扱う。

事象特定部２０４は、物体検出部２０３が検出した物体の種類が人物であることを特定した場合、当該人物が人物記憶部２０２に記録されている人物であるか否かを特定する。具体的には、事象特定部２０４は、フレーム画像における人物の顔領域から特徴ベクトルを算出し、当該特徴ベクトルと人物記憶部２０２が記憶する特徴ベクトルとを比較して類似度が所定値より高い場合に、当該人物が人物記憶部２０２に記録されていると判定する。特徴ベクトル間の類似度は、例えば２つの特徴ベクトルの内積として得られる。
また、事象特定部２０４は、顔の向きごとのテンプレート画像とフレーム画像における人物の顔領域との比較によって、人物の顔の向きを計算しても良い。

なお、事象特定部２０４は、物体検出部２０３が検出した人物が人物記憶部２０２に記録されていない場合にも、当該人物の属性情報を特定することができる。具体的には、予め属性情報ごとにテンプレート画像を用意しておき、事象特定部２０４は、検出された人物の顔領域の画像と最も類似度が高いテンプレート画像が示す属性情報を、当該人物の属性情報と特定する。属性情報の例としては、年齢、性別、人種、帽子やマスクなどの着用物の有無などが挙げられる。また事象特定部２０４は、物体検出部２０３が検出した人物の顔領域の大きさと撮像装置１００の画角とに基づいて、フレーム画像の全体に対する相対比率から当該人物の身長を特定することができる。また事象特定部２０４は、同じフレーム画像から物体検出部２０３が人物と物体とをそれぞれ検出した場合、当該人物と当該物体との移動方向の相違が所定の閾値以下であるか否かに基づいて、当該人物が当該物体の所有者であるか否かを判定することができる。

また本実施形態に係る事象特定部２０４は、物体検出部２０３によって所定の物体が検出された複数のフレーム画像における当該物体の座標の変化に基づいて、検出された物体の動態を特定する。物体の動態とは、物体の動きの状態のことである。本実施形態では、事象特定部２０４は、物体の移動方向、移動速度及びふらつきの度合いを動態として特定する。また、ある時点で物体検出部２０３によって背景であると判別された領域の一部が、他の時点で物体検出部２０３によって背景でないと判別された場合、事象特定部２０４は、当該物体が持ち去られたことを特定する。他方、ある時点で物体検出部２０３によって背景でないと判別された領域の一部が、他の時点で物体検出部２０３によって背景であると判別された場合、事象特定部２０４は、当該物体が持ち込まれたことを特定する。事象特定部２０４は、持ち去り及び持ち込みの特定を行う場合、背景領域の特定に用いられた周期より長い周期で、背景領域同士の比較を行う。

本実施形態に係る事象特定部２０４は、物体検出部２０３が特定した異なる２つの時刻における背景領域を比較し、背景領域間の明度の差が所定の閾値より大きい場合に、背景領域の変化が生じたことを特定する。例えば、事象特定部２０４は、画面全体または大半の領域で変化が生じた場合に、画面の明るさの変化を特定する。事象特定部２０４は、背景領域の比較を行う２つのフレーム画像の時刻差を、事象として特定すべき背景の変化速度に応じた時間とする。これにより、例えば、屋外光などによる緩やかな照明環境の変化は事象として特定せず、撮像装置１００が屋内から屋外へ移動したことなどによる急な照明環境の変化を事象として特定することができる。また事象特定部２０４は、物体検出部２０３が背景領域に存在する物体を検出した場合、当該物体の状態変化を検知することができる。例えば、物体検出部２０３が背景領域に存在する信号を検出した場合、事象特定部２０４は、当該信号の色を特定することができる。

定常動態特定部２０５は、事象特定部２０４が特定した物体の動態に基づいて、動画像入力部２０１に入力された動画像データに写る物体の定常的な動態を、物体の種類ごとに特定する。具体的には、定常動態特定部２０５は、事象特定部２０４が過去に特定した物体の動態から、移動方向、移動速度及びふらつきの度合いのそれぞれについて統計処理を行うことで、定常的な動態を特定する。例えば、定常動態特定部２０５は、頻出する移動方向、移動速度及びふらつきの度合いの平均値及び標準偏差を、定常的な動態を示す情報としてそれぞれ特定する。また例えば、定常動態特定部２０５は、物体の平均的な動態の時間変化を示すヒストグラムを定常的な動態を示す情報として特定しても良い。つまり、定常動態特定部２０５は、撮像装置１００が設置されたエリアにおける人の流れを特定する。これにより、画像出力装置２００は、物体の動態を定常動態と比較することで、不審な動態の物体を特定することができる。なお、定常動態特定部２０５は、動態特定部の一例であり、定常的な動態は所定の動態の一例である。
本実施形態に係る定常動態特定部２０５は、物体検出部２０３が直近に検出した所定数（例えば１００）の物体の動態について統計処理を行うことで定常的な動態を特定する。なお、他の実施形態では、定常動態特定部２０５は、現在時刻から所定時間前（例えば１時間）から現在時刻までに物体検出部２０３が検出した物体の動態について統計処理を行うことで定常的な動態を特定しても良い。また物体検出部２０３が定常的な動態の特定に必要な数の物体を検出できない間は、定常動態特定部２０５は、利用者の入力などによって予め指定された動態を、定常的な動態として扱う。

画像処理部２０６は、動画像データに対し、事象特定部２０４が特定した事象毎に異なる画像処理を行う。具体的には、画像処理部２０６は、物体の動態が定常的である場合は、動画像データから当該物体が写ったフレーム画像（静止画像データ）を処理済画像データとして生成する画像処理を行う。画像処理部２０６は、物体の動態が定常的でない場合は、動画像データから当該物体が写った部分動画像を処理済画像データとして生成する画像処理を行う。つまり、画像処理部２０６は、定常的に発生しない事象が写っている動画像データに対するデータの削減量を、定常的に発生する事象が写っている動画像データに対するデータの削減量より少なくする。また、画像処理部２０６は、物体の種類が人物である場合は、動画像データから当該人物の少なくとも顔領域を含む領域を抽出する画像処理を行う。なお、本実施形態に係る画像処理部２０６による画像処理は、動画像データの時間的な長さ、空間的な領域、品質及びフレームレートのうち少なくとも１つを変更する画像処理である。また画像処理部２０６は、事象特定部２０４が特定した事象に関する情報をメタデータとして画像データに追加する。

出力部２０７は、画像処理部２０６によって画像処理がなされた処理済画像データを、画像管理装置３００に向けて出力する。画像出力装置２００と画像管理装置３００とはネットワークを介して接続されているので、出力部２０７は、ＨＴＴＰ（Hypertext Transfer Protocol）やＨＴＴＰＳ（HTTP Secure）等の所定のネットワークプロトコルに従って処理済画像データを送信する。

図３は、第１の実施形態に係る画像管理装置３００の構成を示す概略ブロック図である。
画像管理装置３００は、画像受信部３０１、画像記録部３０２、画像データベース３０３、インタフェースデバイス３０４、及び画像解析部３０５を備える。
画像受信部３０１は、画像出力装置２００から処理済画像データを受信する。画像受信部３０１は、ＷＥＢサーバプログラムなどのデータ送受信プログラムを実行することで実現される。
画像記録部３０２は、画像受信部３０１が受信した処理済画像データを画像データベース３０３に記録する。画像記録部３０２は、処理済画像データを、当該処理済画像データの受信日時、送信元の画像出力装置２００のＩＤ、及び当該処理済画像データのメタデータに関連付けて画像データベース３０３に記録する。画像出力装置２００のＩＤとしては、例えば当該画像出力装置２００のＭＡＣアドレス、当該画像出力装置２００に接続された撮像装置１００のＩＤ、またはこれらの組み合わせなどを用いることができる。画像記録部３０２は、管理側記録部の一例である。

インタフェースデバイス３０４は、キーボード、マウス、タッチパッドなどの入力デバイス及びディスプレイなどの出力デバイスである。インタフェースデバイス３０４は、画像管理システム１のユーザから解析指示を入力される。インタフェースデバイス３０４は、画像解析部３０５による処理済画像データの解析結果を出力する。
画像解析部３０５は、インタフェースデバイス３０４を介してユーザから入力された解析指示に従って画像データベース３０３に蓄積された処理済画像データを解析する。例えば、画像解析部３０５は、検索指示に従って画像データベース３０３から処理済画像データの一覧を生成する。

次に、本実施形態に係る画像管理システム１の動作について説明する。
図４は、第１の実施形態に係る画像出力装置２００の動作を示すフローチャートである。
画像出力装置２００がネットワークに接続され、撮像装置１００が撮像を開始すると、画像出力装置２００の動画像入力部２０１には、撮像装置１００が撮像した動画像データが逐次入力される（ステップＳ１）。つまり動画像入力部２０１には動画像データのフレーム画像が当該動画像データのフレーム時間ごとに入力される。

次に物体検出部２０３は動画像入力部２０１に入力されたフレーム画像について画像処理を行い、所定の物体の検出を行う（ステップＳ２）。具体的には、物体検出部２０３は、物体の種類（例えば、人物、車両、動物など）ごとのテンプレート画像とフレーム画像との比較処理や、背景差分の取得などの画像処理によって、物体の検出を行う。次に、物体検出部２０３は、フレーム画像から所定の物体を検出したか否かを判定する（ステップＳ３）。

物体検出部２０３は、所定の物体を検出したと判定した場合（ステップＳ３：ＹＥＳ）、当該物体がフレーム画像から検出されなくなるまで当該検出を継続することで、動画像データの中から当該物体が含まれる時間範囲を特定する（ステップＳ４）。次に、事象特定部２０４は、物体検出部２０３が特定した時間範囲のフレーム画像を解析し、物体検出部２０３が検出した物体の種類及び動態を特定する（ステップＳ５）。つまり、事象特定部２０４は、動画像データのうち物体検出部２０３が検出した物体が写った部分を解析する。

次に、事象特定部２０４は、ステップＳ５で特定した動態と、定常動態特定部２０５が過去の物体の動態から特定した定常的な動態とを比較し、物体検出部２０３が検出した物体の動態が定常的なものであるか否かを判定する（ステップＳ６）。具体的には、事象特定部２０４は、定常動態特定部２０５が特定した平均的な動態と特定した動態との差と、定常動態特定部２０５が特定した標準偏差とを比較することで、動態が定常的なものであるか否かを判定する。また、事象特定部２０４は、定常動態特定部２０５が定常的な動態を示すヒストグラムを生成した場合、当該ヒストグラムと特定した動態を示すヒストグラムとの類似度が所定値より高い場合に、当該動態が定常的であると判定する。なお、事象特定部２０４は、物体が持ち込みや持ち去りを、定常的でない動態として扱う。
事象特定部２０４は、物体検出部２０３が検出した物体の動態が定常的なものと判定した場合（ステップＳ６：ＹＥＳ）、当該物体の種類が人物であるか否かを判定する（ステップＳ７）。

物体の動態が定常的なものであり、かつ物体の種類が人物である場合（ステップＳ７：ＹＥＳ）、画像処理部２０６は、物体検出部２０３がステップＳ４で特定した時間範囲における動画像データのうち、当該人物の顔領域の面積が最も大きいフレーム画像から、当該人物の顔領域の静止画像データを処理済画像データとして生成する（ステップＳ８）。そして出力部２０７はネットワークを介して当該静止画像データを画像管理装置３００に出力する。
他方、物体の動態が定常的なものであり、かつ物体の種類が人物でない場合（ステップＳ７：ＮＯ）、画像処理部２０６は、物体検出部２０３がステップＳ４で特定した時間範囲における動画像データのうち、当該物体の顔領域の面積が最も大きいフレーム画像を処理済画像データとして生成する（ステップＳ９）。そして出力部２０７はネットワークを介して当該フレーム画像を画像管理装置３００に出力する。

このように、画像処理部２０６は、物体の動態が定常的なものである場合、つまり動態が特徴的でない場合に、当該物体を含む静止画像データを生成する。これにより、出力部２０７は、動画像データを出力する場合と比較して、出力する画像データのデータ量を大きく削減することができる。また、画像処理部２０６は、物体の種類が人物である場合、当該人物の判別に要する顔領域の静止画像データを処理済画像データとして生成する。これにより、出力部２０７は、撮像装置１００による撮像範囲全体の静止画像データを出力する場合と比較して、出力する画像データのデータ量を大きく削減することができる。他方、画像処理部２０６は、物体の種類が人物でない場合、撮像装置１００による撮像範囲全体の静止画像データを処理済画像データとして生成する。これにより、出力部２０７は、検出された物体を取り巻く環境を判別できる静止画像データを出力することができる。

他方、事象特定部２０４は、物体検出部２０３が検出した物体の動態が定常的なものでないと判定した場合（ステップＳ６：ＮＯ）、当該物体の種類が人物であるか否かを判定する（ステップＳ１０）。

事象特定部２０４は、物体の種類が人物であると判定した場合（ステップＳ１０：ＹＥＳ）、当該人物が人物記憶部２０２に記憶されていない人物（未登録人物）または不審人物として記憶されている人物であるか否かを判定する（ステップＳ１１）。
動画像に写った人物の動態が定常的でなく、かつ当該人物が未登録でなくかつ不審人物でない場合（ステップＳ１１：ＮＯ）、画像処理部２０６は、物体検出部２０３がステップＳ４で特定した時間範囲における動画像データから、当該人物の領域を抽出した動画像データを処理済画像データとして生成する（ステップＳ１２）。そして出力部２０７はネットワークを介して当該動画像データを画像管理装置３００に出力する。

他方、動画像に写った人物の動態が定常的でなく、かつ当該人物が未登録人物または不審人物である場合（ステップＳ１１：ＹＥＳ）、画像処理部２０６は、物体検出部２０３がステップＳ４で特定した時間範囲に係る動画像データを処理済画像データとして生成する（ステップＳ１３）。画像処理部２０６は、このとき動画像データから一部領域を抽出せず、撮像装置１００による撮像範囲全体の動画像データを処理済画像データとする。そして出力部２０７はネットワークを介して当該動画像データを画像管理装置３００に出力する。

また、動画像に写った物体の動態が定常的でなく、かつ当該物体の種類が人物でない場合（ステップＳ１０：ＮＯ）、画像処理部２０６は、ネットワークを介したデータの転送速度が所定の閾値以上であるか否かを判定する（ステップＳ１４）。つまり、画像処理部２０６はネットワークが混雑しているか否かを判定する。画像処理部２０６は、ネットワークを介したデータの転送速度が所定の閾値以上であると判定した場合（ステップＳ１４：ＹＥＳ）、物体検出部２０３がステップＳ４で特定した時間範囲に係る動画像データを処理済画像データとして生成する（ステップＳ１３）。画像処理部２０６は、このとき動画像データから一部領域を抽出せず、撮像装置１００による撮像範囲全体の動画像データを処理済画像データとする。そして出力部２０７はネットワークを介して当該動画像データを画像管理装置３００に出力する。

他方、画像処理部２０６は、ネットワークを介したデータの転送速度が所定の閾値未満であると判定した場合（ステップＳ１４：ＮＯ）、物体検出部２０３がステップＳ４で特定した時間範囲に係る動画像データを圧縮することで処理済画像データを生成する（ステップＳ１５）。動画像データの圧縮は、例えばフレームレート、解像度、画質などを低下させる方法や、動画像データ全体から情報を均等に間引く方法、動画像データのうち変動の大きい部分のみを抽出する方法などによって行われる。そして出力部２０７はネットワークを介して当該動画像データを画像管理装置３００に出力する。

このように、画像処理部２０６は、物体の動態が定常的なものでない場合、つまり動態が特徴的である場合に、静止画像データではなく動画像データを処理済画像データとする。これにより、出力部２０７は、検出された物体の動態を判別できる動画像データを出力することができる。また、画像処理部２０６は、物体の種類が不審人物でない登録された人物である場合、当該人物領域を抽出した動画像データを処理済画像データとする。これにより、出力部２０７は、撮像装置１００による撮像範囲全体の動画像データを出力する場合と比較して、出力するデータのデータ量を大きく削減することができる。他方、画像処理部２０６は、物体の種類が不審人物もしくは未登録人物である場合、または人物でない場合、撮像装置１００による撮像範囲全体の動画像データを処理済画像データとする。これにより、出力部２０７は、物体を取り巻く環境を判別できる動画像データを出力することができる。このとき、物体の種類が人物でない場合は、通信速度に応じてデータの圧縮を行い、不審人物もしくは未登録人物である場合にはデータの圧縮を行わない。これにより、不審人物もしくは未登録人物の顔を利用者に認識させることができる。

ステップＳ３で物体検出部２０３が物体を検出しなかった場合（ステップＳ３：ＮＯ）、事象特定部２０４は、背景領域の変化が生じたか否かを判定する（ステップＳ１６）。事象特定部２０４が背景領域の変化が生じたと判定した場合（ステップＳ１６：ＹＥＳ）、画像処理部２０６は、背景領域の変化前から変化後までの動画像データを抽出し、当該背景領域の変化の速度に応じたフレームレートに変換する（ステップＳ１７）。つまり、変化が急激である場合はフレームレートが高く、変化が緩やかである場合はフレームレートが低くなる。これにより、画像処理部２０６は、背景領域の変化の認識が可能で、かつデータ量の小さい動画像データを処理済画像データとして生成することができる。そして出力部２０７はネットワークを介して当該動画像データを画像管理装置３００に出力する。他方、画像フレームから物体が検出されず、かつ背景領域の変化も生じていない場合（ステップＳ１６：ＮＯ）、当該フレーム画像については画像処理及び画像データの出力を行わない。

このように、本実施形態に係る画像出力装置２００は、動画像データに写った物体の種類及び動態よって異なる画像処理を行い、画像処理がなされた処理済画像データを画像管理サーバに出力する。画像管理装置３００の画像受信部３０１は当該処理済画像データを受信し、画像記録部３０２は逐次画像データベース３０３に処理済画像データを記録する。

図５は、画像データベース３０３が記憶する情報の例を示す図である。
画像データベース３０３は、動画像データまたは静止画像データに関連付けて、当該データの抽出領域、写った物体の種類及び物体の動態を記憶する。特に、画像データベース３０３は、動画像データまたは静止画像データに人物が写っている場合、当該人物の名前、年齢、性別、人種、及び不審人物であるか否かをさらに記憶する。
そして、利用者がインタフェースデバイス３０４を介して画像管理装置３００に対して解析の要求を入力すると、画像解析部３０５は、画像データベース３０３が記憶する情報を解析し、インタフェースデバイス３０４を介して利用者に対して解析結果を提示する。

図６、図７及び図８は、画像データの解析結果の表示例を示す図である。
画像解析部３０５による解析の例としては、所定の物体の検索や所定の場所に出現した物体の検索などの検索処理や、複数のデータに基づく統計解析などが挙げられる。画像管理装置３００は、検索処理の出力結果として、例えば図５に示すテーブルを、表示画面情報として出力する。

統計解析の例としては、所定の場所を通行する人物の年代別の通行人数や、特定人物の移動軌跡などが挙げられる。
画像管理装置３００は、所定の場所を通行する人物の年代別の通行人数を出力する場合、図６に示すように、年代と性別の組み合わせと時刻の関係を示す通行人数のテーブルを表示画面情報として出力する。また、他の出力例として画像管理装置３００は、図７に示すように、縦軸に人数をとり、横軸に時刻をとった通行人数のヒストグラムを表示画面情報として出力しても良い。このとき、画像管理装置３００は、ヒストグラムのビンによって時刻ごとの通行人数を示し、ビンを年代ごとに色分けする。
画像管理装置３００は、特定人物の移動軌跡を出力する場合、図７に示すように、探索対象人物の属性情報と、移動軌跡を時系列に並べた表と、移動軌跡を描画した地図情報と、移動軌跡の終点で撮像された動画像データまたは静止画像データとを含む表示画面情報を出力する。

このように、本実施形態に係る画像管理システム１は、撮像装置１００が撮像した動画データに写った物体の種類及び動態に応じて、異なる画像処理を実行する。これにより、画像管理システム１は、発生した事象に応じて要求される情報を含み、かつデータ量が少ない処理済画像データを生成することができる。つまり、本実施形態に係る画像管理システム１は、画像出力装置２００から画像管理装置３００に処理済画像データを送信することによるネットワークへの負荷の増大を抑えることができる。

（第２の実施形態）
次に第２の実施形態について説明する。第２の実施形態に係る画像出力装置２００のシステム構成は第１の実施形態と同じである。
図９は、第２の実施形態に係る画像出力装置２００の構成を示す概略ブロック図である。第２の実施形態に係る画像出力装置２００は、第１の実施形態の構成に加えて、さらに動画像記録部２０８と動画像記憶部２０９と条件入力部２１０とを備える。動画像記憶部２０９は、出力側記憶部の一例である。

動画像記録部２０８は、動画像入力部２０１に入力された動画像データを、逐次動画像記憶部２０９に記録する。動画像記録部２０８は、動画像入力部２０１に入力された動画像データを圧縮せずに記録しても良いし、所定の動画像フォーマットに変換して記録しても良い。
動画像記憶部２０９は、動画像入力部２０１に入力された動画像データを、当該動画像データの撮像時刻に関連付けて記憶する。動画像記憶部２０９は、撮像時刻が現在時刻から所定時間前以前のものを、順次削除する。これにより、動画像記憶部２０９は、常に最新の動画像データを記憶しておくことができる。なお、画像管理装置３００の画像データベース３０３による画像データの保持期間動画像記憶部２０９による画像データの保持期間より長いものとする。他方、画像データベース３０３が記憶する画像データは、画像処理部２０６によって画像処理されたものであるため、画像データベース３０３が記憶する画像データのデータ量は、動画像記憶部２０９が記憶する画像データのデータ量より少ない。これにより、画像管理装置３００は画像データを長期間保管することができ、画像出力装置２００は欠落のない動画像データを保管することができる。つまり、本実施形態よれば、画像出力装置２００が記憶する動画像データを参照可能にすることで、画像管理装置３００が記憶する処理済画像データに不足する部分を補うことができる。

また、他の実施形態では、動画像記憶部２０９は、撮像時刻が古いものほど動画像データを圧縮して記憶することで、最新の動画像データを高品質で保持しつつ長期間の動画像データを記憶しても良い。また、他の実施形態では、動画像記憶部２０９は、容量オーバーにより動画像記憶部２０９が新たな動画像データを記憶できなくなったときに、撮像時刻が古い順に動画像データを削除しても良い。

条件入力部２１０は、画像管理装置３００から画像処理部２０６による画像処理の条件の入力を受け付ける。本実施形態によれば、画像出力装置２００は、利用者のニーズに応じて画像処理部２０６による画像処理を変更することができる。
これにより、画像処理部２０６は、以降の画像処理の条件を、条件入力部２１０に入力された条件に切り替える。また、物体検出部２０３及び事象特定部２０４は、動画像記憶部２０９が記憶する動画像データについて、物体の検出及び事象の特定を行い、画像処理部２０６は、その結果に基づいて、動画像記憶部２０９が記憶する動画像データに対して画像処理を行う。

図１０は、第２の実施形態に係る画像管理装置３００の構成を示す概略ブロック図である。第２の実施形態に係る画像管理装置３００は、第１の実施形態の構成に加えて、さらに条件送信部３０６を備える。
条件送信部３０６は、インタフェースデバイス３０４を介して入力された、画像処理条件を、画像出力装置２００に送信する。

図１１は、画像処理の条件の設定画面の例を示す図である。
インタフェースデバイス３０４は、図１１に示すように、設定された条件と当該条件に対応する画像処理の内容とを関連付けたテーブルを設定画面として表示する。事象の条件としては、動態が定常であるか否か、対象の物体が移動体であるか背景であるか、対象の物体が人物であるか否か、人物である場合は当該人物のＩＤ、対象の動態の種類などが挙げられる。画像処理の内容としては、出力形式が動画像データであるか静止画像データであるか、動画像データである場合はそのフレームレート、出力データの品質、抽出する領域などが挙げられる。項目として限定をしない場合には、利用者は「＊全て」を選択することで、その項目に制限をかけずに条件を設定することができる。重複する設定項目が存在する場合、画像管理装置３００は、その時点で警告を出力しても良いし、上位概念または下位概念の条件のうち優先させる方を選択させても良い。

また、条件送信部３０６は、インタフェースデバイス３０４を介した指示に従って、画像出力装置２００に過去に撮像された動画像データの要求を送信する。これにより、利用者は、画像データベース３０３に記録されていない動画像データを閲覧することができる。

以上説明した少なくともひとつの実施形態によれば、画像出力装置２００は、動画像データのうち所定の事象が写った部分に対して、当該事象毎に異なる画像処理を行うことにより、発生した事象に応じて要求される情報を含み、かつデータ量が少ない処理済画像データを生成することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

上述した実施形態では、撮像装置１００と画像出力装置２００とが有線または無線により直接接続されるが、実施形態はこれに限られない。例えば、他の実施形態では、撮像装置１００と画像出力装置２００とがネットワークを介して接続されても良い。この場合にも、撮像装置１００は、災害時などネットワークへの接続が困難な場合にも画像出力装置２００との通信を確保するため、ネットワークへの接続手段とは別に、有線または無線により画像出力装置２００と接続する手段を備える。また、ネットワークを介して動画像データを伝送する場合、撮像装置１００は、当該動画像データを暗号化して伝送しても良い。これにより、画像管理システム１は、動画像データの流出や改ざんを防ぐことができる。

なお、上述した実施形態では、物体検出部２０３が所定の物体のテンプレート画像と動画像データのフレーム画像とを比較することで所定の物体の検出を行うが、実施形態はこれに限られない。例えば、他の実施形態では、物体検出部２０３は、固有空間法や部分空間法などを適用することで所定の物体の検出を行っても良い。また、他の実施形態では、物体検出部２０３は、所定の物体を複数の方向から撮影した画像に基づいて局所特徴量等の統計量を用いたパターン抽出検出を行うことで所定の物体の検出を行っても良い。

なお、上述した実施形態では、事象特定部２０４が、動画像データに写った人物の顔領域の特徴ベクトルと人物記憶部２０２が記憶する特徴ベクトルとの比較により、動画像データに写った人物を特定するが、実施形態はこれに限られない。例えば、他の実施形態では、事象特定部２０４が虹彩、指紋、静脈、掌紋、耳型などの生体情報を用いて人物の認証を行っても良い。また、他の実施形態では、事象特定部２０４が当該人物が所有するカード等の媒体の情報を読み取ることで、人物の認証を行っても良い。

なお、上述した実施形態では、画像処理部２０６が、動画像データに写った人物が所定の人物であるか否かに応じて画像処理を異ならせるが、実施形態はこれに限られない。例えば、画像処理部２０６は、動画像データに写った車両が所定の車両であるか否かに応じて画像処理を異ならせても良い。この場合、事象特定部２０４は、フレーム画像のパターン認識によって車種や車両のナンバープレートの認識を行うことで、当該車両が所定の車両であるか否かを判定する。

なお、上述した実施形態では、インタフェースデバイス３０４がディスプレイへの表示により解析結果を出力するが、実施形態はこれに限られない。例えば、他の実施形態では、インタフェースデバイス３０４は、所定の人物が写った動画像が発見されたことをスピーカを介して音声で出力しても良い。また、他の実施形態では、インタフェースデバイス３０４は、解析結果を電子メールなどによって送信することで解析結果を出力しても良い。当該電子メールに画像を添付することによって監視装置などのアラートと同様の効果を実現することができる。なお、他の実施形態では、画像管理装置３００は、インタフェースデバイス３０４を介して解析結果の通知方法をユーザによって指定されても良い。

なお、上述した実施形態では、物体の動態が定常的なものであるか否かに応じて画像処理部２０６による画像処理を異ならせるが、実施形態はこれに限られない。例えば、他の実施形態では、画像処理部２０６が物体の動態が予め定められたものであるか否かに応じて画像処理を異ならせても良い。具体的には、予め「駆け抜けた人を検知する」という条件が設定されている場合、画像処理部２０６は、動画像データのうち動態が定常的なものであったとしても移動速度が所定の閾値以上の物体を含む部分について所定の画像処理を行う。このように、画像処理部２０６は、物体の移動方向、移動速度、ふらつきの度合いなどの閾値を予め定めておき、物体の動態と予め定められた閾値との比較を行うことで実行する画像処理を決定しても良い。

なお、上述した実施形態では、画像出力装置２００が、動画像データに写った事象のみに応じて実行する画像処理を変更するが、実施形態はこれに限られない。例えば、他の実施形態では、動画像データに写った事象に加え、撮像場所や撮像時刻に応じて画像処理を異ならせても良い。

なお、上述した実施形態では、画像出力装置２００が、図４に示すフローチャートに基づいて、動画像データに物体が写っていない場合に、背景の変化があるか否かを判定するが、実施形態はこれに限られない。例えば、他の実施形態では、画像出力装置２００は、物体の検出、種類・動態の特定、背景の変化の有無の検出をそれぞれ行った後に、特定した事象の信頼度が最も高いものに関連する画像処理を行っても良い。この場合、物体の種類及び人物の信頼度としては、例えば、フレーム画像の部分とテンプレート画像との類似度を用いることが出来る。また背景の変化に係る信頼度としては、例えば、背景の変化があった場合のヒストグラムの各ビンの最大値と最小値に基づいてヒストグラムの値を正規化することによって得られた値を用いることができる。

図１２は、少なくとも１つの実施形態に係るコンピュータ９００の構成を示す概略ブロック図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述の画像出力装置２００及び画像管理装置３００は、それぞれコンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２に確保する。

なお、少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…画像管理システム １００…撮像装置 ２００…画像出力装置 ２０１…動画像入力部 ２０２…人物記憶部 ２０３…物体検出部 ２０４…事象特定部 ２０５…定常動態特定部 ２０６…画像処理部 ２０７…出力部 ２０８…動画像記録部 ２０９…動画像記憶部 ２１０…条件入力部 ３００…画像管理装置 ３０１…画像受信部 ３０２…画像記録部 ３０３…画像データベース ３０４…インタフェースデバイス ３０５…画像解析部 ３０６…条件送信部 ９００…コンピュータ ９０１…ＣＰＵ ９０２…主記憶装置 ９０３…補助記憶装置 ９０４…インタフェース

Claims (8)

1. 撮像された動画像から物体を検出する物体検出部と、
   撮像された動画像から物体の動きを特定する事象特定部と、
   前記物体検出部で検出された物体の動きが、前記事象特定部により一定の変化に係る動きであると特定された場合は、前記動画像より静止画を出力する静止画出力部と、
   前記物体検出部で検出された物体の動きが、前記事象特定部により一定の変化に係る動きでないと特定された場合は、前記動画像を出力する動画出力部と、
   を備える画像出力装置。
2. 前記物体検出部が過去に検出した物体の動きに基づいて前記一定の変化に係る動きを特定する動態特定部をさらに備える
   請求項１に記載の画像出力装置。
3. 前記動態特定部は、前記物体検出部が過去に検出した物体の動きについて統計処理を行うことで、前記一定の変化に係る動きを特定する
   請求項２に記載の画像出力装置。
4. 前記動態特定部は、前記物体検出部が過去に検出した物体の移動方向、移動速度及びふらつきの度合いの少なくとも１つの平均値及び標準偏差を、前記一定の変化に係る動きの情報として特定し、
   前記事象特定部は、前記物体検出部で検出された物体の移動方向、移動速度及びふらつきの度合いの少なくとも１つと、前記動態特定部が特定した平均値及び標準偏差とに基づいて、前記物体検出部で検出された物体の動きが一定の変化に係る動きであるか否かを特定する
   請求項３に記載の画像出力装置。
5. 前記動態特定部は、前記物体検出部が過去に検出した物体の平均的な動きの時間変化を示すヒストグラムを、前記一定の変化に係る動きの情報として特定し、
   前記事象特定部は、前記物体検出部で検出された物体の動きを示すヒストグラムと前記動態特定部が特定したヒストグラムとに基づいて、前記物体検出部で検出された物体の動きが一定の変化に係る動きであるか否かを特定する
   請求項３に記載の画像出力装置。
6. 画像出力装置と、当該画像出力装置が処理した動画像を管理する画像管理装置とを備え、
   前記画像出力装置は、
   撮像された動画像から物体を検出する物体検出部と、
   撮像された動画像から物体の動きを特定する事象特定部と、
   前記物体検出部で検出された物体の動きが、前記事象特定部により一定の変化に係る動きであると特定された場合は、前記動画像より静止画を出力する静止画出力部と、
   前記物体検出部で検出された物体の動きが、前記事象特定部により一定の変化に係る動きでないと特定された場合は、前記動画像を出力する動画出力部と、
   を備え、
   前記画像管理装置は、
   前記画像出力装置から入力された前記動画像または前記静止画を管理側記憶部に記録する管理側記録部
   を備える画像管理システム。
7. 撮像された動画像から物体を検出するステップと、
   撮像された動画像から物体の動きを特定するステップと、
   前記検出された物体の動きが、一定の変化に係る動きであると特定された場合は、前記動画像より静止画を出力するステップと、
   前記検出された物体の動きが、一定の変化に係る動きでないと特定された場合は、前記動画像を出力するステップと
   を有する画像処理方法。
8. コンピュータを、
   撮像された動画像から物体を検出する物体検出部、
   撮像された動画像から物体の動きを特定する事象特定部、
   前記物体検出部で検出された物体の動きが、前記事象特定部により一定の変化に係る動きであると特定された場合は、前記動画像より静止画を出力する静止画出力部、
   前記物体検出部で検出された物体の動きが、前記事象特定部により一定の変化に係る動きでないと特定された場合は、前記動画像を出力する動画出力部、
   として機能させるためのプログラム。

Images