JPWO2018179151A1 - 映像解析装置、映像解析方法、および映像解析プログラム - Google Patents

Abstract

無駄な計算資源を消費することなく、カメラ設置条件や環境要因による多様な環境変動に自動対応できる映像解析装置を提供する。映像解析装置は、入力される映像に対して異なる処理を実行可能な複数の処理実行部と、映像に基づいて、外的環境に起因する映像の変動を分析する分析部と、分析された変動に基づいて、複数の処理実行部から少なくとも１つを選択する処理選択部と、を備える。

Description

本発明は映像解析装置、映像解析方法、および映像解析プログラムに関する。

特許文献１は、関連技術の映像解析システムの一例を記載している。図１５に示すように、この特許文献1の映像解析システムは、対象物を撮影するカメラ１２と、画像取得部２０と、画像補正部２２と、位置検出部２４と、信頼度演算部２６とから成る。

このような構成を有する特許文献１の映像解析システムは次のように動作する。

すなわち、画像取得部２０が対象となるポインティングマーカを撮像する。画像補正部２２がマーカを検出しやすいように画像を補正する。位置検出部２４が画像中のマーカ位置を推定する。信頼度演算部２６が位置の信頼度を算出し信頼度が高いデータのみを選択する。

特許文献２は、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とする「画像認識システム」を開示している。

特許文献２に記載の画像認識システムは、入力される画像データを複数の認識器で並列に処理する認識処理部、各認識器の出力を統合する統合部、処理の目標となる教師データを用いて認識器を学習的に更新する学習部を基本構成としている。

認識処理部は、複数の認識器で入力画像を並列に処理し、対象を抽出して処理画像を出力する。認識器として、複数の画像フィルタを木構造に組み合わせた木構造状画像フィルタを採用している。木構造の最適化は、各種シーンに対応するため、予めオフラインの事前学習においても実行され、典型的なシーン、例えば、昼、夜、天候、環境（高速道路、幹線道路、市街地等）に特化した認識器として認識器データベースにストックされる。

学習部は、個々の認識器を評価する認識器評価部、全ての認識器の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部、教師データを元に新たに認識器を作成する逐次学習部を備える。

認識器評価部は、教師データとなる画像の入力により、現在使用している木構造フィルタ列、及び認識器データベースにストックされている木構造フィルタ列を個別に評価する。

入替選択部は、現在用いている木とストックしている木とを含めて全ての木の中から、最も評価が高くなるＮ本の木の組み合わせを求める。

最適な木の組み合わせに関しては、組み合わせた木群の統合画像を用いて評価を行う。例えば、統合画像を目標画像と比較して評価値を算出する。

特許文献３は、対象物の種類が多く、その画像データの特性にばらつきがあっても自動的に適正なアルゴリズムにて画像データを処理して適正な画像認識を行う「画像認識方法及び装置」を開示している。

特許文献３に開示された画像認識装置は、撮像カメラと画像処理装置とを備える。画像処理装置は、Ａ／Ｄ変換器、画像データメモリ、中央演算部、プログラムメモリ、第１〜第６の画像処理モジュールから成る。各画像処理モジュールは、メモリと演算部を備える。

対象物を撮影カメラによって撮影する。撮影カメラから出力された映像信号は画像処理装置に入力される。入力された映像信号はＡ／Ｄ変換器で８ビットデジタル信号に変換され、画像データメモリに記憶される。中央演算部は、プログラムメモリに記憶されたプログラムに従って、各画像処理モジュールにそれぞれ画像データと処理内容（アルゴリズム）のプログラムを送る。

各画像処理モジュールに送られてきた画像データと処理内容のプログラムはメモリに格納され、演算部が格納された画像データを処理内容のプログラムに従って処理し、結果を中央演算部に知らせる。各画像処理モジュールで２値化のしきい値を異ならせている。

中央演算部は、各画像処理モジュールから送られてきた画像処理結果を見て、最適な解を出した画像処理モジュールを選択し、その結果を採用して対象物の形状や位置（姿勢を含む）などを演算して認識結果を得る。

特開２００９−２４５３４９号公報 特開２００８−２０４１０３号公報 特開２０００−１９４８６１号公報

Said Pertuz, Domencec Puig, Miguel Angel Garcia, "Analysis of focus measure operators for shape-form-focus", Pattern Recognition, November 2012

前述した特許文献１〜３には、それぞれ、次に述べるような問題がある。

特許文献１の問題点は、適用可能な環境条件が限定的である事である。その理由は、従来の技術は一般家庭の室内のような照明やカメラの設置環境に一定の制約がある環境を想定し、画像補正を行っている。しかしながら、このような画像補正では、街頭監視のように設置場所や日光による影響、強風や降雨など多様な環境変動が存在する用途には適用困難であるためである。

特許文献２は、単に、多様な環境や対象に合わせて適応的に認識器を学習し更新する技術思想を開示しているに過ぎない。すなわち、特許文献２では、入力される画像データの中から最適な画像データを選別してはいない。

特許文献３は、すべての画像処理モジュールで実行した後で、画像処理結果を見て、最適な解を出した画像処理モジュールを選択している。そのため、特許文献３では、無駄な計算資源の消費が発生しまうという問題がある。

［発明の目的］
本発明の目的は、上述した課題のいずれかを解決できる映像解析装置を提供することにある。

本発明の映像解析装置は、入力される映像に対して異なる処理を実行可能な複数の処理実行部と、前記映像に基づいて、外的環境に起因する映像の変動を分析する分析部と、前記分析された変動に基づいて、前記複数の処理実行部から少なくとも１つを選択する処理選択部とを有する。

本発明の効果は、無駄な計算資源を消費することなく、多様な環境変動に自動対応できることにある。

本発明の実施形態に係る映像解析装置の構成を示すブロック図である。 図１に示した映像解析装置の動作を示す流れ図である。 図１に示した映像解析装置のハードウェア構成を示すブロック図である。 本発明の第１の実施例に係る映像解析装置の構成を示すブロック図である。 図４に示した映像解析装置に使用される特性記憶部に記憶される選別特性情報の一例を説明する図である。 図４に示した映像解析装置に使用される特性記憶部に記憶される環境情報選別機能対応ルールの一例を説明する図である。 図４に示した映像解析装置の選別選択動作を示す流れ図である。 図４に示した映像解析装置の適用を想定している顔認証装置を示すブロック図である。 図４に示した映像解析装置に使用される選別切替部の動作を説明するための環境情報の概念図である。 本発明の第２の実施例に係る映像解析装置の構成を示すブロック図である。 図１０に示した映像解析装置の選別選択動作を示す流れ図である。 図１０に示した映像解析装置の選別動作を示す流れ図である。 図１０に示した映像解析装置の結果統合部による複数選別処理の統合処理の一例を説明するための図である。 本発明の第３の実施例に係るインテリジェントカメラの構成を示すブロック図である。 特許文献１に開示された映像解析システムの構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る映像解析装置１００の構成を示すブロック図である。

図示の映像解析装置１００は、第１乃至第Ｎ（Ｎは２以上の整数）の処理実行部１１０−１、１００−２、・・・１００−Ｎと、分析部１２０と、処理選択部１３０とから成る。

第１乃至第Ｎの処理実行部１１０−１〜１１０−Ｎの各々は、入力される映像に対して異なる処理を実行可能である。分析部１２０は、映像に基づいて、外的環境に起因する映像の変動（劣化を含む）を分析する。処理選択部１３０は、分析された変動に基づいて、第１乃至第Ｎの処理実行部１１０−１〜１１０−Ｎから少なくとも１つを選択して、選択した処理実行部に映像の処理を実行させる。

このように、本実施形態では、映像の処理を、第１乃至第Ｎの１１０−１〜１１０−Ｎの全てに実行させるのではなく、実行する前に使用する処理実行部を選択している。これにより、無駄な計算資源の消費を抑えている。

次に、図２を参照して、映像解析装置１００の動作について説明する。

先ず、分析部１２０が、入力される映像に基づいて、外的環境に起因する映像の変動（劣化を含む）を分析する（ステップＳ１０１）。

次に、処理選択部１３０が、分析された変動に基づいて、第１乃至第Ｎの１１０−１〜１１０−Ｎから少なくとも１つを選択する（ステップＳ１０２）。

尚、映像解析装置１００の各部（各構成要素）は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。

図３は、映像解析装置１００をハードウェアとソフトウェアとを組み合わせた形態を示す映像解析装置２００を示すブロック図である。

図示の映像解析装置２００は、Ａ／Ｄ変換器２１０と、ＣＰＵ（central processing unit）２２０と、ワークメモリ２３０と、プログラムメモリ２４０とから成る。

Ａ／Ｄ変換器２１０は、カメラで撮像されたアナログ映像信号をデジタル映像信号に変換する。ＣＰＵ２２０は、映像解析装置２００の動作を制御する制御部として働く。ワークメモリ２３０は、例えば、ＲＡＭ（random access memory）で構成され、デジタル映像信号やＣＰＵ２２０での処理結果を一時的に格納する。プログラムメモリ２４０は、例えば、ＲＯＭ（read only memory）やＲＡＭで構成され、映像解析プログラムが格納されている。

ＣＰＵ２２０は、プログラムメモリ２４０に格納された映像解析プログラムに基づいて、所定の処理を実行することで、各部（各構成要素）を各種手段として実現する。また、該映像解析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された映像解プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記実施の形態を別の表現で説明すれば、映像解析装置２００として動作させるコンピュータを、プログラムメモリ２４０に格納された映像解析プログラムに基づき、第１乃至第Ｎの処理実行部１１０−１〜１１０−Ｎ、分析部１２０、および処理選択部１３０として動作させることで実現することが可能である。

以上説明したように、本発明の実施形態によれば、無駄な計算資源を消費することなく、多様な環境変動に自動対応できる。

[構成の説明]
次に、本発明の実施例について図面を参照して詳細に説明する。

図４は、本発明の第１の実施例に係る映像解析装置３００の構成を示すブロック図である。

図４を参照すると、本発明の第１の実施例に係る映像解析装置３００は、データ入力部３１０と、解析部３２０と、選別切替部３３０と、環境分析部３４０と、選別選択部３５０と、特性記憶部３６０と、複数の選別部３７０−１、３７０−２、・・・と、データ出力部３８０から成る。

これらの手段はそれぞれ概略つぎのように動作する。

データ入力部３１０は、例えばカメラのようなデータ取得装置から処理対象データを取得する。解析部３２０は、データ入力部３１０の取得したデータを受け取り、画像中の対象物検知や音声中の異常音検知等の解析処理を行う。また、解析部３１０は選別選択部３５０から指定された追加の解析データがある場合は、追加の解析を行い結果へ追加する。

選別切替部３３０は、解析部３２０の結果を選別選択部３５０から指定された選別部３７０へ渡すようにデータの受け渡しを切り替える。

環境分析部３４０は、データ入力部３１０の取得したデータを受け取り、画像中の輝度やブレなどの環境情報を分析する。ここで環境情報の分析は、全ての入力データに実施する必要はなく、定期サンプリングなど環境分析内容に応じた任意の実行頻度でよい。選別選択部３５０は、環境分析部３４０が分析した環境情報と、特性記憶部３６０に記憶されている選別特性情報および環境情報選別機能対応ルールに応じて最適な選別部３７０を選択する。また、選別選択部３５０は、選択した該選別に必要な追加の解析が必要となる場合、解析部３２０へ追加の解析を依頼する。

したがって、複数の選別部３７０は、図１の処理実行部１１０−１〜１１０−Ｎとして働く。環境分析部３４０と特性記憶部３６０との組み合わせは、図１の分析部１２０として働く。また、選別選択部３５０は、図１の処理選択部２３０として働く。

図５は、特性記憶部３６０が格納する選別特性情報の一例を示す図である。図６は、特性記憶部３６０が格納する環境情報選別機能対応ルールの一例を示す図である。

図５に示すように、特性記憶部３６０は、選別特性情報として、選別機能を特定するための選別機能と、解析部３６０に対して要求する追加解析機能を表す追加解析機能と、選別に使用するデータを表すメタデータと、選別機能の切り替えにかかる時間を表す移行時間とを格納する。ここで、選択機能は機能を表す文字列の他に、数値やフラグを用いることも出来る。追加解析機能は機能を表す文字列の他に、数値やフラグを用いることも出来る。メタデータは、データ種別を表す文字列の他に、数値やフラグを用いることも出来る。

図６に示すように、特性記憶部３６０は、環境情報選別機能対応ルールとして、選別機能を特定するための選別機能と、該選別を選択するためのルールを表すルールとを格納する。ここで、選択機能は機能を表す文字列の他に、数値やフラグを用いることも出来る。ルールは単純な閾値表現だけでなく、決定木や機械学習による選択アルゴリズムなどを用いることも出来る。

選別部３７０−１、３７０−２、・・・の各々は、解析部１２０３２０の出力した解析結果およびそのメタデータを用いて、解析結果を出力するか棄却するかを判定する。データ出力部３８０は、受け取った選別後のデータを外部システムへ出力する。

[動作の説明]
次に、図４及び図７のフローチャートを参照して、本第１の実施例に係る映像解析装置３００の全体の動作について詳細に説明する。

まず、データ入力部３１０が、カメラなどから対象データを取得する（図７のステップＳ２０１）。

次に解析部３２０が、該対象データを解析し解析結果データを得る（図７のステップＳ２０２）。この時、選別選択部３６０から追加の解析が指定されていれば、解析部３２０は該追加の解析を合わせて実行する（図７のステップＳ２０２）。

と同時に、環境分析部３４０が該対象データを分析し環境情報を得る（図７のステップＳ２０３）。選別選択部３５０が、環境分析部３４０が分析した環境情報と、特性記憶部３６０に記憶されている選別特性情報および環境情報選別機能対応ルールに応じて選別部３７０を選択する（図７のステップＳ２０４）。

選別切替部３３０が、選別選択部３５０の決定した選別部３７０へ解析部３２０が出力した解析結果データを渡す（図７のステップＳ２０５）。選別部３７０が受け取った解析結果データに対して、選別処理を行い、精度維持に必要な解析結果データを選別する（図７のステップＳ２０６）。データ出力３８０は、受け取った選別後の解析結果データを外部システムへ送信する（図７のステップＳ２０７）。システムを停止するまで、上記ステップＳ２０１〜Ｓ２０７を繰り返す（図７のステップＳ２０８）。

なお、上記動作例では、ステップＳ２０２と、ステップＳ２０３およびＳ２０４とが並列に動作しているが、直列に動作してもよい。

[動作例の説明]
次に、選別選択部３５０による選別選択処理の一例について説明する。ここでは、監視映像からの顔認証を想定し、映像からの顔の検出、顔からの特徴量抽出とＤＢ（データベース）照合からなるシステムを想定している。そして、その顔の検出部分を、本第１の実施例を用いて実現する場合を想定している。

図８は、上記想定している顔認証装置４００の構成を示すブロック図である。顔認証装置４００は、処理部４２０と、記憶部４４０とから成る。処理部４２０は、顔検出部４２２と、特徴量抽出部４２４と、照合部４２６とから成る。

記憶部４４０は、認証すべき人物の顔の特徴を示す参照特徴量を登録するデータベース４４２を含む。

顔検出部４２２は、カメラで撮像した映像から顔を検出する。この顔検出部４２２として、図４に示した映像解析装置３００が使用される。特徴量抽出部４２４は、検出した顔の特徴量を抽出する。照合部４２６は、この抽出した特徴量と、データベース４２２に登録されている参照特徴量とを照合して、顔認証を行なう。

このように、本第１の実施例に係る映像解析装置３００は、顔検出部４２２で顔の検出を想定している。顔検出部４２２では、データ入力部３１０が取得した監視映像に対して、解析部３２０が顔の検出処理を行う。ここでは、複数の選別部３７０として、第１乃至第３の選別部３７０−１、３７０−２、および３７０−３の３つがあると仮定する。第１の選別部３７０−１は、単純選択フィルタを使用する。第２の選別部３７０−２は、輝度に係る単出力フィルタを使用する。第３の選別部３７０−３は、ブレに係る複数出力フィルタを使用する。

単純選択フィルタは、あらかじめ決められた閾値以上の高品質の顔だけを出力する単純選択フィルタである。単出力フィルタは、輝度に関して、過去一定時間に検出された同一人物の顔の中で品質値が最高の顔を１つだけ選択する単出力フィルタである。複数出力フィルタは、ブレに関して、過去一定時間に検出された同一人物の顔の中で品質値が高い顔を複数選択する複数出力フィルタである。

このように３つの選別部３７０−１〜３７０−３からなる場合において、選別選択部３５０が環境情報に応じて最適な選別部３７０を選択する処理について、図５、図６、図９を用いて説明する。ここでは、初期状態として、選別部３７０として、第１の選別部（単純選択フィルタ）３７０−１が動作しているものとして説明する。

まず、データ入力部３１０がカメラから取得した映像をフレーム画像に分割し、解析部３２０と環境解析部３４０へ出力する。解析部３２０は受け取った画像に対して顔検出を行い、検出された複数の顔を、各顔の品質スコアと共に解析結果データとして出力する。

一方、環境分析部３４０が、データ入力部３１０が出力したフレーム画像を分析し、環境情報を出力する。例えば、環境分析部３４０は、図９のような、映像のブレ量や輝度の偏り情報をフレーム画像毎または定期的に分析し、環境情報として出力する。

図９は横軸が秒単位の時間、縦軸がブレ量と輝度偏りの大きさを示した経時グラフと、その時の解析部３２０、選別部３７０の状態の一例を示している。なお、図９では、ブレ量および輝度偏りの大きさの各々を、最大値が１．０となるように規格化して示している。

尚、ブレ量は、例えば、入力画像をフーリエ変換し、低周波成分の多い場合は、ブレと判定することで、推定することが可能である。そのようなブレ量を推定する方式は、上記非特許文献１で報告されている。一方、輝度偏りは、例えば、画像中の輝度ヒストグラムを算出し、輝度分布が、輝度が低い画素が多い場合や輝度が高い画素が多い場合を輝度偏りとして検出することで、推定することが可能である。

次に、選別選択部３５０が、環境分析部３４０の分析した環境情報と、特性記憶部３６０が記憶している選別特性情報（図５）と環境情報選別機能対応ルール（図６）とに基づいて、最適な選別部を選択する。

例えば、図９のような環境情報の例では、時刻１から時刻１３までは、輝度およびブレ量双方が低い。この為、選別選択部３５０は、図６の環境情報選別機能対応ルールで単出力フィルタ（輝度）と複数出力フィルタ（ブレ）が双方ともルールを満たさないため、単純選択フィルタを選択する。選別切替部３３０は選別選択部３５０の選択に従い、単純選択フィルタを使った第１の選別部３７０−１へ解析部３２０が出力した解析結果データを渡す。単純選択フィルタを使った第１の選別部３７０−１は、入力された解析結果データに含まれる各顔の品質スコアをあらかじめ設定された閾値と比較し、品質スコアが閾値以上の場合は解析結果データをデータ出力部３８０へ出力する。これにより、環境による精度影響が低い場合においては、高い閾値を用いた高品質顔のみを選択する。これにより、後段の顔からの特徴量抽出（図８の４２４）とＤＢ照合（図８の４２６）では、高品質な顔画像を用いて、高い再現率と適合率での顔認証を実現できる。

時刻１４においてブレ量が０．９と大きくなると、選別選択部３５０は、図６の環境情報選別機能対応ルールで複数出力フィルタ（ブレ）のルールが満たされるため、複数出力フィルタを使用する第３の選別部３７０−３を選択する。解析部３２０は選別選択部３５０から指定されたフレーム画像間での同一顔の追跡情報を抽出するトラッキング解析を、前述の顔検出と合わせて実行する。選別切替部３３０は選別選択部３５０の選択に従い、複数出力フィルタを使った第３の選別部３７０−３へ解析部３２０が出力した解析結果データを渡す。複数出力フィルタを使った３７０−３は、入力された解析結果データに含まれるトラッキング結果を用いて、同じ顔を過去一定時間保持し、その中から品質スコアがもっとも高いものをデータ出力部３８０へ出力する。これにより、風などの影響で映像がブレ、高品質な顔が取れない撮影条件化においても、その中で品質が良い顔を複数候補として選択する。これにより、後段の顔からの特徴量抽出（図８の４２４）とＤＢ照合（図８の４２６）では、環境が悪条件になった時でも、再現率を維持しながら顔認証を実現できる。

[効果の説明]
次に、本第１の実施例の効果について説明する。

本第１の実施例では、選別選択部３５０が、環境分析部３４０の分析した環境情報に基づいて、最適な選別部３７０を選択するようにしたので、街頭監視のように設置場所や日光による影響、強風や降雨など多様な環境変動が存在する場合においても、再現率等の精度維持に必要な解析結果データを提供することが出来る。

尚、映像解析装置３００の各部（各構成要素）は、図３のように、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、プログラムメモリ２４０に映像解析プログラムが格納され、該映像解析プログラムに基づいてＣＰＵ２２０のハードウェアを動作させることによって、各部（各構成要素）を各種手段として実現する。また、該映像解析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第１の実施例を別の表現で説明すれば、映像解析装置３００として動作させるコンピュータを、プログラムメモリ２４０に格納された映像解析プログラムに基づき、データ入力部３１０、解析部３２０、選別切替部３３０、環境分析部３４０、選別選択部３５０、特性記憶部３６０、複数の選別部３７０、およびデータ出力部３８０として動作させることで実現することが可能である。

[構成の説明]
次に、本発明の第２の実施例について図面を参照して詳細に説明する。

図１０は、本発明の第２の実施例に係る映像解析装置３００Ａの構成を示すブロック図である。

図１０を参照すると、本発明の第２の実施例に係る映像解析装置３００Ａは、第１の実施例の構成に加えて、結果統合部３９０が選別部３７０とデータ出力部３８０との間に接続されている。

[動作の説明]
これらの手段はそれぞれ概略つぎのように動作する。

選別選択部３５０は、環境分析部３４０が分析した環境情報と、特性記憶部３６に格納された選別特性情報と、環境情報選別機能対応ルールとに基づいて、複数の選別部３７０を選択する。

結果統合部３９０は、複数の選別部３７０が選択した結果と、選別選択部３５０が指定した重みづけにより、最終的に出力する解析結果データを統合し、統合した解析結果データをデータ出力部３８０へ出力する。

次に、図１１と図１２のフローチャートを参照して、本第２の実施例に係る映像解析装置３００Ａの全体の動作について詳細に説明する。

まず、選別選択部３５０は、環境分析部３４０の出力した環境情報と、特性記憶部３６０に格納された選別特性情報と、環境情報選別機能対応ルールとに基づいて１つ以上の選別部３７０を選択する（図１１のステップＳ２０４Ａ）。

図１２は、図１１の選択部３５０での選択実行（ステップＳ３００）の動作を説明するためのフローチャートである。

次に、選別部３７０が１つだけ選択された場合（ステップＳ３０１のＮｏ）、上記第１の実施例と同様に、単独の選別部が解析結果データを選別する（図１２のステップＳ３０１、Ｓ３０５、Ｓ３０６）。

これに対して、選択部３７０が複数選択された場合（ステップＳ３０１のＹｅｓ）は、選別切替部３３０が複数の選別部３７０に対して解析結果データを送付する（図１２のステップＳ３０２）。データを受け取った各選別部３７０は選別処理を行い、結果統合部３９０へ結果を渡す（図１２のステップＳ３０３）。結果統合部３９０は、複数の選別部３７０が選択した結果と、選別選択部３５０が指定した重みづけにより、最終的に出力する解析結果データを統合し、データ出力部３８０へ出力する（図１２のステップＳ３０４）。

[動作例の説明]
次に、結果統合部３９０による複数選別処理の統合処理の一例について説明する。ここでは、顔の検出処理について、選別部３７０が安定した結果を出力するようになるまでの移行時間を考慮して複数の選別部３７０を実行する場合について、図１０、図１３を用いて説明する。ここでは、初期状態として、選別部３７０として、単純選択フィルタを使用する第１の選別部３７０−１が動作しているものとして説明する。

まず、選別選択部３５０は、環境分析部３４０が分析した環境情報と、特性記憶部３６０が記憶している環境情報選別機能対応ルールとに基づき、選別種類を選択する。

図１３の時刻１４においては、ブレ量が０．９と大きくなるため、選別選択部３５０は、図６の環境情報選別機能対応ルールで複数出力フィルタ（ブレ）のルールが満たされるため、複数出力フィルタを使用する第３の選別部３７０−３を選択する。

選別選択部３５０は、図５の選別特性情報の移行時間から、複数出力フィルタ（ブレ）が安定するまでの2,000ミリ秒間、単純選択フィルタも実行することを決定し、解析部３２０へはトラッキング解析の開始を、結果統合部３９０には、単純選択フィルタを使用する第１の選別部３７０−１の結果を優先するように指示する。

結果統合部３９０は、選別選択部３５０の指示に従い、２つの選別部３７０出力のうち、単純選択フィルタを使用する第１の選別部３７０−１の結果のみを出力する。

図１３の時刻１６において、選別選択部３５０は、移行期間の終わりを判断し、単純選択フィルタを使用する第１の選別部３７０−１の使用を取りやる。これにより、結果統合部３９０は１つの選別部３７０（本例では、複数出力フィルタを使用する第３の選別部３７０−３）の結果をそのまま後段へ出力する。これにより、実行開始直後の動作が安定しない選別アルゴリズムをも適用することが可能となる。

[効果の説明]
次に、本発明の第２の実施形態例の効果について説明する。

本第２の実施例では、選別選択部３５０が１つ以上の選別部３７０を選択し、結果統合部３９０が複数の選別部３７０の結果を統合することで、初期化に時間がかかる選別アルゴリズムや複数種類の選別の統合による、より高精度化を実現することが可能となる。

尚、映像解析装置３００Ａの各部（各構成要素）は、図３のように、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、プログラムメモリ２４０に映像解析プログラムが格納され、該映像解析プログラムに基づいてＣＰＵ２２０のハードウェアを動作させることによって、各部（各構成要素）を各種手段として実現する。また、該映像解析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第２の実施例を別の表現で説明すれば、映像解析装置３００Ａとして動作させるコンピュータを、プログラムメモリ２４０に格納された映像解析プログラムに基づき、データ入力部３１０、解析部３２０、選別切替部３３０、環境分析部３４０、選別選択部３５０、特性記憶部３６０、複数の選別部３７０、データ出力部３８０、および結果統合部３９０として動作させることで実現することが可能である。

次に、本発明の第３の実施例について説明する。第３の実施例は、上述した映像解析装置１００、３００、３００Ａをインテリジェントカメラ５００に適用した例である。

図１４は、第３の実施例に係るインテリジェントカメラ５００の構成を示すブロック図である。図示のインテリジェントカメラ５００は、取得部５１０と、画像処理部５２０とを内蔵している。取得部５１０は、映像を取得する。画像処理部５２０は、上述した映像解析装置１００、３００、３００Ａのいずれかとして動作する。

本発明の具体的な構成は前述の実施の形態（実施例）に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

以上、実施の形態および実施例を参照して本願発明を説明したが、本願発明は上記実施の形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明によれば、映像や画像データを精度よく解析する解析システムや、解析システムをコンピュータによって実現するためのプログラムといった用途に適用できる。また、街中の街頭監視のような監視システムにおける解析装置や、解析装置をコンピュータによって実現するためのプログラムといった用途にも適用可能である。

１００ 映像解析装置
１１０−１、１１０−２、１１０−Ｎ 処理実行部
１２０ 分析部
１３０ 処理選択部
２００ 映像解析装置
２１０ Ａ／Ｄ変換器
２２０ ＣＰＵ
２３０ ワークメモリ
２４０ プログラムメモリ
３００、３００Ａ 映像解析装置
３１０ データ入力部
３２０ 解析部
３３０ 選別切替部
３４０ 環境分析部
３５０ 選別選択部
３６０ 特性記憶部
３７０−１、３７０−２ 選別部
３８０ データ出力部
３９０ 結果統合部
４００ 顔認証装置
４２０ 処理部
４２２ 顔検出部
４２４ 特徴量抽出部
４２６ 照合部
４４０ 記憶部
４４２ データベース
５００ インテリジェントカメラ
５１０ 取得部
５２０ 画像処理部

Claims (9)

1. 入力される映像に対して異なる処理を実行可能な複数の処理実行部と、
   前記映像に基づいて、外的環境に起因する映像の変動を分析する分析部と、
   前記分析された変動に基づいて、前記複数の処理実行部から少なくとも１つを選択する処理選択部と、
   を備える映像解析装置。
2. 前記映像の対象データから情報を抽出する解析処理を実行する解析部をさらに備え、
   前記複数の処理実行部は、該解析部の解析結果から品質の良いデータを選別する選別アルゴリズムが互いに異なる複数の選別部から成り、
   前記分析部は、前記対象データから環境情報を抽出する環境分析部と、前記複数の選別部の選別特性を記憶する特性記憶部とを備え、
   前記処理選択部は、使用する選別部を選択する選別選択部を含み、
   前記選別選択部が、前記環境情報から環境状況の変化を検出し、該環境状況に最適な選別部を前記特性記憶部の情報に基づいて選択する
   ことを特徴とする請求項１記載の映像解析装置。
3. 前記選別選択部が、前記環境情報に基づいて最適な選別部を選択したのち、選別部の切替えに必要な前記選別部の予備運転期間を合わせて計算し、予備運転をしたうえで選別部を切り替えることを特徴とする請求項２記載の映像解析装置。
4. 前記選別選択部が前記環境情報に基づいて複数の選別部を選択し、
   前記複数の選別部の結果を統合する結果統合部を更に備えることを特徴とする請求項２又は３記載の映像解析装置。
5. 前記環境分析部が、前記環境情報として、画像中のブレや輝度を抽出することを特徴とする請求項２乃至４のいずれか１つに記載の映像解析装置。
6. 映像を取得する取得部と、
   請求項１乃至５のいずれか１つに記載の映像解析装置として動作する画像処理部と、
   を内蔵して成るインテリジェントカメラ。
7. 認証すべき人物の顔の特徴を示す参照特徴量を登録するデータベースと、
   請求項１乃至５のいずれか１つに記載の映像解析装置を用いて、前記映像から顔を検出する顔検出部と、
   該検出した顔の特徴量を抽出する特徴量抽出部と、
   該抽出した特徴量と前記参照特徴量とを照合して、顔認証を行なう照合部と、
   を備える顔認証装置。
8. 入力される映像に基づいて、外的環境に起因する変動を分析し、
   該分析された変動に基づいて、前記映像に対して異なる処理を実行可能な複数の処理実行部から少なくとも１つを選択する
   ことを特徴とする映像解析方法。
9. 入力される映像に基づいて、外的環境に起因する変動を分析する処理と、
   該分析された変動に基づいて、前記映像に対して異なる処理を実行可能な複数の処理実行部から少なくとも１つを選択する処理と
   をコンピュータに実行させるための映像解析プログラム。
   
   

Images