以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係わる画像処理システム10の一例を示す。画像処理システム10は、以下に説明するように、監視システムとして機能することができる。
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−d(以下、撮像装置100と総称する。)、撮像装置100により撮像された撮像画像を処理する画像処理装置120、通信ネットワーク110、画像処理装置170、画像DB175、および複数の表示装置180a−d(以下、表示装置180と総称する。)を備える。画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
撮像装置100aは、撮像部102aおよび撮像画像圧縮部104aを有している。撮像部102aは、連続して監視対象空間150を撮像することによって複数の撮像画像を撮像する。なお、撮像部102aにより得られる撮像画像は、RAW形式の撮像画像であってよい。撮像画像圧縮部104aは、撮像部102aにより撮像されたRAW形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をMPEG符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置100aは、監視対象空間150を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置100aは、当該撮像動画データを画像処理装置120に出力する。
なお、撮像装置100b、撮像装置100c、および撮像装置100dは、それぞれ撮像装置100aと同様の構成を有するので、撮像装置100b、撮像装置100c、および撮像装置100dの各構成要素の説明を省略する。このようにして、画像処理装置120は、複数の撮像装置100のそれぞれにより生成された撮像動画データを、複数の撮像装置100のそれぞれから取得する。
そして、画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置120は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物130が撮像された領域、車輌等の移動体140が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
なお、画像処理装置120は、撮像画像における各特徴領域の画像を、特徴領域の特徴の種類に応じた色数および/または階調数の画像に変換する。また、画像処理装置120は、フレーム間圧縮における動きベクトルを算出する場合に、複数の撮像画像間における類似した特徴領域の位置の差が大きいほど、動きベクトルを算出するための動きベクトル探索範囲をより広くする。
なお、画像処理装置120は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置120は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク110を通じて画像処理装置170に送信する。
画像処理装置170は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置120から受信する。そして、画像処理装置170は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置180に供給する。なお、このとき、画像処理装置170は、特徴領域の画像が同じ大きさで表示される表示用動画を生成してよい。そして、表示装置180は、画像処理装置170から供給された表示用動画を表示する。
また、画像処理装置170は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像DB175に記録してもよい。なお、画像DB175は、ハードディスク等の不揮発性の記録媒体を有してよく、圧縮動画データおよび特徴領域情報を当該記録媒体に保持してよい。
そして、画像処理装置170は、表示装置180からの要求に応じて、画像DB175から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを、特徴領域情報を利用して伸張して表示用動画を生成して、表示装置180に供給してもよい。
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置170は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置170は、特定した撮像画像を復号して、表示装置180に提供してよい。
このように、画像処理システム10によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム10によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、画像取得部250、画質取得部204、条件取得部205、出力画像数取得部208、閾値取得部209、特徴領域検出部203、圧縮制御部210、圧縮部230、対応付け処理部206、および出力部207を備える。画像取得部250は、圧縮画像取得部201および圧縮動画伸張部202を有する。
圧縮画像取得部201は、圧縮された動画を取得する。具体的には、圧縮画像取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮画像取得部201が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部202は、圧縮画像取得部201が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。このように、画像取得部250は、複数の撮像装置100のそれぞれにより撮像された複数の動画を取得する。
なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であって、画像処理装置120および画像処理装置170は、撮像画像の他に、静止画などの単なる画像を処理してよい。
圧縮動画伸張部202によって得られた複数の撮像画像は、特徴領域検出部203および圧縮部230に供給される。特徴領域検出部203は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部203は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
例えば、特徴領域検出部203は、動画において画像内容が変化する画像領域を、特徴領域として検出する。例えば、特徴領域検出部203は、予め定められた条件に適合するオブジェクトを含む領域を、特徴領域として検出する。具体的には、条件取得部205は、特徴領域に含まれるオブジェクトが適合すべき条件を取得する。そして、特徴領域検出部203は、条件取得部205が取得した条件に適合するオブジェクトを含む領域を、特徴領域として検出する。
具体的には、特徴領域検出部203は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部203は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部203は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
なお、条件取得部205は、特徴領域に含まれるオブジェクトが適合すべき形状を示す条件を取得してよい。そして、特徴領域検出部203は、条件取得部205が取得した条件が示す形状に適合する形状のオブジェクトを含む領域を、特徴領域として検出してよい。具体的には、特徴領域検出部203は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部203は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。このように、特徴領域検出部203は、予め定められた形状のオブジェクトを含む領域を、特徴領域として検出してよい。なお、特徴領域検出部203は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部203は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
また、特徴領域検出部203は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開2007−188419号公報に記載された機械学習(例えば、アダブースト)等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部203は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部203は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
以上説明したように、特徴領域検出部203は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部203は、検出した特徴領域を示す情報を、圧縮制御部210に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。
圧縮制御部210は、特徴領域特定部212、位置差算出部214、探索領域決定部216、解像度決定部262、階調数決定部264、色数決定部266、およびダイナミックレンジ決定部268を有する。特徴領域特定部212は、動画に含まれる複数の撮像画像の間において相関が高い特徴領域を特定する。位置差算出部214は、特徴領域特定部212が特定した相関が高い特徴領域の間の位置差を算出する。
そして、探索領域決定部216は、位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する。具体的には、探索領域決定部216は、位置差の大きさが小さいほど、撮像画像における特徴領域に含まれる画像を圧縮する場合に用いられる動きベクトルが算出される動きベクトル探索領域をより狭く決定する。なお、特徴領域特定部212および位置差算出部214、および探索領域決定部216の動作の具体例については後に説明する。
圧縮制御部210は、特徴領域検出部203から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部230による動画の圧縮処理を制御する。例えば、圧縮部230は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部230は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮制御部210は、探索領域決定部216が決定した動きベクトル探索領域を示す情報を圧縮部230に供給する。そして、圧縮部230は、探索領域決定部216が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて動画を圧縮する。なお、圧縮部230のより具体的な内部の圧縮動作については、後に説明する。
なお、特徴領域特定部212は、画像内容の一致度が予め定められた値より大きい特徴領域を、相関が高い特徴領域として特定する。例えば、特徴領域特定部212は、複数の撮像画像の間における特徴領域の画像の差分値が予め定められた値より小さい特徴領域を、相関が高い特徴領域として特定する。なお、閾値取得部209は、特徴領域における画像内容の一致度の閾値を画像処理装置120の外部から取得してよい。そして、特徴領域特定部212は、画像内容の一致度が当該閾値より大きい特徴領域を、相関が高い特徴領域として特定してよい。他にも、特徴領域特定部212は、大きさの一致度が予め定められた値より大きい特徴領域を、相関が高い特徴領域として特定してもよい。例えば、閾値取得部209は、特徴領域における大きさの一致度の閾値を画像処理装置120の外部から取得する。そして、特徴領域特定部212は、大きさの一致度が当該閾値より大きい特徴領域を、相関が高い特徴領域として特定する。
他にも、特徴領域特定部212は、撮像画像における特徴領域の位置に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。具体的には、特徴領域特定部212は、複数の撮像画像の間にわたる特徴領域の位置の変化に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。また、より具体的には、特徴領域特定部212は、複数の撮像画像の間にわたる特徴領域の位置の移動方向に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。他にも、特徴領域特定部212は、複数の撮像画像の間にわたる特徴領域の位置の移動速度に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。なお、閾値取得部209は、特徴領域の位置に関する相関値の閾値を画像処理装置120の外部から取得してよい。そして、特徴領域特定部212は、動画構成画像における特徴領域の位置に関して、当該閾値より大きい相関値を有する特徴領域を、相関が高い特徴領域として特定してよい。
なお、位置差算出部214は、フレーム間予測により圧縮される撮像画像と予測画像の元となる撮像画像との間において相関が高い特徴領域の位置差を算出する。例えば、位置差算出部214は、Iフレームとして処理される撮像画像とPフレームとして処理される撮像画像との間において相関が高い特徴領域の位置差を算出する。他にも、位置差算出部214は、IフレームまたはPフレームとして処理される撮像画像とPフレームとして処理される撮像画像との間、あるいはIフレームまたはPフレームとして処理される撮像画像とBフレームとして処理される撮像画像との間において相関が高い特徴領域の位置差を算出してよい。
なお、特徴領域検出部203が撮像画像から複数の特徴領域を検出した場合には、特徴領域特定部212は、特徴領域検出部203が撮像画像から検出した複数の特徴領域のそれぞれについて相関が高い特徴領域を特定する。そして、位置差算出部214は、特徴領域検出部203が撮像画像から検出した複数の特徴領域のそれぞれについて位置差を算出する。そして、探索領域決定部216は、特徴領域検出部203が撮像画像から検出した複数の特徴領域のそれぞれについて算出された位置差の最大値が小さいほど、より狭い動きベクトル探索範囲を決定する。なお、探索領域決定部216は、特徴領域検出部203が撮像画像から検出した複数の特徴領域のそれぞれについて算出された位置差の平均値が小さいほど、より狭い動きベクトル探索範囲を決定してもよい。
このように、探索領域決定部216は、特徴領域の動き量に応じて動きベクトル探索範囲を限定する。このため、圧縮部230は高速に動きベクトルを算出することができ、速やかに画像処理装置170に圧縮動画を提供することができる。
なお、解像度決定部262は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける解像度を決定する。また、階調数決定部264は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける画素値の階調数を決定する。例えば、階調数決定部264は、複数の特徴領域の画像における階調値の頻度分布に基づいて、後述する画像変換部241により変換されて得られた画像における階調数を、複数の特徴領域のそれぞれについて決定する。
また、色数決定部266は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける画素値を表現する色数を決定する。例えば、色数決定部266は、複数の特徴領域の画像における色の頻度分布に基づいて、画像変換部241により変換されて得られた画像における色数を、複数の特徴領域のそれぞれについて決定してよい。
また、ダイナミックレンジ決定部268は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける画像のダイナミックレンジを決定する。例えば、ダイナミックレンジ決定部268は、複数の特徴領域の画像における階調値の頻度分布に基づいて、画像変換部241により変換されて得られた画像におけるダイナミックレンジを、複数の特徴領域のそれぞれについて決定する。なお、解像度決定部262、階調数決定部264、色数決定部266、およびダイナミックレンジ決定部268はさらに、それぞれ背景領域における解像度、階調数、色数、およびダイナミックレンジを決定する。
なお、上記の解像度、階調数、色数、およびダイナミックレンジは、画像処理装置120の外部から指定されてよい。具体的には、画質取得部204は、特徴領域の特徴に対応づけて、解像度、階調数、色数、およびダイナミックレンジの少なくともいずれかを取得する。そして、解像度決定部262は、複数の特徴領域のそれぞれにおける解像度を、特徴領域の特徴の種類に対応づけて画質取得部204が取得した解像度に決定してよい。また、階調数決定部264は、複数の特徴領域のそれぞれにおける階調数を、特徴領域の特徴の種類に対応づけて画質取得部204が取得した階調数に決定してよい。また、色数決定部266は、複数の特徴領域のそれぞれにおける色数を、特徴領域の特徴の種類に対応づけて画質取得部204が取得した色数に決定してよい。また、ダイナミックレンジ決定部268は、複数の特徴領域のそれぞれにおける解像度を、特徴領域の特徴の種類に対応づけて画質取得部204が取得したダイナミックレンジに決定してよい。
解像度決定部262が決定した解像度、階調数決定部264が決定した階調数、色数決定部266が決定した色数、およびダイナミックレンジ決定部268が決定したダイナミックレンジを示す情報は、圧縮部230に供給される。圧縮部230は、撮像画像における各領域の画像をそれら解像度、階調数、色数、およびダイナミックレンジの画像に変換することによって、撮像画像を圧縮する。
なお、出力画像数取得部208は、特徴領域の特徴に対応づけて出力されるべき撮像画像の数を画像処理装置120の外部から取得する。例えば、画像処理装置120が複数の撮像装置100のうちの一部の撮像装置100により撮像された撮像画像を出力する場合に、出力画像数取得部208は、撮像画像が出力部207から出力されるべき撮像装置100の数を、特徴領域の特徴に対応づけて画像処理装置120の外部から取得する。出力画像数取得部208が取得した数は、圧縮部230に供給される。圧縮部230は、画像取得部250から供給された撮像画像のうち、出力画像数取得部208から供給された数の撮像画像を特徴領域毎に選んで圧縮する。このようにして、出力部207は、撮像画像における複数の特徴領域のそれぞれから生成された特徴領域内画像であって、複数の特徴領域の特徴に対応づけて出力画像数取得部208が取得した数の特徴領域内画像を出力することができる。
対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部207は、対応付け処理部206によって特徴領域が対応付けされた圧縮動画を、画像処理装置170に出力する。
そして、出力部207は、画像処理装置120から取得した圧縮動画を画像DB175に記録する。このように、出力部207は、特徴領域検出部203が検出した複数の特徴領域の位置を示す情報のそれぞれを、特徴領域が検出された撮像画像を識別する情報に対応づけて画像DB175に記録する。
図3は、圧縮部230のブロック構成の一例を示す。圧縮部230は、画像分割部232、複数の固定値化部234a−c(以下、固定値化部234と総称する場合がある。)、複数の画像変換部241a−d(以下、画像変換部241と総称する。)を含む画像変換ユニット240、および複数の圧縮処理部236a−d(以下、圧縮処理部236と総称する場合がある。)を有する。
画像分割部232は、画像取得部250から複数の撮像画像を取得する。そして、画像分割部232は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部232は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部232は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
画像変換部241は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なる階調数の画像に変換する。具体的には、画像変換部241は、画像における特徴領域以外の領域の画像を、特徴領域より少ない階調数の画像に変換する。
より具体的には、画像変換部241は、画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた階調数の画像にそれぞれ変換する。画像変換部241は、画像における複数の特徴領域の画像を、特徴領域の特徴の種類に応じて予め定められた階調数の画像にそれぞれ変換する。なお、画像変換部241は、画像における複数の特徴領域の画像を、特徴領域に含まれるオブジェクトの種類に応じて予め定められた階調数の画像にそれぞれ変換する。このように、本実施形態における特徴の種類とは、特徴領域に含まれるオブジェクトの種類であってよい。
なお、各画像領域の階調数は、上述したように階調数決定部264によって決定される。そして、画像変換部241は、画像における複数の特徴領域の画像を、階調数決定部264が決定した階調数の画像にそれぞれ変換する。
また、画像変換部241は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なる色数の画像に変換する。具体的には、画像変換部241は、画像における特徴領域以外の領域の画像を、特徴領域より少ない色数の画像に変換する。なお、画像変換部241は、撮像画像における特徴領域以外の領域の画像を、特徴領域より少ない数の色成分から生成される色で表される画像に変換してよい。
また、画像変換部241は、撮像画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた色数の画像にそれぞれ変換してよい。なお、画像変換部241は、撮像画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた組み合わせの色で表される画像にそれぞれ変換してよい。具体的には、画像変換部241は、撮像画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた数の色成分から生成される色で表される画像にそれぞれ変換してよい。
なお、各画像領域における色数は、上述したように色数決定部266によって決定される。そして、画像変換部241は、撮像画像における複数の特徴領域の画像を、色数決定部266が決定した色数の画像にそれぞれ変換する。
画像変換部241は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なるダイナミックレンジの画像に変換する。なお、画像変換部241は、画像における特徴領域以外の領域の画像を、特徴領域より広いダイナミックレンジの画像に変換する。具体的には、画像変換部241は、画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められたダイナミックレンジの画像にそれぞれ変換する。画像変換部241は、画像における複数の特徴領域の画像を、特徴領域の特徴の種類に応じて予め定められたダイナミックレンジの画像にそれぞれ変換する。
なお、各画像領域におけるダイナミックレンジは、上述したようにダイナミックレンジ決定部268によって決定される。そして、画像変換部241は、画像における複数の特徴領域の画像を、ダイナミックレンジ決定部268が決定したダイナミックレンジの画像にそれぞれ変換する。なお、画像変換部241は、特徴領域および背景領域の画像を、上述した階調数、色数、およびダイナミックレンジの組み合わせ画像に変換してよい。
そして、圧縮処理部236は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部236は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
具体的には、画像分割部232は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部234は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部234は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画をMPEG圧縮する。
固定値化部234a、固定値化部234b、および固定値化部234cは、それぞれ第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236cは、第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を圧縮する。
なお、圧縮処理部236a−cは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部236は、MPEG符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
なお、圧縮処理部236a−cは、特徴領域を含むマクロブロックが符号化されて得られた符号化データ列の先頭に、当該データ列から復号することができる旨を示す符号を挿入してよい。当該符号としては、同期回復マーカを例示することができる。なお、圧縮処理部236a−cは、特徴領域を含まれる全てのマクロブロックが符号化されて得られた複数の符号化データ列のそれぞれの先頭に、上記符号を挿入してよい。なお、圧縮処理部236a−cは、特徴領域を含むマクロブロックが符号化されて得られた、連続する複数の符号化データ列の先頭にだけ上記符号を挿入してもよい。なお、圧縮処理部236a−cは、マクロブロックのDC成分を符号化して得られた符号化データ列だけでなく、特徴領域を含むマクロブロックのAC成分が符号化されて得られた符号化データ列の先頭に、上記符号を挿入する。
なお、圧縮処理部236dは、背景領域動画を圧縮する。なお、圧縮処理部236dは、圧縮処理部236a−cのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部236によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部206に供給される。
このようにして、画像変換部241により変換されて得られた撮像画像は、出力部207から出力される。具体的には、特徴領域検出部203が検出した複数の特徴領域を特定する情報が、画像変換部241により変換されて得られた撮像画像に対応づけて出力される。具体的には、特徴領域検出部203が検出した複数の特徴領域を特定する情報および複数の特徴領域の特徴を特定する情報が、画像変換部241により変換されて得られた画像に対応づけて出力部207から出力される。
なお、特徴領域以外の領域が固定値化部234によって固定値化されているので、圧縮処理部236がMPEG符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
なお、圧縮部230は、特徴領域の面積に応じて異なる圧縮方式で圧縮する。例えば、圧縮部230は、一の撮像画像から検出された一以上の特徴領域の合計面積に応じて異なる圧縮方式で圧縮する。より具体的には、圧縮部230は、合計面積が所定の閾値以下である場合に、第1圧縮方式により圧縮し、合計面積が閾値以上である場合に、第2圧縮方式により圧縮する。例えば、圧縮部230は、合計面積が閾値以下であることを条件として、上述したように特徴領域と特徴領域以外の領域とを異なる強度で圧縮する。以下に、合計面積が閾値以上である場合における第2圧縮方式での動作を説明する。
合計面積が閾値以上である場合には、圧縮処理部236のうち最も高い画質で撮像画像を圧縮する圧縮処理部236cにおいて全画像領域に対して圧縮処理がなされる。具体的には、固定値化部234cは、供給された撮像画像に対して固定値化処理をせずに、画像変換部241cに供給する。そして、画像変換部241cは、撮像画像を予め設定されている画質に変換する。なお、合計面積が閾値以上である場合には、画像変換部241cは、撮像画像に対して画質変換をしなくてもよい。そして、圧縮処理部236cは、画像変換部241cから供給された撮像画像を圧縮する。なお、圧縮処理部236cは、上述したように複数の撮像画像を動画として圧縮する。
このように、合計面積が閾値以上である場合、圧縮部230は、撮像画像の全領域が特徴領域として検出されたと仮定した場合に行われる圧縮処理と同等の圧縮処理を実行する。第1圧縮方式での動作によると、特徴領域の画像は、圧縮処理部236dと圧縮処理部236a〜cのいずれかとで重複して符号化されて共に出力される。このため、合計面積が著しく大きくなった場合に第1圧縮方式で処理してしまうと、背景領域が低画質化されることによる符号量の低減量を、上記重複分の符号量が上回ってしまう状況が生じる場合がある。
したがって、そのような状況が生じることが予測される上記閾値を予め定めておいて、合計面積が当該閾値以上になった場合には、上述したように圧縮処理部236cに撮像画像の全領域画像を圧縮させることで、上述したように符号量が上回ってしまうことを未然に防ぐことができる場合がある。なお、合計面積が当該閾値以上になった場合には、特徴領域検出部203は、特徴領域を検出する時間的頻度を低下してもよい。例えば、特徴領域検出部203は、連続して撮像された複数の撮像画像のうち、一部の撮像画像から特徴領域を検出してよい。このとき、特徴領域検出部203は、合計面積がより大きい場合に、より少数の撮像画像から特徴領域を検出してよい。これにより、特徴領域検出に要する時間を短縮することができる。
なお、合計面積が当該閾値以上になった場合にも、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236dは撮像画像を圧縮してもよい。この場合、出力部207は、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236dにより圧縮された圧縮データを少なくとも画像処理装置170に送信しなくてよい。他にも、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236dには全面が固定値化された撮像画像を供給して、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236dから出力された圧縮データを送信してもよい。以上説明したように、圧縮部230が合計面積に応じて圧縮処理方式を変更することによって、画像処理装置170に送信されるデータ量が増大してしまうことを容易に防ぐことができる場合がある。
なお、本図では、圧縮部230が有する複数の圧縮処理部236のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部230は一の圧縮処理部236を有してよく、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部236に時分割で順次供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
他にも、一の圧縮処理部236は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部236に供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画像変換ユニット240でなされてよい。また、上記のように一の圧縮処理部236が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部236が圧縮する形態では、一の圧縮処理部236は、一の画像を圧縮してもよく、本図で説明したように画像分割部232によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部236が一の画像を圧縮する場合には、画像分割部232による分割処理および固定値化部234による固定値化処理はなされなくてよいので、圧縮部230は、画像分割部232および固定値化部234を有しなくてよい。
図4は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、画像取得部301、対応付け解析部302、特徴領域情報取得部360、伸張制御部310、伸張部320、合成部330、指示取得部390、特徴領域選択部370、画像生成部380、および出力部340を備える。
画像取得部301は、圧縮部230により圧縮された圧縮動画を取得する。具体的には、画像取得部301は、複数の特徴領域動画および、第1撮像画像および第2撮像画像を動画構成画像として含む背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部301は、特徴領域情報が付帯された圧縮動画を取得する。
対応付け解析部302は、画像DB175から取得した圧縮動画を、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部320に供給する。また、対応付け解析部302は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部310および特徴領域情報取得部360に供給する。
このように、特徴領域情報取得部360は、動画に含まれる複数の撮像画像における特徴領域の位置を示す情報を取得する。特徴領域情報取得部360が取得した特徴領域情報は、合成部330、特徴領域選択部370、および画像生成部380に供給される。
伸張制御部310は、対応付け解析部302から取得した特徴領域の位置および特徴の種類に応じて、伸張部320による伸張処理を制御する。例えば、伸張制御部310は、特徴領域の位置および特徴の種類に応じて圧縮部230が動画の各領域を圧縮した圧縮方式に応じて、伸張部320に圧縮動画が示す動画の各領域を伸張させる。
以下に、伸張部320が有する各構成要素の動作を説明する。伸張部320は、複数の復号器322a−d(以下、復号器322と総称する。)を有する。復号器322は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器322a、復号器322b、復号器322c、および復号器322dは、それぞれ第1特徴領域動画、第2特徴領域動画、第3特徴領域動、および背景領域動画を復号する。
合成部330は、伸張部320によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の表示動画を生成する。具体的には、合成部330は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。合成部330は、生成した表示動画を出力部340に供給する。出力部340は、対応付け解析部302から取得した特徴領域情報および表示動画を表示装置180に出力する。
なお、合成部330によって生成された動画に含まれる複数の撮像画像のうち、特徴領域内の画像は特徴領域選択部370に供給される。特徴領域選択部370は、複数の特徴領域のうち、予め定められた条件に適合する複数の特徴領域を選択する。具体的には、特徴領域選択部370は、特徴の種類が異なる複数の特徴領域のうち、予め定められた種類の特徴を有する複数の特徴領域を選択する。より具体的には、特徴領域選択部370は、含まれるオブジェクトが異なる複数の特徴領域のうち、予め定められたオブジェクトを含む複数の特徴領域を選択する。
そして、画像生成部380は、特徴領域選択部370が選択した複数の特徴領域の画像のそれぞれを縮小または拡大して表示画像をそれぞれ生成する。このように、画像生成部380は、特徴領域情報取得部360が取得した情報が示す位置に基づいて、複数の撮像画像にそれぞれ含まれる特徴領域の画像のそれぞれを縮小または拡大して略同一の大きさの表示画像をそれぞれ生成する。
画像生成部380が生成した表示画像は、出力部340に供給される。なお、出力部340は、合成部330により生成された表示動画に、表示画像を重畳したり合成したりして表示装置180に表示させてよい。
このように、画像生成部380は、特定の種類の特徴領域が検出された場合、あるいは特定のオブジェクトを含む特徴領域が検出された場合などに、それらの特徴領域の画像が同じ大きさで表示される表示画像を生成することができる。このため、特徴領域の画像はいつも同じ大きさで表示される。したがって、画像処理システム10によると、監視者が見易い監視映像を提供することができる。
なお、特徴領域選択部370は、複数の特徴領域のうち、予め定められた時間長さより長い期間にわたって動画から検出された複数の特徴領域を選択してよい。この場合、長い時間にわたって動画に現れるオブジェクトの映像を提供することができる。また、特徴領域選択部370は、複数の特徴領域のうち、予め定められた値より高い相関を有する複数の特徴領域を選択してよい。
なお、画像処理装置170における上記の動作は、指示取得部390は、表示画像を表示すべき旨の指示を取得した場合になされてよい。すなわち、画像生成部380は、指示取得部390が指示を取得した場合に、動画に対応づけられて画像DB175に記録された情報が示す複数の特徴領域の位置に基づいて、複数の撮像画像にそれぞれ含まれる特徴領域の画像のそれぞれを縮小または拡大して略同一の大きさの表示画像をそれぞれ生成してよい。
なお、伸張部320は、指示取得部390が指示を取得した場合に、複数の特徴領域の位置を示す情報のそれぞれが対応づけられて記録された情報によって識別される複数の撮像画像を特定する。そして、伸張部320は、圧縮された動画における、特定した複数の撮像画像が表示される表示タイミングを含む期間の部分動画を伸張する。このように、伸張部320は、指示取得部390が指示を取得した場合に、動画における特定の部分動画を伸張する。そして、画像生成部380は、指示取得部390が指示を取得した場合に、圧縮された動画に対応づけて記録された情報が示す複数の特徴領域の位置に基づいて、伸張部により伸張された部分動画に含まれる複数の撮像画像における複数の特徴領域の画像のそれぞれを縮小または拡大して表示画像を生成する。このため、画像処理装置170によると、表示画像を速やかに表示装置180に提供することができる。
図5は、圧縮部230の他のブロック構成の一例を示す。本構成における圧縮部230は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
本構成における圧縮部230は、画質変換部510、差分処理部520、および符号化部530を有する。差分処理部520は、複数の階層間差分処理部522a−d(以下、階層間差分処理部522と総称する。)を含む。符号化部530は、複数の符号器532a−d(以下、符号器532と総称する。)を含む。
画質変換部510は、画像取得部250から複数の撮像画像を取得する。また、画質変換部510は、特徴領域検出部203が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部510は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部510は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
例えば、画質変換部510は、背景領域に応じた解像度に変換された撮像画像(以後、低解像度画像と呼ぶ。)、第1の特徴の種類に応じた第1解像度に変換された撮像画像(以後、第1解像度画像と呼ぶ。)、第2の特徴の種類に応じた第2解像度に変換された撮像画像(以後、第2解像度画像と呼ぶ。)、および第3の特徴の種類に応じた第3解像度に変換された撮像画像(以後、第3解像度画像と呼ぶ。)を生成する。なお、ここでは、第1解像度画像は低解像度画像より解像度が高く、第2解像度画像は第1解像度画像より解像度が高く、第3解像度画像は第2解像度画像より解像度が高いとする。
そして、画質変換部510は、低解像度画像、第1解像度画像、第2解像度画像、および第3解像度画像を、それぞれ階層間差分処理部522d、階層間差分処理部522a、階層間差分処理部522b、および階層間差分処理部522cに供給する。なお、画質変換部510は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部522のそれぞれに動画を供給する。
なお、画質変換部510は、特徴領域の特徴の種類に応じて、階層間差分処理部522のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部510は、階層間差分処理部522aに供給する動画より低いフレームレートの動画を階層間差分処理部522dに供給してよい。また、画質変換部510は、階層間差分処理部522bに供給する動画より低いフレームレートの動画を階層間差分処理部522aに供給してよく、階層間差分処理部522cに供給する動画より低いフレームレートの動画を階層間差分処理部522bに供給してよい。なお、画質変換部510は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部522に供給する動画のフレームレートを変換してよい。
階層間差分処理部522dおよび符号器532dは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部522は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器532dは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
また、階層間差分処理部522aは、画質変換部510から供給された複数の第1解像度画像を含む第1特徴領域動画を予測符号化する。同様に、階層間差分処理部522bおよび階層間差分処理部522cは、それぞれ複数の第2解像度画像を含む第2特徴領域動画および複数の第3解像度画像を含む第3特徴領域動画を予測符号化する。以下に、階層間差分処理部522aおよび符号器532aの具体的な動作について説明する。
階層間差分処理部522aは、符号器532dによる符号化後の第1解像度画像を復号して、復号した画像を第1解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部522aは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部522aは、背景領域における差分値を0にする。そして、符号器532aは、差分画像を符号器532dと同様に符号化する。なお、階層間差分処理部522aおよび符号器532aによる符号化処理は、第1解像度画像の部分領域毎にされてよい。
なお、階層間差分処理部522aは、第1解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第1解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部522aは、他の第1解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部522aは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
なお、階層間差分処理部522aは、背景領域における差分値を0にしなくてもよい。この場合、符号器532aは、特徴領域以外の領域における差分情報に対する符号化後のデータを0にしてもよい。例えば、符号器532aは、周波数成分に変換した後の変換係数を0にしてよい。なお、階層間差分処理部522dが予測符号化した場合の動きベクトル情報は、階層間差分処理部522aに供給される。階層間差分処理部522aは、階層間差分処理部522dから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
なお、階層間差分処理部522bおよび符号器532bの動作は、第2解像度画像を符号化するという点、および第2解像度画像を符号化する場合に、符号器532aによる符号化後の第1解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522bおよび符号器532bの動作は階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部522cおよび符号器532cの動作は、第3解像度画像を符号化するという点、および第3解像度画像を符号化を符号化する場合に、符号器532bによる符号化後の第2解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。
以上説明したように、画質変換部510は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部530は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
また、画質変換部510は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部520は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
以上説明したように、圧縮部230は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部230による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。なお、画像処理装置170がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
図6は、撮像装置100により得られた撮像動画の一例を示す。撮像装置100aが撮像した撮像動画Aは複数の撮像画像600−1〜3(以後、撮像画像600と総称する。)を含む。また、撮像装置100bが撮像した撮像動画Bは複数の撮像画像610−1〜3(以後、撮像画像610と総称する。)を含み、撮像装置100cが撮像した撮像動画Cは複数の撮像画像620−1〜3(以後、撮像画像620と総称する。)を含み、撮像装置100dが撮像した撮像動画Dは複数の撮像画像630−1〜3(以後、撮像画像630と総称する。)を含む。
なお、撮像装置100a、撮像装置100b、撮像装置100c、および撮像装置100dによる撮像領域は少なくとも一部が重複しているとする。そして、撮像装置100a、撮像装置100b、撮像装置100c、および撮像装置100dは、互いに異なる方向から、当該重複する撮像領域を撮像しているとする。
なお、特徴領域検出部203は、特徴領域の一例としての頭部領域601−1〜3(以後、頭部領域601と総称する。)、体部領域602−1〜3(以後、体部領域602と総称する。)、および移動体領域603−1〜3(以後、移動体領域603と総称する。)を、撮像画像600から検出している。また、特徴領域検出部203は、特徴領域の一例としての頭部領域611−1〜3(以後、頭部領域611と総称する。)および体部領域612−1〜3(以後、体部領域612と総称する。)を、撮像画像610から検出している。また、特徴領域検出部203は、特徴領域の一例としての頭部領域621−1〜3(以後、頭部領域621と総称する。)および体部領域622−1〜3(以後、体部領域622と総称する。)を、撮像画像620から検出している。また、特徴領域検出部203は、特徴領域の一例としての頭部領域631−1〜3(以後、頭部領域631と総称する。)および体部領域632−1〜3(以後、体部領域632と総称する。)を、撮像画像630から検出している。
このように、異なる位置に設けられた複数の撮像装置100から撮像された複数の撮像画像を画像取得部301が取得した場合に、出力部207は、出力する画像数を領域毎に決定してよい。例えば、出力部207は、特徴領域の種類に応じて予め定められた数の特徴領域の画像を出力する。具体的には、出力部207は、頭部領域については、4の撮像装置100で撮像されて得られた4つ全ての撮像画像、例えば撮像画像600−1、撮像画像610−1、撮像画像620−1、および撮像画像630−1から生成される頭部領域の画像(頭部領域601−1の画像、頭部領域611−1の画像、頭部領域621−1の画像、頭部領域631−1の画像)を出力すべき旨を決定する。
また、出力部207は、体部領域については、異なる撮像装置100で撮像された3つの撮像画像、例えば撮像画像600−1、撮像画像610−1、および撮像画像620−1から生成される体部領域の画像(体部領域602−1の画像、体部領域612−1の画像、体部領域622−1の画像)を出力すべき旨を決定する。また、出力部207は、移動体領域については2の撮像装置100で撮像された2つの撮像画像を出力すべき旨を決定して、背景領域については1の撮像装置100で撮像された1つの撮像画像を出力すべき旨を決定する。
なお、撮像画像600−1、撮像画像610−1、撮像画像620−1、および撮像画像630−1のうち、移動体領域が検出されているのは撮像画像600−1だけなので、出力部207は、撮像画像600−1における移動体領域603−1の画像を出力すべき旨を決定する。また、出力部207は、背景領域については、撮像画像600−1における背景領域の画像を出力すべき旨を決定する。
なお、出力部207は、撮像装置100に予め割り当てられた優先度に従って撮像画像600を選択してよい。例えば、出力部207は、割り当てられた優先度がより高い撮像装置100が撮像した撮像画像600を、より優先して選択してよい。そして、出力部207は、選択した撮像画像600に含まれる特徴領域の画像および背景領域の画像のうち、決定した画像数の画像を出力する。
このように、出力部207は、第1の数の撮像画像からそれぞれ生成された特徴領域内に撮像されている被写体の画像である第1の数の特徴領域内画像、および第1の数と異なる第2の数の撮像画像からそれぞれ生成された特徴領域外に撮像されている被写体の画像である第2の数の特徴領域外画像を出力する。そして、出力部207は、第2の数より多い第1の数の撮像画像からそれぞれ生成された第1の数の特徴領域内画像を出力する。また、複数の特徴領域が検出されている場合には、出力部207は、撮像画像における特徴領域のそれぞれから生成された複数の特徴領域内画像のうち、複数の特徴領域の特徴に応じて予め定められた数の特徴領域内画像を出力する。
このように、画像処理システム10によると、背景領域に撮像されている被写体より特徴領域に撮像されている被写体がより多方向から撮像されている画像を提供することができる。このため、特徴領域に撮像されている被写体を後に高精度で解析することができる。また、画像処理システム10によると、一部の撮像装置100から撮像された撮像画像中の背景領域の画像は送信されないので、送信されるデータ量を著しく削減することができる。
図7は、特徴領域または背景領域における階調値のヒストグラム700の一例を示す。特性長710は、ヒストグラム700が示す分布の拡がりを表している。なお、特性長710の一例としては、半値幅を例示することができる。
階調数決定部264は、特徴領域の特徴の種類に応じて予め定められた階調数を決定する。また、階調数決定部264は、背景領域については、特徴領域に対して予め定められた階調数より少ない、予め定められた階調数を決定する。そして、階調数決定部264は、特性長710の長さが短いほどより少ない階調数を決定する。例えば、階調数決定部264は、特徴領域の特徴の種類に応じて予め定められた階調数から、特性長710の長さに反比例する数を減じた値を、特徴領域の画像の階調数として決定してよい。
これにより、圧縮部230は、画像領域におけるヒストグラム700が示す分布の拡がりがより小さい場合に、当該画像領域の画像をより少ない階調数の画像に変換する。このため、圧縮率が高まる。
図8は、階調変換用の変換曲線の一例を示す。ダイナミックレンジ決定部268は、変換曲線810、変換曲線820等のように、入力画素値を変換する複数の変換曲線を予め記憶している。そして、ダイナミックレンジ決定部268は、予め記憶している複数の変換曲線の中から、各領域毎に一の変換曲線を選択する。なお、ダイナミックレンジ決定部268は、特徴領域に対しては広いダイナミックレンジを示す変換曲線を選択してよく、背景領域に対しては特徴領域より狭いダイナミックレンジを有する変換曲線を選択してよい。
図9は、圧縮制御部210が領域毎に圧縮パラメータを選択する選択方法の一例を示す。圧縮制御部210は、領域の種類を識別する情報である種類ID、ヒストグラムのパターンを識別する情報、階調変換方法を識別する情報、およびカラーセットを識別する情報を対応づけて記憶している。種類IDは、特徴領域であるか背景領域であるか、ならびに特徴領域の特徴の種類を識別する情報を示す。ヒストグラムのパターンを識別する情報は、図7に関連して説明したヒストグラムの分布を示す情報であってよい。一例として、ヒストグラムを識別する情報は、特性長710であってよい。
階調変換方法を識別する情報は、LUTを識別する情報であってよい。当該LUTは、図8に関連して説明した変換曲線による変換を実現するLUTであってよい。また、カラーセットを識別する情報は、画素値として使用し得る色の組み合わせを示すカラーセットであってよい。
ダイナミックレンジ決定部268は、領域に合致する種類IDおよび領域におけるヒストグラムのパターンに合致するパターンを識別する情報に対応づけて記憶されているLUTを識別する情報を特定する。そして、ダイナミックレンジ決定部268は、当該情報によって特定されるLUT情報を圧縮部230に供給する。このようにして、ダイナミックレンジ決定部268は、ダイナミックレンジを領域毎に決定する。
また、色数決定部266は、領域に合致する種類IDおよび領域におけるヒストグラムのパターンに合致するパターンを識別する情報に対応づけて記憶されているカラーセットを特定する。色数決定部266は、当該情報によって特定されるカラーセットを圧縮部230に供給する。このようにして、色数決定部266は、使用される色数を領域毎に決定する。
なお、特徴領域に対応づけて記憶されているカラーセットは、3以上の数の原色(例えば、5原色あるいは7原色)で表現された色から形成され、背景領域に対応づけて記憶されているカラーセットは、3原色(例えば、RGB)で表現された色から形成されてよい。また、特徴領域に対応づけて記憶されているカラーセットは色差成分を有する色を含み、背景領域に対応づけて記憶されているカラーセットは色差成分を有する色を含まなくてもよい。なお、上記の色変換、ダイナミックレンジ変換、解像度変換、および階調数変換は、画像変換部241または画質変換部510によりなされる。
図10は、動きベクトル探索範囲の一例を示す。特徴領域検出部203は、撮像画像1000−1および撮像画像1000−3(以後、撮像画像1000と総称する。)から、それぞれ特徴領域1010−1および特徴領域1010−3(以後、特徴領域1010と総称する。)を検出している。また、特徴領域1010−1および特徴領域1010−3は、相関が高い特徴領域として特徴領域特定部212により特定されているとする。
この場合、位置差算出部214は、特徴領域1010−1および特徴領域1010−3の間の位置差を算出する。なお、特徴領域1010−3の重心が(x1,y1)にあり、特徴領域1010−1の重心が(x2,y2)にある場合に、位置差は(x2―x1,y2―y1)となるとする。そして、探索領域決定部216は、(x2,y2)を含む領域1020を、動きベクトル探索範囲として決定する。
このとき、探索領域決定部216は、位置差の大きさがより小さい場合に、より小さい領域1020を決定してよい。探索領域決定部216が決定した動きベクトル探索範囲は、圧縮部230に供給される。そして、圧縮部230は、特徴領域1010−3をフレーム間圧縮する場合に、探索領域決定部216が決定した動きベクトル探索範囲内で動き予測処理をすることにより、動きベクトルを算出する。
このように、探索領域決定部216は、フレーム間予測により圧縮される撮像画像1000−3における相関が高い特徴領域の位置から、当該圧縮される撮像画像1000−3とフレーム間予測における予測画像の元となる撮像画像1000−1との間における相関が高い特徴領域の位置差だけ離れた当該予測画像の元となる撮像画像1000−1における位置の近傍領域に、圧縮される撮像画像1000−3における特徴領域に含まれる画像を圧縮する場合に用いられる動きベクトルが算出される動きベクトル探索領域を決定する。したがって、圧縮部230は、狭められた範囲で動き予測すればよいので、動きベクトル算出時の演算量を低減することができる。このため、動きベクトルを高速に算出することができ、圧縮速度が向上する。また、圧縮部230は、より高い精度で動きベクトルを算出することができる。なお、探索領域決定部216は、位置差が示す特徴領域の移動方向の方向において、当該方向と垂直な方向の幅より長い動きベクトル探索領域を決定してよい。
図11は、位置差の大きさに対する探索領域幅の依存性の一例を示す。なお、位置差算出部214は、x方向およびy方向のそれぞれにおける、画素単位で表された位置差を算出する。
依存性を示す線1100に示されるように、探索領域決定部216は、位置差算出部214が算出した位置差が予め定められたΔNαまでの間、動きベクトル探索範囲の幅を単調増加させる。位置差算出部214が算出した位置差がΔNα以上の場合には、探索領域決定部216は、動きベクトル探索領域の幅を上限値ΔNβとする。このように、探索領域決定部216は、位置差の大きさが予め定められた値より大きい場合に、予め定められた広さの動きベクトル探索領域を決定する。なお、閾値取得部209は、位置差の閾値を画像処理装置120の外部から取得する。そして、探索領域決定部216は、位置差の大きさが閾値より大きい場合に、予め定められた広さの動きベクトル探索領域を決定する。以上説明したように、動きベクトル探索領域の幅に上限が設定されているので、動きベクトル探索範囲が必要以上の大きくなってしまうことを未然に防ぐことができる。
図12は、特徴領域内の部分領域の重要度レベルを示す。特徴領域検出部203は、特徴領域の一例としての頭部領域1200内において、重要度が異なる複数の領域を検出する。例えば、特徴領域検出部203は、頭部領域1200内において、眼部領域1210aおよび眼部領域1210b(以下、眼部領域1210と総称する。)、口領域1220、鼻領域1230、および耳領域1240aおよび耳領域1240b(以下、耳領域1240と総称する。)を検出する。
なお、重要度は、眼部領域1210、鼻領域1230、口領域1220、耳領域1240の順で高いものとする。特徴領域検出部203が検出した頭部領域1200内の各領域の位置を示す情報は、圧縮部230に供給される。そして、圧縮部230は、頭部領域1200内の各領域の画像を、重要度に応じた強度で圧縮する。
具体的には、圧縮部230は、頭部領域1200内の各領域の画像について、符号量が各領域の重要度に応じて定められている目標符号量になるよう、空間周波数フィルタ強度および/または量子化係数を制御する。なお、重要度は、人物識別の正解率に基づいて予め定められていてよい。このように、圧縮部230は、頭部領域1200から階層的検出された重要度が異なる各領域を、重要度に応じて圧縮する。これにより、画像処理装置170は、圧縮された撮像画像からでもより高い精度で人物を検出・認識することができる。
また、特徴領域検出部203はさらに、眼部領域1210内においても、重要度が異なる複数の領域を検出する。例えば、特徴領域検出部203は、眼部領域1210内において、目領域1212aおよび目領域1212a(以下、目領域1212と総称する。)、ならびに眉領域1214aおよび眉領域1214b(以下、眉領域1214と総称する。)を検出する。なお、目領域1212は眉領域1214より重要度が高いとしてよい。そして、圧縮部230は、頭部領域1200内に各領域に対する圧縮処理と同様に、眼部領域1210内の各領域の画像を、重要度に応じた強度で圧縮してよい。
図13は、表示装置180による表示例を示す。表示装置180による表示エリアには、動画エリア1300および注目画像エリア1301が含まれる。画像処理装置170は、合成部330によって得られた動画が動画エリア1300に表示される動画データを表示装置180に提供する。また、画像処理装置170は、画像生成部380によって生成された表示画像が注目画像エリア1301に表示される動画データを表示装置180に提供する。
具体的には、画像生成部380は、動画エリア1300に表示される動画に含まれる人物の頭部領域1310a−c(以下、頭部領域1310と総称する。)の画像である頭部画像1311a−c(以下、頭部画像1311と総称する。)を生成する。なお、頭部領域1310は特徴領域の一例であり、頭部画像1311は上記表示画像の一例であってよい。
このとき、画像生成部380は、頭部領域1310の画像を拡大または縮小することで大きさが揃えられた頭部画像1311を生成する。これにより、頭部画像1311が同じ大きさで表示されるので、監視者にとって見やすい監視映像となる。
また、画像生成部380は、頭部領域1310の画像から、異なる位置に表示される頭部画像1311を生成する。なお、画像生成部380は、表示される領域が重複しない頭部画像1311を生成してよい。このように、画像生成部380は、複数の特徴領域の画像がそれぞれ予め定められた異なる位置に同時に表示される表示画像をそれぞれ生成する。
なお、画像生成部380は、複数の頭部画像1311を含む動画を生成してよい。例えば、画像生成部380は、動画に含まれる複数の撮像画像のそれぞれにおける頭部領域1310の画像から、複数の頭部画像1311をそれぞれ生成してよい。このとき、特徴領域選択部370は、複数の撮像画像のそれぞれにおける複数の頭部領域1310のうち、頭部領域1310の下部領域の画像内容について予め定められた値より高い相関を有する複数の頭部領域1310を選択する。
例えば、特徴領域選択部370は、複数の撮像画像のそれぞれにおける頭部領域1310の下部領域の画像から、服装のテクスチャ情報をそれぞれ抽出する。そして特徴領域選択部370は、抽出したテクスチャ情報が予め定められた値より大きい一致度で一致する下部領域の上部にある複数の頭部領域1310を、相関が高い頭部領域1310として選択してよい。他にも、特徴領域選択部370は、含まれる色の組み合わせが予め定められた値より大きい一致度で一致する下部領域の上部にある複数の頭部領域1310を、相関が高い頭部領域1310として選択してよい。
そして、画像生成部380は、当該複数の頭部画像1311aが同じ位置に連続して表示される動画を生成してよい。このように、画像生成部380は、特徴領域情報取得部360が取得した情報が示す位置に基づいて、複数の撮像画像にそれぞれ含まれる特徴領域の画像のそれぞれが略同一の位置に表示される表示画像を生成してよい。このとき、画像生成部380は、同一被写体が撮像されている特徴領域の画像のそれぞれが略同一の位置に表示される表示画像を生成してよい。
なお、本図の例では、いずれの頭部画像1311も同じ大きさとしているが、画像生成部380は、頭部領域1310の位置に応じて予め定められた大きさの頭部画像1311を生成してもよい。例えば、画像生成部380は、より重要な位置にある頭部領域1310の画像から、より大きい頭部画像1311を生成してよい。本図の例では、画像生成部380は、カウンターからの距離が予め定められた距離より短い位置にある頭部領域1310(例えば、頭部領域1310b)から、他の頭部画像1311より大きい頭部画像1311を生成してよい。したがって、画像処理システム10によると、重要な領域に位置する人物の画像を強調表示することができる。
このように、画像生成部380は、複数の特徴領域の画像のそれぞれを縮小または拡大して、複数の特徴領域の位置に応じた大きさの表示画像をそれぞれ生成してよい。なお、画像生成部380は、複数の特徴領域の画像のそれぞれを縮小または拡大して、複数の特徴領域が存在する位置が示す実空間における被写体の位置に応じた大きさの表示画像をそれぞれ生成してよい。また、画像生成部380は、複数の特徴領域の画像のそれぞれを縮小または拡大して、複数の特徴領域の大きさが示す実空間における被写体の大きさに応じた大きさの表示画像をそれぞれ生成してもよい。
なお、画像生成部380は、複数の特徴領域の画像が動画における表示タイミングに応じて予め定められた位置に同時に表示される表示画像をそれぞれ生成してもよい。例えば、画像生成部380は、表示される順に所定の方向に並べて表示される頭部画像1311を生成してもよい。なお、当該特徴領域の画像が表示される位置は、特徴領域の大きさ、特徴領域に含まれる特定被写体の大きさ、または頭部の下部領域(例えば、服領域)の画像内容の少なくともいずれかに応じて決定されてよい。
図14は、画像処理装置170のブロック構成の他の一例を示す。本構成の画像処理装置170は、特徴領域の画像を超解像処理することにより、特徴領域を高画質化する。本構成の画像処理装置170は、画像取得部301、対応付け解析部302、伸張制御部310、伸張部320、画像生成部380、特徴領域情報取得部360、特徴領域選択部370、照明条件特定部372、方向特定部374、相関値取得部376、モデル格納部350、出力部340を備える。画像生成部380は、画像拡大部332および合成部330を有する。
画像取得部301は、圧縮部230により圧縮された圧縮動画を取得する。具体的には、画像取得部301は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部301は、特徴領域情報が付帯された圧縮動画を取得する。なお、圧縮動画は、画像処理装置170への入力動画の一例であってよい。また、圧縮動画に動画構成画像として含まれる撮像画像は、画像処理装置170への入力画像の一例であってよい。このように、このように、画像取得部301は、圧縮部230により低画質化された撮像画像を入力画像として取得する。
そして、対応付け解析部302は、圧縮動画を複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部320に供給する。また、対応付け解析部302は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部310および特徴領域情報取得部360に供給する。このようにして、特徴領域情報取得部360は、複数の撮像画像のそれぞれにおける特徴領域を示す情報、例えば特徴領域の位置を示す情報を取得することができる。
伸張制御部310は、対応付け解析部302から取得した特徴領域の位置および特徴の種類に応じて、伸張部320による伸張処理を制御する。例えば、伸張制御部310は、特徴領域の位置および特徴の種類に応じて圧縮部230が動画の各領域を圧縮した圧縮方式に応じて、伸張部320に圧縮動画が示す動画の各領域を伸張させる。
以下に、伸張部320が有する各構成要素の動作を説明する。伸張部320は、複数の復号器322a−d(以下、復号器322と総称する。)を有する。復号器322は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器322a、復号器322b、復号器322c、および復号器322dは、それぞれ第1特徴領域動画、第2特徴領域動画、第3特徴領域動、および背景領域動画を復号する。伸張部320は、復号して得られた第1特徴領域動画、第2特徴領域動画、第3特徴領域動、および背景領域動画を、画像生成部380に供給する。
画像生成部380は、第1特徴領域動画、第2特徴領域動画、第3特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部340は、対応付け解析部302から取得した特徴領域情報および表示動画を表示装置180または画像DB175に出力する。なお、画像DB175は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
特徴領域選択部370は、複数の撮像画像のそれぞれにおける特徴領域のうち、予め定めた値より高い相関を有する第1特徴領域および第2特徴領域を選択する。具体的には、相関値取得部376は、当該相関に関する閾値を取得する。そして、特徴領域選択部370は、複数の動画構成画像のそれぞれにおける特徴領域のうち、相関値取得部376が取得した閾値より高い相関を有する第1特徴領域および第2特徴領域を選択する。
例えば、特徴領域選択部370は、複数の撮像画像のそれぞれから検出された特徴領域のうち、画像内容の一致度が予め定められた値より高い第1特徴領域および第2特徴領域を選択してよい。
他にも、特徴領域選択部370は、複数の撮像画像のそれぞれにおける特徴領域の位置に基づいて、第1特徴領域および第2特徴領域を選択してよい。例えば、特徴領域選択部370は、複数の撮像画像にわたる特徴領域の位置の変化量に基づいて、圧縮動画において移動速度の変化量が予め定められた値より小さい特徴領域である第1特徴領域および第2特徴領域を選択してよい。また、特徴領域選択部370は、複数の撮像画像にわたる特徴領域の位置の変化方向に基づいて、入力動画において移動方向の変化量が予め定められた値より小さい特徴領域である第1特徴領域および第2特徴領域を選択してよい。そして、特徴領域選択部370は、選択した第1特徴領域および第2特徴領域を示す情報を画像生成部380に供給する。
そして、画像生成部380は、第1特徴領域の画像、第2特徴領域の画像、および第1特徴領域と第2特徴領域との間の位置差を用いて、第1特徴領域の画像および第2特徴領域の画像より高解像度な高画質画像を生成する。例えば、画像生成部380は、第1特徴領域の画像と第2特徴領域の画像とを位置差に基づいて合成することによって、高画質画像を生成する。例えば、画像生成部380は、第1特徴領域の画像と第2特徴領域の画像とを、当該位置差だけずらして重ね合わせることによって、高画質画像を生成する。
なお、特徴領域選択部370は、複数の撮像画像のそれぞれから検出された特徴領域のうち、予め定めた値より高い相関を有する3以上の特徴領域を選択してもよい。そして、画像生成部380は、3以上の特徴領域の画像、および3以上の特徴領域の位置の差を用いて、3以上の特徴領域の画像より高解像度な高画質画像を生成してもよい。
画像拡大部332は、撮像画像における特徴領域以外の領域の画像を、当該高画質画像と同じ解像度の画像に拡大する。そして、合成部330は、画像拡大部332により得られた画像と、高画質画像とを合成して、表示動画の動画構成画像としての一の撮像画像を生成する。このように、画像生成部380は、撮像画像における特徴領域以外の領域の画像を、高画質画像と同じ解像度の画像に拡大し、拡大して得られた画像と高画質画像とを合成することによって、一の撮像画像を生成する。画像生成部380は、複数の撮像画像のそれぞれに上記処理を施すことによって、複数の撮像画像を動画構成画像として含む表示動画を生成する。
なお、画像生成部380は、特徴領域に含まれる物体の画像を数学モデルに適合させることにより、高画質画像を生成してよい。具体的には、モデル格納部350は、特徴パラメータで物体が表現されたモデルを格納する。より具体的には、モデル格納部350は、統計的な特徴パラメータで物体が表現されたモデルを格納する。例えば、モデル格納部350は、主成分分析に基づく主成分(例えば、主成分ベクトル)で物体が表現されたモデルを格納する。
なお、モデル格納部350は、主成分分析に基づく主成分で物体の形状が表現されたモデルを格納してよい。また、モデル格納部350は、主成分分析に基づく主成分で物体の色が表現されたモデルを格納してよい。
そして、画像生成部380は、撮像画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、撮像画像における特徴領域に含まれる物体の画像を、当該撮像画像より高画質な高画質画像に変換する。
なお、モデル格納部350は、異なる方向から見た物体のモデルを、当該方向に対応づけて格納している。そして、方向特定部374は、撮像画像における特徴領域に撮像されている物体が撮像された方向を特定する。そして、画像生成部380は、撮像画像における特徴領域に含まれる物体の画像を、方向特定部374が特定した方向に対応づけてモデル格納部350が格納しているモデルに適応させることによって、高画質画像に変換してよい。
また、モデル格納部350は、異なる照明条件で照明された物体のモデルを、当該照明条件に対応づけて格納している。そして、照明条件特定部372は、入力画像における特徴領域に撮像されている物体が照明された照明条件を特定する。そして、画像生成部380は、入力画像における特徴領域に含まれる物体の画像を、照明条件特定部372が特定した照明条件に対応づけてモデル格納部350が格納しているモデルに適応させることによって、高画質画像に変換する。このように、画像生成部380は、入力された撮像画像における特徴領域に含まれる物体の画像を、モデルに適応させることによって、入力された撮像画像より高解像度な高画質画像を生成する。
そして、出力部340は、当該高画質画像および特徴領域以外の画像を含む画像を出力する。具体的には、出力部340は、上述したように合成部330により得られた撮像画像を動画構成画像として含む表示動画を出力する。
図15は、人間の顔における特徴点の一例を示す。図14に関連して説明したように、モデル格納部350は、特徴パラメータで物体を表現するモデルを格納している。以下に、モデル格納部350が格納するモデルを生成する生成方法の一例として、物体の一例である人物の顔のモデルをAAM手法を用いて生成する場合について説明する。
サンプルとなる人間の顔部分が表された複数の顔画像(以下、サンプル画像)の各々に対して、図15に示すように、顔形状を表す特徴点をn個設定する。なお、ここでは、特徴点の数は顔画像の画素数より少ないものとする。各特徴点は、例えば、1番目の特徴点は左目の左端、11番目の特徴点は眉の間の中央というように、顔のどの部位を示すかが予め定められていてよい。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定してもよい。
そして、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。そして、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う。その結果、任意の顔形状Sは、S=S0+Σpibi(i=1〜n)によって表現することができる。
ここで、Sは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル(x1,y1,・・・,xn,yn)であり、S0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、piは主成分分析によって得られた顔形状についての第i主成分を表す固有ベクトル、biは各固有ベクトルpiに対する重みづけ係数を表す。
図16は、重みづけ係数bを変化させた場合の顔形状の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位2つの主成分の固有ベクトルp1、p2に対する重みづけ係数b1、b2の値を変化させた場合の顔形状の変化の様子を模式的に表している。a)は、重みづけ係数b1を変化させた場合の顔形状の変化を示しており、b)は、重みづけ係数b2を変化させた場合の顔形状の変化を示している。a)およびb)のいずれにおいても、各主成分についての3つの顔形状の中央のものは、平均的な顔形状を示す。
この例では、主成分分析の結果、第1主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数b1を変化させることによって、a)左端に示す細長い顔からa)右端に示す丸顔まで顔形状が変化していることがわかる。同様に、第2主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数b2を変化させることによって、b)左端に示すような口が開いた状態で顎が長い顔から、b)右端に示すような口が閉じられた状態で顎が短い顔まで、顔形状が変化することがわかる。なお、各主成分が結果としてどのような形状要素に寄与しているかは人間の解釈による。主成分分析により、使用された各サンプル画像においてより大きな形状の違いを表現するものがより低次の主成分として抽出される。
図17は、サンプル画像を平均顔形状に変換して得られた画像の一例を示す。各サンプル画像を、平均顔形状に変換(ワーピング)する。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出する。そして、当該シフト量に基づいて、各サンプル画像の画素毎の平均顔形状へのシフト量を算出して、各サンプル画像を画素毎に平均顔形状へワーピングする。
そして、平均顔形状に変換後のサンプル画像毎の各画素のR,G,Bの色成分の画素値を変数として主成分分析する。その結果、任意の顔画像の平均顔形状下でのR,G,Bの色成分の画素値は、A=A0+Σqiλi(i=1〜m)によって近似することができる。
ここで、Aは、平均顔形状下での各画素のR,G,B色成分の各々の画素値を並べて表現されるベクトル(r1,g1,b1,r2,g2,b2,・・・,rm,gm,bm)である。なお、r、g、bはそれぞれR,G,B色成分の画素値、1からmは各画素を識別する添え字、mは平均顔形状での総画素数を示す。なお、ベクトルの成分の並び順は上記の順に限定されない。
また、A0は平均顔形状における各サンプル画像の画素毎のR,G,B色成分の各々の画素値の平均値を並べて表現される平均ベクトル、qiは主成分分析によって得られた顔のR,G,B色成分の画素値についての第i主成分を表す固有ベクトル、λiは各固有ベクトルqiに対する重みづけ係数を表す。
図18は、重みづけ係数qを変化させた場合の画素値の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位2つの主成分の固有ベクトルq1、q2に対する重みづけ係数λ1、λ2の値を変化させた場合の顔の画素値の変化の様子を模式的に表している。a)は、重みづけ係数λ1を変化させた場合の画素値の変化を示しており、b)は、重みづけ係数λ2を変化させた場合の画素値の変化を示している。a)およびb)のいずれにおいても、各主成分についての3つの顔形状の中央のものは、平均的な画素値を示す。
この例では、主成分分析の結果、第1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λ1を変化させることによって、a)左端に示すヒゲのない顔からa)右端に示すヒゲの濃い顔まで変化することがわかる。第2主成分としては眉の濃さに寄与する成分が抽出されており、重みづけ係数λ2を変化させることによって、b)左端に示すような眉が薄い顔から、b)右端に示すような眉が濃い顔まで変化することがわかる。
以上、図16から図18にかけて説明した処理によって、顔のモデルが生成される。このモデルは、顔形状を表す複数の固有ベクトルpiと、平均顔形状下での顔の画素値を表す固有ベクトルqiとによって、顔を表現する。モデルが有する各固有ベクトルの合計数は、顔画像を形成する画素数よりも大幅に少ない。なお、上記の例では、形状および画素値を顔形状とR,G,B色成分の画素値についての別個の重みづけ係数bi、λiによって、個別の顔画像を表現したが、顔形状と色成分の画素値のバリエーションには相関性があることから、特徴点および画素値の双方を含む特徴パラメータを主成分分析することもできる。
次に、モデル格納部350が格納しているモデルを用いて画像生成部380が特徴領域の画像を高解像度化する処理の一例を説明する。画像生成部380は、特徴領域に含まれる入力顔画像を正規化して、平均顔形状化でのR,G,Bの色成分の画素値を算出する。なお、入力顔画像は、かならずしも正面からの画像でなかったり、照明条件がサンプル画像を撮像した場合の照明条件と異なる場合がある。したがって、ここでいう正規化とは、上記で説明した正面の顔の特徴点を揃える処理だけでなく、斜めから撮像されて得られた入力顔画像の向きを正面から撮像された顔画像に変換する変換処理であったり、照明による影の影響を除去したりする影除去処理等のように、サンプル画像と同等の撮影環境で撮像された顔画像に変換する処理を含む。
そして、画像生成部380は、平均顔に対する画素値との差を主成分ベクトルqiに射影することにより、重みづけ係数λiを算出する。具体的には、画像生成部380は、主成分ベクトルqiとの内積により重みづけ係数λiを算出することができる。そして、画像生成部380は、算出された重みづけ係数λi、平均顔の画素値A0、および主成分ベクトルqiを用いて、平均顔形状下における画素値Aを算出する。
画像生成部380は、顔の特徴点Sについても、上述した画素値Aの算出処理と同様の処理により算出する。具体的には、画像生成部380は、平均顔に対する特徴点の位置の差を主成分ベクトルpiに射影することにより重みづけ係数biを算出して、算出された重みづけ係数bi、平均顔の特徴点S0、および主成分ベクトルpiを用いて、特徴点Aを算出する。そして、画像生成部380は、画素値Aおよび特徴点Aで表される画像に対して、上記の正規化処理のうち特徴点を揃える処理を除く処理の逆変換処理を施す。
以上の処理により、画像生成部380は、出力部207から出力された撮像画像における特徴領域の画像から、当該撮像画像より高画質な高画質画像を生成する。具体的には、画像生成部380は、出力部207から出力された撮像画像における特徴領域の画像に比べて、より高解像度の画像、よりシャープな画像、よりノイズが少ない画像、より階調数の多い画像、あるいはより色数の多い画像を生成することができる。
図19は、モデル格納部350が格納しているモデルの一例をテーブル形式で示す。モデル格納部350は、複数の表情および複数の方向のそれぞれの組み合わせ毎に、モデルを格納している。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、方向としては、正面、上方、下方、右方、左方、および後方を含む。画像生成部380は、特徴領域に含まれる顔画像の画像内容に基づいて顔の表情および顔の方向を特定して、特定した表情および方向の組み合わせに対応づけてモデル格納部350が格納しているモデルを用いて、上述の再構成処理をすることができる。
なお、画像生成部380は、口および/または目の形状から表情を特定することができ、目、口、鼻、および耳の位置関係等から顔の方向を特定することができる。なお、画像処理装置120が顔の表情および顔の方向を特定してよく、出力部207から撮像画像に対応づけて顔の表情および顔の方向が出力されてよい。
また、モデル格納部350は、顔の表情および向きの他に、上述したように照明条件に対応づけてモデルを格納してよい。例えば、モデル格納部350は、照明強度および照明の方向に対応づけてモデルを格納してよい。そして、画像生成部380は、特徴領域に含まれる顔画像の画像内容に基づいて顔への照明条件を特定してよい。例えば、画像生成部380は、影の位置および大きさに基づいて、照明強度および照明方向を特定して、特定した照明強度および照明方向に対応づけてモデル格納部350が格納しているモデルを用いて、上述の再構成処理をすることができる。
なお、上記の例では、顔全体を表現するモデルの生成および当該モデルを用いた再構成過程を説明した。このような顔全体のモデルの他に、画像処理システム10は、顔の部位毎のモデルを用いることができる。他にも、画像処理システム10は、性別および/または人種毎の顔(あるいは顔の部位毎)のモデルを用いることができる。また、画像処理システム10は、人物のモデルの他に、車両、船舶等、画像処理システム10が監視対象とする物体の種別毎にモデルを格納することができる。そして画像生成部380は、特徴領域に含まれる物体の種類に応じてモデルを選択して再構成することもできる。このような種類は、画像処理装置120において検出され、撮像画像に対応づけて画像処理装置170に送信されてよい。
以上説明したように、モデル格納部350は、異なる種類の物体のモデルを、当該種類に対応づけて格納することができる。そして、特徴領域情報取得部360は、入力画像における特徴領域に撮像されている物体の種類を示す情報を取得する。そして、画像生成部380は、撮像画像における特徴領域に含まれる物体の画像を、特徴領域情報取得部360が取得した特徴領域に撮像されている物体の種類に対応づけてモデル格納部350が格納しているモデルに適応させることによって、高画質画像に変換する。
以上説明した画像処理システム10によると、特徴領域についてはモデルを用いて超解像化する一方で、背景領域についてはモデルを用いた超解像化はしない。このため、超解像処理の演算量を著しく削減することができる。また、背景領域のように重要度が低い領域は高画質化されないので、画像のデータ量を削減することができる。また、画像処理システム10によると、特徴領域を特定する情報が画像処理装置170に送信されるので、低画質な情報しか含まれない背景領域が誤って超解像処理されてしまうことを未然に防ぐことができる。
なお、モデル格納部350は、上述したように、オブジェクトの種類を識別する情報の一例としての顔部位(例えば、目、鼻、口など)毎に、学習データを格納している。ここで、学習データとしては、上記モデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。このように、モデル格納部350は、オブジェクトの種類に対応づけて、オブジェクトの画像の高周波成分を格納するオブジェクト画像情報格納部として機能する。なお、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をK−means法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分は複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分(例えば、重心値)が定められていてよい。
そして、画像生成部380は、撮像画像に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像生成部380は、当該オブジェクの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像生成部380は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像生成部380は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像生成部380は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像生成部380は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像生成部380は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
以上のように、画像処理装置170は、主成分分析(PCA)を用いて特徴領域の画像を再構成することができる。なお、画像処理装置170による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析(PCA)による学習・画像再構成の他に、局所保存投影(locality preserving projection:LPP)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent component analysis:ICA)、多次元スケーリング(multidimensional scaling:MDS)、サポートベクターマシン(サポートベクター回帰)、ニューラルネットワーク、隠れマルコフモデル、Bayes推論、最大事後確率推定、反復逆投影、Wavelet変換、局所線形埋め込み(locally linear embedding:LLE)、マルコフランダム場(Markov random field:MRF)等の手法を用いることができる。
以上説明したように、画像処理装置170は、特徴領域の画像を超解像処理することによって、特徴領域の画像を高画質化する。なお、画像処理装置170は、図1〜図13に関連して説明した画像処理装置170の処理と、図14〜図19に関連して説明した画像処理装置170の処理とを組み合わせた処理をすることができる。例えば、画像処理装置170は、図14〜図19に関連して説明した超解像処理が特徴領域において施されて得られた撮像画像を、図1〜図13に関連して説明したように特徴領域の数、特徴領域の位置、特徴領域の大きさ、特徴領域に含まれるオブジェクトの種類を特定する情報等に対応づけて画像DB175に記録しておく。そして、画像処理装置170は、図1〜図13に関連して説明したように、監視者からの指示に応じて、撮像画像に対応づけられている特徴領域の数、特徴領域の位置、特徴領域の大きさ、特徴領域に含まれるオブジェクトの種類を特定する情報等に基づいて、例えば特徴領域の画像を大きさを揃えて同じ位置に表示したりすることができる。
図20は、他の実施形態に係る画像処理システム20の一例を示す。本実施形態における画像処理システム20の構成は、撮像装置100a−dがそれぞれ画像処理部804a−d(以下、画像処理部804と総称する。)を有する点を除いて、図1で説明した画像処理システム10の構成と同じとなっている。
画像処理部804は、画像処理装置120に含まれる構成要素のうち、画像取得部250を除く構成要素を有している。そして、画像処理部804に含まれる各構成要素の機能および動作は、画像処理装置120に含まれる各構成要素が圧縮動画伸張部202による伸張処理によって得られた撮像動画を処理することに替えて、撮像部102によって撮像された撮像動画を処理するという点を除いて、画像処理装置120に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム20においても、図1から図13にかけて画像処理システム10に関連して説明した効果と略同一の効果が得ることができる。
なお、画像処理部804は、撮像部102からRAW形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるRAW形式で表された複数の撮像画像をRAW形式のまま圧縮してよい。なお、画像処理部804は、RAW形式で表された複数の撮像画像から1以上の特徴領域を検出してよい。また、画像処理部804は、圧縮されたRAW形式の複数の撮像画像を含む撮像動画を圧縮してよい。なお、画像処理部804は、撮像動画を、図1〜図19に関連して画像処理装置120の動作として説明した圧縮方法で圧縮することができる。なお、画像処理装置170は、画像処理部804から取得した動画を伸張することにより、RAW形式で表された複数の撮像画像を取得することができる。画像処理装置170は、伸張することにより取得されたRAW形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置170は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
そして、画像処理装置170は、同時化処理によって得られた撮像画像における特徴領域の画像に、図14〜図19に関連して説明したような超解像処理を施してよい。なお、図1〜図19に関連して説明したように、画像処理装置170は超解像処理において上述した重みづけ係数を算出した。この場合、特徴領域に含まれる物体の画像は、主成分ベクトルおよび重みづけ係数によって表されるが、これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部804は、撮像部102から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上述した重みづけ係数を算出してよい。すなわち、画像処理部804は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部804は、主成分ベクトルおよび重みづけ係数を画像処理装置170に送信してよい。画像処理装置170においては、画像処理部804から取得した主成分ベクトルおよび重みづけ係数を用いて、上述したように特徴領域に含まれる物体の画像を再構成することができる。
このように、画像処理部804は、撮像画像における特徴領域の画像に含まれる物体の画像を、物体が特徴パラメータで表現されたモデルに適応させることによって、特徴領域の画像に含まれる物体を表す、当該モデルにおける特徴パラメータの値を算出してよい。そして、画像処理部804は、算出した特徴パラメータの値および特徴領域以外の領域の画像を出力してよい。そして、画像処理装置170は、画像処理部804から取得した特徴パラメータの値をモデルに適用することで物体の画像を生成して、生成した物体の画像および特徴領域以外の領域の画像を用いて一の撮像画像を生成してよい。
図21は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、より高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、画像処理装置120および画像処理装置170が起動するときに実行するブート・プログラム、あるいは画像処理装置120および画像処理装置170のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、画像処理装置120を、図1から図20に関連して説明した画像処理装置120が有する各構成要素として機能させ、画像処理装置170を、図1から図20に関連して説明した、画像処理装置170が有する各構成要素として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置120および画像処理装置170として機能する。
以上、本発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。