WO2009125578A1

WO2009125578A1 - 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体

Info

Publication number: WO2009125578A1
Application number: PCT/JP2009/001599
Authority: WO
Inventors: 亀山　祐和
Original assignee: 富士フイルム株式会社
Priority date: 2008-04-07
Filing date: 2009-04-07
Publication date: 2009-10-15

Abstract

　高画質画像を生成するのに要する演算時間を削減することができる画像処理システムを提供する。画像処理システムは、撮像された入力画像を取得する画像取得部と、入力画像における特徴領域を示す情報を取得する特徴領域情報取得部と、特徴パラメータで物体が表現されたモデルを格納するモデル格納部と、入力画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、入力画像における特徴領域に含まれる物体の画像を、入力画像より高画質な高画質画像に変換する画像生成部と、画質画像および特徴領域以外の画像を含む画像を出力する出力部とを備える。

Description

画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体

　本発明は、画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体に関する。本出願は、下記の日本出願に関連し、下記の日本出願からの優先権を主張する出願である。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の一部とする。
　１．特願２００８－０９９３２２　　出願日　２００８年４月７日
　２．特願２００８－１００７４６　　出願日　２００８年４月８日
　３．特願２００８－１００７４７　　出願日　２００８年４月８日
　４．特願２００９－０９１５１８　　出願日　２００９年４月３日

　低解像度映像入力装置で得る低解像度映像などを高解像度映像入力装置で得ることができる水準の画質に再構成及び復元するとされる再構成方法が知られている（例えば、特許文献１参照。）。また、既存の監視映像記録システムで使用するカメラなどの装置をそのまま使い、処理時間を抑えながら被写体の詳細が確認可能な高画質な画像を生成する監視映像記録システムが知られている（例えば、特許文献２参照。）。

　また、三次元の顔モデルと固有顔の分解とを用いて顔の影像を符号化および復号する方法が知られている（例えば、特許文献１参照。）。また、主画像と主画像における口の部分の変化を表す複数の副画像とをあらかじめ送信して、その後に、動画像を再生するために上記複数の副画像のいずれを選択して上記主画像に組み合わせるかを指定する符号語を送信する画像符号化装置が知られている（例えば、特許文献２参照。）。

特開２００５－２０７６１号公報特開２００５－１５０８０８号公報特開平１０－２２８５４４号公報特許第２７５３５９９号明細書

　全画像領域を再構成あるいは高画質化すると、それらの処理にかかる演算量が増大してしまう。

　上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、撮像された入力画像を取得する画像取得部と、入力画像における特徴領域を示す情報を取得する特徴領域情報取得部と、特徴パラメータで物体が表現されたモデルを格納するモデル格納部と、入力画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、入力画像における特徴領域に含まれる物体の画像を、入力画像より高画質な高画質画像に変換する画像生成部と、画質画像および特徴領域以外の画像を含む画像を出力する出力部とを備える。

　物体が特徴パラメータで表現された第２モデルを格納する第２モデル格納部と、撮像画像から特徴領域を検出する特徴領域検出部と、撮像画像における特徴領域の画像に含まれる物体の画像を、第２モデル格納部が格納している第２モデルに適応させることによって、撮像画像における特徴領域の画像に含まれる物体を表す、第２モデルにおける特徴パラメータの値を算出するパラメータ値算出部と、パラメータ値算出部が算出した特徴パラメータの値および撮像画像における特徴領域以外の領域の画像を出力する中間出力部と、中間出力部から出力された特徴パラメータの値および画質が低減された撮像画像における特徴領域以外の領域の画像を取得する中間画像取得部と、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴パラメータの値に基づいて第２モデルから生成する中間画像生成部と、第２モデルから生成された物体の画像と中間画像取得部が取得した特徴領域以外の領域の画像とを合成した画像を出力する画像出力部とをさらに備え、画像取得部は、画像出力部が出力した画像を入力画像として取得してよい。

　画像取得部は、複数の動画構成画像を含む入力動画を取得し、特徴領域情報取得部は、複数の動画構成画像のそれぞれにおける特徴領域の位置を示す情報を取得し、画像処理システムは、複数の動画構成画像のそれぞれにおける特徴領域のうち、予め定めた値より高い相関を有する第１特徴領域および第２特徴領域を選択する特徴領域選択部をさらに備え、画像生成部は、第１特徴領域に含まれる物体の画像および第２特徴領域に含まれる物体の画像を、それぞれモデルに適応させることによって、それぞれ第１高画質画像および第２高画質画像に変換し、第１高画質画像、第２高画質画像、および第１特徴領域と第２特徴領域との間の位置差を用いて、第１特徴領域に含まれる物体の画像および第２特徴領域に含まれる物体の画像より高解像度な高画質画像を生成してよい。

　本発明の第２の形態によると、方法であって、物体が撮像された入力画像を取得する画像取得段階と、入力画像における特徴領域を示す情報を取得する特徴領域情報取得段階と、特徴パラメータで物体が表現されたモデルを格納するモデル格納段階と、入力画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、入力画像における特徴領域に含まれる物体の画像を、入力画像より高画質な高画質画像に変換する画像生成段階と、高画質画像および特徴領域以外の画像を含む画像を出力する出力段階とを備える。

　本発明の第３の形態によると、画像処理システム用のプログラムを記憶するコンピュータ読取可能な媒体であって、該プログラムは、コンピュータを、物体が撮像された入力画像を取得する画像取得部、入力画像における特徴領域を示す情報を取得する特徴領域情報取得部、特徴パラメータで物体が表現されたモデルを格納するモデル格納部、入力画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、入力画像における特徴領域に含まれる物体の画像を、入力画像より高画質な高画質画像に変換する画像生成部高画質画像および特徴領域以外の画像を含む画像を出力する出力部として機能させる。

　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態に係わる画像処理システム１０の一例を示す図である。画像処理装置１２０のブロック構成の一例を示す図である。圧縮部２３０のブロック構成の一例を示す図である。画像処理装置１７０のブロック構成の一例を示す図である。圧縮部２３０の他のブロック構成の一例を示す図である。画像処理システム１０による背景領域に対する処理の一例を示す図である。中間画像生成部２３３における中間画像生成処理の一例を示す図である。特徴領域選択部３７０による特徴領域の選択処理の一例を示す図である。人間の顔における特徴点の一例を示す図である。重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す図である。サンプル画像を平均顔形状に変換して得られた画像の一例を示す図である。重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す図である。モデル格納部３５０が格納しているモデルの一例をテーブル形式で示す図である。他の実施形態に係る画像処理システム２０の一例を示す図である。一実施形態に係わる画像処理システム２０１０の一例を示す図である。画像処理装置２１２０のブロック構成の一例を示す図である。圧縮部２２３０のブロック構成の一例を示す図である。画像処理装置２１７０のブロック構成の一例を示す図である。圧縮部２２３０の他のブロック構成の一例を示す図である。人間の顔における特徴点の一例を示す図である。重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す図である。サンプル画像を平均顔形状に変換して得られた画像の一例を示す図である。重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す図である。モデル格納部２２７０およびモデル格納部２３５０が格納しているモデルの一例をテーブル形式で示す図である。他の実施形態に係る画像処理システム２０２０の一例を示す図である。画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。

１０　画像処理システム、２０　画像処理システム、１００　撮像装置、１０２　撮像部、１０４　撮像画像圧縮部、１１０　通信ネットワーク、１２０　画像処理装置、１３０　人物、１４０　移動体、１５０　監視対象空間、１６０　空間、１７０　画像処理装置、１７５　画像ＤＢ、１８０　表示装置、２０１　圧縮動画取得部、２０２　圧縮動画伸張部、２０３　特徴領域検出部、２０４　画質取得部、２０６　対応付け処理部、２０７　出力部、２１０　圧縮制御部、２３０　圧縮部、２３２　画像分割部、２３３　中間画像生成部、２３４　固定値化部、２３６　圧縮処理部、２４０　画質変換ユニット、２４１　画質変換部、２５０　画像取得部、２６０　位置差算出部、３０１　画像取得部、３０２　対応付け解析部、３１０　伸張制御部、３２０　伸張部、３２２　復号器、３３０　合成部、３３２　拡大部、３４０　出力部、３５０　モデル格納部、３６０　特徴領域情報取得部、３７０　特徴領域選択部、３７２　照明条件特定部、３７４　方向特定部、３７６　相関値取得部、３８０　画像生成部、５０３　中間画像生成部、５１０　画質変換部、５２０　差分処理部、５２２　階層間差分処理部、５３０　符号化部、５３２　符号器、６１０　撮像画像、６１１　頭部領域、６２０　縮小画像、６３０　拡大画像、６３１　画像、７１０　撮像画像、７１１　頭部領域、７２１　車両領域、７５０　画素値波形、７６０　画素値波形、８０４　画像処理部、２０１０　画像処理システム、２０２０　画像処理システム、２１００　撮像装置、２１０２　撮像部、２１０４　撮像画像圧縮部、２１１０　通信ネットワーク、２１２０　画像処理装置、２１３０　人物、２１４０　移動体、２１５０　監視対象空間、２１６０　空間、２１７０　画像処理装置、２１７５　画像ＤＢ、２１８０　表示装置、２２０１　圧縮動画取得部、２２０２　圧縮動画伸張部、２２０３　特徴領域検出部、２２０６　対応付け処理部、２２０７　出力部、２２１０　圧縮制御部、２２３０　圧縮部、２２３２　画像分割部、２２３４　固定値化部、２２３６　圧縮処理部、２２４０　画質変換ユニット、２２４１　画質変換部、２２５０　画像取得部、２２６０　パラメータ値算出部、２２７０　モデル格納部、２２８０　パラメータ量子化部、２３０１　画像取得部、２３０２　対応付け解析部、２３１０　伸張制御部、２３２０　伸張部、２３２２　復号器、２３３０　合成部、２３３２　拡大部、２３４０　出力部、２３５０　モデル格納部、２３６０　特徴領域情報取得部、２３８０　画像生成部、２５１０　画質変換部、２５２０　差分処理部、２５２２　階層間差分処理部、２５３０　符号化部、２５３２　符号器、２８０４　画像処理部、１５０５　ＣＰＵ、１５１０　ＲＯＭ、１５２０　ＲＡＭ、１５３０　通信インターフェイス、１５４０　ハードディスクドライブ、１５５０　フレキシブルディスク・ドライブ、１５６０　ＣＤ－ＲＯＭドライブ、１５７０　入出力チップ、１５７５　グラフィック・コントローラ、１５８０　表示デバイス、１５８２　ホスト・コントローラ、１５８４　入出力コントローラ、１５９０　フレキシブルディスク、１５９５　ＣＤ－ＲＯＭ、１５９８　ネットワーク通信装置

　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

　図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。

　画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ－ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ－ｄ（以下、表示装置１８０と総称する。）を備える。画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。

　撮像装置１００ａは、撮像部１０２ａおよび撮像画像圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部１０４ａは、撮像部１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを画像処理装置１２０に出力する。

　なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された撮像動画データを、複数の撮像装置１００のそれぞれから取得する。

　そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。

　なお、画像処理装置１２０は、撮像画像における特徴領域以外の領域である背景領域を、特徴領域より小さく縮小する。このとき、画像処理装置１２０は、複数の撮像画像の間における背景領域の位置ずれを、縮小前の撮像画像から算出する。

　そして、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報および位置ずれを示す情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。

　画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。

　なお、画像処理装置１７０は、縮小された背景領域の画像を拡大して、拡大された背景領域の画像を、画像処理装置１２０によって検出された位置ずれだけずらして重ね合わせる。このように、画像処理装置１７０は、複数の撮像画像における縮小された背景領域の画像を用いて、高解像度化された背景領域の画像を生成する。また、画像処理装置１７０は、特徴領域においても、画像処理装置１２０によって検出された特徴領域の位置の差を用いて、特徴領域の画像を高解像度化する。また、画像処理装置１７０は、撮像画像における特徴領域の画像に撮像されている物体像を、特徴パラメータで物体が表された数学モデルに適合させることによって、高解像度化してもよい。

　また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを、特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。

　なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。

　このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。

　図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、画質取得部２０４、特徴領域検出部２０３、位置差算出部２６０、圧縮制御部２１０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。

　圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２５０は、複数の撮像装置１００のそれぞれにより撮像された複数の動画を取得する。

　圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域検出部２０３および圧縮部２３０に供給される。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。

　例えば、特徴領域検出部２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。

　例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。

　また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７－１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。

　このように、特徴領域検出部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。このように、特徴領域検出部２０３は、動画における特徴領域を検出する。

　位置差算出部２６０は、動画に含まれる複数の撮像画像の間におけるオブジェクトの位置差を算出する。そして、位置差算出部２６０は、検出した位置差を対応付け処理部２０６に供給する。なお、特徴領域検出部２０３は、特徴領域の位置を、画像取得部２５０が取得した撮像画像におけるサブピクセル単位で検出してよい。これにより、位置差算出部２６０はサブピクセル単位で位置差を算出することができる。

　圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。なお、圧縮部２３０は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮してよい。例えば、圧縮部２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮部２３０のより具体的な内部の圧縮動作については、後に説明する。

　なお、画質取得部２０４は、特徴領域の特徴に対応づけて画質を取得する。具体的には、画質取得部２０４は、画像処理装置１２０の外部から、特徴領域の特徴に対応づけて画質を取得してよい。より具体的には、画質取得部２０４は、画像処理装置１２０の外部から、特徴領域の種類に対応づけて画質を取得する。なお、画質としては、解像度、階調数、ダイナミックレンジ、または含まれる色数を例示することができる。画質取得部２０４が取得した画質情報は、圧縮制御部２１０を通じて圧縮部２３０に供給される。そして、圧縮部２３０は、撮像画像における複数の特徴領域の画像の画質を、それぞれの特徴領域の特徴に対応づけて画質取得部２０４が取得した画質に低減する。

　対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報および位置差算出部２６０によって検出された位置差を示す情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報および位置差算出部２６０によって検出された位置差を示す情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報および位置差を特定する情報が対応付けされた圧縮動画を、画像処理装置１７０に出力する。このように、圧縮部２３０は、撮像画像における複数の特徴領域の画像の画質を、画質取得部２０４がそれぞれの特徴領域の特徴に対応づけて取得した画質に低減することにより、画像処理装置１７０に入力される撮像画像を生成する。

　図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、中間画像生成部２３３、複数の固定値化部２３４ａ－ｃ（以下、固定値化部２３４と総称する場合がある。）、複数の画質変換部２４１ａ－ｄ（以下、画質変換部２４１と総称する。）を含む画質変換ユニット２４０、および複数の圧縮処理部２３６ａ－ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。

　画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。

　そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。

　具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。

　中間画像生成部２３３は、複数の撮像画像のうちの一部の撮像画像における背景領域の画像から、背景領域の画像を表す中間画像を生成する。なお、中間画像生成部２３３は、他の撮像画像における背景領域の画素位置の間の位置における画素値に基づく中間画像を、一部の撮像画像における背景領域の画像および位置差算出部２６０が算出した位置差に基づいて生成する。なお、中間画像生成部２３３は、一部の撮像画像から中間画像を生成して画質変換部２４１ｄに供給する一方、他の撮像画像については中間画像を生成せずに画質変換部２４１ｄに供給する。なお、中間画像生成部２３３による中間画像の生成方法については後述する。

　画質変換部２４１は、特徴領域の画像および背景領域の画像の画質を変換する。例えば、画質変換部２４１は、分割された特徴領域の画像および背景領域の画像のそれぞれについて、解像度、階調数、ダイナミックレンジ、または含まれる色数の少なくともいずれかを変換する。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。

　なお、固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。また、画質変換部２４１ａ、画質変換部２４１ｂ、画質変換部２４１ｃ、および画質変換部２４１ｄは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画の画質を変換する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、圧縮処理部２３６ｃ、および圧縮処理部２３６ｄは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画を圧縮する。

　なお、圧縮処理部２３６ａ－ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。

　なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ－ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。

　なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。

　このように、圧縮部２３０は、撮像画像の画質を低減することにより、画像処理装置１７０への入力画像となる画像を生成する。具体的には、圧縮部２３０は、撮像画像の解像度、階調数、用いられる色の数を低減したりすることにより、画像処理装置１７０への入力画像となる画像を生成する。また、圧縮部２３０は、一例として、撮像画像におけるより高い空間周波数成分をより低減することにより、画像処理装置１７０への入力画像となる画像を生成してよい。

　なお、本図では、圧縮部２３０が有する複数の圧縮処理部２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３０は一の圧縮処理部２３６を有してよく、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２３６に時分割で順次供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。

　他にも、一の圧縮処理部２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２３６に供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット２４０でなされてよい。また、上記のように一の圧縮処理部２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２３６が圧縮する形態では、一の圧縮処理部２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２３６が一の画像を圧縮する場合には、画像分割部２３２による分割処理および固定値化部２３４による固定値化処理はなされなくてよいので、圧縮部２３０は、画像分割部２３２および固定値化部２３４を有しなくてよい。

　図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、画像生成部３８０、特徴領域情報取得部３６０、特徴領域選択部３７０、照明条件特定部３７２、方向特定部３７４、相関値取得部３７６、モデル格納部３５０、出力部３４０を備える。画像生成部３８０は、拡大部３３２および合成部３３０を有する。

　画像取得部３０１は、圧縮部２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。なお、圧縮動画は、画像処理装置１７０への入力動画の一例であってよい。また、圧縮動画に動画構成画像として含まれる撮像画像は、画像処理装置１７０への入力画像の一例であってよい。このように、このように、画像取得部３０１は、圧縮部２３０により低画質化された撮像画像を入力画像として取得する。

　そして、対応付け解析部３０２は、圧縮動画を複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域情報取得部３６０に供給する。このようにして、特徴領域情報取得部３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報、例えば特徴領域の位置を示す情報を取得することができる。

　伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。

　以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ－ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部３８０に供給する。

　画像生成部３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。

　特徴領域選択部３７０は、複数の撮像画像のそれぞれにおける特徴領域のうち、予め定めた値より高い相関を有する第１特徴領域および第２特徴領域を選択する。具体的には、相関値取得部３７６は、当該相関に関する閾値を取得する。そして、特徴領域選択部３７０は、複数の動画構成画像のそれぞれにおける特徴領域のうち、相関値取得部３７６が取得した閾値より高い相関を有する第１特徴領域および第２特徴領域を選択する。

　例えば、特徴領域選択部３７０は、複数の撮像画像のそれぞれから検出された特徴領域のうち、画像内容の一致度が予め定められた値より高い第１特徴領域および第２特徴領域を選択してよい。

　他にも、特徴領域選択部３７０は、複数の撮像画像のそれぞれにおける特徴領域の位置に基づいて、第１特徴領域および第２特徴領域を選択してよい。例えば、特徴領域選択部３７０は、複数の撮像画像にわたる特徴領域の位置の変化量に基づいて、圧縮動画において移動速度の変化量が予め定められた値より小さい特徴領域である第１特徴領域および第２特徴領域を選択してよい。また、特徴領域選択部３７０は、複数の撮像画像にわたる特徴領域の位置の変化方向に基づいて、入力動画において移動方向の変化量が予め定められた値より小さい特徴領域である第１特徴領域および第２特徴領域を選択してよい。そして、特徴領域選択部３７０は、選択した第１特徴領域および第２特徴領域を示す情報を画像生成部３８０に供給する。

　そして、画像生成部３８０は、第１特徴領域の画像、第２特徴領域の画像、および第１特徴領域と第２特徴領域との間の位置差を用いて、第１特徴領域の画像および第２特徴領域の画像より高解像度な高画質画像を生成する。例えば、画像生成部３８０は、第１特徴領域の画像と第２特徴領域の画像とを位置差に基づいて合成することによって、高画質画像を生成する。例えば、画像生成部３８０は、第１特徴領域の画像と第２特徴領域の画像とを、当該位置差だけずらして重ね合わせることによって、高画質画像を生成する。

　なお、特徴領域選択部３７０は、複数の撮像画像のそれぞれから検出された特徴領域のうち、予め定めた値より高い相関を有する３以上の特徴領域を選択してもよい。そして、画像生成部３８０は、３以上の特徴領域の画像、および３以上の特徴領域の位置の差を用いて、３以上の特徴領域の画像より高解像度な高画質画像を生成してもよい。

　画像拡大部３３２は、撮像画像における特徴領域以外の領域の画像を、当該高画質画像と同じ解像度の画像に拡大する。そして、合成部３３０は、画像拡大部３３２により得られた画像と、高画質画像とを合成して、表示動画の動画構成画像としての一の撮像画像を生成する。このように、画像生成部３８０は、撮像画像における特徴領域以外の領域の画像を、高画質画像と同じ解像度の画像に拡大し、拡大して得られた画像と高画質画像とを合成することによって、一の撮像画像を生成する。画像生成部３８０は、複数の撮像画像のそれぞれに上記処理を施すことによって、複数の撮像画像を動画構成画像として含む表示動画を生成する。

　なお、画像生成部３８０は、特徴領域に含まれる物体の画像を数学モデルに適合させることにより、高画質画像を生成してよい。具体的には、モデル格納部３５０は、特徴パラメータで物体が表現されたモデルを格納する。より具体的には、モデル格納部３５０は、統計的な特徴パラメータで物体が表現されたモデルを格納する。例えば、モデル格納部３５０は、主成分分析に基づく主成分（例えば、主成分ベクトル）で物体が表現されたモデルを格納する。

　なお、モデル格納部３５０は、主成分分析に基づく主成分で物体の形状が表現されたモデルを格納してよい。また、モデル格納部３５０は、主成分分析に基づく主成分で物体の色が表現されたモデルを格納してよい。

　そして、画像生成部３８０は、撮像画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、撮像画像における特徴領域に含まれる物体の画像を、当該撮像画像より高画質な高画質画像に変換する。

　なお、モデル格納部３５０は、異なる方向から見た物体のモデルを、当該方向に対応づけて格納している。そして、方向特定部３７４は、撮像画像における特徴領域に撮像されている物体が撮像された方向を特定する。そして、画像生成部３８０は、撮像画像における特徴領域に含まれる物体の画像を、方向特定部３７４が特定した方向に対応づけてモデル格納部３５０が格納しているモデルに適応させることによって、高画質画像に変換してよい。

　また、モデル格納部３５０は、異なる照明条件で照明された物体のモデルを、当該照明条件に対応づけて格納している。そして、照明条件特定部３７２は、入力画像における特徴領域に撮像されている物体が照明された照明条件を特定する。そして、画像生成部３８０は、入力画像における特徴領域に含まれる物体の画像を、照明条件特定部３７２が特定した照明条件に対応づけてモデル格納部３５０が格納しているモデルに適応させることによって、高画質画像に変換する。このように、画像生成部３８０は、入力された撮像画像における特徴領域に含まれる物体の画像を、モデルに適応させることによって、入力された撮像画像より高解像度な高画質画像を生成する。

　そして、出力部３４０は、当該高画質画像および特徴領域以外の画像を含む画像を出力する。具体的には、出力部３４０は、上述したように合成部３３０により得られた撮像画像を動画構成画像として含む表示動画を出力する。

　図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。

　本構成における圧縮部２３０は、中間画像生成部５０３、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ－ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ－ｄ（以下、符号器５３２と総称する。）を含む。

　中間画像生成部５０３は、画像取得部２５０から複数の撮像画像を取得する。また、中間画像生成部５０３は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、中間画像生成部５０３は、中間画像生成部２３３における処理と同様の処理により、一部の撮像画像について中間画像を生成して、生成した中間画像を階層間差分処理部５２２ｄに供給する。中間画像生成部５０３は、一部の撮像画像以外の撮像画像における背景領域については、中間画像を生成せずに、当該背景領域の画像を画質変換部５１０に供給する。また、中間画像生成部５０３は、特徴領域についても、中間画像を生成せずに、当該特徴領域の画像を画質変換部５１０に供給する。なお、中間画像生成部５０３は、中間画像生成部２３３と同様の処理により中間画像を生成するので、その動作の説明を省略する。

　画質変換部５１０は、中間画像生成部５０３により処理された中間画像を含む複数の撮像画像を中間画像生成部５０３から取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。

　例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。

　そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。

　なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。なお、画質変換部５１０は、図３に関連して説明した画質変換部２４１と同様の画質変換処理を行うことができる。

　階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。

　また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。

　階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。

　なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。

　なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。

　なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。

　以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。

　また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。

　以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。

　図６は、画像処理システム１０による背景領域に対する処理の一例を示す。撮像装置１００により得られた撮像動画は、複数の撮像画像６１０－１および撮像画像６１０－９（以後、撮像画像６１０と総称する。）を含む。なお、特徴領域検出部２０３は、特徴領域の一例としての頭部領域６１１－１および頭部領域６１１－９（以後、頭部領域６１１と総称する。）を、撮像画像６１０から検出している。

　なお、撮像装置１００が壁・天井等に固定されているとしても、壁・天井自身がわずかに揺れていたりすると、撮像画像では半画素または画素オーダーで微小なブレが生じる場合がある。例えば本図の例において、ドアを示すオブジェクトの左上端部は撮像画像６１０－１上の（１８０，５０）にあるが、撮像画像６１０－９においては同オブジェクトの左上端部は（１８１，５０）にある。

　この場合、位置差算出部２６０は、撮像画像６１０－１と撮像画像６１０－９との間におけるオブジェクトの位置差を算出する。例えば、位置差算出部２６０は、撮像画像６１０－１における特徴領域以外の領域の画像と撮像画像６１０－９における特徴領域以外の領域の画像との間におけるオブジェクトの位置差を算出する。本図の例では、位置差算出部２６０は、ドアを示すオブジェクトに対して位置差（１，０）を算出する。

　撮像画像６１０が画質変換部２４１に供給されると、画質変換部２４１は、撮像画像６１０－１における特徴領域以外の領域（例えば、頭部領域６１１－１以外の領域）の画像および撮像画像６１０－９における特徴領域以外の領域（例えば、頭部領域６１１－９以外の領域）の画像をそれぞれ縮小することにより、縮小画像６２０－１および縮小画像６２０－９を生成する。より具体的には、画質変換部２４１は、第１撮像画像における特徴領域以外の領域の画像および第２撮像画像における特徴領域以外の領域の画像を、それぞれ特徴領域（例えば、頭部領域６１１）の画像より縮小することにより、縮小画像６２０－１および縮小画像６２０－９を生成する。

　このように、画質変換部２４１は、位置差算出部２６０が位置差を検出した第１撮像画像６１０および第２撮像画像６１０をそれぞれ縮小することにより、縮小画像６２０－１および縮小画像６２０－９を生成する。より具体的には、画質変換部２４１は、撮像画像６１０－１および撮像画像６１０－９の画素を間引くことにより、縮小画像６２０－１および縮小画像６２０－９を生成する。

　例えば、画質変換部２４１は、ｘ方向およびｙ方向に１画素ずつ間引く間引き処理を撮像画像６１０に施す。その結果、本図に示すように、ドアを示すオブジェクトの左上端部は、縮小画像６２０－１および縮小画像６２０－９においてともに（８０，２５）に位置している。そして、出力部２０７は、縮小画像６２０－１および縮小画像６２０－９を、位置差（１，０）に対応づけて出力する。

　画像拡大部３３２は、出力部２０７から出力された縮小画像６２０－１および縮小画像６２０－９をそれぞれ拡大して、拡大画像６３０－１および拡大画像６３０－９を生成する。

　合成部３３０は、拡大画像６３０－９の位置を、位置差（１，０）だけずらした画像６３１と、拡大画像６３０－１とを重ね合わせるとともに、頭部領域６１１－１の画像を合成することによって、高画質画像６４０－１を生成する。このように、合成部３３０は、拡大画像６３０－９と拡大画像６３０－１とを、当該位置差だけずらして重ね合わせることによって、高画質画像６４０－１を生成する。このようにして、画像生成部３８０は、縮小画像６２０－１および縮小画像６２０－９を、縮小画像６２０－１および縮小画像６２０－９に対応づけて出力部２０７から出力された位置差に基づいて合成することによって高画質画像６４０－１を生成する。なお、高画質画像６４０－１における背景領域の画像の解像度は、頭部領域６１１と同じ解像度の画像であってよい。

　なお、本図の例のように、原画像において背景領域の画像がｘ方向に１画素分だけブレており、画質変換部２４１が１画素ずつ間引くことによって縮小画像６２０－１および縮小画像６２０－９を生成した場合、合成部３３０が拡大画像６３０を単純に重ね合わせるだけで、ｘ方向については原画像と同じ解像度の高画質画像６４０－１を得ることができる。一方、原画像におけるブレが１画素未満であったり、画質変換部２４１においてより多くの画素が間引かれる場合には、合成部３３０は、画素値の単純補間、３次スプライン補間、周囲画素の重み付け加算等の処理により、原画像と同じ解像度の高画質画像を生成することができる。なお、ここでいう解像度は画素数を指標とするものであって、結果として得られた高画質画像が解像している解像力をかならずしも示すものではない。

　以上説明したように、画像生成部３８０は、縮小画像６２０－１および縮小画像６２０－９を位置差に基づいて合成することにより、縮小画像６２０－１および縮小画像６２０－９より高解像度な高画質画像を生成する。より具体的には、画像生成部３８０は、縮小画像６２０－１と縮小画像６２０－９とを、位置差に応じた量だけずらして重ね合わせることによって、高画質画像６４０－１を生成する。

　なお、圧縮処理部２３６は、画質変換部２４１により生成された縮小画像６２０－１および縮小画像６２０－９をそれぞれフレーム内圧縮してよい。この場合、出力部２０７は、フレーム内圧縮された縮小画像６２０－１およびフレーム内圧縮された縮小画像６２０－９を、位置差に対応づけて出力してよい。そして、伸張部３２０は、出力部２０７から出力されたフレーム内圧縮された縮小画像６２０－１、および出力部２０７から出力されたフレーム内圧縮された縮小画像６２０－９を伸張する。

　そして、画像生成部３８０は、伸張部３２０によって伸張された縮小画像６２０－１および伸張部３２０によって伸張された縮小画像６２０－９を位置差に基づいて合成することにより、縮小画像６２０－１および縮小画像６２０－９が有する画素数より多い数の画素を有する高画質画像を生成してよい。この場合、位置差算出部２６０は、圧縮処理部２３６により後にフレーム内圧縮される撮像画像６１０から、位置差を算出する。なお、本図に関連して説明した高解像度化処理がなされる場合、中間画像生成部２３３および画質変換部５１０は中間画像を生成せずに、背景領域の画像を画質変換部２４１ｄまたは画質変換部５１０に供給する。

　以上説明したような画像処理システム１０の動作によって、縮小画像６２０－１および縮小画像６２０－９から、高解像度な高画質画像６４０－１を得ることができる。本図に示すように、縮小画像６２０－１および縮小画像６２０－９におけるドアのオブジェクトはともに同じ座標にあり、原画像における位置差情報が失われてしまっている。このように、縮小処理により位置差情報はその精度が低下してしまうが、画像処理システム１０によると、位置差算出部２６０が原画像における位置差を算出して、縮小画像６２０と当該位置差とを対応づけて出力するので、後で当該位置差情報を利用して高精度でオブジェクトを高解像度化することができる。

　図７は、中間画像生成部２３３における中間画像生成処理の一例を示す。図６に関連して説明した高解像度化処理の例では、画像処理装置１２０において、画質変換部２４１ｄにより撮像画像６１０－１および撮像画像６１０－９が縮小されて縮小画像６２０－１および縮小画像６２０－９が生成された。そして、画像処理装置１７０において、縮小画像６２０－１、縮小画像６２０－９、および位置差算出部２６０によって算出された位置差に基づいて、画素値の補間処理等によって背景領域が高解像度化された。

　一方、本図に関連して説明する方法では、画像処理装置１２０において実質的な高解像度化処理がなされる。具体的には、中間画像生成部２３３が、位置差算出部２６０によって算出された位置差に基づく画素値の補間処理をすることによって中間画像を生成する。そして、出力部２０７は、画質変換部２４１ｄによって中間画像を縮小して得られた縮小画像を画像処理装置１７０に送信する。以下に、より具体的な処理について説明する。

　本図において、画素値波形７５０は、撮像画像６１０－１における背景領域の一部の領域における画素値（黒丸印で示す）に基づくｘ方向の画素値波形の一例を示している。また、画素値波形７６０は、位置差算出部２６０によって算出された位置差および撮像画像６１０－９における背景領域の一部の領域における画素値に基づくｘ方向の画素値波形の一例を示している。中間画像生成部２３３は、画素値波形７６０における白抜き丸印で示す画素値を算出する。なお、この白抜き丸印の画素値は、黒抜き印のｘ座標の中点における画素値であってよい。

　このように、中間画像生成部２３３は、位置差算出部２６０によって算出された位置差および撮像画像６１０－９に少なくとも基づいて、撮像画像６１０－１における画素位置の間の位置における画素値を推定し、推定した画素値に基づく中間画像を生成する。具体的には、中間画像生成部２３３は、位置差および撮像画像６１０－９における特徴領域以外の領域の画像に少なくとも基づいて撮像画像６１０－１における特徴領域以外の領域の画素位置の間の位置における画素値を推定し、推定した画素値に基づく中間画像を生成する。

　そして、画質変換部２４１ｄは、撮像画像６１０－１および中間画像をそれぞれ縮小することにより、縮小画像を生成する。なお、画質変換部２４１ｄは、撮像画像６１０－１における特徴領域以外の領域の画像および中間画像を、それぞれ特徴領域の画像より縮小することにより、縮小画像を生成してよい。そして、出力部２０７は、撮像画像６１０－１および中間画像から生成された縮小画像を出力する。そして、画像処理装置１７０において、画像生成部３８０は、それらの縮小画像を合成した画像を生成する。具体的には、画像生成部３８０は、それらの縮小画像を重ね合わせた画像を生成する。

　なお、上記の説明では、中間画像生成部２３３および画質変換部２４１ｄの動作について説明したが、図５に関連して説明した圧縮部２３０の構成では、中間画像生成部５０３が中間画像生成部２３３と同様の処理により中間画像を生成するとともに、画質変換部５１０が画質変換部２４１ｄと同様の処理により中間画像を縮小することができる。本図に関連して説明した処理によると、実質的な高解像度処理は画像処理装置１２０においてなされるので、画像処理装置１７０における演算量を軽減することができる。

　図８は、特徴領域選択部３７０による特徴領域の選択処理の一例を示す。特徴領域検出部２０３は、撮像画像７１０－１～３（以下、撮像画像７１０と総称する。）から、それぞれ頭部領域７１１－１～３（以下、頭部領域７１１と総称する。）を特徴領域として検出している。また、特徴領域検出部２０３は、撮像画像７１０－１～３から、それぞれ車両領域７２１－１～３（以下、車両領域７２１と総称する。）を特徴領域として検出している。

　そして、特徴領域選択部３７０は、頭部領域７１１の位置および車両領域７２１の位置に基づいて、略同一速度で動くオブジェクトを含む特徴領域を、相関が高い特徴領域として選択する。本図の例では、特徴領域選択部３７０は、頭部領域７１１－１～３の組を相関が高い特徴領域の組として選択することができ、車両領域７２１－１～３の組を相関が高い他の特徴領域の組として選択することができる。このように、画像処理システム１０によると、画像処理装置１２０で検出した特徴領域の位置から、相関が高い特徴領域を速やかに特定することができる。なお、特徴領域選択部３７０は、複数の撮像画像において位置が略同一な特徴領域についてだけ、特徴領域の画像内容に基づいて相関が高い特徴領域を選択してよい。

　なお、図３に関連して説明したように、特徴領域選択部３７０によって選択された特徴領域の画像は、画像生成部３８０により高解像度化される。画像生成部３８０による当該高解像度化処理は、図６に関連して説明した背景領域の高解像度化処理と同様であるので、その説明を省略する。

　図９は、人間の顔における特徴点の一例を示す。図３に関連して説明したように、モデル格納部３５０は、特徴パラメータで物体を表現するモデルを格納している。以下に、モデル格納部３５０が格納するモデルを生成する生成方法の一例として、物体の一例である人物の顔のモデルをＡＡＭ手法を用いて生成する場合について説明する。

　サンプルとなる人間の顔部分が表された複数の顔画像（以下、サンプル画像）の各々に対して、図９に示すように、顔形状を表す特徴点をｎ個設定する。なお、ここでは、特徴点の数は顔画像の画素数より少ないものとする。各特徴点は、例えば、１番目の特徴点は左目の左端、１１番目の特徴点は眉の間の中央というように、顔のどの部位を示すかが予め定められていてよい。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定してもよい。

　そして、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。そして、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う。その結果、任意の顔形状Ｓは、Ｓ＝Ｓ_０＋Σｐ_ｉｂ_ｉ（ｉ＝１～ｎ）によって表現することができる。

　ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ１，ｙ１，・・・，ｘ_ｎ，ｙ_ｎ）であり、Ｓ_０は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐ_ｉは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂ_ｉは各固有ベクトルｐ_ｉに対する重みづけ係数を表す。

　図１０は、重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ_１、ｐ_２に対する重みづけ係数ｂ_１、ｂ_２の値を変化させた場合の顔形状の変化の様子を模式的に表している。ａ）は、重みづけ係数ｂ_１を変化させた場合の顔形状の変化を示しており、ｂ）は、重みづけ係数ｂ_２を変化させた場合の顔形状の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な顔形状を示す。

　この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ_１を変化させることによって、ａ）左端に示す細長い顔からａ）右端に示す丸顔まで顔形状が変化していることがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ_２を変化させることによって、ｂ）左端に示すような口が開いた状態で顎が長い顔から、ｂ）右端に示すような口が閉じられた状態で顎が短い顔まで、顔形状が変化することがわかる。なお、各主成分が結果としてどのような形状要素に寄与しているかは人間の解釈による。主成分分析により、使用された各サンプル画像においてより大きな形状の違いを表現するものがより低次の主成分として抽出される。

　図１１は、サンプル画像を平均顔形状に変換して得られた画像の一例を示す。各サンプル画像を、平均顔形状に変換（ワーピング）する。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出する。そして、当該シフト量に基づいて、各サンプル画像の画素毎の平均顔形状へのシフト量を算出して、各サンプル画像を画素毎に平均顔形状へワーピングする。

　そして、平均顔形状に変換後のサンプル画像毎の各画素のＲ，Ｇ，Ｂの色成分の画素値を変数として主成分分析する。その結果、任意の顔画像の平均顔形状下でのＲ，Ｇ，Ｂの色成分の画素値は、Ａ＝Ａ_０＋Σｑ_ｉλ_ｉ（ｉ＝１～ｍ）によって近似することができる。

　ここで、Ａは、平均顔形状下での各画素のＲ，Ｇ，Ｂ色成分の各々の画素値を並べて表現されるベクトル（ｒ１，ｇ１，ｂ１，ｒ２，ｇ２，ｂ２，・・・，ｒｍ，ｇｍ，ｂｍ）である。なお、ｒ、ｇ、ｂはそれぞれＲ，Ｇ，Ｂ色成分の画素値、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数を示す。なお、ベクトルの成分の並び順は上記の順に限定されない。

　また、Ａ_０は平均顔形状における各サンプル画像の画素毎のＲ，Ｇ，Ｂ色成分の各々の画素値の平均値を並べて表現される平均ベクトル、ｑ_ｉは主成分分析によって得られた顔のＲ，Ｇ，Ｂ色成分の画素値についての第ｉ主成分を表す固有ベクトル、λ_ｉは各固有ベクトルｑ_ｉに対する重みづけ係数を表す。

　図１２は、重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｑ_１、ｑ_２に対する重みづけ係数λ_１、λ_２の値を変化させた場合の顔の画素値の変化の様子を模式的に表している。ａ）は、重みづけ係数λ_１を変化させた場合の画素値の変化を示しており、ｂ）は、重みづけ係数λ_２を変化させた場合の画素値の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な画素値を示す。

　この例では、主成分分析の結果、第１主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λ_１を変化させることによって、ａ）左端に示すヒゲのない顔からａ）右端に示すヒゲの濃い顔まで変化することがわかる。第２主成分としては眉の濃さに寄与する成分が抽出されており、重みづけ係数λ_２を変化させることによって、ｂ）左端に示すような眉が薄い顔から、ｂ）右端に示すような眉が濃い顔まで変化することがわかる。

　以上、図１０から図１２にかけて説明した処理によって、顔のモデルが生成される。このモデルは、顔形状を表す複数の固有ベクトルｐ_ｉと、平均顔形状下での顔の画素値を表す固有ベクトルｑ_ｉとによって、顔を表現する。モデルが有する各固有ベクトルの合計数は、顔画像を形成する画素数よりも大幅に少ない。なお、上記の例では、形状および画素値を顔形状とＲ，Ｇ，Ｂ色成分の画素値についての別個の重みづけ係数ｂ_ｉ、λ_ｉによって、個別の顔画像を表現したが、顔形状と色成分の画素値のバリエーションには相関性があることから、特徴点および画素値の双方を含む特徴パラメータを主成分分析することもできる。

　次に、モデル格納部３５０が格納しているモデルを用いて画像生成部３８０が特徴領域の画像を高解像度化する処理の一例を説明する。画像生成部３８０は、特徴領域に含まれる入力顔画像を正規化して、平均顔形状化でのＲ，Ｇ，Ｂの色成分の画素値を算出する。なお、入力顔画像は、かならずしも正面からの画像でなかったり、照明条件がサンプル画像を撮像した場合の照明条件と異なる場合がある。したがって、ここでいう正規化とは、上記で説明した正面の顔の特徴点を揃える処理だけでなく、斜めから撮像されて得られた入力顔画像の向きを正面から撮像された顔画像に変換する変換処理であったり、照明による影の影響を除去したりする影除去処理等のように、サンプル画像と同等の撮影環境で撮像された顔画像に変換する処理を含む。

　そして、画像生成部３８０は、平均顔に対する画素値との差を主成分ベクトルｑ_ｉに射影することにより、重みづけ係数λ_ｉを算出する。具体的には、画像生成部３８０は、主成分ベクトルｑ_ｉとの内積により重みづけ係数λ_ｉを算出することができる。そして、画像生成部３８０は、算出された重みづけ係数λ_ｉ、平均顔の画素値Ａ_０、および主成分ベクトルｑ_ｉを用いて、平均顔形状下における画素値Ａを算出する。

　画像生成部３８０は、顔の特徴点Ｓについても、上述した画素値Ａの算出処理と同様の処理により算出する。具体的には、画像生成部３８０は、平均顔に対する特徴点の位置の差を主成分ベクトルｐ_ｉに射影することにより重みづけ係数ｂ_ｉを算出して、算出された重みづけ係数ｂ_ｉ、平均顔の特徴点Ｓ_０、および主成分ベクトルｐ_ｉを用いて、特徴点Ａを算出する。そして、画像生成部３８０は、画素値Ａおよび特徴点Ａで表される画像に対して、上記の正規化処理のうち特徴点を揃える処理を除く処理の逆変換処理を施す。

　以上の処理により、画像生成部３８０は、出力部２０７から出力された撮像画像における特徴領域の画像から、当該撮像画像より高画質な高画質画像を生成する。具体的には、画像生成部３８０は、出力部２０７から出力された撮像画像における特徴領域の画像に比べて、より高解像度の画像、よりシャープな画像、よりノイズが少ない画像、より階調数の多い画像、あるいはより色数の多い画像を生成することができる。

　図１３は、モデル格納部３５０が格納しているモデルの一例をテーブル形式で示す。モデル格納部３５０は、複数の表情および複数の方向のそれぞれの組み合わせ毎に、モデルを格納している。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、方向としては、正面、上方、下方、右方、左方、および後方を含む。画像生成部３８０は、特徴領域に含まれる顔画像の画像内容に基づいて顔の表情および顔の方向を特定して、特定した表情および方向の組み合わせに対応づけてモデル格納部３５０が格納しているモデルを用いて、上述の再構成処理をすることができる。

　なお、画像生成部３８０は、口および／または目の形状から表情を特定することができ、目、口、鼻、および耳の位置関係等から顔の方向を特定することができる。なお、画像処理装置１２０が顔の表情および顔の方向を特定してよく、出力部２０７から撮像画像に対応づけて顔の表情および顔の方向が出力されてよい。

　また、モデル格納部３５０は、顔の表情および向きの他に、上述したように照明条件に対応づけてモデルを格納してよい。例えば、モデル格納部３５０は、照明強度および照明の方向に対応づけてモデルを格納してよい。そして、画像生成部３８０は、特徴領域に含まれる顔画像の画像内容に基づいて顔への照明条件を特定してよい。例えば、画像生成部３８０は、影の位置および大きさに基づいて、照明強度および照明方向を特定して、特定した照明強度および照明方向に対応づけてモデル格納部３５０が格納しているモデルを用いて、上述の再構成処理をすることができる。

　なお、上記の例では、顔全体を表現するモデルの生成および当該モデルを用いた再構成過程を説明した。このような顔全体のモデルの他に、画像処理システム１０は、顔の部位毎のモデルを用いることができる。他にも、画像処理システム１０は、性別および／または人種毎の顔（あるいは顔の部位毎）のモデルを用いることができる。また、画像処理システム１０は、人物のモデルの他に、車両、船舶等、画像処理システム１０が監視対象とする物体の種別毎にモデルを格納することができる。そして画像生成部３８０は、特徴領域に含まれる物体の種類に応じてモデルを選択して再構成することもできる。このような種類は、画像処理装置１２０において検出され、撮像画像に対応づけて画像処理装置１７０に送信されてよい。

　以上説明したように、モデル格納部３５０は、異なる種類の物体のモデルを、当該種類に対応づけて格納することができる。そして、特徴領域情報取得部３６０は、入力画像における特徴領域に撮像されている物体の種類を示す情報を取得する。そして、画像生成部３８０は、撮像画像における特徴領域に含まれる物体の画像を、特徴領域情報取得部３６０が取得した特徴領域に撮像されている物体の種類に対応づけてモデル格納部３５０が格納しているモデルに適応させることによって、高画質画像に変換する。

　以上説明した画像処理システム１０によると、特徴領域についてはモデルを用いて超解像化する一方で、背景領域についてはモデルを用いた超解像化はしない。このため、超解像処理の演算量を著しく削減することができる。また、背景領域のように重要度が低い領域は高画質化されないので、画像のデータ量を削減することができる。また、画像処理システム１０によると、特徴領域を特定する情報が画像処理装置１７０に送信されるので、低画質な情報しか含まれない背景領域が誤って超解像処理されてしまうことを未然に防ぐことができる。

　なお、モデル格納部３５０は、上述したように、オブジェクトの種類を識別する情報の一例としての顔部位（例えば、目、鼻、口など）毎に、学習データを格納している。ここで、学習データとしては、上記モデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。このように、モデル格納部３５０は、オブジェクトの種類に対応づけて、オブジェクトの画像の高周波成分を格納するオブジェクト画像情報格納部として機能する。なお、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ－ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分は複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。

　そして、画像生成部３８０は、撮像画像に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像生成部３８０は、当該オブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像生成部３８０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像生成部３８０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像生成部３８０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像生成部３８０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像生成部３８０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。

　以上のように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ　ｐｒｅｓｅｒｖｉｎｇ　ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ　ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ　ｌｉｎｅａｒ　ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ　ｒａｎｄｏｍ　ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。

　図６から図８に関連して、位置差算出部２６０が算出したオブジェクトの位置差に基づいて高画質画像を生成する高画質化処理について具体的に説明した。また、図９から図１３に関連して、モデル格納部３５０が格納しているモデルを用いて高画質画像を生成する高画質化処理について具体的に説明した。画像生成部３８０は、オブジェクトの位置差に基づく高画質化処理と、モデルを用いる高画質化処理とを共に行うことによって、高画質画像を生成することもできる。

　既に説明したように、画像取得部３０１が、複数の動画構成画像を含む入力動画を取得して、特徴領域情報取得部３６０が、複数の動画構成画像のそれぞれにおける特徴領域の位置を示す情報を取得したとする。そして、特徴領域選択部３７０は、複数の動画構成画像のそれぞれにおける特徴領域のうち、予め定めた値より高い相関を有する第１特徴領域および第２特徴領域を選択したとする。

　画像生成部３８０は、第１特徴領域に含まれる物体の画像および第２特徴領域に含まれる物体の画像を、それぞれモデル格納部３５０が格納しているモデルに適応させることによって、それぞれ第１高画質画像および第２高画質画像に変換する。第１高画質画像および第２高画質画像は、図９から図１４に関連して具体的に説明したモデルを用いる高画質化処理により得られる。

　そして、画像生成部３８０は、第１高画質画像および第２高画質画像に、図６から図８に関連して具体的に説明したオブジェクトの位置差に基づく高画質化処理を施すことにより高解像度化する。すなわち、画像生成部３８０は、第１高画質画像、第２高画質画像、および第１特徴領域と第２特徴領域との間の位置差を用いて、第１特徴領域に含まれる物体の画像および第２特徴領域に含まれる物体の画像より高解像度な高画質画像を生成する。具体的には、画像生成部３８０は、第１高画質画像と第２高画質画像とを位置差に基づいて合成することによって、高画質画像を生成する。より具体的には、画像生成部３８０は、第１高画質画像と第２高画質画像とを、位置差だけずらして重ね合わせることによって、高画質画像を生成する。

　他にも、オブジェクトの位置差に基づく高画質化処理により得られた高画質画像に、モデルを用いる高画質化処理を施してもよい。すなわち、図６から図８に関連して具体的には説明したように、画像生成部３８０は、第１特徴領域の画像、第２特徴領域の画像、および第１特徴領域と第２特徴領域との間の位置差を用いて、第１特徴領域の画像および第２特徴領域の画像より高解像度な高画質画像を生成する。そして、当該高画質画像における特徴領域に含まれる物体の画像をモデル格納部３５０が格納しているモデルに適応させることによって、当該高画質画像における特徴領域に含まれる物体の画像を、当該高画質画像よりもより高画質な画像に変換する。

　図１４は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ－ｄがそれぞれ画像処理部８０４ａ－ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。

　画像処理部８０４は、画像処理装置１２０に含まれる構成要素のうち、画像取得部２５０を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１３にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。

　なお、画像処理部８０４は、撮像部１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。なお、画像処理部８０４は、撮像動画を、図１～図１３に関連して画像処理装置１２０の動作として説明した圧縮方法で圧縮することができる。なお、画像処理装置１７０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。

　そして、画像処理装置１７０は、同時化処理によって得られた撮像画像における特徴領域の画像に、図１～図１３に関連して説明したような超解像処理を施してよい。なお、図１～図１３に関連して説明したように、画像処理装置１７０は超解像処理において上述した重みづけ係数を算出した。この場合、特徴領域に含まれる物体の画像は、主成分ベクトルおよび重みづけ係数によって表されるが、これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部８０４は、撮像部１０２から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上述した重みづけ係数を算出してよい。すなわち、画像処理部８０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部８０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。画像処理装置１７０においては、画像処理部８０４から取得した主成分ベクトルおよび重みづけ係数を用いて、上述したように特徴領域に含まれる物体の画像を再構成することができる。

　このように、画像処理部８０４は、撮像画像における特徴領域の画像に含まれる物体の画像を、物体が特徴パラメータで表現されたモデルに適応させることによって、特徴領域の画像に含まれる物体を表す、当該モデルにおける特徴パラメータの値を算出してよい。そして、画像処理部８０４は、算出した特徴パラメータの値および特徴領域以外の領域の画像を出力してよい。そして、画像処理装置１７０は、画像処理部８０４から取得した特徴パラメータの値をモデルに適用することで物体の画像を生成して、生成した物体の画像および特徴領域以外の領域の画像を用いて一の撮像画像を生成してよい。

　図１５は、一実施形態に係わる画像処理システム２０１０の一例を示す。画像処理システム２０１０は、以下に説明するように、監視システムとして機能することができる。

　画像処理システム２０１０は、監視対象空間２１５０を撮像する複数の撮像装置２１００ａ－ｄ（以下、撮像装置２１００と総称する。）、撮像装置２１００により撮像された撮像画像を処理する画像処理装置２１２０、通信ネットワーク２１１０、画像処理装置２１７０、画像ＤＢ２１７５、および複数の表示装置２１８０ａ－ｄ（以下、表示装置２１８０と総称する。）を備える。画像処理装置２１７０および表示装置２１８０は、監視対象空間２１５０と異なる空間２１６０に設けられている。

　撮像装置２１００ａは、撮像部２１０２ａおよび撮像画像圧縮部２１０４ａを有している。撮像部２１０２ａは、連続して監視対象空間２１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部２１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部２１０４ａは、撮像部２１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置２１００ａは、監視対象空間２１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置２１００ａは、当該撮像動画データを画像処理装置２１２０に出力する。

　なお、撮像装置２１００ｂ、撮像装置２１００ｃ、および撮像装置２１００ｄは、それぞれ撮像装置２１００ａと同様の構成を有するので、撮像装置２１００ｂ、撮像装置２１００ｃ、および撮像装置２１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置２１２０は、複数の撮像装置２１００のそれぞれにより生成された撮像動画データを、複数の撮像装置２１００のそれぞれから取得する。

　そして、画像処理装置２１２０は、撮像装置２１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置２１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物２１３０が撮像された領域、車輌等の移動体２１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置２１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮してよい。

　なお、画像処理装置２１２０は、特徴パラメータで物体が表現される数学モデルを記憶している。そして、画像処理装置２１２０は、特徴領域に含まれる物体の画像を、当該数学モデルに適合させることによって、物体の画像を表す特徴パラメータの値を算出する。

　そして、画像処理装置２１２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置２１２０は、特徴パラメータの値および特徴領域情報を圧縮動画データに付帯して、通信ネットワーク２１１０を通じて画像処理装置２１７０に送信する。

　画像処理装置２１７０は、特徴パラメータの値および特徴領域情報が対応づけられた圧縮動画データを画像処理装置２１２０から受信する。そして、画像処理装置２１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張する。このとき、画像処理装置２１７０は、伸張された得られた特徴領域の画像を用いて、特徴パラメータの値でモデルを変更することによって特徴領域に含まれる物体の画像を生成する。このようにして生成された表示用動画は、表示装置２１８０に供給される。表示装置２１８０は、画像処理装置２１７０から供給された表示用動画を表示する。

　また、画像処理装置２１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データおよび特徴パラメータを画像ＤＢ２１７５に記録してもよい。そして、画像処理装置２１７０は、表示装置２１８０からの要求に応じて、画像ＤＢ２１７５から圧縮動画データ、特徴領域情報、および特徴パラメータの値を読み出して、上記のようにして表示用動画を生成して表示装置２１８０に供給してもよい。

　なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置２１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置２１７０は、特定した撮像画像を復号して、表示装置２１８０に提供してよい。

　このように、画像処理システム２０１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム２０１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。

　図１６は、画像処理装置２１２０のブロック構成の一例を示す。画像処理装置２１２０は、画像取得部２２５０、特徴領域検出部２２０３、モデル格納部２２７０、パラメータ値算出部２２６０、パラメータ量子化部２２８０、圧縮制御部２２１０、圧縮部２２３０、対応付け処理部２２０６、および出力部２２０７を備える。画像取得部２２５０は、圧縮動画取得部２２０１および圧縮動画伸張部２２０２を有する。

　圧縮動画取得部２２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２２０１は、撮像装置２１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２２０２は、圧縮動画取得部２２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２２０２は、圧縮動画取得部２２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２２５０は、複数の撮像装置２１００のそれぞれにより撮像された複数の動画を取得する。

　圧縮動画伸張部２２０２によって得られた複数の撮像画像は、特徴領域検出部２２０３および圧縮部２２３０に供給される。特徴領域検出部２２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。

　例えば、特徴領域検出部２２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部２２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。

　例えば、特徴領域検出部２２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部２２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。

　また、特徴領域検出部２２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７－１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。

　このように、特徴領域検出部２２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２２０３は、検出した特徴領域を示す情報を、圧縮制御部２２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。このように、特徴領域検出部２２０３は、動画における特徴領域を検出する。

　圧縮制御部２２１０は、特徴領域検出部２２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２２３０による動画の圧縮処理を制御する。なお、圧縮部２２３０は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮してよい。例えば、圧縮部２２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２２３０は、特徴領域以外の領域の画像の画質を低減することにより、特徴領域以外の領域の画像を圧縮する。また、圧縮部２２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮部２２３０のより具体的な内部の圧縮動作については、後に説明する。

　モデル格納部２２７０は、物体が特徴パラメータで表現されたモデルを格納する。例えば、モデル格納部２２７０は、物体が統計的な特徴パラメータにより表現されたモデルを格納してよい。より具体的には、モデル格納部２２７０は、主成分分析に基づく主成分で物体が表現されたモデルを格納してよい。なお、モデル格納部２２７０は、主成分分析に基づく主成分で物体の形状が表現されたモデルを格納してよい。また、モデル格納部２２７０は、主成分分析に基づく主成分で物体の色が表現されたモデルを格納してよい。

　パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部２２７０が格納しているモデルに適応させることによって、特徴領域の画像に含まれる物体を表す、モデルにおける特徴パラメータの値を算出する。具体的には、パラメータ値算出部２２６０は、モデルにおける主成分の重みを算出する。特徴パラメータが主成分分析により得られた主成分ベクトルである場合、特徴パラメータの値としては、主成分ベクトルへの重みづけ係数を例示することができる。

　パラメータ量子化部２２８０は、出力部２２０７から特徴パラメータの値が出力されるべき特徴パラメータを選択する。具体的には、パラメータ量子化部２２８０は、主成分分析によって抽出されている主成分のうち、どのレベルの主成分まで重みづけ係数を出力するべきか決定する。例えば、パラメータ量子化部２２８０は、特徴領域の特徴の種類に応じて予め定められたレベルまで主成分の重みづけ係数を出力されるべき旨を決定する。パラメータ量子化部２２８０が決定したレベルの主成分に対する重みづけ係数は、対応付け処理部２２０６に供給される。

　対応付け処理部２２０６は、撮像画像から検出された特徴領域を特定する情報および重みづけ係数を、撮像画像に対応づける。具体的には、対応付け処理部２２０６は、撮像画像から検出された特徴領域を特定する情報および重みづけ係数を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２２０７は、対応付け処理部２２０６によって特徴領域を特定する情報および重みづけ係数が対応付けされた圧縮動画を、画像処理装置２１７０に出力する。

　このように、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および特徴領域以外の領域の画像を出力する。より具体的には、出力部２２０７は、パラメータ量子化部２２８０が選択した特徴パラメータの値および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力する。

　なお、出力部２２０７から出力される圧縮動画は、特徴領域については画素情報を含まなくてよい。このように、出力部２２０７は、パラメータ値算出部２２６０が算出した主成分の重みおよび特徴領域以外の領域の画像を出力する。より具体的には、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力する。

　以上説明したように、画像処理装置２１２０によると、特徴領域に含まれる物体の画像については特徴パラメータ値で表現することによって、十分にデータ量を削減しつつ、後で物体の画像を再構成することができる情報を残すことができる。また、特徴領域に比べて重要度が低い背景領域については、画質を低減することでデータ量を著しく削減することができる。

　なお、モデル格納部２２７０は、異なる種類の物体のモデルを、当該種類に対応づけて格納してよい。そして、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴領域に撮像されている物体の種類に対応づけてモデル格納部２２７０が格納しているモデルに適応させることによって、特徴パラメータの値を算出してよい。この場合、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、特徴領域に撮像されている物体の種類、および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力することが望ましい。これにより、画像処理装置２１７０側で適切な種類のモデルを選択して再構成することができる。

　また、モデル格納部２２７０は、異なる方向から見た物体のモデルを、当該方向に対応づけて格納してよい。そして、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴領域に撮像されている物体が撮像された方向に対応づけてモデル格納部２２７０が格納しているモデルに適応させることによって、特徴パラメータの値を算出してよい。この場合、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、特徴領域に撮像されている物体が撮像された方向、および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力すること画望ましい。

　また、モデル格納部２２７０は、異なる照明条件で照明された物体のモデルを、当該照明条件に対応づけて格納してよい。そして、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴領域に撮像されている物体が照明された照明条件に対応づけてモデル格納部２２７０が格納しているモデルに適応させることによって、特徴パラメータの値を算出してよい。この場合、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、特徴領域に撮像されている物体が照明された照明条件、および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力することが望ましい。

　このように、モデル格納部２２７０は、物体の種類、物体の方向、および照明条件等に対応づけて複数のモデルを格納している。このため、特徴領域の物体の画像を、より適切なモデルを用いて表現することができるので、特徴領域の画質を維持しつつデータ量を削減することができる。

　図１７は、圧縮部２２３０のブロック構成の一例を示す。圧縮部２２３０は、画像分割部２２３２、複数の固定値化部２２３４ａ－ｃ（以下、固定値化部２２３４と総称する場合がある。）、複数の画質変換部２２４１ａ－ｄ（以下、画質変換部２２４１と総称する。）を含む画質変換ユニット２２４０、および複数の圧縮処理部２２３６ａ－ｄ（以下、圧縮処理部２２３６と総称する場合がある。）を有する。

　画像分割部２２３２は、画像取得部２２５０から複数の撮像画像を取得する。そして、画像分割部２２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。

　そして、圧縮処理部２２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。

　具体的には、画像分割部２２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。

　画質変換部２２４１は、特徴領域の画像および背景領域の画像の画質を変換する。例えば、画質変換部２２４１は、分割された特徴領域の画像および背景領域の画像のそれぞれについて、解像度、階調数、ダイナミックレンジ、または含まれる色数の少なくともいずれかを変換する。そして、圧縮処理部２２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。

　なお、固定値化部２２３４ａ、固定値化部２２３４ｂ、および固定値化部２２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。また、画質変換部２２４１ａ、画質変換部２２４１ｂ、画質変換部２２４１ｃ、および画質変換部２２４１ｄは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画の画質を変換する。そして、圧縮処理部２２３６ａ、圧縮処理部２２３６ｂ、圧縮処理部２２３６ｃ、および圧縮処理部２２３６ｄは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画を圧縮する。

　なお、圧縮処理部２２３６ａ－ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。

　なお、圧縮処理部２２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２２３６ｄは、圧縮処理部２２３６ａ－ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２２０６に供給される。

　なお、特徴領域以外の領域が固定値化部２２３４によって固定値化されているので、圧縮処理部２２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。

　このように、圧縮部２２３０は、撮像画像の画質を低減することにより、画像処理装置２１７０への入力画像となる画像を生成する。具体的には、圧縮部２２３０は、撮像画像の解像度、階調数、用いられる色の数を低減したりすることにより、画像処理装置２１７０への入力画像となる画像を生成する。また、圧縮部２２３０は、一例として、撮像画像におけるより高い空間周波数成分をより低減することにより、画像処理装置２１７０への入力画像となる画像を生成してよい。

　なお、本図では、圧縮部２２３０が有する複数の圧縮処理部２２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２２３０は一の圧縮処理部２２３６を有してよく、一の圧縮処理部２２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２２３６に時分割で順次供給され、一の圧縮処理部２２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。

　他にも、一の圧縮処理部２２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２２３６に供給され、一の圧縮処理部２２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット２２４０でなされてよい。また、上記のように一の圧縮処理部２２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２２３６が圧縮する形態では、一の圧縮処理部２２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２２３６が一の画像を圧縮する場合には、画像分割部２２３２による分割処理および固定値化部２２３４による固定値化処理はなされなくてよいので、圧縮部２２３０は、画像分割部２２３２および固定値化部２２３４を有しなくてよい。

　図１８は、画像処理装置２１７０のブロック構成の一例を示す。画像処理装置２１７０は、画像取得部２３０１、対応付け解析部２３０２、伸張制御部２３１０、伸張部２３２０、画像生成部２３８０、特徴領域情報取得部２３６０、モデル格納部２３５０、および出力部２３４０を備える。画像生成部２３８０は、拡大部２３３２および合成部２３３０を有する。

　画像取得部２３０１は、圧縮部２２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部２３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部２３０１は、特徴領域情報および特徴パラメータが付帯された圧縮動画を取得する。このように、画像取得部２３０１は、出力部２２０７から出力された特徴パラメータの値および画質が低減された撮像画像を取得する。特に画像取得部２３０１は、特に、特徴領域以外の領域において画質が低減された撮像画像および特徴パラメータの値を取得する。

　そして、対応付け解析部２３０２は、画像取得部２３０１が取得した動画データを複数の特徴領域動画および背景領域動画と、特徴領域情報と、特徴領域パラメータ値とに分離して、複数の特徴領域動画および背景領域動画を伸張部２３２０に供給する。また、対応付け解析部２３０２は、特徴領域の位置および特徴の種類を伸張制御部２３１０および特徴領域情報取得部２３６０に供給する。また、対応付け解析部２３０２は、特徴パラメータ値を特徴領域情報取得部２３６０に供給する。このようにして、特徴領域情報取得部２３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報（例えば特徴領域の位置を示す情報）、および特徴パラメータ値を取得することができる。特徴領域情報取得部２３６０は、取得した特徴領域の位置を示す情報および特徴パラメータ値を画像生成部２３８０に供給する。

　伸張制御部２３１０は、対応付け解析部２３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部２３２０による伸張処理を制御する。例えば、伸張制御部２３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部２３２０に圧縮動画が示す動画の各領域を伸張させる。

　以下に、伸張部２３２０が有する各構成要素の動作を説明する。伸張部２３２０は、複数の復号器２３２２ａ－ｄ（以下、復号器２３２２と総称する。）を有する。復号器２３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器２３２２ａ、復号器２３２２ｂ、復号器２３２２ｃ、および復号器２３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部２３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部２３８０に供給する。

　画像生成部２３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部２３４０は、対応付け解析部２３０２から取得した特徴領域情報および表示動画を表示装置２１８０または画像ＤＢ２１７５に出力する。なお、画像ＤＢ２１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。なお、出力部２３４０は、この発明における画像出力部として機能し得る。

　モデル格納部２３５０は、モデル格納部２２７０が格納しているモデルと同じもモデルを格納している。そして、画像生成部２３８０は、特徴領域に含まれる物体の画像をモデル格納部２３５０が格納しているモデルに適合させることにより、特徴領域に含まれる物体の高画質画像を生成してよい。具体的には、画像生成部２３８０は、モデル格納部２３５０が格納している主成分ベクトルを、特徴パラメータ値の一例としての重みづけ係数で重みづけすることによって、物体の高画質画像を生成してよい。このように、画像生成部２３８０は、特徴領域の画像に含まれる物体の画像を、特徴パラメータの値に基づいてモデルから生成する。

　なお、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部２２７０が格納しているモデルに適応させることによって、特徴領域の画像に撮像されている物体の形状を表す、モデルにおける特徴パラメータの値を算出してよい。そして、圧縮部２２３０は、撮像画像における特徴領域および特徴領域以外の領域の画質を低減することにより、撮像画像を圧縮してよい。そして、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、および圧縮部２２３０により画質が低減された撮像画像を出力してよい。

　この場合、画像生成部２３８０は、特徴領域の画像に撮像されている物体の形状を特徴パラメータの値に基づいてモデルから生成し、生成した物体の形状および画像取得部２２５０が取得した撮像画像における特徴領域の画像の画素値を用いて、特徴領域の画像に撮像されている物体の画像を生成する。具体的には、画像生成部２３８０は、特徴領域の画像に撮像されている物体の形状を特徴パラメータの値に基づいてモデルから生成し、生成した物体の形状および伸張部２３２０によって伸張された特徴領域の画像の画素値を用いて、特徴領域の画像に撮像されている物体の画像を生成する。

　なお、特徴領域情報取得部２３６０は、出力部２２０７から圧縮動画に対応づけて出力された物体の種類、物体の方向、および照明条件を取得してよい。そして、画像生成部２３８０は、物体の種類、物体の方向、および照明条件に対応づけてモデル格納部２３５０が格納している主成分ベクトルを、特徴領域情報取得部２３６０が取得した重みづけ係数で重みづけすることによって、物体の高画質画像を生成してよい。

　画像拡大部２３３２は、特徴領域以外の領域の画像を拡大する。そして、合成部２３３０は特徴領域における物体の高画質画像と、当該拡大された特徴領域以外の領域の画像とを合成する。

　そして、出力部２３４０は、高画質画像および特徴領域以外の画像を含む画像を出力する。具体的には、出力部２３４０は、上述したように合成部２３３０により得られた撮像画像を動画構成画像として含む表示動画を出力する。

　図１９は、圧縮部２２３０の他のブロック構成の一例を示す。本構成における圧縮部２２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。

　本構成における圧縮部２２３０は、画質変換部２５１０、差分処理部２５２０、および符号化部２５３０を有する。差分処理部２５２０は、複数の階層間差分処理部２５２２ａ－ｄ（以下、階層間差分処理部２５２２と総称する。）を含む。符号化部２５３０は、複数の符号器２５３２ａ－ｄ（以下、符号器２５３２と総称する。）を含む。

　画質変換部２５１０は、画像取得部２２５０から複数の撮像画像を取得する。また、画質変換部２５１０は、特徴領域検出部２２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部２５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部２５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。

　例えば、画質変換部２５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。

　そして、画質変換部２５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部２５２２ｄ、階層間差分処理部２５２２ａ、階層間差分処理部２５２２ｂ、および階層間差分処理部２５２２ｃに供給する。なお、画質変換部２５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部２５２２のそれぞれに動画を供給する。

　なお、画質変換部２５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部２５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部２５１０は、階層間差分処理部２５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部２５２２ｄに供給してよい。また、画質変換部２５１０は、階層間差分処理部２５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部２５２２ａに供給してよく、階層間差分処理部２５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部２５２２ｂに供給してよい。なお、画質変換部２５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部２５２２に供給する動画のフレームレートを変換してよい。なお、画質変換部２５１０は、図１７に関連して説明した画質変換部２２４１と同様の画質変換処理を行うことができる。

　階層間差分処理部２５２２ｄおよび符号器２５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部２５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器２５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。

　また、階層間差分処理部２５２２ａは、画質変換部２５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部２５２２ｂおよび階層間差分処理部２５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部２５２２ａおよび符号器２５３２ａの具体的な動作について説明する。

　階層間差分処理部２５２２ａは、符号器２５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部２５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部２５２２ａは、背景領域における差分値を０にする。そして、符号器２５３２ａは、差分画像を符号器２５３２ｄと同様に符号化する。なお、階層間差分処理部２５２２ａおよび符号器２５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。

　なお、階層間差分処理部２５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部２５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部２５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。

　なお、階層間差分処理部２５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器２５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器２５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部２５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部２５２２ａに供給される。階層間差分処理部２５２２ａは、階層間差分処理部２５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。

　なお、階層間差分処理部２５２２ｂおよび符号器２５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器２５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部２５２２ｂおよび符号器２５３２ｂの動作は階層間差分処理部２５２２ａおよび符号器２５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部２５２２ｃおよび符号器２５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器２５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部２５２２ａおよび符号器２５３２ａの動作と略同一であるので、説明を省略する。

　以上説明したように、画質変換部２５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部２５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部２５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。

　また、画質変換部２５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部２５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部２５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。

　以上説明したように、圧縮部２２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置２１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。

　図２０は、人間の顔における特徴点の一例を示す。図１６および図１７に関連して説明したように、モデル格納部２２７０およびモデル格納部２３５０は、特徴パラメータで物体を表現するモデルを格納している。以下に、モデル格納部２２７０およびモデル格納部２３５０が格納するモデルを生成する生成方法の一例として、物体の一例である人物の顔のモデルをＡＡＭ手法を用いて生成する場合について説明する。

　サンプルとなる人間の顔部分が表された複数の顔画像（以下、サンプル画像）の各々に対して、本図に示すように、顔形状を表す特徴点をｎ個設定する。なお、ここでは、特徴点の数は顔画像の画素数より少ないものとする。各特徴点は、例えば、１番目の特徴点は左目の左端、１１番目の特徴点は眉の間の中央というように、顔のどの部位を示すかが予め定められていてよい。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定してもよい。

　図２１は、重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ_１、ｐ_２に対する重みづけ係数ｂ_１、ｂ_２の値を変化させた場合の顔形状の変化の様子を模式的に表している。ａ）は、重みづけ係数ｂ_１を変化させた場合の顔形状の変化を示しており、ｂ）は、重みづけ係数ｂ_２を変化させた場合の顔形状の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な顔形状を示す。

　図２２は、サンプル画像を平均顔形状に変換して得られた画像の一例を示す。各サンプル画像は、平均顔形状に変換（ワーピング）される。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量が算出される。そして、当該シフト量に基づいて、各サンプル画像の画素毎の平均顔形状へのシフト量を算出して、各サンプル画像が画素毎に平均顔形状へワーピングされる。

　図２３は、重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｑ_１、ｑ_２に対する重みづけ係数λ_１、λ_２の値を変化させた場合の顔の画素値の変化の様子を模式的に表している。ａ）は、重みづけ係数λ_１を変化させた場合の画素値の変化を示しており、ｂ）は、重みづけ係数λ_２を変化させた場合の画素値の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な画素値を示す。

　以上、図２０から図２３にかけて説明した処理によって、顔のモデルが生成される。このモデルは、顔形状を表す複数の固有ベクトルｐ_ｉと、平均顔形状下での顔の画素値を表す固有ベクトルｑ_ｉとによって、顔を表現する。モデルが有する各固有ベクトルの合計数は、顔画像を形成する画素数よりも大幅に少ない。なお、上記の例では、形状および画素値を顔形状とＲ，Ｇ，Ｂ色成分の画素値についての別個の重みづけ係数ｂ_ｉ、λ_ｉによって、個別の顔画像を表現したが、顔形状と色成分の画素値のバリエーションには相関性があることから、特徴点および画素値の双方を含む特徴パラメータを主成分分析することもできる。

　次に、モデル格納部２２７０が格納しているモデルを用いて特徴領域に含まれる物体の画像を圧縮する処理の一例を説明する。パラメータ値算出部２２６０は、特徴領域に含まれる入力顔画像を正規化して、平均顔形状化でのＲ，Ｇ，Ｂの色成分の画素値を算出する。なお、入力顔画像は、かならずしも正面からの画像でなかったり、照明条件がサンプル画像を撮像した場合の照明条件と異なる場合がある。したがって、ここでいう正規化とは、上記で説明した正面の顔の特徴点を揃える処理だけでなく、斜めから撮像されて得られた入力顔画像の向きを正面から撮像された顔画像に変換する変換処理であったり、照明による影の影響を除去したりする影除去処理等のように、サンプル画像と同等の撮影環境で撮像された顔画像に変換する処理を含む。

　そして、パラメータ値算出部２２６０は、平均顔に対する画素値との差を主成分ベクトルｑ_ｉに射影することにより、重みづけ係数λ_ｉを算出する。具体的には、パラメータ値算出部２２６０は、主成分ベクトルｑ_ｉとの内積により重みづけ係数λ_ｉを算出することができる。また、パラメータ値算出部２２６０は、顔の特徴点Ｓについても、上述した画素値Ａの算出処理と同様の処理により算出する。具体的には、パラメータ値算出部２２６０は、平均顔に対する特徴点の位置の差を主成分ベクトルｐ_ｉに射影することにより重みづけ係数ｂ_ｉを算出する。

　以上説明したようにして、パラメータ値算出部２２６０は、重みづけ係数ｂ_ｉおよびλ_ｉを、特徴パラメータの値として算出することができる。次に、画像生成部２３８０による高画質画像の生成処理について説明する。

　画像生成部２３８０は、取得した重みづけ係数λ_ｉ、平均顔の画素値Ａ_０、および主成分ベクトルｑ_ｉを用いて、平均顔形状下における画素値Ａを算出する。また、画像生成部２３８０は、取得した重みづけ係数ｂ_ｉ、平均顔の特徴点Ｓ_０、および主成分ベクトルｐ_ｉを用いて、特徴点Ａを算出する。そして、画像生成部２３８０は、画素値Ａおよび特徴点Ａで表される画像に対して、上記の正規化処理のうち特徴点を揃える処理を除く処理の逆変換処理を施す。なお、上記の正規化処理の内容は、画像処理装置２１２０から画像処理装置２１７０に送信され、画像生成部２３８０が上記逆変換処理をする場合に使用されてよい。

　以上の処理により、画像生成部２３８０は、出力部２２０７から出力された撮像画像における特徴領域の画像から、当該撮像画像より高画質な高画質画像を生成する。具体的には、画像生成部２３８０は、出力部２２０７から出力された撮像画像における特徴領域の画像に比べて、より高解像度の画像、よりシャープな画像、よりノイズが少ない画像、より階調数の多い画像、あるいはより色数の多い画像を生成することができる。

　図２４は、モデル格納部２２７０およびモデル格納部２３５０が格納しているモデルの一例をテーブル形式で示す。モデル格納部２２７０およびモデル格納部２３５０は、複数の表情および複数の方向のそれぞれの組み合わせ毎に、モデルを格納している。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、方向としては、正面、上方、下方、右方、左方、および後方を含む。

　パラメータ値算出部２２６０は、特徴領域に含まれる顔画像の画像内容に基づいて顔の表情および顔の方向を特定して、特定した表情および方向の組み合わせに対応づけてモデル格納部２２７０が格納しているモデルを用いて、上述の重みづけ係数を算出することができる。

　なお、出力部２２０７は、使用したモデルを識別する情報を画像処理装置２１７０に送信してよい。そして、画像生成部２３８０は、当該情報によって識別されるモデルを用いて、上述の再構成処理をすることができる。

　なお、画像生成部２３８０は、口および／または目の形状から表情を特定することができ、目、口、鼻、および耳の位置関係等から顔の方向を特定することができる。なお、画像処理装置２１２０が顔の表情および顔の方向を特定してよく、出力部２２０７から撮像画像に対応づけて顔の表情および顔の方向が出力されてよい。

　また、モデル格納部２２７０およびモデル格納部２３５０は、顔の表情および向きの他に、上述したように照明条件に対応づけてモデルを格納してよい。例えば、モデル格納部２２７０およびモデル格納部２３５０は、照明強度および照明の方向に対応づけてモデルを格納してよい。そして、パラメータ値算出部２２６０は、特徴領域に含まれる顔画像の画像内容に基づいて顔への照明条件を特定してよい。例えば、パラメータ値算出部２２６０は、影の位置および大きさに基づいて、照明強度および照明方向を特定して、特定した照明強度および照明方向に対応づけてモデル格納部２２７０が格納しているモデルを用いて、重みづけ係数を算出することができる。

　なお、上記の例では、顔全体を表現するモデルの生成および当該モデルを用いた特徴パラメータ抽出および再構成過程を説明した。このような顔全体のモデルの他に、画像処理システム２０１０は、顔の部位毎のモデルを用いることができる。他にも、画像処理システム２０１０は、性別および／または人種毎の顔（あるいは顔の部位毎）のモデルを用いることができる。また、画像処理システム２０１０は、人物のモデルの他に、車両、船舶等、画像処理システム２０１０が監視対象とする物体の種別毎にモデルを格納することができる。そして画像生成部２３８０は、種別に応じてモデルを選択して再構成することもできる。このような種別は、画像処理装置２１２０において検出され、撮像画像に対応づけて画像処理装置２１７０に送信されてよい。

　以上説明したように、モデル格納部２２７０およびモデル格納部２３５０は、異なる種類の物体のモデルを、当該種類に対応づけて格納することができる。そして、特徴領域情報取得部２３６０は、入力画像における特徴領域に撮像されている物体の種類を示す情報を取得する。そして、画像生成部２３８０は、撮像画像における特徴領域に含まれる物体の画像を、特徴領域情報取得部２３６０が取得した特徴領域に撮像されている物体の種類に対応づけてモデル格納部２３５０が格納しているモデルに適応させることによって、高画質画像に変換する。

　なお、上述したように、モデル格納部２２７０およびモデル格納部２３５０は、学習データの一例としてのモデルを、オブジェクトの種類を識別する情報の一例としての顔の部位（例えば、目、鼻、口など）毎に格納することができる。ここで、学習データとしては、上記モデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。なお、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ－ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分は複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。なお、モデル格納部２２７０は、オブジェクトの画像の低周波成分に対応づけて高周波成分を特定する情報を記憶してよい。また、モデル格納部２３５０は、高周波成分を特定する情報に対応づけて高周波成分を記憶してよい。

　パラメータ値算出部２２６０は、撮像画像に含まれるオブジェクトの画像から低周波成分を抽出する。そして、パラメータ値算出部２２６０は、当該オブジェクの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、パラメータ値算出部２２６０は、特定したクラスタに含まれる低周波成分に対応づけてモデル格納部２２７０が格納している高周波成分のクラスタを特定する情報を特定する。このようにして、パラメータ値算出部２２６０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。パラメータ値算出部２２６０が特定した高周波成分のクラスタを特定する情報は、特徴領域を特定する情報に対応づけて出力部２２０７から出力される。

　出力部２２０７から出力されて画像取得部２３０１が取得した高周波成分のクラスタを特定する情報は、対応付け解析部２３０２で抽出され、特徴領域情報取得部２３６０を通じて画像生成部２３８０に供給される。画像生成部２３８０は、当該高周波成分のクラスタを特定する情報に対応づけてモデル格納部２３５０が格納している高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な画像に変換してよい。例えば、画像生成部２３８０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、パラメータ値算出部２２６０は、各オブジェクト毎に学習することによって生成された学習データの中から望ましい学習データをオブジェクト毎に選択することができる。このため、画像生成部２３８０は、オブジェクト毎に選択された望ましい学習データを利用することができるので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。なお、上記の例では、高周波成分のクラスタを特定する情報が出力部２２０７から出力されるとしたが、低周波成分のクラスタを特定する情報が出力部２２０７から出力されてもよい。この場合、モデル格納部２３５０が当該低周波成分のクラスタを特定する情報に対応づけて高周波のクラスタを格納している。そして、画像生成部２３８０は、出力部２２０７から出力された低周波成分のクラスタを特定する情報に対応づけてモデル格納部２３５０が格納している高周波成分のクラスタを代表する高周波成分をオブジェクトの画像に加算することによって、オブジェクトの画像を高画質化することができる。

　以上のように、画像処理装置２１２０および画像処理装置２１７０によると、主成分分析（ＰＣＡ）に基づいて特徴領域の画像を再構成することができる。なお、画像処理装置２１２０および画像処理装置２１７０に係わる画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ　ｐｒｅｓｅｒｖｉｎｇ　ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ　ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ　ｌｉｎｅａｒ　ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ　ｒａｎｄｏｍ　ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。

　なお、上記の説明では、２次元のモデルを利用する場合を例に挙げて画像処理システム２０１０の各構成要素の機能および動作を説明したが、画像処理システム２０１０は、３次元のモデルを利用してもよい。すなわち、モデル格納部２２７０およびモデル格納部２３５０は、３次元のモデルを格納してよい。なお、３次元モデルを使用する場合には、上述のベクトルＡに奥行きを示すｚ成分を追加することで実現することができる。例えば、ベクトルＡを（ｒ１，ｇ１，ｂ１，ｚ１，ｒ２，ｇ２，ｂ２，ｚ１，・・・，ｒｍ，ｇｍ，ｂｍ、ｚｍ）とすることで、３次元のモデルを実現することができる。

　なお、モデル格納部２２７０およびモデル格納部２３５０が格納する３次元モデルは、異なる方向から物体が撮像されて得られた複数のサンプル画像から生成された３次元画像を利用して生成することができる。例えば、複数の物体のそれぞれの３次元画像について、上述した２次元のモデルを生成する場合と同様の方法によって３次元モデルを生成することができる。そして、パラメータ値算出部２２６０は、複数の撮像画像のそれぞれにおける特徴領域のうち、異なる方向から同じ物体が撮像されている画像を含む特徴領域を特定し、特定した特徴領域に含まれる当該物体の画像に基づく当該物体の３次元画像を３次元モデルに適応させることによって、特徴パラメータの値を算出する。なお、パラメータ値算出部２２６０は、異なる方向から撮像された同じ物体の画像における視差情報に基づいて、当該物体の３次元画像を生成することができる。また、当該視差情報に基づいて、それぞれの特徴領域に含まれる物体の画像が撮影された方向が特定される。出力部２２０７は、当該撮影方向を、特徴領域以外の領域の画像および特徴パラメータの値に対応づけて出力してよい。

　そして、画像生成部２３８０は、異なる方向から同じ物体が撮像されている画像を含む特徴領域の画像に含まれる物体の３次元画像を、特徴パラメータの値に基づいて３次元モデルから生成し、生成した３次元画像に基づいて、特徴領域の画像に含まれる物体の２次元画像を生成する。なお、特徴領域情報取得部２３６０は、出力部２２０７から出力されて画像取得部２３０１が取得した撮影方向を取得して、取得した撮影方向を画像生成部２３８０に供給する。画像生成部２３８０は、当該撮影方向および３次元画像に基づいて２次元空間に投影することによって、物体の２次元画像を生成することができる。そして、出力部２３４０は、画像生成部２３８０により生成された２次元画像と画像取得部２３０１が取得した特徴領域以外の領域の画像とを合成した画像を出力する。なお、上記撮影方向は、３次元画像から２次元画像を生成する場合に用いられる方向情報の一例であり、方向情報は、３次元データを２次元空間に投影する投影角度であってよい。

　また、撮像画像に含まれている物体の画像と、平均画像（例えば、平均顔画像）との間の差が予め定められた値より大きい場合には、圧縮部２２３０が特徴領域の画像を圧縮してよい。これにより、特徴領域に含まれる物体の画像が平均画像から大きく乖離している場合に、再構成精度が著しく低下してしまうことを未然に防ぐことができる。

　図２５は、他の実施形態に係る画像処理システム２０２０の一例を示す。本実施形態における画像処理システム２０２０の構成は、撮像装置２１００ａ－ｄがそれぞれ画像処理部２８０４ａ－ｄ（以下、画像処理部２８０４と総称する。）を有する点を除いて、図１５で説明した画像処理システム２０１０の構成と同じとなっている。

　画像処理部２８０４は、画像処理装置２１２０に含まれる構成要素のうち、画像取得部２２５０を除く構成要素を有している。そして、画像処理部２８０４に含まれる各構成要素の機能および動作は、画像処理装置２１２０に含まれる各構成要素が圧縮動画伸張部２２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部２１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置２１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０２０においても、図１５から図２４にかけて画像処理システム２０１０に関連して説明した効果と略同一の効果が得ることができる。

　なお、画像処理部２８０４は、撮像部２１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像（例えば、特徴領域以外の領域の画像）をＲＡＷ形式のまま圧縮してよい。なお、画像処理部２８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部２８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。なお、画像処理部２８０４は、撮像動画を、図１５～図２５に関連して画像処理装置２１２０の動作として説明した圧縮方法で圧縮することができる。なお、画像処理装置２１７０は、画像処理部２８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像（例えば、特徴領域以外の領域の画像）を取得することができる。画像処理装置２１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置２１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。

　画像の全領域をモデルを用いて符号化すると、演算量が増大してしまう。また、重要度が低い領域までモデルを用いて符号化しようとすると、再構成の精度が低下してしまう虞がある。画像処理システム２０２０によると、これらの課題を解決することができる場合がある。

　図１５から図２５に関連して、画像処理装置２１２０においてモデルを用いて算出された特徴パラメータが画像処理装置２１７０に送信され、画像生成部２３８０において特徴パラメータを用いて特徴領域の画像を復号する画像処理について説明した。ここで、画像生成部２３８０により得られた画像に対して、画像生成部３８０による高画質化処理を施してよい。つまり画像生成部２３８０からの出力画像を画像処理装置１７０への入力とすることにより、高画質画像を生成する。この場合、画像処理装置１７０は、対応付け解析部、特徴領域情報取得部３６０、伸張制御部３１０、特徴領域情報取得部３６０、伸張部３２０は有さなくてよく、画像取得部３０１、モデル格納部３５０、および、画像生成部３８０の機能により、画像生成部２３８０により得られた出力画像から高画質画像を生成することができる。

　ここで、画像生成部２３８０が用いるモデルと画像生成部３８０が用いるモデルとは、異なるモデルであってよい。画像生成部２３８０が用いるモデルは、パラメータ値算出部２２６０が用いるモデルと同じであり、画像生成部３８０が用いるモデルとは区別してここでは第２モデルと呼ぶ。すなわち、モデル格納部２２７０は、物体が特徴パラメータで表現された第２モデルを格納する第２モデル格納部として機能する。

　また、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部２２７０が格納している第２モデルに適応させることによって、撮像画像における特徴領域の画像に含まれる物体を表す、第２モデルにおける特徴パラメータの値を算出する。そして、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および撮像画像における特徴領域以外の領域の画像を出力する中間出力部として機能する。

　この場合に、画像取得部２３０１は、出力部２０７から出力された特徴パラメータの値および画質が低減された撮像画像における特徴領域以外の領域の画像を取得する中間画像取得部として機能する。そして、画像生成部３８０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴パラメータの値に基づいて第２モデルから生成する中間画像生成部として機能する。そして、出力部２３４０は、第２モデルから生成された物体の画像と画像取得部２３０１が取得した特徴領域以外の領域の画像とを合成した画像を出力する画像出力部として機能する。

　画像取得部３０１は、出力部２３４０が出力した画像を入力画像として取得する。そして、画像生成部３８０は、画像取得部３０１が取得した入力画像における特徴領域に含まれる物体の画像を、モデル格納部３５０が格納しているモデルに適合させることにより、特徴領域に含まれる物体の画像を高画質化した高画質画像を生成する。

　図２６は、画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０の少なくともいずれかとして機能するコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ－ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

　ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

　入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ－ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ－ＲＯＭドライブ１５６０は、ＣＤ－ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

　入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

　ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ－ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図１４に関連して説明した画像処理装置１２０が有する各構成要素として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図１４に関連して説明した画像処理装置１７０が有する各構成要素として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１５から図２４に関連して説明した画像処理装置２１２０が有する各構成要素として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１５から図２４に関連して説明した、画像処理装置２１７０が有する各構成要素として機能させる。

　以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ－ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして、画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０として機能するコンピュータ１５００に提供してもよい。このように、プログラムにより制御されるコンピュータ１５００が、画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０として機能する。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

Claims

　撮像された入力画像を取得する画像取得部と、
　前記入力画像における特徴領域を示す情報を取得する特徴領域情報取得部と、
　特徴パラメータで物体が表現されたモデルを格納するモデル格納部と、
　前記入力画像における前記特徴領域に含まれる物体の画像を前記モデルに適応させることによって、前記入力画像における前記特徴領域に含まれる物体の画像を、前記入力画像より高画質な高画質画像に変換する画像生成部と、
　前記高画質画像および前記特徴領域以外の画像を含む画像を出力する出力部と
を備える画像処理システム。
　前記モデル格納部は、統計的な特徴パラメータで物体が表現された前記モデルを格納する
請求項１に記載の画像処理システム。
　前記モデル格納部は、主成分分析に基づく主成分で物体が表現された前記モデルを格納する
請求項１に記載の画像処理システム。
　前記モデル格納部は、主成分分析に基づく主成分で物体の形状が表現された前記モデルを格納する
請求項３に記載の画像処理システム。
　前記モデル格納部は、主成分分析に基づく主成分で物体の色が表現された前記モデルを格納する
請求項３に記載の画像処理システム。
　前記特徴領域情報取得部は、前記入力画像における前記特徴領域に撮像されている物体の種類を示す情報を取得し、
　前記モデル格納部は、異なる種類の物体の前記モデルを、当該種類に対応づけて格納しており、
　前記画像生成部は、前記入力画像における前記特徴領域に含まれる物体の画像を、前記特徴領域情報取得部が取得した前記特徴領域に撮像されている物体の種類に対応づけて前記モデル格納部が格納しているモデルに適応させることによって、前記高画質画像に変換する
請求項３に記載の画像処理システム。
　前記入力画像における前記特徴領域に撮像されている物体が撮像された方向を特定する方向特定部
をさらに備え、
　前記モデル格納部は、異なる方向から見た物体の前記モデルを、当該方向に対応づけて格納しており、
　前記画像生成部は、前記入力画像における前記特徴領域に含まれる物体の画像を、前記方向特定部が特定した方向に対応づけて前記モデル格納部が格納しているモデルに適応させることによって、前記高画質画像に変換する
請求項３に記載の画像処理システム。
　前記入力画像における前記特徴領域に撮像されている物体が照明された照明条件を特定する照明条件特定部
をさらに備え、
　前記モデル格納部は、異なる照明条件で照明された物体の前記モデルを、当該照明条件に対応づけて格納しており、
　前記画像生成部は、前記入力画像における前記特徴領域に含まれる物体の画像を、前記照明条件特定部が特定した照明条件に対応づけて前記モデル格納部が格納しているモデルに適応させることによって、前記高画質画像に変換する
請求項３に記載の画像処理システム。
　前記画像生成部は、前記入力画像における前記特徴領域に含まれる物体の画像を、前記モデルに適応させることによって、前記入力画像より高解像度な前記高画質画像を生成する
請求項３に記載の画像処理システム。
　前記画像生成部は、前記入力画像における前記特徴領域以外の領域の画像を、前記高画質画像と同じ解像度の画像に拡大し、拡大して得られた画像と、前記高画質画像とを合成して一の画像を生成する
をさらに備える請求項３に記載の画像処理システム。
　前記画像取得部は、撮像画像が低画質化された前記入力画像を取得し、
　前記特徴領域情報取得部は、前記撮像画像から検出された特徴領域の位置を示す情報を取得する
請求項３に記載の画像処理システム。
　前記撮像画像から、特徴領域を検出する特徴領域検出部と、
　前記撮像画像の画質を低減することにより前記入力画像を生成する圧縮部と、
　前記入力画像と、前記撮像画像から検出された前記特徴領域の位置を示す情報とを対応づけて出力する出力部と
をさらに備え、
　前記画像取得部は、前記出力部から出力された前記入力画像を取得し、
　前記特徴領域情報取得部は、前記出力部から前記入力画像に対応づけて出力された前記特徴領域の位置を示す情報を取得する
請求項１１に記載の画像処理システム。
　前記圧縮部は、前記撮像画像における前記特徴領域以外の領域の画像を前記特徴領域の画像と異なる画質にすることにより、前記入力画像を生成する
請求項１２に記載の画像処理システム。
　前記圧縮部は、前記撮像画像における前記特徴領域以外の領域の画像を前記特徴領域の画像より低画質にすることにより、前記入力画像を生成する
請求項１３に記載の画像処理システム。
　前記特徴領域検出部は、前記撮像画像から、複数の特徴領域を検出し、
　前記圧縮部は、前記撮像画像における前記複数の特徴領域の画像の画質を、前記特徴領域の特徴に応じて予め定められた画質に低減することにより、前記入力画像を生成する
請求項１４に記載の画像処理システム。
　前記特徴領域検出部は、前記撮像画像から、撮像されている物体の種類がそれぞれ異なる複数の特徴領域を検出し、
　前記圧縮部は、前記撮像画像における前記複数の特徴領域の画像の画質を、前記特徴領域に撮像されている物体の種類に応じて予め定められた画質に低減することにより、前記入力画像を生成する
請求項１５に記載の画像処理システム。
　特徴領域の特徴に対応づけて画質を取得する画質取得部
をさらに備え、
　前記圧縮部は、前記撮像画像における前記複数の特徴領域の画像の画質を、前記画質取得部がそれぞれの特徴領域の特徴に対応づけて取得した画質に低減することにより、前記入力画像を生成する
請求項１５に記載の画像処理システム。
　前記圧縮部は、前記撮像画像の解像度を低減することにより、前記入力画像を生成する
請求項１２に記載の画像処理システム。
　前記圧縮部は、前記撮像画像の階調数を低減することにより、前記入力画像を生成する
請求項１２に記載の画像処理システム。
　前記圧縮部は、前記撮像画像に用いられる色の数を減少することにより、前記入力画像を生成する
請求項１２に記載の画像処理システム。
　前記圧縮部は、前記撮像画像におけるより高い空間周波数成分をより低減することにより、前記入力画像を生成する
請求項１２に記載の画像処理システム。
　物体が特徴パラメータで表現された第２モデルを格納する第２モデル格納部と、
　撮像画像から特徴領域を検出する特徴領域検出部と、
　前記撮像画像における前記特徴領域の画像に含まれる物体の画像を、前記第２モデル格納部が格納している前記第２モデルに適応させることによって、前記撮像画像における前記特徴領域の画像に含まれる物体を表す、前記第２モデルにおける特徴パラメータの値を算出するパラメータ値算出部と、
　前記パラメータ値算出部が算出した特徴パラメータの値および前記撮像画像における前記特徴領域以外の領域の画像を出力する中間出力部と、
　前記中間出力部から出力された前記特徴パラメータの値および画質が低減された前記撮像画像における前記特徴領域以外の領域の画像を取得する中間画像取得部と、
　前記撮像画像における前記特徴領域の画像に含まれる物体の画像を、特徴パラメータの値に基づいて前記第２モデルから生成する中間画像生成部と、
　前記第２モデルから生成された前記物体の画像と前記中間画像取得部が取得した前記特徴領域以外の領域の画像とを合成した画像を出力する画像出力部と
をさらに備え、
　前記画像取得部は、前記画像出力部が出力した画像を前記入力画像として取得する
請求項１に記載の画像処理システム。
　前記撮像画像における前記特徴領域以外の領域の画像の画質を低減することにより、前記特徴領域以外の領域の画像を圧縮する圧縮部
をさらに備え、
　前記中間出力部は、前記パラメータ値算出部が算出した特徴パラメータの値および前記圧縮部により画質が低減された前記特徴領域以外の領域の画像を出力する
請求項２２に記載の画像処理システム。
　前記第２モデル格納部は、物体が統計的な特徴パラメータにより表現された前記第２モデルを格納する
請求項２３に記載の画像処理システム。
　前記画像取得部は、複数の動画構成画像を含む入力動画を取得し、
　前記特徴領域情報取得部は、前記複数の動画構成画像のそれぞれにおける特徴領域の位置を示す情報を取得し、
　前記画像処理システムは、
　前記複数の動画構成画像のそれぞれにおける前記特徴領域のうち、予め定めた値より高い相関を有する第１特徴領域および第２特徴領域を選択する特徴領域選択部
をさらに備え、
　前記画像生成部は、前記第１特徴領域に含まれる物体の画像および前記第２特徴領域に含まれる物体の画像を、それぞれ前記モデルに適応させることによって、それぞれ第１高画質画像および第２高画質画像に変換し、前記第１高画質画像、前記第２高画質画像、および前記第１特徴領域と前記第２特徴領域との間の位置差を用いて、前記第１特徴領域に含まれる物体の画像および前記第２特徴領域に含まれる物体の画像より高解像度な前記高画質画像を生成する
請求項１に記載の画像処理システム。
　前記画像生成部は、前記第１高画質画像と前記第２高画質画像とを前記位置差に基づいて合成することによって、前記高画質画像を生成する
請求項２５に記載の画像処理システム。
　前記画像生成部は、前記第１高画質画像と前記第２高画質画像とを、前記位置差だけずらして重ね合わせることによって、前記高画質画像を生成する
請求項２６に記載の画像処理システム。
　物体が撮像された入力画像を取得する画像取得段階と、
　前記入力画像における特徴領域を示す情報を取得する特徴領域情報取得段階と、
　特徴パラメータで物体が表現されたモデルを格納するモデル格納段階と、
　前記入力画像における前記特徴領域に含まれる物体の画像を前記モデルに適応させることによって、前記入力画像よりにおける前記特徴領域に含まれる物体の画像を、前記入力画像より高画質な高画質画像に変換する画像生成段階と、
　前記高画質画像および前記特徴領域以外の画像を含む画像を出力する出力段階と
を備える画像処理方法。
　画像処理システム用のプログラムを記憶するコンピュータ読取可能な媒体であって、該プログラムは、コンピュータを、
　物体が撮像された入力画像を取得する画像取得部、
　前記入力画像における特徴領域を示す情報を取得する特徴領域情報取得部、
　特徴パラメータで物体が表現されたモデルを格納するモデル格納部、
　前記入力画像における前記特徴領域に含まれる物体の画像を前記モデルに適応させることによって、前記入力画像よりにおける前記特徴領域に含まれる物体の画像を、前記入力画像より高画質な高画質画像に変換する画像生成部
　前記高画質画像および前記特徴領域以外の画像を含む画像を出力する出力部
として機能させる
コンピュータ読取可能な媒体。
　入力画像を取得する画像取得部と、
　オブジェクトの種類に対応づけて、オブジェクトの画像の高周波成分を格納するオブジェクト画像情報格納部と、
　前記入力画像に含まれる複数のオブジェクトのそれぞれの画像を、オブジェクトの種類に対応づけて前記オブジェクト画像情報格納部が格納している高周波成分を用いて、より高画質な高画質画像に変換する画像生成部と
を備える画像処理システム。
　入力画像を取得する画像取得段階と、
　オブジェクトの種類に対応づけて、オブジェクトの画像の高周波成分を格納するオブジェクト画像情報格納段階と、
　前記入力画像に含まれる複数のオブジェクトのそれぞれの画像を、オブジェクトの種類に対応づけて前記オブジェクト画像情報格納段階において格納されている高周波成分を用いて、より高画質な高画質画像に変換する画像生成段階と
を備える画像処理システム。
　画像処理システム用のプログラムを記憶するコンピュータ読取可能な媒体であって、該プログラムは、コンピュータを、
　入力画像を取得する画像取得部、
　オブジェクトの種類に対応づけて、オブジェクトの画像の高周波成分を格納するオブジェクト画像情報格納部、
　前記入力画像に含まれる複数のオブジェクトのそれぞれの画像を、オブジェクトの種類に対応づけて前記オブジェクト画像情報格納部が格納している高周波成分を用いて、より高画質な高画質画像に変換する画像生成部
として機能させる
コンピュータ読取可能な媒体。