以下、発明の実施の形態を通じてこの発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係わる画像処理システム10の一例を示す。画像処理システム10は、以下に説明するように、監視システムとして機能することができる。
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−d(以下、撮像装置100と総称する。)、撮像装置100により撮像された撮像画像を処理する画像処理装置120、通信ネットワーク110、画像処理装置170、画像DB175、および複数の表示装置180a−d(以下、表示装置180と総称する。)を備える。画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
撮像装置100aは、撮像部102aおよび撮像動画圧縮部104aを有している。撮像部102aは、連続して監視対象空間150を撮像することによって複数の撮像画像を撮像する。なお、撮像部102aにより得られる撮像画像は、RAW形式の撮像画像であってよい。撮像動画圧縮部104aは、撮像部102aにより撮像されたRAW形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をMPEG符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置100aは、監視対象空間150を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置100aは、当該撮像動画データを画像処理装置120に出力する。
なお、撮像装置100b、撮像装置100c、および撮像装置100dは、それぞれ撮像装置100aと同様の構成を有するので、撮像装置100b、撮像装置100c、および撮像装置100dの各構成要素の説明を省略する。このようにして、画像処理装置120は、複数の撮像装置100のそれぞれにより生成された撮像動画データを、複数の撮像装置100のそれぞれから取得する。
そして、画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置120は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物130が撮像された領域、車輌等の移動体140が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
なお、画像処理装置120は、人物130、移動体140等のオブジェクトが背景に対して高速に動いている場合には、動画に含まれる一部のフレームにおいて当該オブジェクトの画質を低減する。例えば、画像処理装置120は、オブジェクトの画像の高空間周波成分を落とすことによって当該オブジェクトをぼかす。オブジェクトに対して周囲が高速に動いている映像を人間が見た場合、見かけのコントラストが向上する場合がある。したがって、上記のように背景に対して高速に動いているオブジェクトをぼかしても、人の目では十分に高いコントラストで見える場合がある。
他にも、画像処理装置120は、撮像動画から、背景に対して高速に動いているオブジェクトが画像上の略中央に固定して表示され、背景がオブジェクトに対して動く動画を生成してもよい。このとき、画像処理装置120は、当該動画の一部のフレームにおいてオブジェクトの画像をぼかす。このように、画像処理装置120は、背景に対して高速に動いているオブジェクトの画像をぼかすことによって撮像動画を圧縮する。これにより、動画のデータ量をより削減することができる。
なお、画像処理装置120は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置120は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク110を通じて画像処理装置170に送信する。
画像処理装置170は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置120から受信する。そして、画像処理装置170は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置180に供給する。表示装置180は、画像処理装置170から供給された表示用動画を表示する。
また、画像処理装置170は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像DB175に記録してもよい。そして、画像処理装置170は、表示装置180からの要求に応じて、画像DB175から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置180に供給してもよい。
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置170は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置170は、特定した撮像画像を復号して、表示装置180に提供してよい。
このように、画像処理システム10によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム10によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、画像取得部250、特徴領域検出部203、オブジェクト検出部280、移動速度算出部260、動画生成部270、対応付け処理部206、および出力部207を備える。画像取得部250は、圧縮動画取得部201および圧縮動画伸張部202を有する。また、動画生成部270は、圧縮制御部および圧縮部230を有する。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部250は、複数の撮像装置100のそれぞれにより撮像された複数の動画を取得する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
圧縮動画伸張部202によって得られた複数の撮像画像は、特徴領域検出部203および圧縮部230に供給される。オブジェクト検出部280は、動画から動くオブジェクトを検出する。具体的には、オブジェクト検出部280は、動画から、背景に対して移動するオブジェクトを検出する。移動速度算出部260は、オブジェクト検出部280が検出したオブジェクトの、背景に対する移動速度を算出する。オブジェクト検出部280が検出したオブジェクトの位置を示す情報は特徴領域検出部203に供給される。また、移動速度算出部260が算出した移動速度は、圧縮制御部210に供給される。
特徴領域検出部203は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部203は、複数の撮像画像のそれぞれから特徴領域を検出する。
例えば、特徴領域検出部203は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部203は、オブジェクト検出部280によって検出された移動するオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部203は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部203は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
例えば、特徴領域検出部203は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部203は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部203は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部203は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
また、特徴領域検出部203は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開2007−188419号公報に記載された機械学習(例えば、アダブースト)等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部203は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部203は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
このように、特徴領域検出部203は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部203は、検出した特徴領域を示す情報を、圧縮制御部210に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。
圧縮制御部210は、特徴領域検出部203から取得した特徴領域を示す情報および移動速度算出部260から取得した移動速度に基づいて、特徴領域および移動速度に応じて圧縮部230による動画の圧縮処理を制御する。以下に説明するように、圧縮部230は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮する。例えば、圧縮部230は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部230は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。
なお、動画生成部270は、移動速度算出部260によって検出された移動速度が予め定められた値より大きい場合には、動画に含まれる少なくとも一部の撮像画像におけるオブジェクトの画像を低画質化してもよい。また、動画生成部270は、動画に含まれる複数の撮像画像から、複数の撮像画像において略同一の位置にオブジェクトが位置しており、背景がオブジェクトに対して移動する出力動画を生成してもよい。なお、動画生成部270におけるより具体的な内部の圧縮動作については、後に説明する。
対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部207は、対応付け処理部206によって特徴領域が対応付けされた圧縮動画を、画像処理装置170に出力する。
図3は、圧縮部230のブロック構成の一例を示す。圧縮部230は、画像分割部232、複数の固定値化部234a−c(以下、固定値化部234と総称する場合がある。)、複数の画質変換部241a−d(以下、画質変換部241と総称する。)を含む画質変換ユニット240、および複数の圧縮処理部236a−d(以下、圧縮処理部236と総称する場合がある。)を有する。
画像分割部232は、画像取得部250から複数の撮像画像を取得する。そして、画像分割部232は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部232は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部232は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
画質変換部241は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なる画質の画像に変換する。具体的には、画質変換部241は、画像における特徴領域以外の領域の画像を、特徴領域より低画質の画像に変換する。なお、より低画質の画像は、より低い解像度の画像、より少ない階調数の画像、使用される色数がより少ない画像、ダイナミックレンジがより狭い画像を含む。画質変換部241によって変換された画像は、圧縮処理部236に供給される。
そして、圧縮処理部236は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部236は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
具体的には、画像分割部232は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部234は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部234は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画をMPEG圧縮する。
固定値化部234a、固定値化部234b、および固定値化部234cは、それぞれ第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236cは、第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を圧縮する。
なお、圧縮処理部236a−cは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部236は、MPEG符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
なお、圧縮処理部236dは、背景領域動画を圧縮する。なお、圧縮処理部236dは、圧縮処理部236a−cのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部236によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部206に供給される。
なお、特徴領域以外の領域が固定値化部234によって固定値化されているので、圧縮処理部236がMPEG符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
なお、上記の説明では、特徴領域の特徴の種類に応じて画像を圧縮する場合における各構成要素の動作について説明した。以下に、移動速度算出部260によって算出されたオブジェクトの移動速度に応じて画像を圧縮する場合の動作について説明する。なお、以下に説明するオブジェクトの移動速度に応じた圧縮処理は、オブジェクトの移動速度が予め定められた値より大きくなった場合に上記の圧縮処理から切り替えられて実行され、オブジェクトの移動速度が予め定められた値より小さくなった場合に、オブジェクトの移動速度に応じた圧縮処理から上記の圧縮処理に切り替えられて実行されてよい。
具体的には、画質変換部241は、移動速度が予め定められた値より大きい場合に、動画に含まれる一部の撮像画像におけるオブジェクトの画像を低画質化する。なお、画質変換部241は、移動速度が予め定められた値より大きい場合に、動画に含まれる一部の撮像画像におけるオブジェクトの画像を低画質化する。例えば、画質変換部241は、移動速度の大きさがより大きい場合に、より多くの撮像画像においてオブジェクトの画像をぼかす。画質変換部241は、高空間周波数成分を削減することによってオブジェクトの画像をぼかしてよい。なお、画質変換部241は、移動速度の大きさがより大きい場合に、一部の撮像画像においてオブジェクトの画像をより大きくぼかしてよい。
なお、画質変換部241は、移動速度の大きさがより大きい場合に、一部の撮像画像においてオブジェクトの画像をより低画質化してよい。例えば、画質変換部241は、移動速度の大きさがより大きい場合に、一部の撮像画像においてオブジェクトの画像の解像度をより低減してよい。このようにして、動画生成部270は、移動速度の大きさがより大きい場合に、一部の撮像画像においてオブジェクトの画像がより低画質化された出力動画、例えばオブジェクトの画像がより大きくぼかされた出力動画あるいはオブジェクトの画像の解像度がより低減された出力動画を生成する。
また、画質変換部241は、移動速度の大きさがより大きい場合に、より多くの撮像画像においてオブジェクトの画像を低画質化してもよい。例えば、画質変換部241は、移動速度の大きさがより大きい場合に、より多くの撮像画像においてオブジェクトの画像の解像度を低減してよい。他にも、画質変換部241は、移動速度の大きさがより大きい場合に、より多くの撮像画像においてオブジェクトの画像における階調数を低減してよい。画質変換部241は、移動速度の大きさがより大きい場合に、より多くの撮像画像においてオブジェクトの画像に使用される色数を低減してもよい。
なお、画質変換部241は、一部の撮像画像におけるオブジェクトの領域以外の領域の画像を低画質化してもよい。このとき、画質変換部241は、一部の撮像画像におけるオブジェクトの領域以外の領域の画像を、オブジェクトの画像より低画質化してもよい。このようにして、動画生成部270は、移動速度の大きさがより大きい場合に、より多くの撮像画像においてオブジェクトの画像が低画質化された出力動画、例えばオブジェクトの画像がぼかされた出力動画、あるいはオブジェクトの画像の解像度が低減された出力動画を生成する。
このように、圧縮部230は、周囲に対して高速で移動するオブジェクトの画質を低減する。周囲に対して高速で移動するオブジェクトは、人の目に高いコントラストで映る。したがって、画像処理システム10によると、上記のように周囲に対して高速で移動するオブジェクトの画像を低画質化することによって動画のデータ量を削減することができるとともに、当該オブジェクトが十分に高いコントラストで見える動画を提供することができる場合がある。
なお、本図では、圧縮部230が有する複数の圧縮処理部236のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部230は一の圧縮処理部236を有してよく、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部236に時分割で順次供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
他にも、一の圧縮処理部236は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部236に供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット240でなされてよい。また、上記のように一の圧縮処理部236が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部236が圧縮する形態では、一の圧縮処理部236は、一の画像を圧縮してもよく、本図で説明したように画像分割部232によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部236が一の画像を圧縮する場合には、画像分割部232による分割処理および固定値化部234による固定値化処理はなされなくてよいので、圧縮部230は、画像分割部232および固定値化部234を有しなくてよい。
図4は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、画像取得部301、対応付け解析部302、伸張制御部310、伸張部320、合成部330、出力部340を備える。
画像取得部301は、圧縮部230により圧縮された圧縮動画を取得する。具体的には、画像取得部301は、複数の特徴領域動画および、第1撮像画像および第2撮像画像を動画構成画像として含む背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部301は、特徴領域情報が付帯された圧縮動画を取得する。
そして、対応付け解析部302は、圧縮動画を複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部320に供給する。また、対応付け解析部302は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部310に供給する。伸張制御部310は、対応付け解析部302から取得した特徴領域の位置および特徴の種類に応じて、伸張部320による伸張処理を制御する。例えば、伸張制御部310は、特徴領域の位置および特徴の種類に応じて圧縮部230が動画の各領域を圧縮した圧縮方式に応じて、伸張部320に圧縮動画が示す動画の各領域を伸張させる。
以下に、伸張部320が有する各構成要素の動作を説明する。伸張部320は、複数の復号器322a−d(以下、復号器322と総称する。)を有する。復号器322は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器322a、復号器322b、復号器322c、および復号器322dは、それぞれ第1特徴領域動画、第2特徴領域動画、第3特徴領域動、および背景領域動画を復号する。
合成部330は、伸張部320によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の表示動画を生成する。具体的には、合成部330は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。
出力部340は、対応付け解析部302から取得した特徴領域情報および表示動画を表示装置180または画像DB175に出力する。なお、画像DB175は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
図5は、圧縮部230の他のブロック構成の一例を示す。本構成における圧縮部230は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
本構成における圧縮部230は、画質変換部510、差分処理部520、および符号化部530を有する。差分処理部520は、複数の階層間差分処理部522a−d(以下、階層間差分処理部522と総称する。)を含む。符号化部530は、複数の符号器532a−d(以下、符号器532と総称する。)を含む。
画質変換部510は、画像取得部250から複数の撮像画像を取得する。また、画質変換部510は、特徴領域検出部203が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部510は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部510は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
例えば、画質変換部510は、背景領域に応じた解像度に変換された撮像画像(以後、低解像度画像と呼ぶ。)、第1の特徴の種類に応じた第1解像度に変換された撮像画像(第1解像度画像と呼ぶ。)、第2の特徴の種類に応じた第2解像度に変換された撮像画像(第2解像度画像と呼ぶ。)、および第3の特徴の種類に応じた第3解像度に変換された撮像画像(第3解像度画像と呼ぶ。)を生成する。なお、ここでは、第1解像度画像は低解像度画像より解像度が高く、第2解像度画像は第1解像度画像より解像度が高く、第3解像度画像は第2解像度画像より解像度が高いとする。
そして、画質変換部510は、低解像度画像、第1解像度画像、第2解像度画像、および第3解像度画像を、それぞれ階層間差分処理部522d、階層間差分処理部522a、階層間差分処理部522b、および階層間差分処理部522cに供給する。なお、画質変換部510は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部522のそれぞれに動画を供給する。
なお、画質変換部510は、特徴領域の特徴の種類に応じて、階層間差分処理部522のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部510は、階層間差分処理部522aに供給する動画より低いフレームレートの動画を階層間差分処理部522dに供給してよい。また、画質変換部510は、階層間差分処理部522bに供給する動画より低いフレームレートの動画を階層間差分処理部522aに供給してよく、階層間差分処理部522cに供給する動画より低いフレームレートの動画を階層間差分処理部522bに供給してよい。なお、画質変換部510は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部522に供給する動画のフレームレートを変換してよい。
階層間差分処理部522dおよび符号器532dは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部522は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器532dは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
また、階層間差分処理部522aは、画質変換部510から供給された複数の第1解像度画像を含む第1特徴領域動画を予測符号化する。同様に、階層間差分処理部522bおよび階層間差分処理部522cは、それぞれ複数の第2解像度画像を含む第2特徴領域動画および複数の第3解像度画像を含む第3特徴領域動画を予測符号化する。以下に、階層間差分処理部522aおよび符号器532aの具体的な動作について説明する。
階層間差分処理部522aは、符号器532dによる符号化後の第1解像度画像を復号して、復号した画像を第1解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部522aは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部522aは、背景領域における差分値を0にする。そして、符号器532aは、差分画像を符号器532dと同様に符号化する。なお、階層間差分処理部522aおよび符号器532aによる符号化処理は、第1解像度画像の部分領域毎にされてよい。
なお、階層間差分処理部522aは、第1解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第1解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部522aは、他の第1解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部522aは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
なお、階層間差分処理部522aは、背景領域における差分値を0にしなくてもよい。この場合、符号器532aは、特徴領域以外の領域における差分情報に対する符号化後のデータを0にしてもよい。例えば、符号器532aは、周波数成分に変換した後の変換係数を0にしてよい。なお、階層間差分処理部522dが予測符号化した場合の動きベクトル情報は、階層間差分処理部522aに供給される。階層間差分処理部522aは、階層間差分処理部522dから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
なお、階層間差分処理部522bおよび符号器532bの動作は、第2解像度画像を符号化するという点、および第2解像度画像を符号化する場合に、符号器532aによる符号化後の第1解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522bおよび符号器532bの動作は階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部522cおよび符号器532cの動作は、第3解像度画像を符号化するという点、および第3解像度画像を符号化を符号化する場合に、符号器532bによる符号化後の第2解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。
以上説明したように、画質変換部510は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部530は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
また、画質変換部510は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部520は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
以上説明したように、圧縮部230は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部230による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。なお、画像処理装置170がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
なお、画質変換部510は、移動速度算出部260が算出したオブジェクトの移動速度に応じた画質の画像に、撮像画像を変換してよい。例えば、画質変換部510は、図3に関連して説明した画質変換部241と同様の動作により、オブジェクトの移動速度に応じて撮像画像の画質を変換することができる。
図6は、撮像装置100により得られた動画の一例を示す。動画は、複数の撮像画像600−1〜5(以後、撮像画像600と総称する。)を含む。なお、本動画は、撮像装置100の撮像方向を変えながら撮影することによって得られたものとする。
オブジェクト検出部280は、撮像画像600−3から、背景に対して移動するオブジェクト601−3およびオブジェクト602−3を検出しており、撮像画像600−4から、背景に対して移動するオブジェクト601−4およびオブジェクト602−4を検出している。
なお、オブジェクト601−3およびオブジェクト601−4(以下、オブジェクト601と総称する。)は同じ物体の物体像であるとする。また、オブジェクト602−3およびオブジェクト602−4(以下、オブジェクト602と総称する。)は同じ物体の物体像であるとする。なお、オブジェクト601とオブジェクト602とは、異なる種類の物体が撮像された異なる種類のオブジェクトであるとする。なお、オブジェクト601およびオブジェクト602は、背景に対して予め定められた値より大きい移動速度で移動するオブジェクトであるとする。
また、撮像画像600−3内の背景オブジェクト603−3、および撮像画像600−4内の背景オブジェクト603−4は、オブジェクト601およびオブジェクト602の周囲の領域である背景に含まれるオブジェクト(以下、背景オブジェクト603と総称する。)であるとする。本図の例において、画質変換ユニット240は、複数の撮像画像600−1〜5のうち、オブジェクトに対して画質低下処理を施す対象となる撮像画像として、撮像画像600−3を選択する。そして、例えば画質変換部241cがオブジェクト601−3のコントラストを低減させ、画質変換部241aがオブジェクト602−3のコントラストを低減させる。
なお、画質変換部241は、複数の撮像画像600−1〜5のそれぞれに含まれるオブジェクトの画像を、オブジェクトの種類に応じて予め定められた画質の画像に変換するが、移動速度が予め定められた値より大きいオブジェクトについては、当該オブジェクトの画像の画質をさらに低減させる。例えば、画質変換部241cは、オブジェクト601−4より、オブジェクト601−3のコントラストをより低減させる。また、画質変換部241aは、オブジェクト602−4より、オブジェクト602−3のコントラストをより低減させる。
出力画像610−1〜5(以下、出力画像610と総称する。)は、出力部340から出力される表示動画に含まれる撮像画像の一例を示す。上記の動画生成部270の動作により、出力画像610−3におけるオブジェクト601およびオブジェクト602の画像は、それぞれオブジェクトの種類に応じて予め定められた画質より低い画質の画像になっている。他の出力画像610−1、出力画像610−2、および出力画像610−4、出力画像610−5においては、オブジェクト601およびオブジェクト602の画像は、それぞれオブジェクトの種類に応じて予め定められた画質の画像になっている。
このような出力画像610を表示装置180が連続表示した場合、オブジェクトの周囲はオブジェクトに比べて高速に移動しているので、出力画像610−3が低コントラスト化されたオブジェクトの画像を含んでいるにもかかわらず、人の目では当該オブジェクトの画像はより高いコントラストで見える場合がある。このため、画像処理システム10によると、動画のデータ量の削減と注目すべき領域の画質の維持とを両立させることができる場合がある。
なお、以上の説明では、オブジェクトが背景に対して高速に移動する場合を例に挙げて説明したが、画像処理装置120は、背景とオブジェクトとの間におけるコントラスト量の差あるいはぼけ量の差が予め定められた値より大きい場合に、オブジェクトに対して上記の低画質化処理を施してよい。背景のコントラストがより低いほど、人の目にはより高コントラストでオブジェクトが見える場合がある。したがって、オブジェクトと背景との間でコントラスト差が予め定められた値より大きい場合に、上記と同様にオブジェクトを低コントラスト化する(ただし、背景のコントラスト値より大きいコントラスト値まで低減するものとする。)ことによって、データ量の削減と注目すべき領域の画質の維持とを両立させることができる場合がある。
図7は、動画生成部270による他の方法による動画圧縮例を示す。図6に関連して説明したように、動画生成部270は、背景に対して予め定められた速度より高速に移動するオブジェクトが含まれる場合に、当該オブジェクトの画質を低下させることで、動画を圧縮する。他にも、動画生成部270は、以下に説明するように、オブジェクトが背景に対して高速に移動するような動画を撮像画像600を用いて生成してよい。
例えば、動画生成部270は、撮像画像600−1から、出力画像700−3を生成する。具体的には、動画生成部270は、撮像画像600−3からオブジェクト601−3を含む所定範囲の画像を切り出す。このとき、動画生成部270は、オブジェクト601−3が略中央に位置するようにオブジェクト601−3を切り出す。
そして、動画生成部270は、切り出された画像におけるオブジェクト601−3以外の領域をぼかすことによって、出力画像700−3を生成する。このとき、動画生成部270は、オブジェクト601−3以外の領域を、背景に対するオブジェクトの移動方向の向きにぼかすことによって、背景オブジェクト603−3がぼかされたボケ画像703−3を含む出力画像700−3を生成する。例えば、動画生成部270は、オブジェクト601−3以外の領域を、方向性のぼかしフィルタを用いてぼかし処理を施すことによって、出力画像700−3を生成することができる。
動画生成部270は、撮像画像600のそれぞれについて同様の処理を施す。例えば、動画生成部270は、撮像画像600−4に対しても上記処理を施すことによって、撮像画像600−4から出力画像700−4を生成する。出力画像700−4においても、オブジェクト601−4以外の領域については、背景に対するオブジェクトの移動方向の向きにぼかされており、出力画像700−4は背景オブジェクト603−4がぼかされたボケ画像703−4を含む。このように、動画生成部270は、撮像画像600のそれぞれに対して上記処理を施すことによって、複数の動画構成画像における略中央の位置にオブジェクトが位置しており、背景がオブジェクトに対して移動する出力動画を生成する。
なお、動画生成部270は、オブジェクト601−3の画像に対して上述したようにコントラストを低下させることによって、オブジェクトの種類に応じて予め定められた画質より低画質化されたオブジェクト701−3を含む出力画像700−3を生成する。一方で、動画生成部270は、オブジェクト601−4に対しては低画質化処理を施さなくてよい。つまり、オブジェクト701−4は低画質化されていない。このように、動画生成部270は、一部の動画構成画像においてオブジェクト701の画像が低画質化された出力動画を生成する。
このように、動画生成部270は、背景の画像がオブジェクトの移動方向にぼかされた複数の動画構成画像を含む出力動画を生成する。なお、動画生成部270は、撮像画像600−3におけるオブジェクト601以外の領域の画像を、相対速度に応じて位置をずらしてオブジェクト601−4と合成することによって、出力画像700−4における背景の画像を生成することもできる。このように、動画生成部270は、動画に含まれる動画構成画像における背景の画像を、オブジェクトの移動方向と略反対方向にずらすことにより生成された複数の動画構成画像を含む出力動画を生成する。
なお、このような背景画像の生成処理は、画像処理装置170においてなされてもよい。画像処理装置170において当該背景画像の生成処理がなされる場合には、出力部207は、撮像画像600のうちの一部の撮像画像600における背景領域の画像を画像処理装置170に送信してよい。これにより、画像処理装置120は、一部の撮像画像における背景画像を画像処理装置170に送信すればよいので、画像処理装置120に送信される動画のデータ量をより低減することができる。
図8は、動画生成部270によって生成された動画を示す。動画生成部270は、図7で説明した処理を撮像画像600に含まれるオブジェクト601に対して施すことによって、出力画像700−3〜5(以下、出力画像700と総称する。)を生成する。このようにして生成された複数の出力画像700により、出力動画810aが形成される。
また、オブジェクト検出部280が、背景に対して移動する複数のオブジェクトを動画から検出した場合には、複数のオブジェクトのそれぞれに対して図7で説明した処理を施す。例えば、動画生成部270は、図7で説明した処理を、撮像画像600に含まれるオブジェクト602に対しても施すことによって、出力画像800−3〜5(以下、出力画像800と総称する。)を生成する。このように、動画生成部270は、複数のオブジェクトのそれぞれについて、上述した出力動画を生成する。このようにして生成された複数の出力画像800により、出力動画810bが形成される。
なお、動画生成部270は、図6に説明したように、移動速度算出部260によって算出された移動速度の大きさが予め定められた値より大きいことを条件として、一部の動画構成画像においてオブジェクトの画像が低画質化された出力動画を生成してもよい。低画質化処理は、上述したようなコントラスト低減処理の他に、低解像度化処理、階調数削減処理、色数削減処理、ダイナミックレンジ削減処理を含む。以上説明したように、画像処理システム10によると、高速に移動するオブジェクトの画質を維持しつつ、画像処理装置170に送信される動画のデータ量を著しく削減することができる場合がある。
図9は、他の実施形態に係る画像処理システム20の一例を示す。本実施形態における画像処理システム20の構成は、撮像装置100a−dがそれぞれ画像処理部804a−d(以下、画像処理部804と総称する。)を有する点を除いて、図1で説明した画像処理システム10の構成と同じとなっている。
画像処理部804は、画像処理装置120に含まれる構成要素のうち、画像取得部250を除く構成要素を有している。そして、画像処理部804に含まれる各構成要素の機能および動作は、画像処理装置120に含まれる各構成要素が圧縮動画伸張部202による伸張処理によって得られた撮像動画を処理することに替えて、撮像部102によって撮像された撮像動画を処理するという点を除いて、画像処理装置120に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム20においても、図1から図8にかけて画像処理システム10に関連して説明した効果と略同一の効果が得ることができる。
なお、画像処理部804は、撮像部102からRAW形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるRAW形式で表された複数の撮像画像をRAW形式のまま圧縮してよい。なお、画像処理部804は、RAW形式で表された複数の撮像画像から1以上の特徴領域を検出してよい。また、画像処理部804は、圧縮されたRAW形式の複数の撮像画像を含む撮像動画を圧縮してよい。なお、画像処理部804は、撮像動画を、図1〜図8に関連して画像処理装置120の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置170は、画像処理部804から取得した動画を伸張することにより、RAW形式で表された複数の撮像画像を取得することができる。画像処理装置170は、伸張することにより取得されたRAW形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置170は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
なお、画像処理装置170は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置170における超解像処理としては、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開2004−88615号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
なお、画像処理装置170は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置170は、オブジェクトの一例としての顔部位(例えば、目、鼻、口など)毎に、超解像処理を施す。この場合、画像処理装置170は、特開2006−350498号公報に記載されたようなモデル等の学習データを、顔部位(例えば、目、鼻、口など)毎に記憶しておく。そして、画像処理装置170は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
このように、画像処理装置170は、主成分分析(PCA)を用いて特徴領域の画像を再構成することができる。なお、画像処理装置170による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析(PCA)による学習・画像再構成の他に、局所保存投影(locality preserving projection:LPP)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent component analysis:ICA)、多次元スケーリング(multidimensional scaling:MDS)、サポートベクターマシン(サポートベクター回帰)、ニューラルネットワーク、隠れマルコフモデル、Bayes推論、最大事後確率推定、反復逆投影、Wavelet変換、局所線形埋め込み(locally linear embedding:LLE)、マルコフランダム場(Markov random field:MRF)等の手法を用いることができる。
また、学習データとしては、特開2006−350498号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、オブジェクトの画像の低周波成分は、オブジェクトの種類毎に、K−means法等によってさらにクラスタリングされていて、各クラスタ毎に代表的な低周波成分(例えば、重心値)が定められていてよい。
そして、画像処理装置170は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置170は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置170は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置170は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置170は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置170は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置170は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
なお、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像を表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部804は、撮像部102から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部804は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部804は、主成分ベクトルおよび重みづけ係数を画像処理装置170に送信してよい。画像処理装置170においては、画像処理部804から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部804は、特開2006−350498号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができる。なお、図1〜8に関連して説明した画像処理システム10の構成においても、画像処理装置170は、特徴領域の画像に上述した超解像処理を施すことができる。
図10は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、より高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、画像処理装置120および画像処理装置170が起動するときに実行するブート・プログラム、あるいは画像処理装置120および画像処理装置170のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、画像処理装置120を、図1から図9に関連して説明した画像処理装置120が有する各構成要素として機能させ、画像処理装置170を、図1から図9に関連して説明した、画像処理装置170が有する各構成要素として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置120および画像処理装置170として機能する。
以上、この発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態もこの発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。