以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、画像DB175、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。
画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。
具体的には、撮像装置100aは、撮像部102aおよび撮像動画圧縮部104aを有する。撮像部102aは、監視対象空間150を撮像することにより、撮像動画に含まれる複数の動画構成画像を生成する。なお、撮像部102aは、RAW形式の動画構成画像を生成してよい。撮像動画圧縮部104aは、撮像部102aにより生成されたRAW形式の動画構成画像を同時化して、同時化して得られた複数の動画構成画像を含む撮像動画をMPEG符号化等により圧縮することにより、撮像動画データを生成する。
画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。
画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。
なお、画像処理装置170は、生成した合成動画または画像処理装置120aから取得した撮像動画データを画像DB175に記録してもよい。そして、画像処理装置170は、画像DB175に記録された合成動画を、表示装置180aからの要求に応じて表示装置180aに供給してよい。また、画像処理装置170は、表示装置180aからの要求に応じて、画像DB175に記録された撮像動画データを上述したように復号して表示装置180aに供給してもよい。なお、画像DB175は、一例としてハードディスク等の不揮発性の記録媒体を有してよく、画像処理装置170から供給された合成動画を当該記録媒体に記録してよい。
なお、撮像装置100bおよび撮像装置100cは、撮像部102aが有する構成要素と同様の機能を有する構成要素を有している。撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。なお、以下の説明では、撮像部102a〜cを撮像部102と総称する場合があり、撮像動画圧縮部104a〜cを撮像動画圧縮部104と総称する場合がある。
また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。
本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、条件格納部260、圧縮制御部250、圧縮部240、および出力部207を備える。圧縮部240は、入力動画画質制御部280、画質低減部281、階層間差分圧縮部282a−d(以下、階層間差分圧縮部282と総称する。)を有する。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、動画構成画像は、この発明における入力画像の一例である。
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。圧縮部240は、圧縮動画伸張部202により生成された複数の動画構成画像を圧縮する。例えば、圧縮部240は、特徴領域検出部203が検出した特徴領域の特徴量に応じて圧縮する。
例えば、圧縮部240は、複数の特徴領域のそれぞれに含まれるオブジェクトの特徴量に応じて異なる符号化方式で複数の特徴領域の画像を圧縮する。具体的には、圧縮制御部250は、特徴領域検出部203が検出した特徴領域を示す情報を圧縮部240に供給するとともに、圧縮部240による複数の動画構成画像を圧縮する場合の符号化方式を制御する。以下に、圧縮部240の各構成要素の機能および動作について説明する。なお、圧縮制御部250の機能および動作については、図4に関連して説明する。
入力動画画質制御部280は、圧縮動画伸張部202が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。なお、入力動画画質制御部280の機能および動作については、図5に関連してより詳しく説明する。
画質低減部281は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部281は、生成した画質が異なる動画を階層間差分圧縮部282に提供する。具体的には、画質低減部281は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度または階調を低減することにより、異なる画質を持つ動画を生成する。そして、階層間差分圧縮部282は、予め定められた画質の動画を画質低減部281から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部282は、互いに異なる画質の動画を圧縮する。
なお、画質低減部281が階層間差分圧縮部282aに供給する動画に含まれる動画構成画像は、入力された動画構成画像の画質を低画質にした低画質画像の一例であってよい。また、画質低減部281が階層間差分圧縮部282b−dに供給する動画に含まれる動画構成画像は、特徴領域において低画質画像より高画質な特徴領域画像の一例であってよい。この場合、画質低減部281および入力動画画質制御部280は、低画質画像を生成する画像生成部として機能する。
なお、階層間差分圧縮部282aは、階層間差分圧縮部282b−dのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部281から取得して圧縮する。なお、階層間差分圧縮部282は、階層間差分圧縮部282b、階層間差分圧縮部282c、および階層間差分圧縮部282dの順で解像度が低い動画構成画像を画質低減部281から取得して圧縮する。
階層間差分圧縮部282bは、階層間差分圧縮部282aが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282bは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282bは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
また、階層間差分圧縮部282cは、階層間差分圧縮部282bが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282cは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282cは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
また、階層間差分圧縮部282dは、階層間差分圧縮部282cが圧縮した動画構成画像を伸張する。そして、階層間差分圧縮部282dは、伸張して得られた動画構成画像を、入力動画画質制御部280から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282dは、拡大して得られた動画構成画像と入力動画画質制御部280から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282dは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
このように、階層間差分圧縮部282b−dは、入力動画画質制御部280または画質低減部281から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。そして、出力部207は、階層間差分圧縮部282のそれぞれが圧縮して得られた動画を多重化して出力する。具体的には、出力部207は、階層間差分圧縮部282が圧縮した動画を画像処理装置170に送信する。このように、画像処理装置120は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
図3は、階層間差分圧縮部282aおよびbのブロック構成の一例を示す。階層間差分圧縮部282aは、動き解析部285a、動き符号化部286a、差分処理部287a、および符号化部288aを有する。動き解析部285aは、差分対象領域決定部294aおよび位置差情報生成部295aを含む。差分処理部287aは、差分画素画像生成部296a、空間周波数領域変換部297a、および量子化部298aを含む。
階層間差分圧縮部282bは、動き解析部285b、動き符号化部286b、差分処理部287b、画像拡大部293b、画像復号部292b、および符号化部288bを有する。動き解析部285bは、差分対象領域決定部294bおよび位置差情報生成部295bを含む。差分処理部287bは、差分画素画像生成部296b、空間周波数領域変換部297b、量子化部298b、および周波数領域画質変換部299bを含む。なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、階層間差分圧縮部282bが有する構成要素と略同一の構成要素を有するので、説明を省略する。
以下に、階層間差分圧縮部282aの各構成要素の機能および動作について説明する。動き解析部285aは、画質低減部281から受け取った複数の動画構成画像の画像内容に基づいて、複数の動画構成画像にわたる動きを解析することによって、動きに基づいて動画構成画像を圧縮する部分領域を決定する。
具体的には、差分対象領域決定部294aは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部294aは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部287aに供給する。
また、位置差情報生成部295aは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295aは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部295aは、生成した位置差情報を動き符号化部286aに供給する。
動き符号化部286aは、位置差情報生成部295aから供給された位置差情報を符号化して、出力部207に供給する。例えば、動き符号化部286は、隣接する部分領域における位置差情報との間の差を符号化して、出力部207に供給する。
差分処理部287aは、動き解析部285aから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部296aは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
そして、空間周波数領域変換部297aは、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部297aは、離散コサイン変換(DCT)により、差分画素画像における部分領域毎に空間周波数領域に変換する。なお、空間周波数領域変換部297aは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域毎に空間周波数領域に変換してよい。
なお、動き解析部285aが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部287aは圧縮対象の部分領域の画素情報を空間周波数領域変換部297aに供給する。空間周波数領域変換部297aは画素情報を、上記のように部分領域毎に空間周波数領域に変換する。
量子化部298aは、空間周波数領域変換部297aが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部288aは、量子化部298aによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部288は、量子化部298aによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部288aは、符号化することによって得られた動画を出力部207に供給する。
以下に、階層間差分圧縮部282bが含む各構成要素の機能および動作について説明する。階層間差分圧縮部282bが含む構成要素のうち、階層間差分圧縮部282aが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部282aが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
差分対象領域決定部294bは、差分対象領域決定部294aと同様に、画質低減部281から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部294bは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部294bは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部291bに供給する。
また、画像復号部292bは、符号化部288aから動画構成画像を取得するとともに、動き符号化部286aから位置差情報を取得する。そして、画像復号部292bは、符号化部288aから取得した動画構成画像を、動き符号化部286aから取得した位置差情報を用いて復号する。なお、画像復号部292bは、量子化部298aにより量子化された動画構成画像を取得して復号してよく、符号化部288aが符号化した動画構成画像を取得して復号してもよい。なお、画像復号部292bによって復号されて得られた動画構成画像は、この発明における低画質画像の一例であってよい。この場合、階層間差分圧縮部282aは、この発明における低画質画像を生成する画像生成部として機能する。
画像拡大部293bは、画像復号部292bにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部291bは、差分対象領域決定部294bが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。
このように、画素値変更部291bは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。なお、画素値変更部291bは、この発明において、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する画像生成部として機能することができる。
差分処理部287bは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部291bから受け取る。そして、差分処理部287bは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか(以下、イントラ符号化と呼ぶ。)、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか(以下、インター符号化と呼ぶ。)、拡大画像との間の差分により符号化するか(以下、階層間圧縮と呼ぶ。)を決定する。このとき、差分処理部287bは符号化後の符号量がより小さい符号化方法をより優先して選択する。特徴領域以外の領域において差分を持たないように画素値が置き換えられているので階層間符号化が選択されるので階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
階層間符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部296bは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
インター符号化が選択された場合には、差分画素画像生成部296bは、画素値変更部291bにより生成された特徴領域画像と、他の動画構成画像から画素値変更部291bが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部296bは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部294bが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域に含まれる部分領域において差分対象領域決定部294bが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部294bが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
なお、イントラ符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
空間周波数領域変換部297bは、差分画素画像を、部分領域毎に空間周波数領域に変換する。具体的には、空間周波数領域変換部297bは、差分画素画像が示す差分値を、空間周波数領域変換部297aと同様に、離散コサイン変換(DCT)、アダマール変換、またはウェーブレット変換等により、部分領域毎に空間周波数領域に変換する。量子化部298bは、量子化部298aと同様に、空間周波数領域変換部297bが空間周波数領域に変換することによって得られた変換係数を量子化する。
そして、周波数領域画質変換部299bは、空間周波数領域変換部297bにより空間周波数領域に変換されて得られる部分領域毎の空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像または特徴領域間差分画像を生成する。具体的には、周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数を0にしてもよい。
このように、差分処理部287bは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部288bは、差分処理部287bが生成した特徴領域差分画像を符号化する。
また、上記したように、差分処理部287bは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部287は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
なお、以上の説明においては、画素値変更部291bは、差分画素画像における少なくとも特徴領域以外の領域(予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域)において差分値を0とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を0とすることもできる。
例えば、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を0とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
このように、画素値変更部291bは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部296は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
なお、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部282(例えば、階層間差分圧縮部282a)に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略0にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
なお、位置差情報生成部295bは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295bは、位置差情報生成部295aと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部290bは、動き符号化部286aから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部290bは、特徴領域以外の領域における動きベクトルの大きさを0にする。具体的には、位置差情報変更部290bは、特徴領域以外の領域について、位置差情報生成部295bから受け取った動きベクトルの大きさを0にするとともに、動き符号化部286aから受け取った動きベクトルの大きさを0にする。
そして、動き符号化部286bは、位置差情報を符号化する。具体的には、動き符号化部286bは、動き符号化部286aと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部286bにより符号化された位置差情報は、出力部207に供給される。
なお、本実施形態では、位置差情報変更部290は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部290bは、動き符号化部286bにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部290bは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部286により符号化された位置差情報を変更してもよい。
なお、符号化部288bは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部286bは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、MPEG符号化におけるNonMC NotCodedに相当する種別であってよい。このように、符号化部288bおよび動き符号化部286bが動きベクトルの大きさおよび差分情報が0であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部282bは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、階層間差分圧縮部282bと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部282cおよび階層間差分圧縮部282dが有する、階層間差分圧縮部282と同名の構成要素には同じ符号を付す。そして、符号の末尾(b、c、d)により、階層間差分圧縮部282b−dのいずれに含まれる構成要素であるかを区別する。
例えば、動き解析部285cは階層間差分圧縮部282cが有する構成要素の一つであって、動き解析部285dは階層間差分圧縮部282dが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部282b−dが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部291は、画素値変更部291b−dを示す。
なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dの機能および動作と、階層間差分圧縮部282bの機能および動作は、画質低減部281から異なる画質の動画を取得して処理すること、および位置差情報変更部290cおよびd、ならびに画像復号部292cおよびdが、より画質が低い動画を処理する他の階層間差分圧縮部282から、差分のための位置差情報および動画構成画像を取得するところが異なる。
より具体的には、位置差情報変更部290cは、動き符号化部286bから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292cは、動き符号化部286bから位置差情報を取得するとともに、符号化部288bから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。また、位置差情報変更部290dは、動き符号化部286cから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292dは、動き符号化部286cから位置差情報を取得するとともに、符号化部288cから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
なお、特徴領域検出部203は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。具体的には、条件格納部260は、特徴領域の種類に対応づけて動きベクトルまたは変換係数が適合すべき条件を格納する。例えば、条件格納部260は、動きベクトルの空間的な乱雑さが予め定められた値より小さいことを示す条件を格納してよい。また、条件格納部260は、DCT係数等の空間周波数成分を示す変換係数の周波数分布と特徴の種類毎に予め定められた分布との間の一致度が予め定められた一致度より高い一致度で一致することを示す条件を格納してよい。
そして、特徴領域検出部203は、条件格納部260が格納している条件に適合する動きベクトルおよび変換係数を持つ領域を、特徴領域として検出する。このように、特徴領域検出部203は、予め定められた条件に適合する変換係数を持つ領域を、特徴領域として検出する。なお、特徴領域の検出方法としては、特開2007−188419号公報に記載されたような機械学習(例えば、アダブースト)を用いることができる。例えば、予め定められた被写体の画像が持つ変換係数と、予め定められた被写体以外の画像が持つ変換係数とを用いて、予め定められた被写体の画像が持つ変換係数の特徴を学習する。そして、当該学習結果に基づいて生成された、予め定められた被写体の画像が持つ変換係数が適合する条件を、条件格納部260が格納する。
なお、特徴領域検出部203は、変換係数を用いた特徴領域の検出に代えて、或いは変換係数を用いた特徴領域の検出に加えて、画像の画素値に基づいて特徴領域を検出してもよい。画素値に基づいて特徴領域を検出する場合であっても、上記の機械学習を用いた検出方法を使用することができる。また、特徴領域検出部203は、予め定められた被写体を示すテンプレート画像と比較することによるテンプレートマッチングを用いて、特徴領域を検出してもよい。
なお、予め定められた被写体とは、人物の顔人物の顔の少なくとも一部の部位、人物の頭部、および人物の手等の人体の一部の部位、人体全体、貨幣、キャッシュカード等のカード、車輌、ならびにナンバープレート等の車輌の一部の部位を含む。また、予め定められた被写体とは、人体以外の生体であってもよい。また、予め定められた被写体とは、例えば人体を含む生体の内部の腫瘍組織または血管等のように、人体を含む生体の内部に存在する特定の組織であってもよい。このように、特徴領域検出部203は、テンプレートマッチングおよび機械学習等の種々の検出方法を用いて、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。なお、特徴領域検出部203は、矩形を含む任意の形状を有する特徴領域を検出してよい。
なお、特徴領域検出部203は、特願2008−078641号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部203は、生成された画像群のうちの相対的に小さい第1の画像に、第1のフィルタを作用させて、評価値を算出する。ここで、第1のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第1のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。特徴領域検出部203は、所定の第1の閾値を越える評価値が得られた一次候補領域を、第1の画像から抽出する。
そして、特徴領域検出部203は、第1の画像よりも画素数が一段階多い第2の画像における一次候補領域に相当する領域に、フィルタ群のうちの第1のフィルタよりも一段階広い領域に作用する第2のフィルタを作用させて、評価値を算出する。そして、特徴領域検出部203は、所定の第2の閾値を越える評価値が得られる二次候補領域を抽出する。
ここで、特徴領域検出部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域検出部203は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。
また、特徴領域検出部203は、特願2008−078636号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域検出部203は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域検出部203は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、特徴領域検出部203は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域検出部203は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。
なお、特徴領域検出部203は、特願2008−078636号に記載された方法と、特願2008−078641号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願2008−078636号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域検出部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部203は、画像群のうちの相対的に小さい第1の画像に相対的に狭い領域に作用する複数の第1のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域検出部203は、該複数の第1のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、求められた二次評価値と第1の閾値とを比較して該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。
また、特徴領域検出部203は、上記画像群のうちの第1の画像よりも画素数が一段階多い第2の画像の、一次候補領域に相当する領域に複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域検出部203は、当該複数の第2のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数の第2のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、求められた二次評価値と第2の閾値とを比較して第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。
ここで、特徴領域検出部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。
また、特徴領域検出部203は、特願2008−098600号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、複数の撮像装置100により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置100aおよび撮像装置100bは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置100aおよび撮像装置100bは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置100aが撮像した第1の撮像画像と、撮像装置100bが撮像した第2の撮像画像とを、ペア画像と呼ぶ。特徴領域検出部203は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。
特徴領域検出部203は、ペア画像とみなされる第1および第2の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域検出部203は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、特徴領域検出部203は、抽出した第1の撮像画像上の領域と第2の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域検出部203は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。特徴領域検出部203は、被写体までの距離に基づく被写体の3次元形状に基づいて、特定種類のオブジェクトを検出することができる。
ここで、特徴領域検出部203は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第1および第2の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域検出部203は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル(例えば、画素値勾配ベクトル)を例示することができる。そして、特徴領域検出部203は、算出された第1の画像上の領域のベクトルと第2の画像上のベクトルとの間の論理上の距離を算出する。特徴領域検出部203は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域検出部203は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域検出部203は、被写体の3次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。
また、特徴領域検出部203は、特願2008−091562号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置100の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域検出部203は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域検出部203は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域検出部203は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域検出部203は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。
なお、撮像装置100が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置100の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置100により、一の撮像装置100が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置100のそれぞれの撮像方向、および複数の撮像装置100のそれぞれにより撮像された撮像画像上の位置を例示することができる。
入力された動画構成画像から特徴の種類が異なる複数の特徴領域を特徴領域検出部203が検出した場合、画質低減部281は、一の特徴の種類を持つ特徴領域において解像度を低減することにより入力画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を入力画像から生成する。そして、階層間差分圧縮部282b−cは、特徴領域の種類毎に容易されており、少なくとも予め定められた種類の特徴領域において、特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を処理する。
具体的には、階層間差分圧縮部282bは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部282cは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。そして、階層間差分圧縮部282dは、予め定められた他の種類の特徴領域において高い解像度を持つ高解像度特徴領域画像を処理する。
このように、差分処理部287は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
このように、差分処理部287は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
符号化部288は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、出力部207は、動き符号化部286a−dにより符号化された位置差情報および符号化部288a−dにより符号化された動画構成画像(例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像)を、多重化して出力する。
以上説明したように、階層間差分圧縮部282aは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、階層間差分圧縮部282aよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282cよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、特徴領域以外の領域において、階層間差分圧縮部282aが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
同様に、階層間差分圧縮部282cは、階層間差分圧縮部282bよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282dよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282dは、階層間差分圧縮部282cよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、特徴領域以外の領域において、それぞれ階層間差分圧縮部282bおよびcが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
このように、階層間差分圧縮部282b−dのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部282b−dは、他の階層間差分圧縮部282が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部282b−dは、複数の特徴領域のそれぞれの特徴量および信頼度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および信頼度に応じて解像度を調整して、階層間差分圧縮部282に供給してよい。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、信頼度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
なお、画像処理装置120は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置120による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。
なお、圧縮動画伸張部202は、符号化された動画構成画像の一部の領域を復号してよい。例えば、圧縮動画伸張部202は、符号化画像におけるイントラ符号化された領域を画素値に復号してよい。そして、特徴領域検出部203は、圧縮動画伸張部202が復号することにより得られた画素値に基づいて、符号化画像における特徴領域を検出してよい。なお、符号化された動画構成画像は、符号化された符号化画像の一例である。
具体的には、圧縮動画伸張部202は、動画構成画像符号化画像におけるIピクチャを画素値に復号する。また、圧縮動画伸張部202は、動きベクトルにより参照されている領域およびイントラ符号化された領域を画素値に復号してもよい。そして、特徴領域検出部203は、圧縮動画伸張部202が復号することにより得られた画素値に基づいて、符号化画像における特徴領域を検出してもよい。そして、特徴領域検出部203は、圧縮動画伸張部202が復号することにより得られた画素値に基づいて、符号化画像における特徴領域を検出してよい。
なお、圧縮部240は、圧縮動画伸張部202によって復号された得られた符号化データを用いて、動画構成画像を符号化してよい。具体的には、階層間差分圧縮部282は、符号化画像に含まれる符号化データを用いて、特徴領域の画像と特徴領域以外の領域の画像とを異なる画質にする。具体的には、階層間差分圧縮部282は、符号化画像に含まれる符号化データを用いて、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。
なお、圧縮動画取得部201は、動画に含まれる複数の動画構成画像が符号化された複数の符号化画像を取得する。なお、ここでいう符号化画像とは、MPEG、H.264、またはMotion JPEGにより符号化された動画が含む動画構成画像であってよい。階層間差分圧縮部282は、複数の符号化画像に含まれる符号化データを用いて、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。
圧縮動画伸張部202は、符号化画像の一部を復号して、符号化画像における少なくとも一部の領域の画素情報および画素情報の符号化に関する符号化情報を取得する。そして、特徴領域検出部203は、画素情報および符号化情報の少なくとも一方に基づいて特徴領域を検出する。画質変換部は、画素情報および符号化情報の少なくとも一方を加工して、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。また、階層間差分圧縮部282は、符号化情報を用いて画素情報を符号化する。
圧縮動画取得部201は、複数の動画構成画像が動きベクトルにより符号化された複数の符号化画像を取得する。圧縮動画伸張部202は、符号化画像の一部を復号して、画素情報および動きベクトルを取得する。特徴領域検出部203は、画素情報および動きベクトルの少なくとも一方に基づいて符号化画像における特徴領域を検出する。画質変換部は、画素情報および動きベクトルの少なくとも一方を加工して、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。また、階層間差分圧縮部282は、動きベクトルを用いて画素情報を符号化する。
圧縮動画取得部201は、画素データを空間160周波数領域に変換して得られた変換係数および動きベクトルによって符号化された符号化画像を取得する。そして、圧縮動画伸張部202は、符号化画像の一部を復号して、変換係数および動きベクトルを取得する。また、階層間差分圧縮部282は、特徴領域以外の領域において、予め定められた周波数より大きい空間160周波数の周波数成分を示す変換係数の情報量を低減することにより、特徴領域の画像を特徴領域以外の領域の画像より高画質にする。
なお、圧縮動画取得部201は、動きベクトルおよび動きベクトルによって示される部分領域との間の画像の差により符号化された符号化画像を取得する。そして、特徴領域検出部203は、動画において動くオブジェクトを含む領域を特徴領域として検出する。そして、階層間差分圧縮部282は、特徴領域以外の領域において、動きベクトルおよび画像の差を、特徴領域以外の領域が他の動画構成画像における部分領域と画像内容が同じであることを示す値に変換する。具体的には、階層間差分圧縮部282b−dは、既に説明したように、特徴領域以外の領域の動きベクトルを0にするとともに、特徴領域以外の領域の画像の差分情報を0にする。
図4は、圧縮制御部250のブロック構成の一例を示す。圧縮制御部250は、符号化方式格納部410、符号化方式取得部412、符号化方式選択部420、位置差算出部440、および同一被写体領域特定部430を有する。
符号化方式格納部410は、オブジェクトの特徴量に対応づけて符号化方式を格納する。具体的には、符号化方式格納部410は、オブジェクトの種類に対応づけて符号化方式を格納している。符号化方式選択部420は、特徴領域検出部203により検出された特徴領域に含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している符号化方式を選択する。
圧縮部240は、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している符号化方式により、複数の特徴領域の画像をそれぞれ圧縮する。より具体的には、圧縮部240は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している符号化方式により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
より具体的には、符号化方式格納部410は、オブジェクトの種類に対応づけて、イントラ符号化またはインター符号化を示す符号化方式を格納している。そして、圧縮部240は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納しているイントラ符号化またはインター符号化により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
また、符号化方式格納部410は、オブジェクトの種類に対応づけて、イントラ符号化におけるイントラ予測の方向を示す符号化方式を格納している。そして、圧縮部240は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している方向でイントラ予測することにより、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
また、符号化方式格納部410は、オブジェクトの種類に対応づけて、インター符号化における動き予測の単位を示す符号化方式を格納している。そして、圧縮部240は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している動き予測の単位で動き予測することによって、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
また、符号化方式格納部410は、オブジェクトの種類に対応づけて、動画構成画像を符号化する符号化単位となる部分領域の大きさを格納している。そして、圧縮部240は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している大きさの部分領域毎に、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
符号化方式格納部410は、オブジェクトの大きさに対応づけて、動画構成画像を符号化する符号化単位となる部分領域の大きさを格納している。そして、圧縮部240は、複数の動画構成画像のそれぞれについて、複数の特徴領域のそれぞれに含まれるオブジェクトの大きさに対応づけて符号化方式格納部410が格納している大きさの部分領域毎に、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
以上説明したように、圧縮部240は、複数の特徴領域のそれぞれに含まれるオブジェクトの特徴量に対応づけて符号化方式格納部410が格納している符号化方式により、複数の特徴領域の画像をそれぞれ圧縮する。なお、符号化方式格納部410は、オブジェクトの種類に対応づけて目標符号量を示す符号化方式を格納してよい。この場合、圧縮部240は、画像における複数の特徴領域の画像を、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している符号化方式でそれぞれ圧縮する。
具体的には、符号化方式格納部410は、オブジェクトの種類に対応づけて量子化ステップを示す符号化方式を格納している。そして、圧縮部240は、画像における複数の特徴領域の画像を、複数の特徴領域のそれぞれに含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している量子化ステップで量子化することによってそれぞれ圧縮する。
また、同一被写体領域特定部430は、複数の動画構成画像のうちの一の動画構成画像における特徴領域が含むオブジェクトが示す被写体と同じ被写体を示す同一オブジェクトを含む特徴領域を、他の動画構成画像において特定する。そして、位置差算出部440は、同一被写体領域特定部430が特定した他の動画構成画像における特徴領域の位置と一の動画構成画像における特徴領域の位置との差である位置差を算出する。
そして、圧縮部240は、同一被写体領域特定部430が特定した他の動画構成画像における特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍の領域の画像との間で比較することにより圧縮する。具体的には、動き解析部285は、同一被写体領域特定部430が特定した他の動画構成画像における特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍の領域の画像との間で比較することにより、一の動画構成画像と他の動画構成画像との間の画像の変化量を算出する。動き解析部285は、他の動画構成画像における特徴領域が含む複数の部分領域のそれぞれの画像を、それぞれの部分領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍に位置する部分領域の画像との間でそれぞれ比較することにより、複数の部分領域のそれぞれについて画像の変化量を算出する。
この場合、差分対象領域決定部294は、他の動画構成画像における特徴領域が含む一の部分領域および他の部分領域のそれぞれについて、それぞれの部分領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍に位置する部分領域である比較対象部分領域を、画像の変化量に基づいて決定する。そして、差分処理部287は、一の部分領域および他の部分領域の画像を、それぞれの部分領域について差分対象領域決定部294が決定した比較対象部分領域の画像との間でそれぞれ比較することにより圧縮する。そして、動き符号化部286は、一の部分領域の位置と一の部分領域について決定された比較対象部分領域の位置との間の差を示す部分領域位置差および他の部分領域の位置と他の部分領域について決定された比較対象部分領域の位置との間の差を示す部分領域位置差を圧縮する。
差分対象領域決定部294は、一の部分領域に対する部分領域位置差と、他の部分領域に対する部分領域位置差との間の差を予め定められた値より小さくすべく、一の部分領域または他の部分領域の少なくとも一方に対する比較対象部分領域を決定する。そして、動き符号化部286は、一の部分領域に対する部分領域位置差を、他の部分領域に対する部分領域位置差と比較することによって圧縮する。既に説明したように、動き符号化部286は、部分領域位置差同士の差により部分領域位置差を圧縮するので、部分領域位置差をより小さくすることによって圧縮をより高くすることができる。
なお、差分処理部287は、一の部分領域および他の部分領域の画像を、それぞれの部分領域について差分対象領域決定部294が決定した比較対象部分領域の画像との間でそれぞれ差分をとることにより圧縮する。また、動き符号化部286は、一の部分領域に対する部分領域位置差を、他の部分領域に対する部分領域位置差との間で差分をとることによって圧縮する。
また、同一被写体領域特定部430は、同一オブジェクトを含む特徴領域を、複数の動画構成画像から特定する。そして、位置差算出部440は、同一被写体領域特定部430が特定した複数の動画構成画像における特徴領域のそれぞれについて、位置差を算出する。そして動き解析部285は、同一被写体領域特定部430が特定した複数の動画構成画像のそれぞれについて、同一オブジェクトを含む特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置の近傍の領域の画像との間で比較することにより、一の動画構成画像と他の動画構成画像との間の画像の変化量を算出する。そして、圧縮部240は、画像の変化量に基づいて、少なくとも一部の領域の画像を圧縮する。具体的には、圧縮部240は、画像の変化量に基づいて、複数の部分領域のそれぞれの画像を圧縮する。
なお、同一被写体領域特定部430は、同一オブジェクトを含む特徴領域を、インター符号化されるべき複数の動画構成画像から特定する。具体的には、同一被写体領域特定部430は、同一オブジェクトを含む特徴領域を、PピクチャまたはBピクチャとして符号化されるべき複数の動画構成画像から特定する。
なお、この発明における差分対象領域決定部294および動き符号化部286は、それぞれ上述した比較対象部分領域を決定する比較対象領域決定部、および上述した部分領域位置差を圧縮する動き圧縮部として機能する。また、動き解析部285は、上述した画像の変化量を算出する変化算出部として機能する。また、位置差情報変更部290、動き符号化部286、画像復号部292、画像拡大部293、画素値変更部291、差分処理部287、および符号化部288は、画像の変化量に基づいて画像を圧縮する画像圧縮部として機能する。
なお、上記の説明では、動き解析部285が、画像の変化量の一例として動きベクトルを算出した。なお、画像の変化量は、動きベクトルのような部分領域の平行移動量の他に、画像の拡大縮小量、回転量、および変形量の少なくとも1つであってよい。そして、圧縮部240は、画像の拡大縮小量、回転量、および変形量に基づいて、動画構成画像を圧縮してよい。例えば、圧縮部240は、上述したように動き補償によって差分対象とする比較対象画像を特定したように、差分対象とする比較対象画像を拡大縮小量、回転量、および変形量の少なくとも1つに応じて生成してよい。
なお、符号化方式取得部412は、符号化方式格納部410が格納する情報を、画像処理装置120の外部から取得する。具体的には、符号化方式取得部412は、オブジェクトの特徴量に対応づけて符号化方式を取得する。また、符号化方式取得部412は、オブジェクトの特徴量に対応づけて、複数の符号化方式およびそれらの符号化方式が選択されるべき順番を取得してよい。そして、符号化方式格納部410は、符号化方式取得部412がオブジェクトの特徴量に対応づけて取得した符号化方式を、当該オブジェクトの特徴量に対応づけて格納する。
なお、オブジェクトの特徴量としては、上述したように、オブジェクトの種類、およびオブジェクトの大きさ等を例示することができる。また、符号化方式としては、イントラ符号化もしくはインター符号化、イントラ予測の方向、動き予測の単位、符号化単位となる部分領域の大きさ、目標符号量、および量子化ステップ等を例示することができる。なお、符号化方式取得部412は、画像処理装置170または表示装置180から、上述した符号化方式を含む情報を通信ネットワーク110を通じて取得してよい。例えば、画像処理装置170は、画像DB175が有する記録媒体に記録することができる記憶残量に応じた符号化方式を、通信ネットワーク110を通じて画像処理装置120に送信してよい。例えば、画像処理装置170は、記憶残量がより少ない場合に、より低い符号量で符号化することができる符号化方式を示す情報を画像処理装置120に送信してよい。
図5は、画像処理装置120の他の形態におけるブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化ユニット210、低減化ユニット220、符号化ユニット230、圧縮制御部250、対応付け処理部206、条件格納部260、および出力部207を有する。
なお、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、圧縮制御部250、および条件格納部260の各構成要素の機能および動作は、図2から図4に関連して説明した同一の符号を有する各構成要素の機能および動作と略同一であるので、説明を省略する。
固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。
符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。
なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび背景領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび背景領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび背景領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
画像生成部205は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部205は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
そして、固定値化部211は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部211は、特徴領域画像以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。そして、圧縮部240は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。
以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
なお、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部240は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を特定したときの信頼性の度合いを示す確信度を、複数の特徴領域毎に算出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの特徴量および信頼度に応じた強度で圧縮する。例えば、画質低減部221は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた設定値を用いて符号化することにより圧縮する。例えば、圧縮部240は、複数の特徴領域動画を、それぞれの確信度が低いほど、それぞれの特徴量に応じた強度より低い強度で圧縮してよい。
対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。
なお、本図の構成では、画像処理装置120が有する複数の圧縮部240のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の構成では、画像処理装置120は一の圧縮部240を有してよく、一の圧縮部240が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる符号化方式で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮部240に時分割で順次供給され、一の圧縮部240が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる符号化方式で順次圧縮してよい。
一例として、一の圧縮部240は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮部240に供給され、供給された複数の特徴領域の画像および背景領域の画像を一の圧縮部240がそれぞれ異なる符号化方式で圧縮してもよい。
また、上記のように一の圧縮部240が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮部240が圧縮する形態では、一の圧縮部240は、一の画像を圧縮してもよく、本図で説明したように画像分割部204によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮部240が一の画像を圧縮する場合には、画像分割部204による分割処理および固定値化部211による固定値化処理はなされなくてよいので、画像処理装置120は、画像分割部204および固定値化ユニット210を有しなくてもよい。
図6は、符号化部231のブロック構成の一例を示す。符号化部231は、動き解析部285、差分処理部287、動き符号化部286、および符号化部288を有する。動き解析部285は、差分対象領域決定部294および位置差情報生成部295を含む。また、差分処理部287は、差分画素画像生成部296、空間周波数領域変換部297、および量子化部298を含む。なお、本図に示した各構成要素の機能および動作は、図4に関連して説明した、同じ符号を付した構成要素の機能および動作と略同一であるので、その相違点を除いて説明を省略する。
差分画素画像生成部296は、差分対象領域決定部294が決定した圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。また、符号化部288は、量子化部298によって量子化された変換係数を符号化することにより圧縮する。また、動き符号化部286は、位置差情報生成部295から供給された位置差情報を符号化して、出力部207に供給する。また、差分対象領域決定部294は、圧縮制御部250から供給された特徴領域情報に基づいて、画質低減部221により画質が低減された動画構成画像に対して差分対象領域を決定する。
図7は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、合成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。なお、ここでは、図4から図6にかけて説明した画像処理装置120から受け取った動画データを処理する場合の画像処理装置170の各構成要素の機能および動作を説明する。
圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
合成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、合成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。なお、出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、画像DB175に記録してもよい。なお、画像処理装置170は、出力部207から対応づけられて出力された複数の特徴領域動画データおよび背景領域動画データを、画像DB175に記録してよい。この場合、圧縮動画取得部301は、画像DB175に記録されている、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得してもよい。
なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。
なお、画像処理装置170が図2から図4にかけて説明した画像処理装置120によって生成された動画データを処理する場合には、画像処理装置170は、階層間差分圧縮部282a−dのそれぞれにより圧縮された複数の動画構成画像を取得する。そして、画像処理装置170は、取得した複数の動画構成画像をそれぞれ復号する。そして、画像処理装置170は、復号することにより得られた複数の動画構成画像を重ね合わせることにより一の合成画像を生成する。そして、画像処理装置170は、生成した合成画像を動画構成画像として含む動画を、表示装置180に供給する。
図8は、符号化方式格納部410が格納しているデータの一例をテーブル形式で示す。符号化方式格納部410は、オブジェクトの種類、符号化モード、イントラ予測方向、動き補償単位、マクロブロックサイズ、および量子化ステップを格納する。
オブジェクト種類は、動画構成画像に含まれるオブジェクトとして撮像された被写体の種類を識別する情報であってよい。符号化モードは、部分領域がイントラ符号化およびインター符号化のいずれかを識別する情報であってよい。
イントラ予測方向は、ブロックがイントラ符号化により符号化される場合における予測方向を示す。例えば、イントラ予測方向は、例えばH.264においてイントラブロック内の画素値を予測する方法を示す予測モードを識別する情報であってよい。例えば、イントラ予測方向は、ブロック内の平均値により画素値を予測するか否かを示す情報、或いはブロック内の画素の画素値をいずれの位置の画素の画素値から予測するかを示す情報であってよい。
動き補償単位は、ブロックの動きベクトルの精度を示す情報であってよい。マクロブロックサイズは、マクロブロックのサイズを示す情報であってよい。なお、マクロブロックサイズは、特徴領域の単位面積あたりのマクロブロックのサイズであってよい。この場合、圧縮部240は、特徴領域の面積がより大きいほど、より大きいマクロブロックサイズを決定してよい。また、量子化ステップは、量子化ステップの補正値を示す情報であってよい。なお、量子化ステップについては、図9および図10に関連して説明する。
なお、符号化方式格納部410は、オブジェクト種類が示す種類のオブジェクトが有する特徴的な空間周波数成分に応じたイントラ予測方向を格納することが望ましい。例えば、符号化方式格納部410は、縦方向のエッジをより多く含むことが期待されるオブジェクトの種類に対応づけて、画素値を上方の画素値から予測することを示す予測モード0をイントラ予測方向として格納してよい。
また、符号化方式格納部410は、横方向のエッジをより多く含むことが期待されるオブジェクトの種類に対応づけて、画素値を左方の画素値から予測することを示す予測モード1をイントラ予測方向として格納してよい。また、符号化方式格納部410は、より低い周波数成分をより多く含むことが期待されるオブジェクトの種類、または多数の色を含むことが期待されるオブジェクトの種類に対応づけて、画素値を平均値から予測することを示す予測モード2をイントラ予測方向として格納してよい。
なお、符号化方式選択部420は、特徴領域の検出信頼度に応じて、オブジェクトの種類に基づいて符号化方式を選択するか否かを決定してよい。例えば、符号化方式選択部420は、検出信頼度が予め定められた値より高いことを条件として、オブジェクトの種類に基づいて符号化方式を選択してよい。
図9は、符号化方式格納部410が格納する量子化ステップ補正値の一例を示す。符号化方式格納部410は、量子化部298が用いる量子化テーブルの各成分の量子化ステップ値を補正する補正値を格納する。なお、本図の例では、4×4のマクロブロックに対する量子化ステップの補正値Δquv(但しu、v=0、1、2、3)を示す。
なお、本テーブルの最も左上に位置するΔq00は、DC成分を示す空間周波数成分の変換値に対する量子化ステップを補正する補正値を示す。また、右方および下方に位置するΔquvは、より高い空間周波数成分の変換値に対する量子化ステップの補正値を示す。
符号化方式格納部410は、オブジェクト種別、画像の複雑度、および符号誤差に応じた、各周波数成分に対する量子化ステップ補正値Δquvを格納してよい。なお、画像の複雑度は、マクロブロックに含まれる画素の画素値とマクロブロックに含まれる画素の画素値の平均値との差の絶対値を、マクロブロックに含まれる画素にわたる総和を指標としてよい。他にも、画像の複雑度は、マクロブロック内の画像をラプラシアンフィルタ等のハイパスフィルタによって処理して得られるマクロブロックの画像の高周波成分の大きさを指標としてよい。
なお、符号化方式格納部410は、画像の複雑度がより大きいほどより大きい量子化ステップ補正値Δquvを格納してよい。これにより、画像内容が複雑であるほど、量子化ステップが大きくなる。画像が複雑になるほど高周波成分の変換値が大きくなることが予想される。符号化方式格納部410が画像の複雑度がより大きいほどより大きい量子化ステップ補正値Δquvを格納することによって、画像が複雑になるほど量子化ステップが大きくなり、結果として量子化後の情報量を低下させる方向に作用する。
また、符号化方式格納部410は、符号誤差がより大きいほどより小さい量子化ステップ補正値Δquvを格納してよい。なお、符号誤差は、不可逆符号化前後の間における画像の誤差量を示す値であってよい。例えば、符号誤差は、符号化前後の誤差を示す符号化誤差および量子化前後の誤差を示す量子化誤差の少なくとも一方であってよい。符号誤差が大きいほど画質が低下していることが予想されるが、符号化方式格納部410が符号誤差に対応づけてより小さい量子化ステップ補正値Δquvを格納しているので、符号誤差が大きくなるほど量子化ステップを小さくすることができ、結果として符号化後の情報量を増加させる方向に作用する。このようにして、オブジェクト種別、画像の複雑度、符号誤差に応じて量子化ステップが決定される。
なお、量子化誤差は、量子化部298による量子化前の画像信号と量子化後の画像信号との間の誤差であってよい。例えば、量子化誤差は、量子化前の画像信号が示す画素値と量子化後の画像信号が示す画素値との間の差の絶対値の和であってよい。また、量子化誤差は、量子化前の画像信号が示す画素値と量子化後の画像信号が示す画素値との間の差を2乗した値の和であってよい。また、符号化誤差は、符号化前の画像信号と符号化後の画像信号との間の誤差であってよい。例えば、符号化誤差は、符号化前の画像信号が示す画素値と符号化後の画像信号が示す画素値との間の差の絶対値の和であってよい。また、符号化誤差は、符号化前の画像信号が示す画素値と符号化後の画像信号が示す画素値との間の差を2乗した値の和であってよい。なお、ここでいう符号化とは、空間周波数領域変換部297による空間周波数成分への変換および量子化部298による量子化を含む。
このように、符号化方式格納部410が画像の複雑度および符号誤差に応じた量子化ステップ補正値Δquvを格納することにより、画像が複雑になることによる情報量の増加幅を削減したり、空間周波数変換または量子化を含む符号化による画質の低下量を削減することができる。なお、本図においては、情報量の増加幅をマクロブロック単位で削減することについて説明したが、画像全体として情報量の変動幅を削減することについては、図10に関連して説明する。なお、符号化方式格納部410は、本図で示した4×4のマクロブロックについての量子化ステップの補正値Δquvの他に、8×8、16×16等の、多様なマクロブロックに対する量子化ステップの補正値Δquvを有してよい。
図10は、補正前符号量比と量子化補正量Qとの関係を示す。線1010は、特徴領域に対する量子化量の補正量を示しており、線1020は背景領域に対する量子化量の補正量を示している。
なお、補正前符号量比とは、特徴領域および背景領域の画質が量子化部298によって調整されない場合における、全画像領域の符号量に対する特徴領域の符号量の比を示す。なお、特徴領域の符号量とは、特徴領域に含まれるマクロブロックの画像の複雑度と量子化量との積を、特徴領域に含まれるマクロブロックにわたって総和した値であってよい。また、全画像領域の符号量とは、全画像領域に含まれるマクロブロックの画像の複雑度と量子化量との積を、全画像領域に含まれるマクロブロックにわたって総和した値であってよい。
なお、量子化量とは量子化のレベルを示す。つまり、量子化量は、量子化ステップが小さいほど大きな値を持つ。また、量子化補正量Qは、量子化ステップ補正値Δquvによって量子化ステップが補正された場合の量子化量の増加量を示す。なお、補正前の量子化量は、バッファの使用量、画像の複雑度、および目標符号量に応じて定められるとする。
なお、符号量は量子化量を指標としてよい。量子化量が画像の複雑度に基づいて調整されていれば、量子化量を指標とする符号量に基づいて算出された補正前符号量比は、上記のような画像の複雑度および量子化量で重み付けされた補正前符号量比と略同一となることが期待される。他にも、符号量は単に面積を指標としてもよい。このようにしても、特徴領域と背景領域とで画像の複雑度が同等であれば、面積を指標とする符号量に基づいて算出された補正前符号量比は、上記のような画像の複雑度および量子化量で重み付けされた補正前符号量比と略同一となることが期待される。なお、上記においては、説明を簡単にすることを目的として、画像の複雑度で重みづけされた補正前符号量比に基づいて特徴領域および特徴領域外に対する量子化補正量を決定することについて説明したが、同様にして、図9に関連して説明した符号誤差で重みけされた補正前符号量比に基づいて特徴領域および特徴領域外に対する量子化補正量を決定することもできる。
このような処理によると、特徴領域を高画質にすることによる符号量の増加に応じて、背景領域の符号量を低減することができる。このため、特徴領域および背景領域の画質を調整することによって符号量が増加してしまうことを防ぐことができる。なお、符号化方式格納部410は、上記の関係を満たす量子化ステップ補正量Δqを格納することが望ましい。なお、圧縮部240は、画像の複雑度、符号誤差、およびオブジェクト種類に応じて算出された量子化補正量を、時間軸方向のローパスフィルタをかけることによって、量子化補正量の単位時間あたりの変動量を予め定められた変動量以下にしてもよい。
図11は、符号化方式格納部410が格納するデータの他の一例をテーブル形式で示す。符号化方式格納部410は、オブジェクトの種類に対応づけて、イントラ予測方向および優先度を格納する。イントラ予測方向については図8に関連して説明したので、その説明を省略する。優先度は、イントラ予測方向を選択する優先度を示す。
このように、符号化方式格納部410は、特徴領域に含まれるオブジェクトの種類に対応づけて、複数の符号化方式および当該符号化方式が選択されるべき順番を格納している。そして、符号化方式選択部420は、複数の特徴領域のそれぞれについて、特徴領域に含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している符号化方式を順番で選択していく。
そして、符号化方式選択部420は、選択した符号化方式によって特徴領域の画像を圧縮した場合に予め定められた圧縮率より高い画質対圧縮量で圧縮することができることを条件として、特徴領域の画像を圧縮する場合に使用する符号化方式として当該符号化方式を選択する。そして、圧縮部240は、動画構成画像における複数の特徴領域の画像を、符号化方式選択部420が選択した符号化方式により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。
このように、符号化方式選択部420は、複数の動画構成画像のそれぞれについて、動画構成画像を圧縮する場合に使用する符号化方式として、複数の符号化方式の中からより高い画質対圧縮量が得られる符号化方式をより優先して選択する。したがって、オブジェクトの種類に適した順番で符号化モードをテストしていくことによって、不要な符号化モードがテストされる確率を削減することができる。このため、符号化方式選択部420は、オブジェクトの種類に適したイントラ予測方向を速やかに特定することができる場合がある。
なお、符号化方式格納部410は、オブジェクトの種類に対応づけて、組み合わせが異なる複数の符号化方式を格納してよい。この場合、符号化方式選択部420は、複数の動画構成画像のそれぞれについて、動画構成画像を圧縮する場合に使用する符号化方式として、複数の符号化方式の中からより高い画質対圧縮量が得られる符号化方式をより優先して選択する。
そして、符号化方式選択部420は、複数の特徴領域のそれぞれについて、特徴領域に含まれるオブジェクトの種類に対応づけて符号化方式格納部410が格納している複数の符号化方式の中から特徴領域の画像に対してより高い画質対圧縮量が得られる符号化方式をより優先して選択する。
そして、圧縮部240は、複数の動画構成画像のそれぞれについて、符号化方式選択部420が選択した符号化方式により、動画構成画像における複数の特徴領域の画像をそれぞれ圧縮する。このような方法によっても、符号化方式選択部420は、オブジェクトの種類に適したイントラ予測方向を速やかに特定することができる場合がある。
図12は、差分対象領域決定部294が差分対象領域を決定する決定方法の一例を示す。ここでは、同一被写体領域特定部430が、動画構成画像1200および動画構成画像1210において、同じ被写体を示すオブジェクト1204および1214を含む特徴領域1202および1212を特定したとする。この場合、位置差算出部440は、特徴領域1202における最左上の座標と、特徴領域1212における最左上の座標との間の差を、特徴領域の位置との差を示す位置差として算出する。
本図の例では、位置差算出部440は、位置差(x1−x0、y1−y0)を算出する。差分対象領域決定部294は、特徴領域1212に含まれるマクロブロック1216をインター符号化により符号化すべく、動画構成画像1200における差分対象領域を決定する。マクロブロック1216の最左上の座標を(x2、y2)、最右下の座標を(x3、y3)とすると、差分対象領域決定部294は、動画構成画像1200における(x2−(x1−x0)−Δ、y2−(y1−y0)−Δ)および(x3+(x1−x0)+Δ、y3+(y1−y0)+Δ)を矩形の対角とする領域1206から、差分対象領域を決定する。なお、ここでは、動画構成画像1200および1210における最左上を原点とした。
また、差分対象領域を決定する探索範囲の大きさはΔによって定められる。Δの値は予め定められたピクセル数であってよい。他にも、Δの値は、特徴領域1200および1210に含まれるオブジェクトの種類に応じて予め定められてよい。例えば、移動速度が速いことが期待される被写体を示すオブジェクトの種類については、差分対象領域決定部294は、より大きいΔの値を用いて差分対象領域を決定してよい。このように、圧縮部240は、同一被写体領域特定部430が特定した他の動画構成画像における特徴領域の少なくとも一部の領域の画像を、当該一部の領域の位置から位置差だけ離れた一の動画構成画像における位置から予め定められたピクセル数だけ離れた範囲内の領域の画像との間で比較することにより圧縮する。
なお、差分対象領域決定部294は、特徴領域の検出信頼度に応じて、特徴領域の位置差に基づいて差分対象領域を決定するか否かを決定してよい。例えば、差分対象領域決定部294は、検出信頼度が予め定められた値より高いことを条件として、特徴領域の位置差に基づいて差分対象領域を決定してよい。
以上説明したように、差分対象領域決定部294は、特徴領域の位置の差を利用することによって、動きベクトルを探索する範囲を限定することができる。このため、差分対象領域決定部294は動きベクトルを速やかに算出することができる。また、特徴領域1212内において、動きベクトルの大きさが乱雑になることを未然に防ぐことができる。このため、動き符号化部286が隣接するマクロブロックの動きベクトル間の差分により動きベクトルを符号化すると、当該差分をより小さくすることができる。このため、画像処理装置170は、より高い圧縮率で動きベクトルを圧縮することができる。
図13は、他の実施形態に係る画像処理システム20の一例を示す。本実施形態における画像処理システム20の構成は、画像処理装置120に替えて、撮像装置100a−dがそれぞれ画像処理部1604a−d(以下、画像処理部1604と総称する。)を有する点を除いて、図1で説明した画像処理システム10の構成と同じとなっている。
画像処理部1604は、画像処理装置120に含まれる構成要素のうち、圧縮動画取得部201および圧縮動画伸張部202を除く構成要素を有している。そして、画像処理部1604に含まれる各構成要素の機能および動作は、画像処理装置120に含まれる各構成要素が圧縮動画伸張部202による伸張処理によって得られた撮像動画を処理することに替えて、撮像部102によって撮像された撮像動画を処理するという点を除いて、画像処理装置120に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム20においても、図1から図12にかけて画像処理システム10に関連して説明した効果と同様の効果が得ることができる。
なお、撮像装置100が有する符号化方式取得部412は、画像処理装置170以外にも、撮像装置100を利用するユーザから、上述した符号化方式を取得してよい。例えば、撮像装置100は設定画面を表示する表示デバイスを有しており、当該表示デバイスが特徴領域の特徴量に応じた符号化方式を設定する設定画面を表示してよい。そして、符号化方式取得部412は、当該設定画面を通じてユーザから符号化方式を取得してよい。例えば、符号化方式取得部412は、表示デバイスに設定画面が表示されている期間にユーザによる操作情報を取得することによって、符号化方式を取得してよい。
なお、画像処理部1604は、RAW形式で表された複数の動画構成画像を含む撮像動画を撮像部102から取得してよい。そして、画像処理部1604は、RAW形式で表された複数の動画構成画像のそれぞれから、1以上の特徴領域を検出してよい。また、画像処理部1604は、取得した撮像動画に含まれるRAW形式で表された複数の動画構成画像をRAW形式のまま圧縮してよい。このとき、画像処理部1604は、図1〜図12にかけて画像処理装置120の動作に関連して説明した圧縮方法で、撮像動画を圧縮することができる。
なお、画像処理装置170は、画像処理部1604から取得した圧縮動画を伸張することにより、RAW形式で表された複数の動画構成画像を取得することができる。そして、画像処理装置170は、伸張することにより取得されたRAW形式で表された複数の動画構成画像を、例えば特徴領域以外の領域および複数の特徴領域を含む複数の領域毎に同時化処理を施してよい。このとき、画像処理装置170は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
なお、画像処理装置170は、同時化処理によって得られた動画構成画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置170における超解像処理としては、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開2004−88615号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
なお、画像処理装置170は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置170は、オブジェクトの一例としての顔部位(例えば、目、鼻、口など)毎に、超解像処理を施してよい。この場合、画像処理装置170は、特開2006−350498号公報に記載されたような主成分分析(PCA)に基づくモデル等の学習データを、顔部位(例えば、目、鼻、口など)毎に記憶しておく。そして、画像処理装置170は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
このように、画像処理装置170は、主成分分析(PCA)を用いて特徴領域の画像を再構成することができる。なお、画像処理装置170による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析(PCA)による学習・画像再構成の他に、局所保存投影(locality preserving projection:LPP)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent component analysis:ICA)、多次元スケーリング(multidimensional scaling:MDS)、サポートベクターマシン(サポートベクター回帰)、ニューラルネットワーク、隠れマルコフモデル、Bayes推論、最大事後確率推定、反復逆投影、Wavelet変換、局所線形埋め込み(locally linear embedding:LLE)、マルコフランダム場(Markov random field:MRF)等の手法を用いることができる。
また、学習データとしては、特開2006−350498号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をK−means法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分(例えば、重心値)が定められていてよい。
そして、画像処理装置170は、動画構成画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置170は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置170は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置170は、動画構成画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。
そして、画像処理装置170は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置170は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置170は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。なお、図1〜12に関連して説明した画像処理システム10の構成においても、画像処理装置170は、特徴領域の画像に上述した超解像処理を施すことができる。
なお、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部1604は、撮像部102から取得した複数の動画構成画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部1604は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部1604は、主成分ベクトルおよび重みづけ係数を画像処理装置170に送信してよい。
この場合、画像処理装置170は、画像処理部1604から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部1604は、特開2006−350498号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。
図14は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、およびRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、およびデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、画像処理装置120および画像処理装置170が起動時に実行するブート・プログラム、あるいは画像処理装置120および画像処理装置170のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、画像処理装置120を、図1から図13に関連して説明した画像処理装置120として機能させる。また、当該プログラムは、画像処理装置170を、図1から図13に関連して説明した画像処理装置170として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。