以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。
画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。
画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画である背景領域動画を生成する。
そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連付けて、通信ネットワーク110を通じて画像処理装置170に送信する。
画像処理装置170は、画像処理装置120aから受信した、関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。
なお、撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信して関連付けされた複数の特徴領域動画データおよび背景領域動画データから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。
本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化ユニット210、低減化ユニット220、符号化ユニット230、背景情報生成ユニット260、対応付け処理部206、および出力部207を有する。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。また、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。また、画像分割部204は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。
画像生成部205は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部205は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画を生成する。また、画像生成部205は、動画を複製することにより、背景領域の動画である背景領域動画を生成する。
固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。固定値化部211は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部211は、特徴領域画像以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。
低減化ユニット220は、複数の画質低減部221a−c(以下、画質低減部221と総称する。)を含む。画質低減部221は、複数の特徴領域動画を、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画を、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。
符号化ユニット230は、複数の特徴領域動画符号化部231a−c(以下、特徴領域動画符号化部231と総称する。)を含む。なお、特徴領域動画符号化部231a−cを総称して、符号化部231と呼ぶ場合がある。符号化部231は、複数の特徴領域動画を、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画を、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
なお、画質低減部221aおよび特徴領域動画符号化部231aは、圧縮部240aとして機能する。同様に、画質低減部221bおよび特徴領域動画符号化部231bは圧縮部240bとして機能する。画質低減部221cおよび特徴領域動画符号化部231cは、圧縮部240cとして機能する。なお、複数の圧縮部240a−cを、圧縮部240と総称する。
圧縮部240は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれを、それぞれの特徴量に応じた強度で圧縮する。上記特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
なお、圧縮部240a、圧縮部240b、および圧縮部240cには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240a、圧縮部240b、および圧縮部240cは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240a、圧縮部240b、および圧縮部240cは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。また、圧縮部240は、特徴領域の画像を、特徴領域に含まれる部分領域ごとに圧縮する。
なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
背景情報生成ユニット260は、背景領域の画像の移り変わりを示すトランジション情報を出力する。また、背景情報生成ユニット260は、動画における背景となるべき複数の背景画像を出力する。背景情報生成ユニット260は、動画における背景となるべき複数の部分背景画像を出力してもよい。
対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画圧縮することによって生成した複数の特徴領域動画データおよび背景情報生成ユニット260が出力したトランジション情報を、例えばタグ情報等を付帯する等して互いに対応付ける。出力部207は、対応付け処理部206が対応付けた複数の特徴領域動画データおよびトランジション情報を通信ネットワーク110に送出する。
なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を特定したときの信頼性の度合いを示す確信度を、複数の特徴領域毎に算出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた強度で圧縮する。例えば、画質低減部221は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた設定値を用いて符号化することにより圧縮する。例えば、圧縮部240は、複数の特徴領域動画を、それぞれの確信度が低いほど、それぞれの特徴量に応じた強度より低い強度で圧縮してよい。
図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、受信部305、格納部306、動画生成部303、および出力部304を有する。
圧縮動画取得部301は、出力部207が出力した、対応付けられた複数の特徴領域動画データおよびトランジション情報を取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した、対応付けられた複数の特徴領域動画データおよびトランジション情報を取り出す。
圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−c(以下、圧縮動画伸張部311と総称する。)を含む。圧縮動画伸張部311は、複数の特徴領域動画データを復号する。また、圧縮動画伸張部311a−cは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画を取得する。なお、圧縮動画伸張部311a−cは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号された動画を出力部304が出力してもよい。
受信部305は、背景情報生成ユニット260が送信した画像を受信する。たとえば、背景情報生成ユニット260が、動画における背景となるべき複数の背景画像を送信した場合、受信部305は、当該複数の背景画像を受信する。また、背景情報生成ユニット260が、背景となるべき画像である複数の部分背景画像を送信した場合、受信部305は、当該複数の部分背景画像を受信する。
格納部306は、受信部305が受信した画像を格納する。たとえば、受信部305が、複数の背景画像を受信した場合、格納部306は、当該複数の背景画像を格納する。また、受信部305が、複数の部分背景画像を受信した場合、格納部306は、当該複数の部分背景画像を格納する。
動画生成部303は、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景情報生成ユニット260から送信された背景画像に重ね合わせることにより、動画構成画像を生成する。この場合、動画生成部303は、背景情報生成ユニット260が生成したトランジション情報に基づいて、上記特徴領域の画像を、背景情報生成ユニット260から送信された背景画像に重ね合わせることにより、動画構成画像を生成してもよい。
圧縮動画取得部301が取得したトランジション情報に背景画像の識別情報が含まれている場合、動画生成部303は、当該識別情報によって特定される背景画像を、格納部306から抽出してもよい。そして、動画生成部303は、抽出した背景画像を、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
また、圧縮動画取得部301が取得したトランジション情報に部分背景画像の識別情報が含まれている場合、動画生成部303は、当該識別情報によって特定される部分背景画像を、格納部306から抽出してもよい。そして、動画生成部303は、抽出した部分背景画像を、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
また、圧縮動画取得部301が取得したトランジション情報に背景画像の識別情報およびその表示順が含まれている場合、動画生成部303は、当該識別情報によって特定される背景画像を、格納部306から抽出してもよい。そして、動画生成部303は、抽出した背景画像を、上記表示順に従って、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
また、圧縮動画取得部301が取得したトランジション情報に背景画像の識別情報および差分画像が含まれている場合、動画生成部303は、当該識別情報によって特定される部分背景画像を、格納部306から抽出してもよい。そして、動画生成部303は、抽出した背景画像と取得した差分画像とに基づいて背景画像を生成してもよい。さらに、動画生成部303は、生成した背景画像を、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
また、圧縮動画取得部301が取得したトランジション情報に、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることが含まれている場合、動画生成部303は、上記背景動画を繰り返された背景動画を生成してもよい。そして、動画生成部303は、生成した背景動画を、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。
また、圧縮動画取得部301が取得したトランジション情報が、背景領域における背景画像からの時刻に応じた変化を示す場合、動画生成部303は、一つの背景画像を取得してから、取得した背景画像をトランジション情報に従って周期式に変化させることにより背景動画を生成してもよい。そして、動画生成部303は、生成した背景動画を、圧縮動画伸張部311a−cにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像に重ね合わせることにより、動画構成画像を生成してもよい。このとき、圧縮動画取得部301が、上記トランジション情報と共に上記一つの背景画像を受信した場合、動画生成部303は、圧縮動画取得部301から、上記一つの背景画像を取得してもよい。
また、上記トランジション情報に上記一つの背景画像の識別情報が含まれている場合、動画生成部303は、上記識別情報によって特定される背景画像を格納部306から抽出してもよい。なお、圧縮動画取得部301が取得したトランジション情報が、背景画像を周期的に変化させるための計算式である揺らぎ式を含む場合、動画生成部303は、取得した背景画像を上記揺らぎ式を用いて周期式に変化させることにより背景動画を生成してもよい。
出力部304は、動画生成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。出力部304は、特徴領域の画像を、異なる画像サイズまたは異なる画質で表示してもよい。たとえば、出力部304は、ユーザからの要求がないときは、画像サイズが縮小された特徴領域の画像を表示して、ユーザからの要求があったときは、画像サイズが拡大された特徴領域の画像を表示してもよい。また、出力部304は、ユーザからの要求がないときは、低画質化された特徴領域の画像を表示して、ユーザからの要求があったときは、高画質化された特徴領域の画像を表示してもよい。
図4は、画像処理装置120のブロック構成の別の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、入力動画画質制御部280、画質低減部281、階層間差分圧縮部282a−c(以下、階層間差分圧縮部282と総称する。)、背景情報生成ユニット260、および出力部207を備える。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、動画構成画像は、この発明における入力画像の一例である。
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。入力動画画質制御部280は、圧縮動画伸張部202が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。具体的には、入力動画画質制御部280は、特徴領域以外の領域、すわなち背景領域の画質を低くする。なお、入力動画画質制御部280は、特徴領域以外の領域、すわなち背景領域の全画素の画素値および輝度値を0にしてもよい。
画質低減部281は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部281は、生成した画質が異なる動画を階層間差分圧縮部282に提供する。具体的には、画質低減部281は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。そして、階層間差分圧縮部282は、予め定められた画質の動画を画質低減部281から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部282は、互いに異なる画質の動画を圧縮する。
なお、画質低減部281が階層間差分圧縮部282aに供給する動画に含まれる動画構成画像は、この発明における低画質画像の一例であってよい。また、画質低減部281が階層間差分圧縮部282b−cに供給する動画に含まれる動画構成画像は、この発明における特徴領域画像の一例であってよい。この場合、画質低減部281および入力動画画質制御部280は、この発明における画像生成部として機能する。
なお、階層間差分圧縮部282aは、階層間差分圧縮部282b−cのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部281から取得して圧縮する。なお、階層間差分圧縮部282は、階層間差分圧縮部282b、および階層間差分圧縮部282cの順で解像度が低い動画構成画像を画質低減部281から取得して圧縮する。
階層間差分圧縮部282bは、階層間差分圧縮部282aが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282bは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282bは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
また、階層間差分圧縮部282cは、階層間差分圧縮部282bが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282cは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282cは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
このように、階層間差分圧縮部282b−cは、入力動画画質制御部280または画質低減部281から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。
背景情報生成ユニット260は、圧縮動画伸張部202によって生成された、動画に含まれる複数の動画構成画像から、背景領域の画像の移り変わりを示すトランジション情報を生成する。また、背景情報生成ユニット260は、圧縮動画伸張部202によって生成された、動画に含まれる複数の動画構成画像から、動画における背景となるべき複数の背景画像を送信する。
出力部207は、階層間差分圧縮部282のそれぞれが圧縮して得られた動画を多重化して出力する。また、出力部207は、背景情報生成ユニット260によって生成されたトランジション情報を出力する。具体的には、出力部207は、階層間差分圧縮部282が圧縮した動画および背景情報生成ユニット260が生成したトランジション情報を画像処理装置170に送信する。このように、画像処理装置120は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
図5は、階層間差分圧縮部282aおよびbのブロック構成の一例を示す。階層間差分圧縮部282aは、動き解析部285a、動き符号化部286a、差分処理部287a、および符号化部288aを有する。動き解析部285aは、差分対象領域決定部294aおよび位置差情報生成部295aを含む。差分処理部287aは、差分画素画像生成部296a、空間周波数領域変換部297a、および量子化部298aを含む。
階層間差分圧縮部282bは、動き解析部285b、動き符号化部286b、差分処理部287b、画像拡大部293b、画像復号部292b、画素値変更部291b、および符号化部288bを有する。動き解析部285bは、差分対象領域決定部294bおよび位置差情報生成部295bを含む。差分処理部287bは、差分画素画像生成部296b、空間周波数領域変換部297b、量子化部298b、および周波数領域画質変換部299bを含む。なお、階層間差分圧縮部282cは、階層間差分圧縮部282bが有する構成要素と略同一の構成要素を有するので、説明を省略する。
以下に、階層間差分圧縮部282aの各構成要素の機能および動作について説明する。動き解析部285aは、画質低減部281から受け取った複数の動画構成画像の画像内容に基づいて、複数の動画構成画像にわたる動きを解析することによって、動きに基づいて動画構成画像を圧縮する部分領域を決定する。
具体的には、差分対象領域決定部294aは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部294aは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部287aに供給する。
また、位置差情報生成部295aは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295aは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部295aは、生成した位置差情報を動き符号化部286aに供給する。
動き符号化部286aは、位置差情報生成部295aから供給された位置差情報を符号化して、出力部207に供給する。例えば、動き符号化部286は、隣接する部分領域における位置差情報との間の差を符号化して、出力部207に供給する。
差分処理部287aは、動き解析部285aから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部296aは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
そして、空間周波数領域変換部297aは、差分画素画像を部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部297aは、離散コサイン変換(DCT)により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部297aは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。
なお、動き解析部285aが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部287aは圧縮対象の部分領域の画素情報を空間周波数領域変換部297aに供給する。空間周波数領域変換部297aは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。
量子化部298aは、空間周波数領域変換部297aが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部288aは、量子化部298aによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部288は、量子化部298aによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部288aは、符号化することによって得られた動画を出力部207に供給する。
以下に、階層間差分圧縮部282bが含む各構成要素の機能および動作について説明する。階層間差分圧縮部282bが含む構成要素のうち、階層間差分圧縮部282aが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部282aが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
差分対象領域決定部294bは、差分対象領域決定部294aと同様に、画質低減部281から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部294bは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部294bは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部291bに供給する。
また、画像復号部292bは、符号化部288aから動画構成画像を取得するとともに、動き符号化部286aから位置差情報を取得する。そして、画像復号部292bは、符号化部288aから取得した動画構成画像を、動き符号化部286aから取得した位置差情報を用いて復号する。なお、画像復号部292bは、量子化部298aにより量子化された動画構成画像を取得して復号してよく、符号化部288aが符号化した動画構成画像を取得して復号してもよい。なお、画像復号部292bによって復号されて得られた動画構成画像は、この発明における低画質画像の一例であってよい。この場合、階層間差分圧縮部282aは、この発明における低画質画像を生成する画像生成部として機能する。
画像拡大部293bは、画像復号部292bにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部291bは、差分対象領域決定部294bが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。
このように、画素値変更部291bは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。なお、画素値変更部291bは、この発明において、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する画像生成部として機能することができる。
差分処理部287bは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部291bから受け取る。そして、差分処理部287bは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか(以下、イントラ符号化と呼ぶ。)、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか(以下、インター符号化と呼ぶ。)、拡大画像との間の差分により符号化するか(以下、階層間圧縮と呼ぶ。)を決定する。このとき、差分処理部287bは符号化後の符号量がより小さい符号化方法をより優先して選択する。特徴領域以外の領域において差分を持たないように画素値が置き換えられているので階層間符号化が選択されるので階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
階層間符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部296bは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
インター符号化が選択された場合には、差分画素画像生成部296bは、画素値変更部291bにより生成された特徴領域画像と、他の動画構成画像から画素値変更部291bが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部296bは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部294bが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域に含まれる部分領域において差分対象領域決定部294bが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部294bが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
なお、イントラ符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
空間周波数領域変換部297bは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部297bは、差分画素画像が示す差分値を、空間周波数領域変換部297aと同様に、離散コサイン変換(DCT)、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部298bは、量子化部298aと同様に、空間周波数領域変換部297bが空間周波数領域に変換することによって得られた変換係数を量子化する。
そして、周波数領域画質変換部299bは、空間周波数領域変換部297bにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像または特徴領域間差分画像を生成する。具体的には、周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数を0にしてもよい。
このように、差分処理部287bは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部288bは、差分処理部287bが生成した特徴領域差分画像を符号化する。
また、上記したように、差分処理部287bは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部287は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
なお、以上の説明においては、画素値変更部291bは、差分画素画像における少なくとも特徴領域以外の領域(予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域)において差分値を0とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を0とすることもできる。
例えば、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を0とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
このように、画素値変更部291bは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部296は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
なお、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部282(例えば、階層間差分圧縮部282a)に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略0にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
なお、位置差情報生成部295bは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295bは、位置差情報生成部295aと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部290bは、動き符号化部286aから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部290bは、特徴領域以外の領域における動きベクトルの大きさを0にする。具体的には、位置差情報変更部290bは、特徴領域以外の領域について、位置差情報生成部295bから受け取った動きベクトルの大きさを0にするとともに、動き符号化部286aから受け取った動きベクトルの大きさを0にする。
そして、動き符号化部286bは、位置差情報を符号化する。具体的には、動き符号化部286bは、動き符号化部286aと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部286bにより符号化された位置差情報は、出力部207に供給される。
なお、本実施形態では、位置差情報変更部290は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部290bは、動き符号化部286bにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部290bは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部286により符号化された位置差情報を変更してもよい。
なお、符号化部288bは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部286bは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、MPEG符号化におけるNonMC NotCodedに相当する種別であってよい。このように、符号化部288bおよび動き符号化部286bが動きベクトルの大きさおよび差分情報が0であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部282bは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
なお、階層間差分圧縮部282cは、階層間差分圧縮部282bと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部282cが有する、階層間差分圧縮部282と同名の構成要素には同じ符号を付す。そして、符号の末尾(b、c)により、階層間差分圧縮部282b−cのいずれに含まれる構成要素であるかを区別する。
例えば、動き解析部285cは階層間差分圧縮部282cが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部282b−cが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部291は、画素値変更部291b−cを示す。
なお、階層間差分圧縮部282cの機能および動作と、階層間差分圧縮部282bの機能および動作は、画質低減部281から異なる画質の動画を取得して処理すること、および位置差情報変更部290c、ならびに画像復号部292cが、より画質が低い動画を処理する他の階層間差分圧縮部282から、差分のための位置差情報および動画構成画像を取得するところが異なる。
より具体的には、位置差情報変更部290cは、動き符号化部286bから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292cは、動き符号化部286bから位置差情報を取得するとともに、符号化部288bから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
なお、特徴領域検出部203は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部281は、一の特徴の種類を持つ特徴領域において解像度を低減することにより入力画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を入力画像から生成する。そして、階層間差分圧縮部282b−cは、特徴領域の種類ごとに用意されており、少なくとも予め定められた種類の特徴領域において、特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を処理する。
具体的には、階層間差分圧縮部282bは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部282cは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。
このように、差分処理部287は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
このように、差分処理部287は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。
符号化部288は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、出力部207は、動き符号化部286a−cにより符号化された位置差情報および符号化部288a−cにより符号化された動画構成画像(例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像)を、多重化して出力する。
以上説明したように、階層間差分圧縮部282aは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、階層間差分圧縮部282aよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282cよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、特徴領域以外の領域において、階層間差分圧縮部282aが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
同様に、階層間差分圧縮部282cは、階層間差分圧縮部282bよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282cは、特徴領域以外の領域において、階層間差分圧縮部282bが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
このように、階層間差分圧縮部282b−cのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部282b−cは、他の階層間差分圧縮部282が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部282b−cは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部282に供給してよい。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
なお、画像処理装置120は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置120による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。
なお、画像処理装置170は、階層間差分圧縮部282a−cのそれぞれにより圧縮された複数の動画構成画像を取得する。そして、画像処理装置170は、取得した複数の動画構成画像をそれぞれ復号する。そして、画像処理装置170は、復号することにより得られた複数の動画構成画像を重ね合わせることにより一の合成画像を生成する。そして、画像処理装置170は、生成した合成画像を動画構成画像として含む動画を、表示装置180に供給する。
図6は、背景情報生成ユニット260のブロック構成の一例を示す。背景情報生成ユニット260は、背景画像送信部261、変化検出部262、およびトランジション情報生成部263を有する。
背景画像送信部261は、動画における背景となるべき複数の背景画像を予め送信する。具体的には、背景画像送信部261は、出力部207および対応付け処理部206を介して、動画における背景となるべき複数の背景画像を画像処理装置170へ予め送信する。背景画像送信部261は、動画構成画像の画像領域における複数の部分領域のそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信してもよい。たとえば、背景画像送信部261は、動画構成画像の画像領域における複数のマクロブロックのそれぞれについて、背景となるべき画像である複数の部分背景画像を予め送信してもよい。
変化検出部262は、動画から、特徴領域検出部203によって検出された特徴領域以外の領域である背景領域における画像の変化を検出する。変化検出部262は、画像生成部205から出力された背景領域動画から、上記画像の変化を検出してもよい。また、変化検出部262は、圧縮動画伸張部202から出力された動画から、上記画像の変化を検出してもよい。また、変化検出部262は、背景領域における画像の輝度の変化を検出してもよい。
また、変化検出部262は、背景領域における画像の周期的な変化を検出してもよい。たとえば、変化検出部262は、背景領域において画像の輝度変化が一定時間ないことを検出してもよい。また、変化検出部262は、木の葉のゆれ、水面のゆれのように、背景領域における画像が一定の輝度変化を繰り返すことを検出してもよい。
トランジション情報生成部263は、変化検出部262が検出した変化に対応する、背景領域の画像の移り変わりを示すトランジション情報を生成する。たとえば、トランジション情報生成部263は、背景画像送信部261によって予め送信された複数の背景画像の中から、変化検出部262が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像を特定してから、特定した複数の背景画像を識別する識別情報を含むトランジション情報を生成してもよい。また、トランジション情報生成部263は、背景画像送信部261によって予め送信された複数の背景画像の中から、変化検出部262が検出した変化に対応する背景領域の画像の移り変わりを示す複数の背景画像およびその表示順を含むトランジション情報を生成してもよい。
また、トランジション情報生成部263は、複数の動画構成画像のそれぞれについて、背景画像送信部261によって予め送信された複数の背景画像の中から、動画構成画像との差が予め定められた値より小さい背景画像である類似背景画像を特定してから、その識別情報を含むトランジション情報を生成してもよい。この場合、トランジション情報生成部263は、動画構成画像との輝度の差が予め定められた値以下の背景画像である類似背景画像を特定してから、その識別情報を含むトランジション情報を生成してもよい。また、トランジション情報生成部263は、背景画像送信部261によって予め送信された複数の背景画像の中から、動画構成画像との差が最も小さい背景画像を類似背景画像として特定してもよい。
また、トランジション情報生成部263は、類似背景画像と動画構成画像との間の差分画像を生成してから、類似背景画像を識別する識別情報および差分画像を含むトランジション情報を生成してもよい。また、トランジション情報生成部263は、背景領域に含まれる部分領域のそれぞれにおいて、複数の部分背景画像の中から動画に含まれる動画構成画像における部分領域の画像との差が予め定められた値より小さい部分背景画像である類似部分背景画像を特定してから、それらを識別する識別情報を含むトランジション情報を生成してもよい。
また、トランジション情報生成部263は、変化検出部262が検出した周期的な変化に基づいて、背景領域における一周期分の変化を示す背景動画および当該背景動画が繰り返されることを含むトランジション情報を生成してもよい。この場合、トランジション情報生成部263は、画像生成部205または圧縮動画伸張部202から出力された動画から、背景領域における一周期分の変化を示す背景動画を生成してもよい。
また、トランジション情報生成部263は、変化検出部262が検出した周期的な変化に基づいて、背景領域における背景画像からの時刻に応じた変化を示すトランジション情報を生成してもよい。たとえば、周期的に変化させるための一つの背景画像を含んだ上記トランジション情報を生成してもよい。また、周期的に変化させるための一つの背景画像の識別情報を含んだ上記トランジション情報を生成してもよい。また、トランジション情報生成部263は、背景画像を周期的に変化させるための計算式である揺らぎ式を含むトランジション情報を生成してもよい。この場合、トランジション情報生成部263は、マクロブロックごとの揺らぎ式を含むトランジション情報を生成してもよい。
また、トランジション情報生成部263は、生成したトランジション情報を、対応付け処理部206へ出力してもよい。また、トランジション情報生成部263は、生成したトランジション情報を、出力部207へ出力してもよい。
図7は、背景画像の一例を示す。背景画像701、背景画像702、および背景画像703は、背景情報生成ユニット260によって特定された、背景領域における画像の変化に対応する背景画像である。また、背景画像701、背景画像702、および背景画像703は、背景領域の移り変わりを示す背景画像である。背景画像701−703は、当該背景画像701−703と重ね合わせられる特徴領域の画像よりも高画質であってもよい。
背景情報生成ユニット260は、背景画像701−703を含む複数の背景画像を予め画像処理装置170へ送信する。画像処理装置170は、受信した複数の背景画像を格納部306へ格納する。背景情報生成ユニット260は、背景画像701−703の識別情報が含まれたトランジション情報を生成する。そして、背景情報生成ユニット260は、生成したトランジション情報を画像処理装置170へ送信する。
画像処理装置170は、受信したトランジション情報に基づいて、格納部306に格納されている複数の背景画像の中から、背景画像701−703を抽出してもよい。そして、画像処理装置170は、抽出した背景画像701−703から背景動画を生成してもよい。さらに、画像処理装置170は、生成した背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。
背景情報生成ユニット260は、背景画像701−703を、予め画像処理装置170へ送信しなくてもよい。この場合、背景情報生成ユニット260は、特徴領域の画像が画像処理装置170へ送信されるタイミングで、背景画像701−703を、背景動画として画像処理装置170へ送信してもよい。そして、画像処理装置170は、背景情報生成ユニット260から送信された背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。この場合、背景情報生成ユニット260は、トランジション情報を画像処理装置170へ送信しなくてもよい。
また、背景情報生成ユニット260は、背景画像701−703のいずれか一つを選択して、選択した背景画像と、選択した背景画像を周期的に変化させるための計算式である揺らぎ式とを画像処理装置170へ送信してもよい。この場合、画像処理装置170は、背景情報生成ユニット260から送信された一つの背景画像を、同じく背景情報生成ユニット260から送信された揺らぎ式を用いて周期的に変化させることにより、背景動画を生成してもよい。そして、画像処理装置170は、生成した背景動画を、特徴領域の画像に重ね合わせることにより、表示用の動画を生成してもよい。
図8は、背景動画の一例を示す。背景動画800は、画像処理装置170によって生成される。背景動画800は、背景画像701、背景画像702、および703をそれぞれ複数含む。画像処理装置170が、背景動画800を再生すると、画像処理装置170においては、木の葉が周期的に変化する樹木を含んだ背景動画が、画面に表示される。画像処理装置170は、背景動画800を再生した場合、背景が固定された背景動画を表示するよりも、より背景らしさが表現された背景動画を表示することができる場合がある。
このように、本実施形態の画像処理システム10においては、画像処理装置120は、特徴領域の動画と、一部の背景画像とを、画像処理装置170へ送信する。そして、画像処理装置170は、画像処理装置120から送信された一部の背景画像を繰返し用いることにより、または周期的に変化させることにより、背景動画を生成する。そのうえで、画像処理装置170は、生成した背景動画を、画像処理装置120から送信された特徴領域の動画と重ね合わせることにより、表示用の動画を生成する。これにより、本実施形態の画像処理システム10を実際の監視システムに適用した場合には、本実施形態の画像処理システム10を適用しない監視システムよりも、ネットワーク上で通信される画像のデータ量を削減することができる場合がある。
図9は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、およびRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、およびデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。
CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、および画像生成部205として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した固定値化部211、画質低減部221、符号化部231、対応付け処理部206、および出力部207として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した、入力動画画質制御部280、画質低減部281、および階層間差分圧縮部282として機能させる。
また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した背景画像送信部261、変化検出部262、およびトランジション情報生成部263として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図8に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、動画生成部303、出力部304、受信部305、および格納部306として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。