以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。
画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。
画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。
画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。
なお、撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。
本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残しことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化ユニット210、低減化ユニット220、符号化ユニット230、対応付け処理部206、および出力部207を有する。
固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。
符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。
なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび背景領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび背景領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび背景領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
画像生成部205は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部205は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
そして、固定値化部211は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部211は、特徴領域画像以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。そして、圧縮部240は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。
以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
なお、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部240は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。
図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、合成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。
圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
合成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、合成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。
なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。
図4は、画像処理装置120の処理フローの一例を示す。圧縮動画取得部201が撮像動画データを取得(401)。圧縮動画伸張部202は、撮像動画データを復号することによって複数のフレーム画像410を生成する。特徴領域検出部203は、フレーム画像410の画像内容又は複数のフレーム画像410の画像内容に基づいて、特徴領域の一例であるROI(Region of interest)を検出する(402)。
特徴領域検出部203は、人物の顔、人体、および移動物体を含む領域を、異なる種類のROIとして検出する。例えば、特徴領域検出部203は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をROIとする。また、特徴領域検出部203は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をROIとする。なお、特徴領域検出部203は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
また、特徴領域検出部203は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部203は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部203は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。
このように、特徴領域検出部203は、予め定められた画像内容に関する条件に適合する領域を、ROIとして検出する。より具体的には、特徴領域検出部203は、予め定められた条件に適合するオブジェクトを含む領域を、ROIとして検出する。例えば、特徴領域検出部203は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ROIとして検出する。また、特徴領域検出部203は、画像の変化量が予め定められた変化量より大きい領域を、ROIとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をROIとして検出する。
そして、画像処理装置120は、検出されたROIに基づいて圧縮用動画を生成する(403)。具体的には、画像分割部204は、フレーム画像をROIとそれ以外の領域に分割する。そして、画像生成部205は、複数のフレーム画像410を複製することによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とを生成する。具体的には、画像生成部205は、複数のフレーム画像410を複製することによって、顔領域用の特徴領域動画450、人領域用の特徴領域動画440、動領域用の特徴領域動画430、および背景領域用の背景領域動画420を生成する。
そして、画像処理装置120は、固定値化部211および画質低減部221により、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とに対して、画質を低減する(404a、404b、404c、404d)。具体的には、固定値化部211は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像において、画像分割部204が分割したROI内の画素値は変化させず、ROI以外の領域に対する画素値を所定の値(例えば、輝度値0)にする。なお、固定値化部211は、ROI以外の領域の画素値を、当該ROIに近傍する領域の画素値の平均的な画素値にしてよい。
このように、画像生成部205および固定値化部211により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画430、特徴領域動画440、および特徴領域動画450および背景領域動画420が生成される。なお、後に詳しく説明するように、画像処理装置170は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のようなROI以外の領域が固定値化されている動画を、背景領域動画420に重ね合わせた動画を生成する。したがって、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。
また、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも1つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。
そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部221は、背景領域動画のフレーム画像の画質を、ROI内の画像の画質より低くする。例えば、画質低減部221は、背景領域動画のフレーム画像の解像度を、ROI内の画像のより小さくする。
また、画質低減部221は、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。また、画質低減部221は、背景領域動画420に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画420のフレームレートを低減する。
なお、画質低減部221aは、背景領域動画420の画質を低減する。また、画質低減部221b、画質低減部221c、および画質低減部221dは、それぞれ特徴領域動画430、特徴領域動画440、および特徴領域動画450の画質を低減する。
そして、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれ符号化する(405a、405b、405c、405d)。例えば、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれMPEG符号化する。
例えば、背景領域動画符号化部231aは、背景領域動画用の符号化設定で背景領域動画をMPEG符号化する。特徴領域動画符号化部231b、特徴領域動画符号化部231c、および特徴領域動画符号化部231dは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれMPEG符号化する。なお、符号化設定は、例えばMPEG符号化における量子化テーブルを設定することを含む。なお、符号化設定については図5に関連して説明する。
そして、対応付け処理部206は、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部207が表示装置180に出力する(406)。このとき、対応付け処理部206は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報(例えば、タイムスタンプ)を、タグ情報等に付加してよい。また、対応付け処理部206は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置100を識別する識別情報等を、タグ情報等に付加してよい。
以上説明したように、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。
また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部203は、撮像装置100から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。
なお、圧縮部240は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔の順に大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム10を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より高画質にするとした。しかしながら、画像処理システム10を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム10を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より低画質にしてもよい。例えば圧縮部240は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。
その他にも、特徴領域検出部203は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部221は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。
以上説明したように、画像処理装置120は、特徴領域動画に含まれるフレーム画像におけるROI以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置120によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、MPEG符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が0になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置120の製造コストを低減することができる場合がある。
以上の説明では、圧縮部240は、ROI領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部240は、特徴領域動画に含まれるフレーム画像におけるROI内の画像を切り出して圧縮して特徴領域動画として出力してもよい。
なお、特徴領域検出部203がROIを検出していない場合には、出力部207は、圧縮部240aが出力する背景領域動画データを画像処理装置170に出力する。この場合、画像生成部205は特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成しなくてよい。そして、画像生成部205は、特徴領域検出部203がROIを検出したことを条件として、特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成して、出力部207は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置170に出力する。この間、圧縮部240aは、背景領域動画420を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画420を圧縮しつづけてよい。
その他にも、特徴領域検出部203がROIを検出していない間には、圧縮部240は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたROI非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部240は、特徴領域検出部203がROIを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部240は、特徴領域動画をROI非検出期間圧縮率より低い圧縮率で圧縮してよい。
なお、圧縮部240は、特徴領域検出部203がROIを検出してから予め定められた期間の背景領域動画をROI非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ROIとして検出されるべき領域がROIとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部240は、特徴領域検出部203が検出した複数のフレーム画像におけるROI領域の位置から推定される他のフレーム画像におけるROI領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。
図5は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部201が取得した撮像動画データのフレームレートが16fpsであり、当該撮像動画データに含まれるフレーム画像の解像度が72dpiであるとする。
撮像動画に含まれるフレーム画像410の解像度に対する画質低減後の背景領域動画420に含まれるフレーム画像の解像度の比率を示す解像度比率は予め1/8と定められている。画質低減部221は、画像生成部205によって撮像動画が複製されることによって生成された画質低減前の背景領域動画420に含まれるフレーム画像に対して1/8の解像度である9dpiのフレーム画像を、画質低減前の背景領域動画420に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画420のフレームレートの比率を示すフレームレート比率は予め1/8と定められている。画質低減部221は、画質低減前の背景領域動画420のフレームレートの1/8のフレームレートである2fpsのフレームレートの背景領域動画420を、画質低減前の背景領域動画420に含まれるフレーム画像を間引くことによって生成する。
同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画430については解像度比率およびフレームレート比率は1/4が定められており、特徴領域動画440については解像度比率およびフレームレート比率として1/2が定められており、特徴領域動画450については解像度比率およびフレームレート比率として1/1が定められている。これにより、画質低減部221bは、フレームレートが4fps、フレーム画像の解像度が18dpiの特徴領域動画430を生成する。また、画質低減部221cは、フレームレートが8fps、フレーム画像の解像度が36dpiの特徴領域動画440を生成する。また、画質低減部221dは、フレームレートが16fps、フレーム画像の解像度が72dpiの特徴領域動画450を生成する。
なお、上記の例では、画質低減部221が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部221は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。
なお、画質低減部221による画質低減に加えて、又は画質低減部221による画質低減に替えて、符号化部231がフレーム画像の画質を低減してもよい。例えば、符号化部231が、MPEG符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−dのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。
また、画質低減部221はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。
なお、以上の説明では、画像生成部205が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部205は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部211aが固定値化して、画質低減部221が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。
図6は、画像処理装置170の処理フローの一例を示す。圧縮動画取得部301は、画像処理装置120から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置100を識別する情報等を取得する(601)。そして、圧縮動画伸張部311は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画610を生成する(602a)。同時に、圧縮動画伸張部311は、動領域レイヤーを示す特徴領域動画620、人領域レイヤーを示す特徴領域動画630、および顔領域レイヤーを示す特徴領域動画640を生成する(602b、602c、および602d)。
合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像を合成する(603)。このとき、合成部303は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。
このとき、合成部303は、特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画610に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640のフレームレートが異なる場合には、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640の最新のフレーム画像を合成する。
これにより、合成部303は、合成フレーム画像を生成する。合成部303は、複数の合成フレーム画像を含む合成動画650を生成する。そして、出力部304は、圧縮動画取得部301が取得したタグ情報等に基づいて、合成動画を表示させる表示装置180を選択して、選択した表示装置180に合成動画を供給する(604)。
図7は、圧縮部240の構成の一例を示す。圧縮部240は、動画分割ユニット730及び画像比較ユニット740を有する。動画分割ユニット730は、背景領域動画分割部731a、特徴領域動画分割部731b−d(以下、特徴領域動画分割部731と総称する。)を有する。なお、背景領域動画分割部731a、特徴領域動画分割部731b−dを、動画分割部731と総称する場合がある。
画像比較ユニット740は、背景領域画像比較部741a、特徴領域画像比較部741b−d(以下、特徴領域画像比較部741と総称する。)を有する。なお、背景領域画像比較部741a、特徴領域画像比較部741b−dを、画像比較部741と総称する場合がある。
図8は、画像処理装置120がさらに有する圧縮制御ユニット800の構成の一例を示す。圧縮制御ユニット800は、特徴領域特定部810、対応領域特定部820、オブジェクト動き算出部830、適合度算出部840、条件格納部850、圧縮制御部860、及び包含領域特定部870を含む。包含領域特定部870は、境界領域特定部872、周辺領域特定部874、及び包含領域決定部876を持つ。
以下に、図7に示した圧縮部240及び図8で示した圧縮制御ユニット800が含む各構成要素の機能及び動作を、図2で説明した画像処理装置120の機能及び動作とともに説明する。
包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する。そして、固定値化部211は、複数の動画構成画像のそれぞれにおける包含領域以外の領域の画素値を固定値化する。そして、符号化部231は、固定値化された複数の動画構成画像を符号化する。
なお、固定値化部211は、複数のフレーム画像の間で、同じ位置の画素値を時間的に不変にすることが好ましい。また、固定値化部211は、一のフレーム画像内の包含領域以外の領域の画素値を同一にすることによって固定値化することが好ましい。また、固定値化部211は、一のフレーム画像内の包含領域以外の領域に含まれるブロック内の画素値を少なくとも同一にすることが好ましい。
画像比較部741は、固定値化された複数の動画構成画像のうち少なくとも1つの動画構成画像を、他の動画構成画像と比較する。そして、符号化部は、画像比較部741による比較結果に基づいて少なくとも1つの動画構成画像を符号化することにより、固定値化された複数の動画構成画像を符号化する。
動画分割部731は、動画を、複数の動画構成画像をそれぞれ含む複数の部分動画に分割する。具体的には、背景領域動画分割部731aは、画質低減部221aが画質を低減させた背景領域動画を分割する。また、特徴領域動画分割部731b、特徴領域動画分割部731c、及び特徴領域動画分割部731dのそれぞれは、画質低減部221b、221c、及び221dが画質を低減させた背景領域動画をそれぞれ分割する。
そして、包含領域特定部870は、複数の部分動画のそれぞれにおいて、部分動画に含まれる複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する。そして、固定値化部211は、複数の部分動画のそれぞれにおいて、部分動画に含まれる複数の動画構成画像における包含領域以外の領域の画素値を固定値化する。
そして、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。具体的には、背景領域画像比較部741aは、背景領域動画分割部731aが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。また、特徴領域画像比較部741bは、特徴領域動画分割部731bが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。同様に、特徴領域画像比較部741cは、特徴領域動画分割部731cが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。また、特徴領域画像比較部741dは、特徴領域動画分割部731dが分割した複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像を同じ部分動画に含まれる他の動画構成画像と比較する。
そして、符号化部231は、複数の部分動画のそれぞれにおいて、画像比較部741による比較結果に基づいて少なくとも1つの動画構成画像を符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。
なお、包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する、予め定められた部分領域の集合領域を、包含領域として特定する。そして、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数の部分領域毎に、同じ部分動画に含まれる他の動画構成画像と比較する。そして、符号化部231は、複数の部分動画のそれぞれにおいて、画像比較部741による比較結果に基づいて少なくとも1つの動画構成画像を部分領域毎に圧縮することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。
具体的には、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数の部分領域毎に、同じ部分動画に含まれる他の動画構成画像に含まれる画像との間の画像の差分量を算出する。そして、符号化部231は、複数の部分動画のそれぞれにおいて、画像比較部741が算出した差分量に基づいて少なくとも1つの動画構成画像を部分領域毎に符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。
画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数の部分領域毎に同じ部分動画に含まれる他の動画構成画像と比較して、部分領域との間の画像の差分量が予め定められた値より小さい領域である他の動画構成画像における差分対象領域を特定し、特定した差分対象領域との間の画像の差分量を算出する。
符号化部231は、画像比較部741が算出した差分量及び差分対象領域の位置と部分領域の位置との間の差に基づいて少なくとも1つの動画構成画像を部分領域毎に符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎に符号化する。なお、差分対象領域の位置と部分領域の位置との間の差は、一例としてMPEG符号化における移動ベクトルであってよい。
なお、包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する、MPEG符号化におけるブロックの集合領域を、包含領域として特定する。そして、画像比較部741は、複数の部分動画のそれぞれにおいて、少なくとも1つの動画構成画像に含まれる複数のブロック又はマクロブロック毎に、同じ部分動画に含まれる他の動画構成画像と比較して、動きベクトル及び画像の差分量を算出する。
そして、符号化部231は、画像比較部741が算出した動きベクトル及び画像の差分量に基づいて少なくとも1つの動画構成画像をブロック及びマクロブロック毎に符号化することにより、固定値化された複数の動画構成画像を複数の部分動画毎にMPEG符号化する。なお、包含領域特定部870は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する、MPEG符号化におけるマクロブロック又はスライスの集合領域を、包含領域として特定してもよい。
境界領域特定部872は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する複数の部分領域のうち、特徴領域及び特徴領域以外の境界をともに含む部分領域である境界領域を特定する。周辺領域特定部874は、境界領域に隣接し、特徴領域を含まない、部分領域の集合領域を部分領域である周辺領域を特定する。そして、包含領域決定部876は、特徴領域を含み特徴領域以外の領域を含まない部分領域、境界領域、及び周辺領域を、包含領域として決定する。
なお、周辺領域特定部874は、境界領域特定部872が特定した境界領域のうち、画像比較部741により比較される対象である他の動画構成画像から特定された特徴領域を含む境界領域を特定してよい。そして、周辺領域特定部874は、当該特定した境界領域に隣接し、当該特定した特徴領域を含まない部分領域を、周辺領域として特定してよい。
なお、圧縮動画取得部201は、複数の撮像装置100のそれぞれにより撮像された複数の画像を取得する。なお、圧縮動画取得部201は、この発明における画像取得部の一例であってよい。そして、特徴領域検出部203は、複数の画像のうちの一の画像から、特徴領域を検出する。そして、対応領域特定部820は、特徴領域に含まれる被写体と同じ被写体を含むべき対応領域を、一の画像の他の画像において特定する。そして、特徴領域特定部810は、対応領域特定部820が特定した他の画像における対応領域から、他の画像における特徴領域を特定する。
なお、特徴領域特定部810は、対応領域特定部820が特定した対応領域を、他の画像における特徴領域として特定してよい。他にも、特徴領域特定部810は、対応領域特定部820が特定した対応領域から、他の画像における特徴領域を抽出してよい。
圧縮動画取得部201は、複数の撮像装置100のそれぞれにより撮像された複数の動画のそれぞれに含まれる複数の動画構成画像を取得する。そして、特徴領域検出部203は、複数の動画のうちの一の動画に含まれる複数の動画構成画像から特徴領域を検出する。そして、対応領域特定部820は、特徴領域に含まれる被写体と同じ被写体を含むべき、他の動画に含まれる複数の動画構成画像における対応領域を特定する。
そして、特徴領域特定部810は、対応領域特定部820が特定した他の動画に含まれる動画構成画像における対応領域から、他の動画に含まれる動画構成画像における特徴領域を特定する。なお、特徴領域特定部810は、特徴領域検出部203が検出した特徴領域の画像における位置と、複数の撮像装置が複数の画像を撮像したときの撮像範囲のそれぞれとに基づいて、対応領域を特定してよい。
なお、適合度算出部840は、特徴領域検出部203が検出した特徴領域の画像の画像内容及び特徴領域特定部810が特定した特徴領域の画像の画像内容のそれぞれが予め定められた条件に適合する適合度を算出する。そして、圧縮部240は、特徴領域検出部203が検出した特徴領域及び特徴領域特定部810が特定した特徴領域のうち、適合度算出部840がより大きい適合度を算出した特徴領域の画像を含む特徴領域動画をより小さい強度で圧縮する。
条件格納部850は、特徴領域として特定されるべき領域の画像内容が適合すべき条件を格納する。そして、特徴領域検出部203は、画像取得部が取得した複数の画像のうちの一の画像の画像内容に基づいて、条件格納部850が格納している条件に適合する領域を特徴領域として特定する。そして、特徴領域特定部810は、対応領域特定部820が特定した対応領域の画像の画像内容に基づいて、条件格納部850が格納している条件より緩和された条件に適合する領域を、特徴領域として抽出してよい。
なお、オブジェクト動き算出部830は、特徴領域検出部203が検出した特徴領域に含まれるオブジェクトの動きを特定する。そして、対応領域特定部820は、オブジェクト動き算出部830が算出したオブジェクトの動きと一致する動きを示すオブジェクトを含む、他の動画に含まれる領域を、他の動画に含まれる複数の動画構成画像における対応領域として特定してもよい。
図9は、対応領域特定部820が特定した対応領域の一例を示す。画像処理装置120aの特徴領域検出部203は、例えば撮像装置100aが撮像した撮像動画から生成されたフレーム画像910から、ROI領域912を特定したとする。このとき、画像処理装置120bの対応領域特定部820は、フレーム画像910におけるROI領域912を示す情報を画像処理装置120aから取得する。そして、画像処理装置120bの対応領域特定部820は、撮像装置100bが撮像した撮像動画から生成されたフレーム画像920から、フレーム画像910におけるROI領域912に写っているオブジェクトが示す被写体と同じ被写体を含むべき領域922を特定する。
このとき、画像処理装置120bの対応領域特定部820は、撮像装置100aが撮像する撮像範囲及び撮像装置100bが撮像する撮像範囲を示す情報を取得する。そして、画像処理装置120bの対応領域特定部820は、取得した情報及びフレーム画像910におけるROI領域912の位置に基づいて、領域922を特定してよい。そして、画像処理装置120bの特徴領域特定部810は、対応領域特定部820が特定した領域922を含む領域924から、ROIを検出する。なお、画像処理装置120bの特徴領域特定部810は、対応領域特定部820が特定した領域922を、フレーム画像920におけるROIとして特定してよい。
なお、画像処理装置120bの特徴領域検出部203は、フレーム画像920を含む撮像動画を撮像した撮像装置100bの撮像範囲と、撮像装置100b以外の撮像装置100a又は撮像装置100cの撮像範囲とが重なる範囲を特定して、特定した範囲の被写体が撮像されているフレーム画像920上の領域である重複撮像領域を特定する。そして、画像処理装置120bの特徴領域検出部203は、フレーム画像920における重複撮像領域以外の領域からROIを検出してよい。そして、画像処理装置120bは、特徴領域検出部203が検出したROIを、他の画像処理装置120の対応領域特定部820に通知してよい。そして、画像処理装置120bの特徴領域特定部810が、重複撮像領域の領域からROIを検出してよい。
このように、特徴領域特定部810は、一の撮像装置100が撮像した撮像動画から生成されたフレーム画像から検出されたROIの位置に基づいて、他の撮像装置100が撮像した撮像動画から生成されたフレーム画像におけるROIを検出する。これにより、ROIを検出するのに要する時間を短縮することができる場合がある。
図10は、条件格納部850が格納しているデータの一例をテーブル形式で示す。条件格納部850は、頭部形状一致度及び顔要素一致度を格納する。頭部形状一致度は、人物の頭部の輪郭形状として予め定められた頭部形状パターンと、フレーム画像からエッジ抽出等により抽出されたオブジェクトの輪郭との間の一致度を示す。
また、顔要素一致度は、人物の顔に含まれる目、口、鼻等のオブジェクトの輪郭形状を含む顔パターンと、フレーム画像からエッジ抽出等により抽出されたにオブジェクトの輪郭との間の一致度を示す。なお、それらのパターンとオブジェクトの輪郭との間の一致度は、パターンとオブジェクトの輪郭とを重ね合わせた場合における、パターン又はオブジェクトの面積に対する、パターンとオブジェクトとが重なる面積の割合であってよい。
そして、特徴領域検出部203は、頭部形状一致度が条件格納部850が格納している頭部形状一致度より大きく、顔要素一致度が条件格納部850が格納している顔要素一致度より大きいオブジェクトを、人物を示すオブジェクトとして特定する。そして、特徴領域検出部203は、特定したオブジェクトを含む領域をROIとして決定する。
なお、ここでは特徴領域検出部203が条件格納部850が格納している条件に基づいてROIを検出する動作を説明したが、特徴領域特定部810も、特徴領域検出部203と同様にして、条件格納部850が格納している条件に基づいて領域924からROIを検出してよい。
図11は、オブジェクト動き算出部830が算出したオブジェクトの動きの一例を示す。オブジェクト動き算出部830は、複数のフレーム画像のそれぞれが撮像されたタイミング及び複数のフレーム画像におけるROIに含まれるオブジェクトの位置に基づいて、オブジェクトが動く速度を算出する。なお、複数の画像処理装置120のそれぞれのオブジェクト動き算出部830が、それぞれオブジェクトが動く速度を算出する。このようにして、オブジェクト動き算出部830は、速度の時間変化1110及び1120を算出する。なお、時間変化1110は、一の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化を示し、時間変化1120は、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化を示す。
そして、圧縮制御部860は、オブジェクト動き算出部830が算出した速度の時間変化と、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化とを比較して、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化と予め定められた一致度より大きい一致度で一致する速度の時間変化で動くオブジェクトを特定する。具体的には、圧縮制御部860は、それぞれの速度の時間変化に基づいて速度が変化するタイミングを特定して、特定したタイミングの差が小さいほど、より大きい一致度を算出してよい。なお、以下の説明では、当該オブジェクトを一致オブジェクトと呼ぶ。また、他の画像処理装置120において抽出された、速度の時間変化が一致オブジェクトの速度の時間変化と予め定められた一致度より大きい一致度で一致するオブジェクトを、対応オブジェクトと呼ぶ。
そして、圧縮制御部860は、適合度算出部840が算出した適合度が、他の画像処理装置120の適合度算出部840が対応オブジェクトを含むROIに対して算出した適合度より大きい場合に、一致オブジェクトを含むROIを圧縮する圧縮強度としてより小さい圧縮強度を決定する。具体的には、圧縮制御部860は、一致オブジェクトを含むROIを圧縮する圧縮強度として、他の画像処理装置120の圧縮部240が対応オブジェクトを含むROIを圧縮する圧縮強度よりも小さい圧縮強度を決定する。そして、圧縮制御部860は、決定した圧縮強度で圧縮部240に圧縮させる。
なお、圧縮制御部860は、他の画像処理装置120から、他の画像処理装置120の適合度算出部840が算出した適合度及び他の画像処理装置120のオブジェクト動き算出部830が算出した速度を取得することによって、上記処理を行ってよい。また、対応領域特定部820は、オブジェクト動き算出部830が算出した速度の時間変化と、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化とを比較して、他の画像処理装置120のオブジェクト動き算出部830が算出した速度の時間変化と予め定められた一致度より大きい一致度で一致する速度の時間変化で動くオブジェクトを含む領域を、同じ被写体を含むべきROIとして決定してよい。
このように、圧縮制御部860は、他の画像処理装置120によって検出されたROIと同じ被写体を含むROIの圧縮強度を、条件格納部850が格納している条件に適合する適合度が高いほど低くし、条件格納部850が格納している条件に適合する適合度が低いほど高くする。このような制御により、画像処理装置120は、他の撮像装置100によって同じ被写体が撮像されている場合に、当該被写体を示すオブジェクトを含むROIを圧縮する圧縮強度を、適合度に応じて動的に増減させることができる。これにより、複数の撮像装置100で同じ被写体が写っているにもかかわらず圧縮強度を変化させない場合に比べて、複数の画像処理装置120から出力される動画データの合計のデータ量を低減しながら、注目すべき被写体のより高画質な画像を提供することができる場合がある。
図12は、画像処理装置120のそれぞれが出力する動画データのデータ量の時間発展の一例を示す。既に説明したようにして、複数の画像処理装置120のそれぞれは、被写体の画像内容に応じて動的に圧縮強度を増減させることができる。ここで、複数の画像処理装置120が出力する動画データの合計のデータ量は、予め定められていてよい。例えば、複数の画像処理装置120が出力する動画データの合計の符号量が予め定められてよい。
このような場合、圧縮制御部860は、合計のデータ量を予め定められた量にすべく、特徴領域動画及び背景領域動画を圧縮する圧縮強度を決定する。具体的には、圧縮制御部860は、既に説明した適合度、ROIの種類、検出されたROIの数、検出されたROIの面積、検出されたROIの位置、ROIに含まれる人物の向き、ROIに含まれるオブジェクトの形、ROIに含まれるオブジェクトの種類等に対応づけて予め定められたROIの種類毎の割り当て符合量を、複数の特徴領域動画及び背景領域動画のそれぞれを符号化する場合の割り当て符合量として決定する。
そして、圧縮制御部860は、予め定められた符号量を、決定した割り当て符合量の合計値で除した値を算出する。そして、圧縮制御部860は、算出した値を係数として、複数の特徴領域動画及び背景領域動画のそれぞれを符号化する場合の割り当て符合量に乗じる。圧縮制御部860は、係数を乗ずることにより得られた値を、複数の特徴領域動画及び背景領域動画のそれぞれを符号化する場合の割り当て符合量として決定する。これにより、複数の画像処理装置120が出力する動画データの符号量の合計値を略一定にすることができる。なお、割り当て符号量は、VBVバッファ量を指標とするものであってよい。
このように、圧縮部240は、特徴領域検出部203が検出した特徴領域の画像を含む特徴領域動画が持つ符号量及び特徴領域特定部810が特定した特徴領域の画像を含む特徴領域動画が持つ符号量の合計値を予め定められた範囲内にすべく、特徴領域検出部203が検出した特徴領域の画像を含む特徴領域動画及び特徴領域特定部810が特定した特徴領域の画像を含む特徴領域動画のそれぞれを圧縮する強度を調整する。
図13は、包含領域特定部870が特定する包含領域の一例を示す。ここでは、特徴領域検出部203が検出したROIの輪郭の一部を、符号1370で示す。そして、ROI内部及びROIの輪郭の近辺のマクロブロックを、マクロブロック1301−1304、マクロブロック1311−1315、マクロブロック1321−1326、マクロブロック1331−1337、マクロブロック1341−1347、マクロブロック1351−1357で示す。
境界領域特定部872は、特徴領域検出部203が検出したROIの輪郭1370を含むマクロブロック1311、1312、1313、1323、1324、1334、1335、1345、及び1355を特定する。なお、周辺領域特定部874は、境界領域特定部872が特定したマクロブロックに隣接する、ROIを含まないマクロブロック1301−1303、1314、1325、1336、1346、及び1356を特定する。そして、包含領域決定部876は、輪郭1370内の領域を少なくとも含むマクロブロックの他に、周辺領域特定部874が特定したマクロブロック1301−1303、1314、1325、1336、1346、及び1356を含む領域を、包含領域として決定する。このようにして、包含領域特定部870は、輪郭1380で示される包含領域の境界を特定する。
このように、包含領域特定部870は、1以上のマクロブロックよりなる周辺領域を、包含領域に含める。そして、固定値化部211は、包含領域以外の領域を固定値化する。これにより、包含領域内のマクロブロックが、固定値化部211によって固定値化された領域との間で差分がとられて符号化される可能性を低減することができる場合がある。したがって、固定値化することで符号化後の動画データのデータ量がかえって増大してしまうことを未然に防ぐことができる場合がある。
なお、固定値化部211は、包含領域内における平均的な輝度値又は平均的な色で、包含領域外の画素値を固定値化してもよい。これにより、包含領域内のマクロブロックを符号化する場合に、包含領域内のマクロブロックの画素値が、固定値化された領域の画素値との間で差分がとられたとしても、差分値の大きさを低減することができる。
なお、マクロブロックは、この発明における部分領域の一例であってよい。他にも、この発明における部分領域は、ブロック及びスライス等であってよい。また、部分領域がスライスである場合には、包含領域決定部876は、X方向に連続する複数のマクロブロックよりなるスライスのうち、ROIを含むスライスを含む領域を、包含領域として決定してよい。また、包含領域決定部876は、ROIを含むX方向に連続する複数のマクロブロックのうちの一部よりなるスライスのうち、ROIを含むスライスを含む領域を、包含領域として決定してもよい。このように、包含領域決定部876は、ブロック単位、マクロブロック単位、又はスライス単位、並びにその組合せの集合領域を、包含領域として決定してよい。
なお、包含領域決定部876は、例えばMPEG符号化におけるIピクチャ又はPピクチャとして符号化されるフレーム画像に含まれるROIの周辺領域を含む領域を、包含領域として決定してよい。また、包含領域決定部876は、Bピクチャに符号化されるフレーム画像については、ROIにおいて境界領域特定部872が特定した境界領域を含む領域を、包含領域として決定してもよい。
図14は、包含領域特定部870が特定した包含領域の一例を示す。包含領域特定部870は、1GOPとして符号化すべき複数のフレーム画像のそれぞれから特徴領域検出部203が検出した複数のROIを重ね合わせた包含領域を特定する。なお、このとき、包含領域特定部870は、1GOPに含まれる複数のフレーム画像から特徴領域検出部203が検出したROIを重ね合わせる。このように、包含領域特定部870は、GOP毎に固定された包含領域を特定する。なお、包含領域特定部870は、図13に関連して説明したように、周辺領域を含む領域を包含領域として特定してよい。
このように、包含領域特定部870がGOP毎に包含領域を特定して、固定値化部211が包含領域以外の領域を固定値化する。このため、固定値化によるデータ量の低減だけでなく、図13に関連して説明したように符号化後のデータ量を著しく低減することができる場合がある。このため、符号化部231の機能を汎用の符号器で実装したとしても、データ量を効果的に低減することができる場合がある。このため、符号化部231の機能をROI領域を符号化するのに特化した符号器で実装する場合に比べて、画像処理装置120のコストを著しく削減することができる場合がある。
図15は、画像処理装置120及び画像処理装置170のハードウェア構成の一例を示す。画像処理装置120及び画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、画像処理装置120を、図1から図13に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化部211、画質低減部221、符号化部231、対応付け処理部206、出力部207、**として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図13に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、合成部303、及び出力部304として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120及び画像処理装置170に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。