本発明は、解像度または画質の異なる動画像を符号化画像データストリームから生成する技術に関する。以下、本発明の好適な実施の形態を説明する。実施の形態では、画像処理としてMotion−JPEG2000に準拠した符号化画像データストリームを復号する画像処理装置を例として考える。
初めに、図1を参照して、動画像をMotion−JPEG2000方式により符号化する方法について簡単に説明する。図示しない画像符号化装置は、動画像の各フレームをフレーム単位で連続的に符号化して、動画像の符号化データストリームを生成する。符号化処理の開始に当たり、動画像の1フレームに相当する原画像OI(Original Image)102がフレームバッファに読み込まれる。フレームバッファに読み込まれた原画像OIは、ウェーブレット変換器により階層化される。
JPEG2000におけるウェーブレット変換器は、Daubechiesフィルタを利用する。このフィルタは、画像のx、yそれぞれの方向において同時にハイパスフィルタおよびローパスフィルタとして作用し、ひとつの画像を4つの周波数サブバンドへ分割する。これらのサブバンドは、x、yの両方向において低周波成分を有するLLサブバンドと、x、yのいずれか一方向において低周波成分を有し、かつ他方向において高周波成分を有するHLサブバンドおよびLHサブバンドと、x、yの両方向において高周波成分を有するHHサブバンドである。また、このフィルタは、x、yの両方向について画素数を1/2に軽減する作用も併せ持つ。つまり、各サブバンドの縦横の画素数は処理前の画像のそれぞれ1/2であり、一回のフィルタリングで解像度すなわち画像サイズが1/4のサブバンド画像が得られる。本明細書においては、原画像OIに対して1回ウェーブレット変換を受けた画像を第1階層の画像WI1と呼び、以下、ウェーブレット変換を受けた回数に応じて第n階層の画像WInと呼ぶことにする。
図1に模式的に示すように、第1階層の画像WI1 104には、4つのサブバンドLL1、HL1、LH1、HH1が生成される。第1階層の画像WI1104にウェーブレット変換が施されて、第2階層の画像WI2 106が生成される。ここで、2回目以降のウェーブレット変換は、直前の階層の画像のうちLLサブバンド成分に対してのみ施される。したがって、第2階層の画像WI2106においては、第1階層の画像WI1のLL1サブバンドが、4つのサブバンドであるLL2、HL2、LH2、HH2に分解される。ウェーブレット変換器は、このフィルタリングを所定の回数実行し、各サブバンドのウェーブレット変換係数を出力する。画像符号化装置は、この後量子化その他の処理を施して、最終的に符号化画像データCI(Coded Image)を出力する。
説明の簡単のために、この例では、画像符号化装置は、原画像OIに対してウェーブレット変換を3回施すものとする。したがって、例えば、原画像OI 102が1440×960ピクセルであったとすると、第1階層の画像WI1104のLL1サブバンドのサイズは720×480、第2階層の画像WI2 106のLL2サブバンドは360×240、第3階層の画像WI3108のLL3サブバンドのサイズは180×120である。
階層化された画像について注意すべきは、原画像OIにおける低周波成分が、図1において、より左上に現れることである。図1の場合、第3階層の画像WI3の左上隅にあるLL3サブバンドがもっとも低周波であり、逆に言えば、このLL3サブバンドさえ得ることができれば、原画像OIのもっとも基本的な性質を再現することができる。この知見が、以下の実施形態で利用される。
符号化データストリームは、Motion−JPEG2000以外にも、例えば、1つのストリームにおいて高画質のHDストリームと低画質のSDストリームを併せ持ったようなSVC(Scalable Video Codec)でもよいし、Motion−JPEGでもよい。JPEGでは、各フレームがフーリエ係数の低次項から送信されてくるので、どの次数の項まで使用して復号するかによって画質を選択することができる。
第1の実施形態.
第1の実施形態は、解像度によって階層化された符合化画像データストリームを受け取り、複数の表示装置に異なる解像度の動画像を提供することを可能にする画像処理装置である。
図2は、第1の実施形態に係る画像処理装置100の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされた復号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
画像処理装置100の復号ユニット150には、符号化画像データCIのストリームが入力される。復号ユニット150は、符号化画像データCIを受け取り、そのデータストリームを解析するストリーム解析部10と、解析の結果判明した復号すべきデータ列に対して算術復号を施す算術復号部12と、その結果得られたデータを色コンポーネント毎にビットプレーンの形で復号するビットプレーン復号部14と、復号された量子化データを逆量子化する逆量子化部18と、逆量子化の結果得られた第n階層の画像WInにウェーブレット逆変換を施すウェーブレット逆変換部20を含む。符号化画像データCIに対してウェーブレット逆変換部20によりウェーブレット逆変換を施す毎に、より上位階層の画像が得られ、最終的に復号画像データDI(Decoded Image)を得ることができる。
本実施形態は、ウェーブレット逆変換部20において復号画像DIを得るウェーブレット逆変換の途中で生じる第n階層の画像を、低解像度フレームバッファ30に出力する点に特徴がある。画像処理装置100は、低解像度の動画像を表示する低解像度表示装置36および高解像度の動画像を表示する高解像度表示装置46に対して、それぞれの解像度にあった画像データを提供するように動作する。そのために、メモリ制御部22は、低解像度表示装置36および高解像度表示装置46で表示する動画像の解像度情報を取得し、符号化画像CIに対して何回ウェーブレット逆変換を施したものがそれぞれの解像度に相当するかを判断して、その結果をウェーブレット逆変換部20に伝える。ウェーブレット逆変換部20は、この情報にしたがって、ウェーブレット逆変換処理の途中における第n階層の画像WInのLLサブバンドか、または完全な復号結果である復号画像データDIを、低解像度フレームバッファ30または高解像度フレームバッファ40に書き込むようにする。この動作については、図5を参照して後述する。なお、低解像度フレームバッファ30と高解像度フレームバッファ40は便宜的な区別であり、必ずしも異なるバッファサイズを有している必要はない。
低解像度フレームバッファ30に書き込まれた画像データは、低解像度表示回路32によって表示信号に生成され、低解像度表示装置36に表示される。同様に、高解像度フレームバッファ40に書き込まれた画像データは、高解像度表示回路42によって表示信号に生成され、高解像度表示装置46に表示される。このように、画像処理装置100によれば、符号化画像データストリームを利用して、解像度の異なる動画像を複数の表示装置に同時に表示することが可能となる。
低解像度表示回路32または高解像度表示回路42のいずれか、またはその両方が、解像度変換部34、44を備えていてもよい。これによって、復号ユニット150におけるウェーブレット逆変換処理で得られる解像度が、各表示装置36、46に表示させる動画像の解像度と異なるものであったときに、最も近い解像度を持つ階層の画像まで復号し、その後、解像度変換部34、44によって、所望の解像度に変換することができる。これら解像度変換部34、44はオプショナルなものであり、ウェーブレット逆変換処理で得られる解像度以外の解像度を有する動画像を表示することを望まないのであれば、低解像度表示回路32または高解像度表示回路42は、それぞれ解像度変換部34、44を備えていなくてもよい。
図3は、復号ユニット150における処理手順を示す。ここでは、上述したように、原画像OIに対して3回のウェーブレット変換を施した符号化画像データのストリームが画像処理装置100に与えられたものとして説明する。
まず、画像処理装置100に入力された符号化画像データCIは、ストリーム解析部10、算術復号部12、ビットプレーン復号部14および逆量子化部18の処理を経て、第3階層の画像WI3122の状態に戻る。続いて、ウェーブレット逆変換部20による第1回目のウェーブレット逆変換により、第2階層の画像WI2 124が得られ、2回目のウェーブレット逆変換によって第1階層に相当する画像WI1126が得られ、最後に、3回目のウェーブレット逆変換によって復号画像DI 128が得られる。
ところで、上述したように、各階層のLLサブバンドは、その階層の画像の中での低周波数成分を抽出したものであり、さらにサイズが直前の階層の画像の1/4になっていることから、これらは原画像OIに比べて低解像度の画像ということができる。したがって、一例として、2回目のウェーブレット逆変換によって得られた第1階層の画像WI1126のLL1サブバンド(720×480)を低解像度の画像データとして低解像度フレームバッファ30に出力し、3回目のウェーブレット逆変換によって得られた復号画像DI(1440×960)を高解像度の画像データとして高解像度フレームバッファ40に出力することができる。ウェーブレット変換を施すことによって画像のx、y方向はそれぞれサイズが1/2になるのであるから、画像符号化装置のウェーブレット変換器によって施されるウェーブレット変換の回数が多いほど、より多種類の解像度を有する動画像の表示に対応することができる。
図4は、各フレームから解像度の異なる動画像を生成することを説明する概念図である。メモリ制御部22からの指令に基づいて、ウェーブレット逆変換部20は、各符号化画像フレームに対して必要な復号処理を施して、低解像度の画像を低解像度フレームバッファ30に出力し、高解像度の画像を高解像度フレームバッファ40に出力する。そして、低解像度または高解像度の画像を所期のフレームレートで連続して出力することで、同一の符号化画像データストリームから低解像度または高解像度の動画像が形成される。
図5は、メモリ制御部22の動作を説明するフローチャートである。まず、メモリ制御部22は、低解像度表示装置36および高解像度表示装置46で表示する動画像の解像度情報を取得する(S10)。代替的に、それぞれの表示装置で表示する動画像の解像度の情報をユーザに入力させるようにしてもよい。次に、メモリ制御部22は、低解像度表示装置36で表示する低解像度画像が、符号化画像CIに対して第何階層のLLサブバンドが相当するかを判定する(S12)。続いて、メモリ制御部22は、高解像度表示装置46で表示する高解像度画像が、第何階層の画像のLLサブバンドに相当するか、または、完全に復号した復号画像DIに相当するのかを判定する(S14)。そして、メモリ制御部22は、ウェーブレット逆変換部20に、それぞれS12およびS14で判定された階層の画像を得るウェーブレット逆変換処理が終了した時点で、サブバンド画像LLまたは復号画像DIを、低解像度フレームバッファ30または高解像度フレームバッファ40に書き込むように指令する(S16)。当然であるが、画像処理装置から画像データを出力すべき表示装置が1つしかないような場合には、低解像度フレームバッファ30または高解像度フレームバッファ40のいずれか一方を使用すればよい。
先に述べたように、JPEG2000では、LLサブバンドの解像度は、原画像に対して縦1/2、横1/2ずつ減少していくので、所望の表示装置の解像度と一致する適切な解像度の画像が得られない場合もありえる。そこで、メモリ制御部22は、S12またはS14において適切な解像度が得られないと判定した場合には、低解像度表示回路32または高解像度表示回路42にそれぞれ設けられている解像度変換部34、44に指令して、適宜解像度の補間処理を実行させるようにしてもよい。
また、画像処理装置100は、フレームバッファの数を増加することによって、三台以上の表示装置にそれぞれ異なる解像度の動画像を表示させることもできる。例えば、上述の例を使用すれば、1回目のウェーブレット逆変換によって得られた第2階層の画像WI2124のLL2サブバンド(360×240)を低解像度フレームバッファに、2回目のウェーブレット逆変換によって得られた第1階層の画像WI1126のLL1サブバンド(720×480)を中解像度フレームバッファに、3回目のウェーブレット逆変換によって得られた復号画像DI 128(1440×960)を高解像度フレームバッファに、それぞれ出力させ、対応する表示回路によって低解像度、中解像度、高解像度の動画像を表示装置に表示させることができる。
以上説明したように、この第1の実施形態によれば、単一の符号化画像データストリームを使用して、解像度の異なる動画像を2つ以上の表示装置に同時に表示させることができる。従来は、目的とする解像度に応じてそのつど復号されていたのに対し、復号処理の途中の段階の画像をフレームバッファに出力させることで、単一の復号ユニットで複数の解像度の画像データを生成することができ、効率的である。
第2の実施形態.
図6は、第2の実施形態に係る画像表示装置200の構成を示す。画像表示装置200は、ディスプレイ、プロジェクタなどである高解像度の動画像を表示する第1の表示装置222と低解像度の動画像を表示する第2の表示装置224の2つの表示装置を備える。
処理ブロック210の画像デコーダ212は、CPU214およびメモリ216と連携し、入力される符号化画像データストリームを連続的に復号する。画像デコーダ212は、第1の実施形態の画像処理装置100の構成を持つ。そして、高解像度の画像データが表示回路218を介して第1の表示装置222に出力され、低解像度の画像データが表示回路220を介して第2の表示装置224に出力される。各画面には、画像デコーダ212により復号された画像データが所与のフレームレートで連続的に表示され、動画像が再生される。処理ブロック210は、無線または有線のネットワークの通信インタフェースを経由して符号化画像データストリームを取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像データストリームを取得してもよい。
この画像表示装置200により、例えば以下のような動作を実現することができる。
1.飛行機の機内上映
飛行機の機内において、キャビンの前方に大画面のスクリーンを、各シートの背面に個人用の小型の液晶ディスプレイを備えている場合、単一の符号化画像データストリームを準備するのみで、スクリーンと液晶ディスプレイの両方で動画像を再生することが可能となる。
2.プレゼンテーション
プレゼンテーション時に、単一の符号化画像データストリームを準備すれば、プロジェクタにより投影される大画面のスクリーンとPCの画面の両方に動画像を再生することが可能となる。
3.二画面携帯電話
メインディスプレイとサブディスプレイを有する携帯電話機に上記画面表示装置を組み込むことによって、単一の符号化画像データストリームを受信して、メインディスプレイとサブディスプレイの両方で動画コンテンツを再生させることが可能となる。
なお、画像表示装置200は、目的に応じて、それぞれ解像度の異なる動画像を表示する表示装置を3つ以上備えることもできることはいうまでもない。
第3の実施形態.
第3の実施形態は、解像度または画質によって階層化された画像ストリームを復号して表示装置に表示する画像処理装置において、ユーザにより画像の一部の領域の画質を向上させるように指令されたときに、処理量が画像処理装置の最大能力を越えないように制御する画像処理装置である。
図7は、第3の実施形態に係る画像処理装置300の構成を示す図である。画像処理装置300は、符号化画像データCIのストリームが入力され、画像を復号する復号ユニット310と、ユーザにより画像中に指定される注目領域に関する処理を実行する領域指定ユニット320とを含む。復号ユニット310に含まれるストリーム解析部10、算術復号部12、ビットプレーン復号部14、逆量子化部18、ウェーブレット逆変換部20は、第1の実施形態で述べたものと同様である。
復号ユニット310により復号された画像データは、表示回路60によって表示装置62に表示される。ユーザは、図示しないポインティングデバイス等の入力装置を使用して、画像中で画質を上げて再生したい領域(以下、これを「注目領域ROI(Region of Interest)」と呼ぶ)を指定する。すると、領域指定ユニット320中の位置情報作成部50は、注目領域ROIの位置を示すROI位置情報を作成する。このROI位置情報は、注目領域ROIが矩形で指定された場合は、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられる。ユーザによる注目領域ROIの指定が円などで行われた場合には、その外接長方形を注目領域と設定してもよい。注目領域は、原画像の中心領域などあらかじめ定まった領域に常に設定されるようにしてもよい。
判定部52は、作成されたROI位置情報に基づいて、注目領域を高画質化するのに必要なデータ処理の増加量を計算し、現時点での処理量と加えた復号処理全体の処理量が、画像処理装置300の最大処理能力以下に収まるか否かを判定する。画質指示部54は、この判定結果に基づいて、注目領域の高画質化の許否、または注目領域以外の領域(以下、これを「通常領域」と呼ぶ)の低画質化を決定し、その指示をROIマスク生成部56に出力する。この処理の詳細は、図11または図14を参照して後述する。
ROIマスク生成部56は、位置情報作成部50からのROI位置情報をもとにして、ウェーブレット変換係数のうち注目領域に対応する部分を特定するためのROIマスクを生成する。生成されたROIマスクは、下位ビットゼロ置換部58によって、前記ウェーブレット変換係数のビット列のうち、ゼロ値に置換する下位ビット数を調整するために使用される。これを逆ウェーブレット変換することで、注目領域を高画質化した画像を得ることができる。これについては後述する。
ここで、図8(a)〜(c)を参照して、ROIマスク生成部56により、ROI位置情報をもとにROIマスクを生成する方法について説明する。図8(a)に示すように、画像処理装置300によって復号され表示された画像80上に、ユーザによって注目領域90が指定されたとする。ROIマスク生成部56は、画像80上に選択された注目領域90を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。
図8(b)は、画像80を1回だけウェーブレット変換することにより得られる第1階層の変換画像82を示す。第1階層の変換画像82は、第1レベルの4つのサブバンドLL1、HL1、LH1、HH1から構成される。ROIマスク生成部56は、画像80の注目領域90を復元するために必要な第1階層の変換画像82上のウェーブレット変換係数(以下、これを「ROI変換係数」と呼ぶ)91〜94を第1レベルの各サブバンドLL1、HL1、LH1、HH1において特定する。
図8(c)は、図8(b)の変換画像82のサブバンドLL1をさらにウェーブレット変換することにより得られる第2階層の変換画像84を示す。第2階層の変換画像84は、同図のように、第1レベルの3つのサブバンドHL1、LH1、HH1の他、第2レベルの4つのサブバンドLL2、HL2、LH2、HH2を含む。ROIマスク生成部56は、第1階層の変換画像82のサブバンドLL1におけるROI変換係数91を復元するために必要な第2階層の変換画像84上のウェーブレット変換係数、すなわちROI変換係数95〜98を第2レベルの各サブバンドLL2、HL2、LH2、HH2において特定する。
同様にして、ウェーブレット変換の回数だけ注目領域90に対応するROI変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、注目領域90を復元するために必要なROI変換係数をすべて特定することができる。ROIマスク生成部56は、この最終的に特定されたROI変換係数の位置を最終階層の変換画像上で特定するためのROIマスクを生成する。たとえば、ウェーブレット変換を2回だけ行う場合には、図8(c)において斜線で示した7個のROI変換係数92〜98の位置を特定することのできるROIマスクが生成される。
次に、図9、図10を参照して、注目領域を高画質化する方法について説明する。なお、ここでは、図9(a)に示すように、符号化画像データCIがMSB(Most Significant Bit)からLSB(Least Significant Bit)までの5ビットプレーンで構成されているものとする。
画像処理装置300は、ユーザにより注目領域が指定されていない通常時には、処理負荷を減らすために、ウェーブレット変換係数の下位のビットプレーンを適宜破棄して再生する簡易再生を行っている。このときの画質を「中画質」と呼ぶことにする。この場合、下位ビットゼロ置換部58は、図9(b)に示すように、ビットプレーン復号部14により復号されたビットプレーンのうち、例えば下位2ビット分をゼロに置換して、3ビットプレーンだけ復号されるようにする。この状態から注目領域だけを高画質とするためには、注目領域についてだけ、より多数のビットプレーンを復号するようにすればよい。
図10(a)〜(c)は、注目領域を高画質化する処理の一例を示す。図10(a)に示すように、簡易再生時は、下位ビットゼロ置換部58によってLSB側から下位2ビットがゼロ置換されている。ROIマスク生成部56は、ユーザにより注目領域が指定されると、その注目領域に対応するROIマスクを生成する。その様子を、図10(b)の斜線で示す。そして、図10(c)に示すように、下位ビットゼロ置換部58は、ROIマスクを参照して、ROIマスクされていない非ROI部分の下位2ビットのみをゼロに置換したウェーブレット変換係数を生成する。
逆量子化部18は、生成されたウェーブレット変換係数を逆量子化し、ウェーブレット逆変換部20は逆量子化されたウェーブレット変換係数を逆変換する。これによって、注目領域ROIのみが高画質化された画像データが得られる。
続いて、図11のフローチャートを参照して、判定部52における処理を説明する。前提として、ユーザにより注目領域が指定されていない通常時には、上述の中画質で動画像が表示されているものとする。
まず、判定部52は、位置情報作成部50から注目領域のROI位置情報を受け取る(S30)。次に、ROI位置情報から注目領域の面積(または、ピクセル数)を算出し、画像処理装置300の全体の復号処理量Pを計算する(S32)。
ここで、復号処理量Pは、(各画質の処理量)×(各画質の面積)の総和で表すことができる。低画質時の単位面積当たり処理量をlL、中画質時の単位面積当たり処理量をlM、高画質時の単位面積当たり処理量をlHとし、画像全体の面積をSと表記すると、通常時の復号処理量は、
P=lM・S (1)
となる。
ユーザにより指定された注目領域の面積をsHとし、この注目領域を高画質化したときの復号処理量Pは、
P=lH・sH+lM(S−sH) (2)
で計算することができる。
判定部52は、式(2)で算出した復号処理量Pが、画像処理装置300が1フレーム期間で処理できる上限処理能力Pmaxを上回るか否かを判定する(S34)。復号処理量Pが上限処理能力Pmax以下であれば(S34のNO)、画質指示部54は、注目領域の高画質化を許可する(S36)。復号処理量Pが上限処理能力Pmaxを上回っていれば(S34のYES)、高画質復号するだけの処理能力が画像処理装置300に残っていないことになるので、画質指示部54は注目領域の高画質化を許可しない(S38)。
図12(a)、(b)は、図11のフローチャートのS34において、復号処理量Pが上限処理能力Pmax以下であると判定されたときの画面の様子を模式的に示す。図中において、「L」は低画質の領域を、「M」は中画質の領域を、「H」は高画質の領域を示している。図12(a)に示すように、画像全体を中画質で復号しているときに、ユーザが画面中に注目領域を指定すると、図12(b)に示すように、注目領域のみが高画質化(H)されて、他の通常領域は中画質(M)のままとなる。
以上説明したように、本実施形態の画像処理装置によれば、復号され表示されている画像中でユーザが高画質で再生したい注目領域を指定すると、画像処理装置の復号処理能力に余裕があるときには、注目領域が高画質化され、復号処理能力に余裕がないときには、注目領域は高画質化されない。
このように、注目領域が指定されると、通常領域は簡易再生と同程度の品質のまま、注目領域だけをより高い品質で再生することができる。これは、監視映像のように、平常時には高い品質を求めず、異常発生時にのみ注目箇所を高い品質で再生したい場合に特に有用である。
次に、注目領域を高画質化すると、画像処理装置300の処理能力が不足する場合の処理の別の一例について、図13(a)〜(c)を参照して説明する。
図13(a)に示すように、簡易再生時は、下位ビットゼロ置換部58によってLSB側から下位2ビットがゼロ置換されているものとする。ROIマスク生成部56は、ユーザにより注目領域が指定されると、その注目領域に対応するROIマスクを生成する。その様子を、図13(b)の斜線で示す。今度は、図10(b)の場合よりも注目領域の面積が多く、注目領域を高画質化すると、画像処理装置300の処理能力が不足する。この場合、図13(c)に示すように、下位ビットゼロ置換部58は、ROIマスクを参照して、ROIマスクされていない非ROI部分について、下位2ビットでなく下位3ビットをゼロに置換したウェーブレット変換係数を生成するようにする。
そして、逆量子化部18は、生成されたウェーブレット変換係数を逆量子化し、ウェーブレット逆変換部20は逆量子化されたウェーブレット変換係数を逆変換する。これによって、注目領域ROIが高画質化され、通常領域が低画質化された画像データが得られる。このように、ROIマスクされた注目領域を高画質化、つまりビットプレーン数を増やした場合に、画像処理装置の処理能力が不足する場合は、ROIマスクされていない通常領域のビットプレーン数を減らすことによって、画像処理装置全体の処理量のバランスを取るようにする。
続いて、図14のフローチャートを参照して、注目領域を高画質化すると画像処理装置300の処理能力が不足する場合の判定部52における処理を説明する。図11の場合と同様に、ユーザにより注目領域が指定されていない通常時には、上述の中画質で動画像が表示されていることを前提とする。
注目領域の受け取り(S50)、および画像処理装置300全体の復号処理量Pの計算(S52)は、図11のS30、S32と同様である。判定部52は、S52で算出された復号処理量Pが、画像処理装置300が1フレーム期間で処理できる上限処理能力Pmaxを上回るか否かを判定する(S54)。復号処理量Pが上限処理能力Pmax以下であれば(S54のNO)、画質指示部54は、注目領域の高画質化を許可する(S64)。
復号処理量Pが上限処理能力Pmaxを上回った場合、判定部52は、
P=lH・sH+lL(S−sH) (3)
を満たす処理量lLを計算し、通常領域の画質を決定する(S56)。そして、画質指示部54は、ユーザに対し、注目領域以外の通常領域の画質が低下することを認容するか否かの警告画面を表示装置に表示する(S58)。ユーザが図示しない入力装置によってそのことを認容しない意思表示をした場合(S60のNO)、画質指示部54は、注目領域の高画質化を許可しない(S66)。ユーザが認容する意思表示をした場合(S60のYES)、画質指示部54は、注目領域を高画質化するとともに、通常領域を低画質化する指示を出す(S62)。これによって、復号処理量Pが上限処理能力Pmax以下となるようにする。
図15(a)、(b)は、図14のフローチャートのS60において、ユーザが注目領域以外の通常領域の画質が低下することを認容したときの画面の様子を模式的に示す図である。図15(a)に示すように、画像全体を中画質(M)で復号しているときに、ユーザが画面中に注目領域を指定すると、図15(b)に示すように、注目領域が高画質化(H)されるとともに、それ以外の通常領域が低画質化(L)される。
この実施例では、ユーザが高画質に再生したい注目領域を指定すると、その注目領域の復号処理量を増やして高画質化するとともに、その分、注目領域以外の通常領域の復号処理量を減じることによって、画像処理装置全体の処理量を上限処理能力以下にする。これによって、画像処理装置の処理量を増やすことなく、ユーザの関心のある領域を高画質に再生することができる。また、復号処理量が画像処理装置の能力を上回ることで生じるコマ落ちの発生を回避することができる。
さらに別の実施例として、ユーザによって注目領域が指定されたとき、注目領域の画質は中画質のまま維持して、注目領域以外の通常領域を低画質に低下させるようにしてもよい。この場合、下位ビットゼロ置換部58は、非ROI領域に対応するウェーブレット変換係数の下位ビットをゼロ置換することにより、相対的に注目領域の画質を通常領域よりも高くして復号することができる。この様子を、図16に示す。図16(a)に示すように、画像全体を中画質(M)で復号しているときに、ユーザが画面中に注目領域を指定すると、図16(b)に示すように、注目領域は中画質のまま、通常領域が低画質化(L)される。これによって、注目領域のみはっきりとした表示画面が得られるので、ユーザの主観品質が増加する。
以上の説明では、画質を高中低の3段階として説明したが、ゼロ置換する下位ビットの数に応じてそれ以上の画質段階があってもよい。
ユーザによる注目領域の指定は複数されてもよい。2つの注目領域が指定されたとき、画質指示部54は、復号処理量に応じて、一方の注目領域は高画質化し、もう一方の注目領域はそのままの画質としてもよい。注目領域は、ユーザにより指定される代わりに、位置情報作成部50により、人物や文字が写っている領域などの重要領域を自動的に抽出することにより設定されてもよい。
注目領域を高画質としたときの判定で、復号処理量Pが上限処理能力Pmaxを上回ったとき、画質指示部54は、復号ユニット310に対して、出力する動画像のフレームレートを低下させるように指令してもよい。これによって、画像処理装置全体の単位時間当たりの復号処理量が低下するので、時間解像度は低下するものの、注目領域の高画質化を達成することができる。
第4の実施形態.
図17は、第4の実施形態に係る画像表示装置400の構成図である。画像表示装置400は、ディスプレイなどの表示装置に動画像を表示するものであり、一例として、テレビジョン受信機、監視カメラなどの表示制御部に相当する。
処理ブロック410内の画像デコーダ412は、CPU414およびメモリ416と連携し、入力される符号化画像データストリームを連続的に復号する。画像デコーダ412は、第3の実施形態の画像処理装置300の構成を持つ。なお、処理ブロック410は、無線または有線のネットワークの通信インタフェースを経由して符号化画像データストリームを取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像データストリームを取得してもよい。
表示回路418は、処理ブロック410から復号画像を受け取り、表示装置420に出力する。表示装置420には、復号された画像フレームが連続的に表示され、動画が再生される。
ユーザは、ポインティングデバイスなどの入力装置424を用いて表示装置420に表示されている画像中の注目領域を指定したり、タッチパネルなどの接触方式のディスプレイデバイスを用いて注目領域を指定する。注目領域の情報は、インタフェース422を介して処理ブロック410に入力される。処理ブロック410は、注目領域の情報を受け取り、注目領域の画質を異ならせた復号画像を生成する。
この画像表示装置400によれば、映画や監視カメラからの映像に対して、ユーザが選択した領域のみを高画質表示することができる。
第5の実施形態.
本発明の第5の実施形態は、解像度によって階層化された符号化画像データストリームを受け取り、各符号化フレームを復号ユニットにて連続的に復号して、低解像度の動画像を表示する表示装置と、高解像度の動画像を表示する表示装置の両方に動画像データを提供する画像表示装置において、いずれか一方の表示装置において、ユーザにより画像の一部の領域の画質を向上させるように指令されたときに、低解像度の動画像と高解像度の動画像の両方で画質の向上を実行する画像表示装置である。
図18は、第5の実施形態に係る画像表示システム500の構成を示す。表示回路218、220、第1の表示装置222および第2の表示装置224については、第2の実施形態と同様であるので、同一の符号を付して示してある。復号ユニット512および領域指定ユニット514は、図7に示した第3の実施形態における復号ユニット310および領域指定ユニット320と同様の構成をとる。
画像処理装置510の復号ユニット512は、入力される符号化画像データストリームを連続的に復号する。そして、高解像度の画像データがフレームバッファ516、表示回路218を介して高解像度の動画像を表示する第1の表示装置222に出力され、低解像度の画像データがフレームバッファ518、表示回路220を介して低解像度の動画像を表示する第2の表示装置224に出力される。この処理は、第1の実施形態に示した手順にしたがって実行される。そして、第1の表示装置222および第2の表示装置224には、復号された画像データが所与のフレームレートで連続的に表示され、動画像が再生される。画像処理装置510は、無線または有線のネットワークの通信インタフェースを経由して符号化画像データストリームを取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像データストリームを取得してもよい。
ユーザは、ポインティングデバイスなどの入力装置524を用いて、第1の表示装置222または第2の表示装置224に表示されている画像中の注目領域を指定したり、タッチパネルなどの接触方式のディスプレイデバイスを用いて注目領域を指定する。注目領域の情報は、インタフェース522を介して画像処理装置510に入力される。領域指定ユニット514は、注目領域の情報を受け取り、注目領域を高画質化すべきか否かの判定を行い、この結果を復号ユニット512に伝える。復号ユニット512は、判定結果にしたがって、高解像度の画像データ、および低解像度の画像データのそれぞれについて、注目領域とそれ以外の通常領域との画質に差をつけた画像データを生成する。この処理は、第3の実施形態に示した手順にしたがって実行される。以下、上述したのと同様にして、第1の表示装置222、第2の表示装置224に動画像が再生される。
この実施形態によれば、解像度の異なる動画像を複数の表示装置に同時に表示させている場合に、いずれかの表示装置において注目領域を指定すると他の表示装置においても注目領域の画質を向上させることができる。例えば、プレゼンテーションにおいて、プロジェクタにより投影される大画面のスクリーンとPCの画面の両方に動画像を再生している場合に、強調したい画像を参加者に訴えかけるような演出をすることができる。また、監視カメラシステムにおいて、同一の監視画像ストリームを複数の監視室のディスプレイに表示させているときに、他の監視員にも注意すべき画像領域を喚起することができる。
なお、画像表示システム500は、目的に応じて、それぞれ解像度の異なる動画像を表示する表示装置を3つ以上備えることもできることはいうまでもない。
以上、本発明をいくつかの実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
いずれの実施の形態でも画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、JPEG標準で用いられる離散コサイン変換の場合でも、同様の方法で通常領域の変換係数の下位ビットをゼロ置換することで、注目領域の画質を相対的に高める一方で、通常領域の画質を犠牲にすることによって、画像処理装置全体の処理量を削減することができる。
10 ストリーム解析部、 12 算術復号部、 14 ビットプレーン復号部、 18 逆量子化部、 20 ウェーブレット逆変換部、 22 メモリ制御部、 30 低解像度フレームバッファ、 32 低解像度表示回路、 34、44 解像度変換部、 36 低解像度表示装置、 40 高解像度フレームバッファ、 42 高解像度表示回路、 46 高解像度表示装置、 50 位置情報作成部、 52 判定部、 54 画質指示部、 56 ROIマスク生成部、 58 下位ビットゼロ置換部、 60 表示回路、 62 表示装置、 100、300 画像処理装置、 150、310 復号ユニット、 320 領域指定ユニット、 200、400 画像表示装置、 500 画像表示システム。