明 細 書
画像符号化方法および装置、ならびに画像復号方法および装置 技術分野
[0001] この発明は画像符号化技術、画像復号技術に関し、とくに画像の一部の領域を優 先的に復号できるよう、符号化する方法および装置、それを復号する方法および装 置に関する。
背景技術
[0002] ISO/ITU— Tにおいて、静止画像の圧縮符号ィ匕の標準技術である JPEG (Joint Photographic Expert Group)の後継として、離散ウェーブレット変換(DWT)を用いた JPEG2000が標準化されている。 JPEG2000では、低ビットレート符号化からロスレ ス圧縮まで広範囲の画質を高性能で符号ィ匕することができ、画質を徐々に高めるス ケーラビリティ機能も実現が容易である。また、 JPEG2000には、従来の JPEG標準 にはな力つた多様な機能が用意されている。
[0003] JPEG2000の機能の一つとして、画像の注目領域(Region of Interest;ROl)を他 の領域よりも優先して符号化し、伝送する ROI符号化が規格化されている。 ROI符号 化により、符号ィ匕レートに上限がある場合に、注目領域の再生画質を優先的に高品 質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に 高品質で再生することができるようになる。
[0004] 特許文献 1は、操作者が指定した重要な範囲の画像に対して、符号化の際に、重 点的に画質向上を図る技術を開示する。
特許文献 1:特開平 7— 203434号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、上記特許文献 1は、指定された範囲とそれ以外の範囲の画像を、そ れぞれ指定された画質で符号ィ匕しているため、復号する際、その画質で制限されて しまい、種々の解像度で復号することが難し力つた。また、例えば指定された範囲の みを再生するといつた再生処理を実現することも困難であった。
[0006] 本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の一部に領 域が指定される場合に、それによる符号量の増加を抑制しながら、指定された領域を 生カゝした種々の処理を復号側で実現することができる画像符号ィ匕方法および装置、 ならびに画像復号方法および装置を提供することにある。
課題を解決するための手段
[0007] 上記課題を解決するために、本発明のある態様の画像符号化方法は、画像上に定 義された注目領域を特定するための情報を、フレーム間をまた!/、で生成した差分情 報として符号化する。その注目領域を特定するための情報を画像の符号化データを 含む符号化ストリーム内に記述してもよい。「差分情報」は、注目領域の位置、大きさ 、および形状の少なくとも一つを、フレーム間の変化量で示したものであってもよい。 また、各フレームにおける注目領域の位置、大きさ、および形状を表す値の少なくと も一つの平均値と、符号化対象のフレームのそれらの対応する値との差分であっても よい。もしくは、注目領域の位置、大きさ、および形状を表す値の少なくとも一つのフ レーム間の変化量の平均値と、符号化対象のフレームにおけるフレーム間の対応す る値の変化量との差分であってもよい。さらに、フレーム間の変化量の平均値と、各フ レームにおける注目領域の位置、大きさ、および形状を表す値の少なくとも一つとの 差分であってもよい。これらは、注目領域が大きく拡大縮小する場合などに有効であ る。「画像上に定義された注目領域を特定するための情報」を、時間に対する関数と して符号化してもよ ヽ。注目領域が一定の規則性を持って変化する場合などに有効 である。「注目領域を特定するための情報」には、画像内に複数の注目領域が設定さ れた場合、その優先度が含まれてもよい。この「優先度」は、当該情報を記述する順 番で示されてもよい。
[0008] この態様〖こよると、画像上に注目領域が定義される場合に、それを特定するための 情報を、フレーム間をまたいで生成した差分情報として符号ィ匕して、符号化ストリーム 内に記述することにより、その情報の符号量を低減することができる。
[0009] 本発明の別の態様もまた、画像符号化方法である。この方法は、画像上に定義さ れた領域の形状を特定するための情報を、フレーム間をまた!/、で生成した差分情報 として符号化する。その形状を特定するための情報を画像の符号化データを含む符
号化ストリーム内に記述してもよい。「設定された領域」は、オブジェクトでもよい。
[0010] この態様〖こよると、画像上に定義された領域の形状が変化する場合に、フレーム間 をまたいで生成した差分情報として符号ィヒすることにより、形状を特定するための情 報の符号量を低減することができる。
[0011] 本発明のさらに別の態様は、画像符号ィ匕装置である。この装置は、画像上に注目 領域を定義する注目領域設定部と、画像を符号化する画像符号化部と、注目領域を 特定するための情報を、フレーム間をまた!/、で生成した差分情報として符号化する 注目領域情報符号ィ匕部と、符号化した画像と、符号化した注目領域を特定するため の情報を含めて、符号化ストリームを生成する符号化ストリーム生成部と、を備える。「 注目領域設定部」は、ユーザの指定により、またはオブジェクトなどを自動認識するこ とにより、画像上に注目領域を定義してもよい。
[0012] この態様〖こよると、画像上に注目領域が定義される場合に、それを特定するための 情報を、フレーム間をまたいで生成した差分情報として符号ィ匕して、符号化ストリーム 内に記述することにより、その情報およびそれが含まれる符号化ストリームの符号量 を低減することができる。
[0013] 本発明のさらに別の態様もまた、画像符号ィ匕装置である。この装置は、画像上に領 域を定義する領域設定部と、画像を符号化する画像符号化部と、領域の形状を特定 するための情報を、フレーム間をまた 、で生成した差分情報として符号化する形状 情報符号化部と、符号化した画像と、符号化した形状を特定するための情報を含め て、符号化ストリームを生成する符号化ストリーム生成部と、を備える。
[0014] この態様〖こよると、画像上に定義された領域の形状が変化する場合に、フレーム間 をまたいで生成した差分情報として符号ィヒすることにより、形状情報およびそれが含 まれる符号化ストリームの符号量を低減することができる。
[0015] 本発明のさらに別の態様は、画像復号方法である。この方法は、フレーム間をまた Vヽで生成した差分情報として符号化された、画像上に定義された注目領域を特定す るための情報を復号し、その情報を参照して、画像を符号化した符号化ストリームか ら注目領域を含む領域を復号する。「注目領域を含む領域」は、注目領域、注目領 域とその周辺領域を含む領域、または画像全体の領域であってもよ ヽ。
[0016] この態様によると、符号化ストリーム内に記述された前記情報を参照して、注目領域 に関する各種の処理を実現させることができる。その際、フレーム間をまたいで生成 した差分情報として号化された情報を復号して行うことにより、符号量が低減された符 号化ストリームを実現することができる。
[0017] 本発明のさらに別の態様もまた、画像復号方法である。この方法は、フレーム間を また!/、で生成した差分情報として符号化された、画像上に定義された領域の形状情 報を復号し、その情報を参照して、前記画像の符号化データを含む符号化ストリーム カゝら前記定義された領域を含む領域を復号する。
[0018] この態様によると、符号化ストリーム内に記述された前記情報を参照して、設定され た領域に関する各種の処理を実現させることができる。その際、フレーム間をまたい で生成した差分情報として符号化された情報を復号して行うことにより、符号量が低 減された符号化ストリームを実現することができる。
[0019] 本発明のさらに別の態様は、画像復号装置である。この装置は、フレーム間をまた Vヽで生成した差分情報として符号化された、画像上に定義に設定された注目領域を 特定するための情報を復号する注目領域情報復号部と、復号した情報を参照して、 画像の符号化データを含む符号化ストリームから注目領域を含む領域を復号する画 像復号部と、を備える。
[0020] この態様によると、符号化ストリーム内に含まれる前記情報を参照して、注目領域に 関する各種の処理を実現させる装置を提供することができる。その際、フレーム間を またいで生成した差分情報として符号化された情報を復号して行うことにより、符号 量が低減された符号化ストリームを実現することができる。
[0021] 本発明のさらに別の態様もまた、画像復号装置である。この装置は、フレーム間を また 、で生成した差分情報として符号化された、画像上に定義された領域の形状を 特定するための情報を復号する形状情報復号部と、復号した情報を参照して、画像 の符号化データを含む符号化ストリームから定義された領域を含む領域を復号する 画像復号部と、を備える。
[0022] この態様によると、符号化ストリーム内に含まれる前記情報を参照して、設定された 領域に関する各種の処理を実現させる装置を提供することができる。その際、フレー
ム間をまたいで生成した差分情報として符号化された情報を復号して行うことにより、 符号量が低減された符号化ストリームを実現することができる。
[0023] なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コ ンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として 有効である。
発明の効果
[0024] 本発明によれば、画像の一部に領域が指定される場合に、それによる符号量の増 加を抑制しながら、指定された領域を生力した種々の処理を復号側で実現すること ができる。
図面の簡単な説明
[0025] [図 1]実施の形態 1に係る画像符号ィ匕装置の構成図である。
[図 2]ROI領域の遷移の一例を示す図である。
[図 3]符号化ストリームの一例を示す図である。
[図 4]実施の形態 2に係る画像復号装置の構成図である。
[図 5]各分割レベルにおける ROI領域を示す図である。
符号の説明
[0026] 10 ウェーブレット変換部、 12 量子化部、 14 エントロピー符号化部、 16 符号化ストリーム生成部、 20 ROI設定部、 22 ROI予測処理部、 24 ROI情 報符号化部、 30 符号化データ抽出部、 32 エントロピー復号部、 34 逆量子 化部、 36 ウェーブレット逆変換部、 40 ROI情報復号部、 42 ROI予測処理 部、 44 ROI領域制御部、 100 画像符号化装置、 200 画像復号装置。 発明を実施するための最良の形態
[0027] (実施の形態 1)
図 1は、実施の形態 1に係る画像符号ィ匕装置 100の構成図である。画像符号化装 置 100の構成は、ハードウェア的には、任意のコンピュータの CPU、メモリ、その他 の LSIで実現でき、ソフトウェア的にはメモリのロードされた符号化機能のあるプログ ラムなどによって実現される力 ここではそれらの連携によって実現される機能ブロッ
クを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェア のみ、またはそれらの糸且合せによっていろいろな形で実現できることは、当業者には 理解されるところである。
[0028] 画像符号ィ匕装置 100は、入力された原画像を一例として JPEG2000方式により圧 縮符号化する。画像符号化装置 100に入力される原画像は、動画像のフレームであ る。画像符号ィ匕装置 100は、動画像の各フレームを JPEG2000方式で連続的に符 号化して、動画像の符号化ストリームを生成することができる。
[0029] ウェーブレット変換部 10は、入力された原画像をサブバンド分割して、各サブバン ド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生 成する。具体的には、ウェーブレット変換部 10は、原画像の x、 yそれぞれの方向に おいてローパスフィルタおよびハイパスフィルタを適用し、 4つの周波数サブバンドへ 分割してウェーブレット変換する。これらのサブバンドは、 x、 yの両方向において低周 波成分を有する LLサブバンドと、 x、 yのいずれかひとつの方向において低周波成分 を有し、かつもう一方の方向にお!、て高周波成分を有する HLおよび LHサブバンド と、 x、 yの両方向において高周波成分を有する HHサブバンドである。各サブバンド の縦横の画素数は処理前の画像のそれぞれ 1Z2であり、一回のフィルタリングで解 像度、すなわち画像サイズが 1Z4のサブバンド画像が得られる。
[0030] ウェーブレット変換部 10は、こうして得られたサブバンドのうち、 LLサブバンドに対 して再度フィルタリング処理を行って、これをさらに LL、 HL、 LH、 HHの 4つのサブ バンドに分割してウェーブレット変換する。ウェーブレット変換部 10は、このフィルタリ ングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのゥェ 一ブレット変換係数を出力する。量子化部 12は、ウェーブレット変換部 10から出力さ れたウェーブレット変換係数を所定の量子化幅で量子化する。
[0031] エントロピー符号ィ匕部 14は、量子化部 12により量子化された量子化値をエントロピ 一符号化する。例えば、上位ビットブレーン力も順にスキャンしながら符号ィ匕する。こ のように、エントロピー符号ィ匕部 14の符号ィ匕対象は原画像であり、画像符号化部とし て機能する。
[0032] ROI設定部 20は、原画像の一部の領域に ROI領域を設定する。 ROI領域の形状
は、矩形、丸、その他の複雑な形であってもよい。その形状は、固定でも動的に変化 するものであってもよい。例えば、画像の中心部分と周辺部分とで ROI領域の形状を 変化させてもよい。また、 ROI領域は、一枚の画像に複数設定されてもよい。
[0033] このような ROI領域をユーザが手動で設定してもよいし、システムが動きのある領域 などを自動認識して、設定してもよい。具体的には、ユーザまたはシステムは、 ROI 領域の位置、大きさ、形状、複数設定される場合の優先順位などを、初期値として R OI設定部 20に設定する。なお、ユーザがオブジェクトを指定した場合、もしくはシス テムが自動認識した場合、 ROI設定部 20がそのオブジェクトを含む所定の範囲を R OI領域に自動設定してもよい。ユーザまたはシステムは、動画像の場合、フレーム毎 に ROI領域を設定してもよいし、始めに ROI領域を指定し、以後、その ROI領域内の オブジェクトの動きに ROI領域を追従させてもよい。これは、オブジェクトの動きべタト ルを検出することにより実現することができる。
[0034] ROI設定部 20は、 ROI領域の開始位置、大きさなど、 ROI領域を特定するための 情報(以下、 ROI情報という。)を ROI予測処理部 22に出力する。上述した追従処理 を行う場合、オブジェクトの動きベクトルを基に設定した ROI領域の動きベクトルを出 力してちょい。
[0035] ROI予測処理部 22は、 ROI情報に対して、フレーム間予測処理を行う。 ROI予測 処理部 22は、 ROI情報を記憶するためのメモリを備え、例えば、そこに基準となるフ レームの ROI情報を記憶し、現フレームとの差分情報を算出する。
[0036] 図 2は、 ROI領域の遷移の一例を示す図である。図 2 (a)は、画像内に ROI領域 R が設定された状態を示す。この ROI領域 Rは、長方形であるため、左上の頂点座標と 、水平方向の大きさ、および垂直方向の大きさで表現することができる。ここでは、こ れを、座標 (A, B)、大きさ (X, Y)と表記する。まず、 ROI予測処理部 22は、これらの 情報を ROI情報として、 ROI情報符号ィ匕部 24に出力するとともに、上記メモリに記憶 する。このフレーム力 次のフレームに対する基準となる。
[0037] 図 2 (b)は、図 2 (a)に示したフレームの次のフレームを示し、 ROI領域 Rが移動した 状態を示す。ここで、画像内において、 ROI領域 Rが右に Ml画素分移動した。この ROI領域 Rの ROI情報を上記と同様の手法により表現すると、座標 (A+Ml, B)、
大きさ (X, Y)と表記することになる。この点、 ROI予測処理部 22は、上記メモリに記 憶された前フレームの ROI情報を利用して、その差分で現フレームの ROI情報を表 現することができる。例えば、現フレーム内で生成した ROI情報力も前フレームの RO I情報を引くと、座標 Δ (Ml, 0)、大きさ Δ (0, 0)と表現することができる。 ROI予測 処理部 22は、この ROI情報を ROI情報符号ィ匕部 24に再び出力するとともに、上記メ モリに記憶する。
[0038] 図 2 (c)は、図 2 (b)に示したフレームの次のフレームを示し、 ROI領域 Rが移動し、 ROI領域 R自体の形状が変化した状態を示す。ここで、画像内において、 ROI領域 Rが下に N2画素分移動し、 ROI領域 Rが水平方向に M2画素分大きくなつた。 ROI 予測処理部 22は、上記メモリに記憶された前フレームの ROI情報を利用して、上記 と同様の手法で現フレームの ROI情報を表現すると、座標 Δ (0, -N2)、大きさ Δ ( M2, 0)と表現することができる。 ROI予測処理部 22は、この ROI情報を ROI情報符 号ィ匕部 24に再び出力するとともに、上記メモリに記憶する。
[0039] このように、フレーム間予測処理を利用すると、 0およびその近傍の値の出現頻度 が高くなり、 ROI情報に統計的偏りを持たせることができる。このような ROI情報を、後 述する ROI情報符号ィ匕部 24でエントロピー符号ィ匕を行えば、その符号量を削減する ことができる。エントロピー符号ィ匕は、出現頻度の偏りが大きいほど、符号量を削減す ることがでさる。
[0040] なお、フレーム間予測処理は、上述した単純に前のフレームとの差分をとる処理に 限らず、例えば、動き補償予測処理を利用してもよい。動き補償予測処理は、 ROI領 域 Rが動いた方向や距離を示す動きベクトルを求め、この動きベクトルで表される位 置情報と現フレームとの差分を ROI情報とすることができる。とくに、 ROI領域 Rの動 きが大きい動画像に対して、 0およびその近傍の値の出現頻度を高めることができる 。このように、フレーム間予測の対象となるフレームは、 1つ前のフレームに限らず、 1 つ後の将来のフレームでもよい。さらに、前後 1フレームに限らず、前後数フレームを 利用して、その平均値を利用する処理なども実現可能である。
[0041] 勿論、フレーム間予測処理を使用せずに、各フレーム内において ROI情報を生成 することも可能である。その場合、メモリ容量や計算量を低減することができる。したが
つて、ユーザは、動画像の特性にしたがって、フレーム間予測処理を利用するか否 かを選択できてもよい。とくに動きの速い動画像では、フレーム間予測処理を利用し ても、演算量増加のわりに符号量があまり削減できない場合も生じる。そのような場合
、単純にフレームごとに ROI情報を生成してもよい。
[0042] ROI情報符号ィ匕部 24は、 ROI予測処理部 22から入力された ROI情報を符号ィ匕す る。例えば、エントロピー符号ィ匕を行う。そして、符号ィ匕した ROI情報を符号化ストリー ム生成部 16に出力する。
[0043] 符号化ストリーム生成部 16は、エントロピー符号ィ匕部 14から入力される画像の符号 化データ、 ROI情報符号ィ匕部 24から入力される ROI情報の符号ィ匕データなどを基 に、符号化ストリームを生成する。そして、生成した符号化ストリームを記録媒体ゃネ ットワークに出力する。ここで、記録媒体として、 SDRAMやフラッシュハードディスク ドライブなどを用いることができる。
[0044] ROI情報の符号化データは、ヘッダに記述される。ヘッダにも種々のレベルが存在 するが、いづれのレベルに記述してもよい。例えば、ストリームヘッダ、シーケンスへッ ダ、 GOP (Group of Picture)ヘッダ、フレームヘッダ、ピクチャヘッダ、領域単位で付 されるヘッダなどに ROI情報を記述することができる。
[0045] 上記領域単位で付されるヘッダとは、以下のようなヘッダを指す。例えば 1枚のフレ 一ムゃピクチャに複数の ROI領域が設定される場合に、 ROI領域 1の画像データ→
ROI領域 2の画像データ→ 周辺領域の画像データの順にフレームゃピクチャ を並べたとする。上記ヘッダとは、このようなときの ROI領域 1の画像データや ROI領 域 2の画像データごとに付されるヘッダである。
[0046] 図 3は、符号化ストリームの一例を示す図である。ここでは、符号化ストリームを MP EG (Moving Picture Experts Group)で使用されるシーケンスという用語で示している 。 MPEGでは、 1つのビデオプログラム全体の符号化信号をシーケンスと呼ぶ。シー ケンスは、図 3に示すようにシーケンスヘッダで始まり、シーケンスエンドで終わり、そ の間に複数の GOPを記述する。 GOPは、 GOPヘッダと複数のピクチャを記述する。 図 3の例では、この GOPヘッダに複数の ROI情報を記述している。 GOPヘッダには 、符号ィ匕条件など復号に必要な各種パラメータが記述される。本実施の形態では、
そこに ROI情報も記述して 、る。
[0047] 上述した ROI情報は、頂点座標と大きさを示す情報であった。この点、 ROI情報は 、そのような情報に限らず、種々の情報を含むことができ、このような情報により ROI 情報を特定することができる。以下、その例を挙げる。
[0048] まず、基本となる座標が必要である。上述したように頂点の座標や、中心点座標、 重心座標などが該当する。これらの内から、 ROI領域の形状に適した座標を用いるこ とができる。例えば、 ROI領域が円である場合、中心点座標が最適な座標となる。次 に、各フレーム内の情報で ROI領域を特定する場合、大きさが必要である。例えば、 水平方向の大きさ、垂直方向の大きさが必要である。次に、フレーム間予測処理を使 用する場合、前のフレームとの差分データ、動きベクトルを用いた、後のフレームとの 差分データ、ァフィン変換係数などの各種関数の係数などを用いることができる。
[0049] 次に、 1枚の画像に ROI領域が複数設定される場合、その優先度を ROI情報に含 めてもよい。例えば、その優先順位だけでなぐその ROI領域の表示が必須力否かと いった情報を含めてもよい。また、この優先順位を ROI情報の並び順で表現してもよ い。すなわち、優先順位の高い ROI領域の情報ほど、前に記述するといつた手法が 可能である。また、各 ROI領域の情報量を含めてもよい。例えばその ROI領域の符 号量や圧縮率、演算量などである。また、 ROI領域ごとに画質や、それ以外の領域と の画質比を含めてもよい。
[0050] さらに、その ROI領域が独立して復号可能力否かを示す情報を含めてもよい。例え ば、 JPEG2000方式では、ビットプレーン内の各係数ビットとして、 Sパス(significanc e propagation passノ、 Rノヽス (magnitude refinement pass)、 Cノ、ス (.cleanup pass)の 5 種類の処理パスが使用される。 Sパスでは、有意である係数が周囲に存在する有意 でない係数の復号が行われ、 Rパスでは、有意である係数の復号が行われ、 Cパス では、残りの係数の復号が行われる。 Sパス、 Rパス、 Cパスの各処理パスはこの順に 画像の画質への寄与度が大きい。各処理パスはこの順に実行され、各係数のコンテ タストが近傍係数の情報を考慮して決定される。したがって、パス毎に独立して符号 化されている場合には、可変長の復号を途中で打ち切ることも可能になる。このような 情報は、復号側にとって有益な情報である。その他、復号の際に有益な情報として利
用できる情報であれば、上記例に挙げた以外の情報を ROI情報に含めてもよい。な お、 ROI情報をヘッダに記述する例を説明したが、ユーザが自由に使用可能なユー ザ領域に記述してもよい。
[0051] 以上説明したように実施の形態 1によれば、 ROI領域の復号に必要な、または有益 な情報を ROI情報として符号化ストリームに明示的に含めたことにより、復号側でそ の情報を生力した種々の処理を実現することができる。例えば、早送り再生などをす る場合、 ROI領域、またはその周辺数画素を含む領域を取り出して、それを容易に 再生表示させることができる。
[0052] また、 ROI情報をフレーム間予測処理を利用して符号ィ匕することにより、 ROI情報 の符号量を削減させることができる。例えば、 JPEG2000では、画像を静止画として 扱い、符号ィ匕を行っているため、 ROI領域の符号ィ匕の際には ROI情報を画像 1枚ご とに与えなければならない。このため、動きのない画像に対して ROI符号ィ匕を行うよう な場合、連続する各画像データに対して全く同じ ROI情報を付加することになり、全 体としては無駄な符号を生成してしまうことになる。このような場合に、フレーム間予測 処理を利用する態様は、とくに効果を発揮する。さらに、符号量を削減させることによ り、処理を高速化することができ、消費電力を削減することもできる。
[0053] (実施の形態 2)
図 4は、実施の形態 2に係る画像復号装置 200の構成図である。実施の形態 2では 、画像復号装置 200は、実施の形態 1で符号化された符号化ストリームを復号する。 符号化ストリームとして入力される動画像の各符号ィ匕フレームを連続的に復号するこ とにより動画を再生することができる。
[0054] ROI情報復号部 40は、符号化ストリーム内に記述された ROI情報を復号し、 ROI 予測処理部 42に出力する。 ROI情報は、符号化ストリーム内のいずれかのレベルの ヘッダに記述されて 、る。
[0055] ROI予測処理部 42は、復号した ROI情報に対して、フレーム間予測処理を行う。 R OI予測処理部 42は、 ROI情報を記憶するためのメモリを備え、例えば、そこに基準 となるフレームの ROI情報を記憶する。差分情報で与えられて 、る現フレームの ROI 情報と、メモリに記憶されている ROI情報とを加算することにより、現フレームの ROI
情報を原始的なデータ形式に復元する。
[0056] 例えば、基準となるフレームの ROI領域が長方形である場合、その ROI領域を左上 の頂点座標 (A, B)と、水平方向の大きさおよび垂直方向の大きさ (X, Y)で表現す ることができる。まず、 ROI予測処理部 42は、これらの情報を ROI情報として、 ROI領 域制御部 44に出力するとともに、上記メモリに記憶する。このフレーム力 次のフレー ムに対する基準となる。
[0057] 実施の形態 1の手法を用いて ROI情報が符号化されている場合、次のフレームで 当該 ROI領域が右に Ml画素分移動したとすると、その差分情報として座標 Δ (Ml , 0)、大きさ Δ (0, 0)と ROI情報が与えられる。 ROI予測処理部 42は、上記メモリに 記憶された前フレームの ROI情報にこの差分情報を加算することにより、現フレーム の絶対的な座標 (A+Ml, B)、大きさ (X, Y)を求めることができる。
[0058] ROI予測処理部 42は、このようにして、画像を復号する前に次画面の ROI情報を 復号し取得する。これにより、 ROI領域に関する種々の処理が可能になる。なお、他 のフレーム間予測符号ィ匕が用いられて 、る場合、それに対応した復元方法を用いる
[0059] ROI領域制御部 44は、ユーザまたはシステムの要求により ROI領域に関する各種 の処理を設定する。例えば、 ROI領域の画像のみ、またはその周辺画素を含む領域 を再生する処理も可能である。この周辺画素を決定する手法は後述する。また、ある シーンをオブジェクト認識を用いてサーチする場合、 ROI領域内のオブジェクトのみ を対象にした検索処理も可能である。いずれも、高速処理が可能である。これらの処 理を行う際、 ROI情報に含まれる優先順位情報を参照して、処理を行うことができる。 例えば、表示が必須でない、または優先順位の低い ROI領域を表示させな力つたり 、検索対象から外すこともできる。
[0060] その他、 ROI領域制御部 44は、 ROI情報による指定、ユーザまたはシステムの要 求により、 ROI領域の画質やその他の領域との画質比を設定することができる。
[0061] 符号化データ抽出部 30は、入力された符号化ストリームから符号化データを抽出 する。その際、 ROI領域制御部 44から指定された領域の符号ィ匕データのみを抽出 する場合もある。エントロピー復号部 32は、抽出された符号ィ匕データをビットプレーン
毎に復号し、復号の結果得られる量子化されたウエーブレット変換係数を取得する。 逆量子化部 34は、ウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部 36は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出 力する。
[0062] 次に、 ROI領域制御部 44にて ROI領域とその周辺領域を含む領域の座標と大きさ を決定するための手法を説明する。図 5は、ウェーブレット変換係数の各分割レベル における ROI領域を示す図である。図 5 (a)は分割レベル 0の原画像 80上に ROI領 域 90が設定された状態を示す。図 5 (b)は、原画像 80を 1回だけウェーブレット変換 することにより得られる分割レベル 1の変換画像 82を示す。分割レベル 1の変換画像 82は、 4つのサブバンド LL1、 HL1、 LH1、 HHlから構成される。 ROI領域制御部 4 4は、原画像 80の ROI領域 90を復元するために必要な分割レベル 1の変換画像 82 上の ROI領域 91〜94を、分割レベル 1の各サブバンド LL1、 HL1、 LH1、 HHlに おいて特定する。
[0063] 図 5 (c)は、図 5 (b)の変換画像 82の最低周波数成分のサブバンド LL1をさらにゥ エーブレット変換することにより得られる分割レベル 2の変換画像 84を示す。分割レ ベル 2の変換画像 84は、同図のように、分割レベル 1の 3つのサブバンド HL1、 LH1 、 HHlの他、分割レベル 2の 4つのサブバンド LL2、 HL2、 LH2、 HH2を含む。 RO I領域制御部 44は、分割レベル 1の変換画像 82のサブバンド LL1における ROI領域 91を復元するために必要な分割レベル 2の変換画像 84上の ROI領域 95〜98を各 サブバンド LL2、 HL2、 LH2、 HH2において特定する。
[0064] 同様にして、ウェーブレット変換の回数だけ原画像 80の ROI領域 90に対応する R OI領域を各分割レベルにおいて再帰的に特定していくことにより、最終分割レベル の変換画像にぉ 、て、 ROI領域 90を復元するために必要な ROI変換領域をすベて 特定することができる。
[0065] ROI領域制御部 44は、原画像 80上で設定された ROI領域の周辺領域にノイズを 発生させることなく原画像 80まで復号するよう、各分割レベルにおける各サブバンド 内で、復号すべきウェーブレット変換係数の対象領域の開始位置と大きさを決定する 。それを符号化データ抽出部 30に設定する。
[0066] 原画像 80における ROI領域の開始する xまたは y座標を P、 ROI領域の xまたは y方 向の大きさを Qとしたとき、各分割レベルでの復号対象領域の開始座標および大きさ は以下の通りになる。
[0067] 分割レベル 1 · · ·開始座標 PZ2— a、大きさ QZ2+ β
分割レベル 2…開始座標(ΡΖ2— α)Ζ2— «、大きさ(QZ2+ |8 )Ζ2+ β 分割レベル 3 · · ·開始座標 { (Ρ/2- α ) /2- α }/2- α ,
大きさ { (QZ2+ β ) /2+ β }/2 + β
分割レベル J · · ·開始座標 [· ' ·]Ζ2— α、大きさ [· ' ·]Ζ2+ |8
[0068] 上記の計算を χおよび yについて行うことにより、各分割レベルでの復号対象領域の 開始座標および大きさを求めることができる。開始座標では、最後の αを引く直前の 値に小数点以下が発生した場合、それを切り捨てる。一方、大きさでは、最後の βを 足す直前の値に小数点以下が発生した場合、それを切り上げる。ひ、 |8の値は、設 計者が任意に設定可能である力 例えば、 α = 1、 β = 2^ α = 2, =4といった設 定が可能である。周辺領域を ROI領域の上下左右で対称に設ける場合、 |8は αの 2 倍の値となる。この値は、使用するフィルタに依存する。フィルタリング回数が多いほ ど、周辺領域の画素を多くとるとよい。
[0069] 以上説明したように実施の形態 2によれば、符号化ストリームに明示的に記述され た ROI情報を復号して、その情報を生力して種々の処理を実現することができる。例 えば、 ROI領域、またはその周辺画素を含む領域を抽出して、それを容易に再生表 示させることができる。また、 ROI領域、およびそれ以外の領域をそれぞれ所望の画 質で再生することもできる。
[0070] 以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの 各構成要素や各処理プロセスの組合せに 、ろ 、ろな変形例が可能なこと、またそうし た変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変 形例を以下に示す。
[0071] 上記の実施の形態で、 ROI領域は、オブジェクトだけの領域でもよ ヽ。この場合、シ ステムは、 ROI情報として、オブジェクトを特定するための情報をヘッダなどに記述す ることができる。実施の形態と同様に、このオブジェクトの形状変化に関する情報など
をフレーム間予測処理を利用して記述することにより、当該情報の符号量を削減する ことができる。
[0072] 上記の実施の形態では、 JPEG2000方式で連続的に符号化した動画像の符号化 ストリームを復号しているが、 JPEG2000方式に限らず、要は、動画像の符号化ストリ 一ムを復号する方式であればょ 、。
[0073] 上記の実施の形態において、画像の符号ィ匕のための空間フィルタリングとしてゥェ 一ブレット変換を説明したが、他の空間周波数変換を用いてもよい。例えば、 JPEG 標準で用いられる離散コサイン変換を用いてもょ 、。
産業上の利用可能性
[0074] 本発明は、画像を符号化する装置または復号する装置に利用可能である。