JP4656912B2 - 画像符号化装置 - Google Patents

Description

この発明は画像符号化技術に関し、とくに画像の一部の領域を優先的に復号できるよう、符号化する装置に関する。

ＩＳＯ／ＩＴＵ−Ｔにおいて、静止画像の圧縮符号化の標準技術であるＪＰＥＧ（Joint Photographic Expert Group）の後継として、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００が標準化されている。ＪＰＥＧ２０００では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、ＪＰＥＧ２０００には、従来のＪＰＥＧ標準にはなかった多様な機能が用意されている。

ＪＰＥＧ２０００の機能の一つとして、画像の注目領域（Region of Interest;ＲＯＩ）を他の領域よりも優先して符号化し、伝送するＲＯＩ符号化が規格化されている。ＲＯＩ符号化により、符号化レートに上限がある場合に、注目領域の再生画質を優先的に高品質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に高品質で再生することができるようになる。

特許文献１は、操作者が指定した重要な範囲の画像に対して、符号化の際に、重点的に画質向上を図る技術を開示する。
特開平７−２０３４３４号公報

しかしながら、上記特許文献１は、指定された範囲とそれ以外の範囲の画像を、それぞれ指定された画質で符号化しているため、復号する際、その画質で制限されてしまい、種々の解像度で復号することが難しかった。また、例えば指定された範囲のみを再生するといった再生処理を実現することも困難であった。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の一部に注目する領域が指定される場合に、復号側でそれを生かした種々の処理を実現することができる画像符号化装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化方法は、画像上に定義された注目領域を特定するための情報を、画像の符号化データを含む符号化ストリーム内に明示的に記述する。「注目領域を特定するための情報」は、フレーム間の差分情報を参照して符号化した情報であってもよい。この「差分情報」は、注目領域の位置、大きさ、および形状の少なくとも一つを、フレーム間の変化量で示したものであってもよい。また、各フレームにおける注目領域の位置、大きさ、および形状を表す値の少なくとも一つの平均値と、符号化対象のフレームのそれらの対応する値との差分であってもよい。もしくは、注目領域の位置、大きさ、および形状を表す値の少なくとも一つのフレーム間の変化量の平均値と、符号化対象のフレームにおけるフレーム間の対応する値の変化量との差分であってもよい。さらに、フレーム間の変化量の平均値と、各フレームにおける注目領域の位置、大きさ、および形状を表す値の少なくとも一つとの差分であってもよい。これらは、注目領域が大きく拡大縮小する場合などに有効である。「画像上に定義された注目領域を特定するための情報」を、時間に対する関数として符号化してもよい。注目領域が一定の規則性を持って変化する場合などに有効である。

この態様によると、上述した情報を符号化ストリーム内に明示的に記述することにより、画像内に注目領域が設定される場合に、復号側に有益な情報を提供でき、注目領域に関する各種の処理を実現させることができる。

本発明の別の態様は、画像符号化装置である。この装置は、画像上に注目領域を定義する注目領域設定部と、画像を符号化する画像符号化部と、注目領域を特定するための情報を符号化する注目領域情報符号化部と、符号化した画像と、前記情報を明示的に含めて、符号化ストリームを生成する符号化ストリーム生成部と、を備える。「注目領域設定部」は、ユーザの指定により、またはオブジェクトなどを自動認識することにより、画像上に注目領域を定義してもよい。

この態様によると、上述した情報を符号化ストリーム内に明示的に記述して符号化ストリームを生成することにより、画像内に注目領域が設定される場合に、復号側に有益な情報を提供でき、注目領域に関する各種の処理を実現させることができる。

上述した情報には、画像内に複数の注目領域が設定された場合、その優先度が含まれる。この態様によると、復号側で複数の注目領域の優先度を認識することができ、よりきめ細かな処理も可能となる。

画像上に複数の注目領域が定義された場合、その優先度の順に上述した情報を記述してもよい。この態様によると、少ない符号量で、複数の注目領域の優先度を復号側に認識させることができる。

本発明のさらに別の態様は、画像復号方法である。この方法は、画像の符号化データを含む符号化ストリーム内に明示的に記述された、画像上に定義された注目領域を特定するための情報を参照して、注目領域を含む領域を符号化ストリームから復号する。「注目領域を含む領域」は、注目領域、注目領域とその周辺領域を含む領域、または画像全体の領域であってもよい。

この態様によると、符号化ストリーム内に明示的に記述された前記情報を参照して、注目領域に関する各種の処理を実現させることができる。

本発明のさらに別の態様は、画像復号装置である。この装置は、画像の符号化データを含む符号化ストリーム内に明示的に記述された、画像上に定義された注目領域を特定するための情報を復号する注目領域情報復号部と、復号した情報を参照して、注目領域を含む領域を符号化ストリームから復号する画像復号部と、を備える。

この態様によると、符号化ストリーム内に明示的に記述された前記情報を参照して、注目領域に関する各種の処理を実現させることができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像の一部に注目する領域が指定される場合に、復号側でそれを生かした種々の処理を実現することができる。

実施の形態１
図１は、実施の形態１に係る画像符号化装置１００の構成図である。画像符号化装置１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像符号化装置１００は、入力された原画像を一例としてＪＰＥＧ２０００方式により圧縮符号化する。画像符号化装置１００に入力される原画像は、動画像のフレームである。画像符号化装置１００は、動画像の各フレームをＪＰＥＧ２０００方式で連続的に符号化して、動画像の符号化ストリームを生成することができる。

ウェーブレット変換部１０は、入力された原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。具体的には、ウェーブレット変換部１０は、原画像のｘ、ｙそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、４つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。

ウェーブレット変換部１０は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行って、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部１０は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部１２は、ウェーブレット変換部１０から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。

エントロピー符号化部１４は、量子化部１２により量子化された量子化値をエントロピー符号化する。例えば、上位ビットブレーンから順にスキャンしながら符号化する。このように、エントロピー符号化部１４の符号化対象は原画像であり、画像符号化部として機能する。

ＲＯＩ設定部２０は、原画像の一部の領域にＲＯＩ領域を設定する。ＲＯＩ領域の形状は、矩形、丸、その他の複雑な形であってもよい。その形状は、固定でも動的に変化するものであってもよい。例えば、画像の中心部分と周辺部分とでＲＯＩ領域の形状を変化させてもよい。また、ＲＯＩ領域は、一枚の画像に複数設定されてもよい。

このようなＲＯＩ領域をユーザが手動で設定してもよいし、システムが動きのある領域などを自動認識して、設定してもよい。具体的には、ユーザまたはシステムは、ＲＯＩ領域の位置、大きさ、形状、複数設定される場合の優先順位などを、初期値としてＲＯＩ設定部２０に設定する。なお、ユーザがオブジェクトを指定した場合、もしくはシステムが自動認識した場合、ＲＯＩ設定部２０がそのオブジェクトを含む所定の範囲をＲＯＩ領域に自動設定してもよい。ユーザまたはシステムは、動画像の場合、フレーム毎にＲＯＩ領域を設定してもよいし、始めにＲＯＩ領域を指定し、以後、そのＲＯＩ領域内のオブジェクトの動きにＲＯＩ領域を追従させてもよい。これは、オブジェクトの動きベクトルを検出することにより実現することができる。

ＲＯＩ設定部２０は、ＲＯＩ領域の開始位置、大きさなど、ＲＯＩ領域を特定するための情報（以下、ＲＯＩ情報という。）をＲＯＩ予測処理部２２に出力する。上述した追従処理を行う場合、オブジェクトの動きベクトルを基に設定したＲＯＩ領域の動きベクトルを出力してもよい。

ＲＯＩ予測処理部２２は、ＲＯＩ情報に対して、フレーム間予測処理を行う。ＲＯＩ予測処理部２２は、ＲＯＩ情報を記憶するためのメモリを備え、例えば、そこに基準となるフレームのＲＯＩ情報を記憶し、現フレームとの差分情報を算出する。

図２は、ＲＯＩ領域の遷移の一例を示す図である。図２（ａ）は、画像内にＲＯＩ領域Ｒが設定された状態を示す。このＲＯＩ領域Ｒは、長方形であるため、左上の頂点座標と、水平方向の大きさ、および垂直方向の大きさで表現することができる。ここでは、これを、座標（Ａ，Ｂ）、大きさ（Ｘ，Ｙ）と表記する。まず、ＲＯＩ予測処理部２２は、これらの情報をＲＯＩ情報として、ＲＯＩ情報符号化部２４に出力するとともに、上記メモリに記憶する。このフレームが、次のフレームに対する基準となる。

図２（ｂ）は、図２（ａ）に示したフレームの次のフレームを示し、ＲＯＩ領域Ｒが移動した状態を示す。ここで、画像内において、ＲＯＩ領域Ｒが右にＭ１画素分移動した。このＲＯＩ領域ＲのＲＯＩ情報を上記と同様の手法により表現すると、座標（Ａ＋Ｍ１，Ｂ）、大きさ（Ｘ，Ｙ）と表記することになる。この点、ＲＯＩ予測処理部２２は、上記メモリに記憶された前フレームのＲＯＩ情報を利用して、その差分で現フレームのＲＯＩ情報を表現することができる。例えば、現フレーム内で生成したＲＯＩ情報から前フレームのＲＯＩ情報を引くと、座標Δ（Ｍ１，０）、大きさΔ（０，０）と表現することができる。ＲＯＩ予測処理部２２は、このＲＯＩ情報をＲＯＩ情報符号化部２４に再び出力するとともに、上記メモリに記憶する。

図２（ｃ）は、図２（ｂ）に示したフレームの次のフレームを示し、ＲＯＩ領域Ｒが移動し、ＲＯＩ領域Ｒ自体の形状が変化した状態を示す。ここで、画像内において、ＲＯＩ領域Ｒが下にＮ２画素分移動し、ＲＯＩ領域Ｒが水平方向にＭ２画素分大きくなった。ＲＯＩ予測処理部２２は、上記メモリに記憶された前フレームのＲＯＩ情報を利用して、上記と同様の手法で現フレームのＲＯＩ情報を表現すると、座標Δ（０，−Ｎ２）、大きさΔ（Ｍ２，０）と表現することができる。ＲＯＩ予測処理部２２は、このＲＯＩ情報をＲＯＩ情報符号化部２４に再び出力するとともに、上記メモリに記憶する。

このように、フレーム間予測処理を利用すると、０およびその近傍の値の出現頻度が高くなり、ＲＯＩ情報に統計的偏りを持たせることができる。このようなＲＯＩ情報を、後述するＲＯＩ情報符号化部２４でエントロピー符号化を行えば、その符号量を削減することができる。エントロピー符号化は、出現頻度の偏りが大きいほど、符号量を削減することができる。

なお、フレーム間予測処理は、上述した単純に前のフレームとの差分をとる処理に限らず、例えば、動き補償予測処理を利用してもよい。動き補償予測処理は、ＲＯＩ領域Ｒが動いた方向や距離を示す動きベクトルを求め、この動きベクトルで表される位置情報と現フレームとの差分をＲＯＩ情報とすることができる。とくに、ＲＯＩ領域Ｒの動きが大きい動画像に対して、０およびその近傍の値の出現頻度を高めることができる。このように、フレーム間予測の対象となるフレームは、１つ前のフレームに限らず、１つ後の将来のフレームでもよい。さらに、前後１フレームに限らず、前後数フレームを利用して、その平均値を利用する処理なども実現可能である。

勿論、フレーム間予測処理を使用せずに、各フレーム内においてＲＯＩ情報を生成することも可能である。その場合、メモリ容量や計算量を低減することができる。したがって、ユーザは、動画像の特性にしたがって、フレーム間予測処理を利用するか否かを選択できてもよい。とくに動きの速い動画像では、フレーム間予測処理を利用しても、演算量増加のわりに符号量があまり削減できない場合も生じる。そのような場合、単純にフレームごとにＲＯＩ情報を生成してもよい。

ＲＯＩ情報符号化部２４は、ＲＯＩ予測処理部２２から入力されたＲＯＩ情報を符号化する。例えば、エントロピー符号化を行う。そして、符号化したＲＯＩ情報を符号化ストリーム生成部１６に出力する。

符号化ストリーム生成部１６は、エントロピー符号化部１４から入力される画像の符号化データ、ＲＯＩ情報符号化部２４から入力されるＲＯＩ情報の符号化データなどを基に、符号化ストリームを生成する。そして、生成した符号化ストリームを記録媒体やネットワークに出力する。ここで、記録媒体として、ＳＤＲＡＭやフラッシュハードディスクドライブなどを用いることができる。

ＲＯＩ情報の符号化データは、ヘッダに記述される。ヘッダにも種々のレベルが存在するが、いづれのレベルに記述してもよい。例えば、ストリームヘッダ、シーケンスヘッダ、ＧＯＰ（Group of Picture）ヘッダ、フレームヘッダ、ピクチャヘッダ、領域単位で付されるヘッダなどにＲＯＩ情報を記述することができる。

上記領域単位で付されるヘッダとは、以下のようなヘッダを指す。例えば１枚のフレームやピクチャに複数のＲＯＩ領域が設定される場合に、ＲＯＩ領域１の画像データ→ＲＯＩ領域２の画像データ→・・・→周辺領域の画像データの順にフレームやピクチャを並べたとする。上記ヘッダとは、このようなときのＲＯＩ領域１の画像データやＲＯＩ領域２の画像データごとに付されるヘッダである。

図３は、符号化ストリームの一例を示す図である。ここでは、符号化ストリームをＭＰＥＧ（Moving Picture Experts Group）で使用されるシーケンスという用語で示している。ＭＰＥＧでは、１つのビデオプログラム全体の符号化信号をシーケンスと呼ぶ。シーケンスは、図３に示すようにシーケンスヘッダで始まり、シーケンスエンドで終わり、その間に複数のＧＯＰを記述する。ＧＯＰは、ＧＯＰヘッダと複数のピクチャを記述する。図３の例では、このＧＯＰヘッダに複数のＲＯＩ情報を記述している。ＧＯＰヘッダには、符号化条件など復号に必要な各種パラメータが記述される。本実施の形態では、そこにＲＯＩ情報も記述している。

上述したＲＯＩ情報は、頂点座標と大きさを示す情報であった。この点、ＲＯＩ情報は、そのような情報に限らず、種々の情報を含むことができ、このような情報によりＲＯＩ情報を特定することができる。以下、その例を挙げる。

まず、基本となる座標が必要である。上述したように頂点の座標や、中心点座標、重心座標などが該当する。これらの内から、ＲＯＩ領域の形状に適した座標を用いることができる。例えば、ＲＯＩ領域が円である場合、中心点座標が最適な座標となる。次に、各フレーム内の情報でＲＯＩ領域を特定する場合、大きさが必要である。例えば、水平方向の大きさ、垂直方向の大きさが必要である。次に、フレーム間予測処理を使用する場合、前のフレームとの差分データ、動きベクトルを用いた、後のフレームとの差分データ、アフィン変換係数などの各種関数の係数などを用いることができる。

次に、１枚の画像にＲＯＩ領域が複数設定される場合、その優先度をＲＯＩ情報に含めてもよい。例えば、その優先順位だけでなく、そのＲＯＩ領域の表示が必須か否かといった情報を含めてもよい。また、この優先順位をＲＯＩ情報の並び順で表現してもよい。すなわち、優先順位の高いＲＯＩ領域の情報ほど、前に記述するといった手法が可能である。また、各ＲＯＩ領域の情報量を含めてもよい。例えばそのＲＯＩ領域の符号量や圧縮率、演算量などである。また、ＲＯＩ領域ごとに画質や、それ以外の領域との画質比を含めてもよい。

さらに、そのＲＯＩ領域が独立して復号可能か否かを示す情報を含めてもよい。例えば、ＪＰＥＧ２０００方式では、ビットプレーン内の各係数ビットとして、Ｓパス（significance propagation pass）、Ｒパス（magnitude refinement pass）、Ｃパス（cleanup pass）の３種類の処理パスが使用される。Ｓパスでは、有意である係数が周囲に存在する有意でない係数の復号が行われ、Ｒパスでは、有意である係数の復号が行われ、Ｃパスでは、残りの係数の復号が行われる。Ｓパス、Ｒパス、Ｃパスの各処理パスはこの順に画像の画質への寄与度が大きい。各処理パスはこの順に実行され、各係数のコンテクストが近傍係数の情報を考慮して決定される。したがって、パス毎に独立して符号化されている場合には、可変長の復号を途中で打ち切ることも可能になる。このような情報は、復号側にとって有益な情報である。その他、復号の際に有益な情報として利用できる情報であれば、上記例に挙げた以外の情報をＲＯＩ情報に含めてもよい。なお、ＲＯＩ情報をヘッダに記述する例を説明したが、ユーザが自由に使用可能なユーザ領域に記述してもよい。

以上説明したように実施の形態１によれば、ＲＯＩ領域の復号に必要な、または有益な情報をＲＯＩ情報として符号化ストリームに明示的に含めたことにより、復号側でその情報を生かした種々の処理を実現することができる。例えば、早送り再生などをする場合、ＲＯＩ領域、またはその周辺数画素を含む領域を取り出して、それを容易に再生表示させることができる。

また、ＲＯＩ情報をフレーム間予測処理を利用して符号化することにより、ＲＯＩ情報の符号量を削減させることができる。例えば、ＪＰＥＧ２０００では、画像を静止画として扱い、符号化を行っているため、ＲＯＩ領域の符号化の際にはＲＯＩ情報を画像１枚ごとに与えなければならない。このため、動きのない画像に対してＲＯＩ符号化を行うような場合、連続する各画像データに対して全く同じＲＯＩ情報を付加することになり、全体としては無駄な符号を生成してしまうことになる。このような場合に、フレーム間予測処理を利用する態様は、とくに効果を発揮する。さらに、符号量を削減させることにより、処理を高速化することができ、消費電力を削減することもできる。

実施の形態２
図４は、実施の形態２に係る画像復号装置２００の構成図である。実施の形態２では、画像復号装置２００は、実施の形態１で符号化された符号化ストリームを復号する。符号化ストリームとして入力される動画像の各符号化フレームを連続的に復号することにより動画を再生することができる。

ＲＯＩ情報復号部４０は、符号化ストリーム内に記述されたＲＯＩ情報を復号し、ＲＯＩ予測処理部４２に出力する。ＲＯＩ情報は、符号化ストリーム内のいずれかのレベルのヘッダに記述されている。

ＲＯＩ予測処理部４２は、復号したＲＯＩ情報に対して、フレーム間予測処理を行う。ＲＯＩ予測処理部４２は、ＲＯＩ情報を記憶するためのメモリを備え、例えば、そこに基準となるフレームのＲＯＩ情報を記憶する。差分情報で与えられている現フレームのＲＯＩ情報と、メモリに記憶されているＲＯＩ情報とを加算することにより、現フレームのＲＯＩ情報を原始的なデータ形式に復元する。

例えば、基準となるフレームのＲＯＩ領域が長方形である場合、そのＲＯＩ領域を左上の頂点座標（Ａ，Ｂ）と、水平方向の大きさおよび垂直方向の大きさ（Ｘ，Ｙ）で表現することができる。まず、ＲＯＩ予測処理部４２は、これらの情報をＲＯＩ情報として、ＲＯＩ領域制御部４４に出力するとともに、上記メモリに記憶する。このフレームが、次のフレームに対する基準となる。

実施の形態１の手法を用いてＲＯＩ情報が符号化されている場合、次のフレームで当該ＲＯＩ領域が右にＭ１画素分移動したとすると、その差分情報として座標Δ（Ｍ１，０）、大きさΔ（０，０）とＲＯＩ情報が与えられる。ＲＯＩ予測処理部４２は、上記メモリに記憶された前フレームのＲＯＩ情報にこの差分情報を加算することにより、現フレームの絶対的な座標（Ａ＋Ｍ１，Ｂ）、大きさ（Ｘ，Ｙ）を求めることができる。

ＲＯＩ予測処理部４２は、このようにして、画像を復号する前に次画面のＲＯＩ情報を復号し取得する。これにより、ＲＯＩ領域に関する種々の処理が可能になる。なお、他のフレーム間予測符号化が用いられている場合、それに対応した復元方法を用いる。

ＲＯＩ領域制御部４４は、ユーザまたはシステムの要求によりＲＯＩ領域に関する各種の処理を設定する。例えば、ＲＯＩ領域の画像のみ、またはその周辺画素を含む領域を再生する処理も可能である。この周辺画素を決定する手法は後述する。また、あるシーンをオブジェクト認識を用いてサーチする場合、ＲＯＩ領域内のオブジェクトのみを対象にした検索処理も可能である。いずれも、高速処理が可能である。これらの処理を行う際、ＲＯＩ情報に含まれる優先順位情報を参照して、処理を行うことができる。例えば、表示が必須でない、または優先順位の低いＲＯＩ領域を表示させなかったり、検索対象から外すこともできる。

その他、ＲＯＩ領域制御部４４は、ＲＯＩ情報による指定、ユーザまたはシステムの要求により、ＲＯＩ領域の画質やその他の領域との画質比を設定することができる。

符号化データ抽出部３０は、入力された符号化ストリームから符号化データを抽出する。その際、ＲＯＩ領域制御部４４から指定された領域の符号化データのみを抽出する場合もある。エントロピー復号部３２は、抽出された符号化データをビットプレーン毎に復号し、復号の結果得られる量子化されたウェーブレット変換係数を取得する。逆量子化部３４は、ウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部３６は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。

次に、ＲＯＩ領域制御部４４にてＲＯＩ領域とその周辺領域を含む領域の座標と大きさを決定するための手法を説明する。図５は、ウェーブレット変換係数の各分割レベルにおけるＲＯＩ領域を示す図である。図５（ａ）は分割レベル０の原画像８０上にＲＯＩ領域９０が設定された状態を示す。図５（ｂ）は、原画像８０を１回だけウェーブレット変換することにより得られる分割レベル１の変換画像８２を示す。分割レベル１の変換画像８２は、４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１から構成される。ＲＯＩ領域制御部４４は、原画像８０のＲＯＩ領域９０を復元するために必要な分割レベル１の変換画像８２上のＲＯＩ領域９１〜９４を、分割レベル１の各サブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１において特定する。

図５（ｃ）は、図５（ｂ）の変換画像８２の最低周波数成分のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる分割レベル２の変換画像８４を示す。分割レベル２の変換画像８４は、同図のように、分割レベル１の３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１の他、分割レベル２の４つのサブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を含む。ＲＯＩ領域制御部４４は、分割レベル１の変換画像８２のサブバンドＬＬ１におけるＲＯＩ領域９１を復元するために必要な分割レベル２の変換画像８４上のＲＯＩ領域９５〜９８を各サブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２において特定する。

同様にして、ウェーブレット変換の回数だけ原画像８０のＲＯＩ領域９０に対応するＲＯＩ領域を各分割レベルにおいて再帰的に特定していくことにより、最終分割レベルの変換画像において、ＲＯＩ領域９０を復元するために必要なＲＯＩ変換領域をすべて特定することができる。

ＲＯＩ領域制御部４４は、原画像８０上で設定されたＲＯＩ領域の周辺領域にノイズを発生させることなく原画像８０まで復号するよう、各分割レベルにおける各サブバンド内で、復号すべきウェーブレット変換係数の対象領域の開始位置と大きさを決定する。それを符号化データ抽出部３０に設定する。

原画像８０におけるＲＯＩ領域の開始するｘまたはｙ座標をＰ、ＲＯＩ領域のｘまたはｙ方向の大きさをＱとしたとき、各分割レベルでの復号対象領域の開始座標および大きさは以下の通りになる。

分割レベル１・・・開始座標Ｐ／２−α、大きさＱ／２＋β
分割レベル２・・・開始座標（Ｐ／２−α）／２−α、大きさ（Ｑ／２＋β）／２＋β
分割レベル３・・・開始座標｛（Ｐ／２−α）／２−α｝／２−α、
大きさ｛（Ｑ／２＋β）／２＋β｝／２＋β
分割レベルＪ・・・開始座標［・・・］／２−α、大きさ［・・・］／２＋β

上記の計算をｘおよびｙについて行うことにより、各分割レベルでの復号対象領域の開始座標および大きさを求めることができる。開始座標では、最後のαを引く直前の値に小数点以下が発生した場合、それを切り捨てる。一方、大きさでは、最後のβを足す直前の値に小数点以下が発生した場合、それを切り上げる。α、βの値は、設計者が任意に設定可能であるが、例えば、α＝１、β＝２やα＝２、β＝４といった設定が可能である。周辺領域をＲＯＩ領域の上下左右で対称に設ける場合、βはαの２倍の値となる。この値は、使用するフィルタに依存する。フィルタリング回数が多いほど、周辺領域の画素を多くとるとよい。

以上説明したように実施の形態２によれば、符号化ストリームに明示的に記述されたＲＯＩ情報を復号して、その情報を生かして種々の処理を実現することができる。例えば、ＲＯＩ領域、またはその周辺画素を含む領域を抽出して、それを容易に再生表示させることができる。また、ＲＯＩ領域、およびそれ以外の領域をそれぞれ所望の画質で再生することもできる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

上記の実施の形態で、ＲＯＩ領域は、オブジェクトだけの領域でもよい。この場合、システムは、ＲＯＩ情報として、オブジェクトを特定するための情報をヘッダなどに記述することができる。実施の形態と同様に、このオブジェクトの形状変化に関する情報などをフレーム間予測処理を利用して記述することにより、当該情報の符号量を削減することができる。

上記の実施の形態では、ＪＰＥＧ２０００方式で連続的に符号化した動画像の符号化ストリームを復号しているが、ＪＰＥＧ２０００方式に限らず、要は、動画像の符号化ストリームを復号する方式であればよい。

上記の実施の形態において、画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。例えば、ＪＰＥＧ標準で用いられる離散コサイン変換を用いてもよい。

実施の形態１に係る画像符号化装置の構成図である。 ＲＯＩ領域の遷移の一例を示す図である。 符号化ストリームの一例を示す図である。 実施の形態２に係る画像復号装置の構成図である。 各分割レベルにおけるＲＯＩ領域を示す図である。

符号の説明

１０ ウェーブレット変換部、 １２ 量子化部、 １４ エントロピー符号化部、 １６ 符号化ストリーム生成部、 ２０ ＲＯＩ設定部、 ２２ ＲＯＩ予測処理部、 ２４ ＲＯＩ情報符号化部、 ３０ 符号化データ抽出部、 ３２ エントロピー復号部、 ３４ 逆量子化部、 ３６ ウェーブレット逆変換部、 ４０ ＲＯＩ情報復号部、 ４２ ＲＯＩ予測処理部、 ４４ ＲＯＩ領域制御部、 １００ 画像符号化装置、 ２００ 画像復号装置。

Claims (4)

1. 画像上に複数の注目領域を定義する注目領域設定部と、
   前記画像を符号化する画像符号化部と、
   符号化した画像と、複数の注目領域を特定するための情報を動画像の複数のフレームの
   まとまりの単位で明示的に含めて、符号化ストリームを生成する符号化ストリーム生成部
   と、
   を備え、
   前記複数の注目領域を特定するための情報には、複数の注目領域間の優先順位を示す情
   報と前記複数の注目領域について表示が必須か否かに関する情報が含まれ、
   前記注目領域は、ユーザにより設定された領域であることを特徴とする画像符号化装置。
2. 画像上に複数の注目領域を定義する注目領域設定部と、
   前記画像を符号化する画像符号化部と、
   符号化した画像と、複数の注目領域を特定するための情報を動画像の複数のフレームの
   まとまりの単位で明示的に含めて、符号化ストリームを生成する符号化ストリーム生成部
   と、
   を備え、
   前記複数の注目領域を特定するための情報には、複数の注目領域間の優先順位を示す情
   報と前記複数の注目領域について表示が必須か否かに関する情報が含まれ、
   前記注目領域は、ユーザがオブジェクトを指定した場合、そのオブジェクトを含む所定の範囲であることを特徴とする画像符号化装置。
3. 前記複数の注目領域を特定するための情報を、複数の注目領域間の優先順位の順に記述
   することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記複数の注目領域を特定するための情報は、復号の際に利用されるものであることを
   特徴とする請求項１から３のいずれかに記載の画像符号化装置。

Images