JP4780139B2 - 映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラム - Google Patents

Description

本発明は、空間解像度の異なる複数の映像信号に復元可能な多重化データを生成または利用する映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラムに関するものである。

従来から、映像信号の符号化または復号において、空間解像度、時間解像度およびＳＮＲ（Signal to Noise Ratio）それぞれのスケーラビリティを実現する符号化方式または復号方式が数多く提案されており、様々な分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティ(空間スケーラビリティ)に関しては、静止画像の符号化等も含め、その適用範囲が広く、様々な技術が公開されている。

例えば、特許文献１には、空間解像度および画像フォーマットの異なる複数の映像信号に復元可能な多重化データを生成する空間スケーラビリティの基本的な構成が記載されている。ここでは、空間的に補間された基本レイヤ（ベースレイヤ）が、適切な重みの選択によって拡張レイヤ（エンハンスメントレイヤ）の動き補償済み時間予測と組み合わされ、拡張レイヤを符号化するために用いられる予測映像信号が生成されている。かかる構成により帯域効率を上げ、伝送エラーに適切に対応することができる。

一方、画像拡大法の分野において、画像拡大時に拡大後の解像度に適切な高周波成分を推定して付加する非特許文献１の階層間推定処理技術がある。非特許文献１には、階層符号化におけるラプラシアンピラミッドの考え方を画像拡大法に応用した技術が記載され、階層間のラプラシアン成分の相関が強いことを利用して、着目する階層の信号のみから空間解像度がひとつ高い階層のラプラシアン成分の推定を成し遂げている。
特開平７−１６２８７０号公報 「高周波成分推定を伴う任意倍率可能な画像拡大法」高橋靖正、田口亮、電子情報通信学会論文誌 Vol.J84-A No.9 pp.1192-1201 2001年9月

映像階層符号化装置において、映像信号の空間スケーラビリティを実現するためには、特許文献１にも示されるように、基本レイヤにおける基本符号化データを復号した基本復号映像信号をインターポレーション（interpolation）し、それを拡張レイヤ符号化における予測映像信号として用いる。これは、拡張レイヤ符号化において入力されるオリジナルの映像信号（以下、単に原映像信号という。）と、基本映像信号との間にある程度の相関がある、即ち、原映像信号の一部の周波数成分を基本映像信号が含んでいることを利用したものである。

ここでは、基本復号映像信号と拡張レイヤ符号化に用いられる原映像信号との間の相関が高ければ高いほど、符号化効率は高くなる。従って、より効率的な符号化を実現するためには、基本復号映像信号を、単純に空間インターポレーションするだけでなく、より原映像信号に近づけるような階層間推定処理を介して予測映像信号を生成する必要がある。

このような空間的拡大（インターポレーション）には、上述した非特許文献１の階層間推定処理技術を適用することが望ましい。しかし、非特許文献１の階層間推定処理技術は、そもそも自然画像の拡大を対象としており、そのまま空間インターポレーションに適用すると様々な問題を生じてしまう。これは、基本符号化データを復号した基本復号映像信号がその元となる基本映像信号と比較して劣化した信号であることに起因する。例えば、基本レイヤの符号化における量子化ステップ幅が大きい場合には、復号した基本復号映像信号の量子化誤差が大きくなり、原映像信号との相関が低くなる。

従って、自然画像における階層間の相関を利用した階層間推定処理技術を単純に空間インターポレーションに適用した場合、期待された符号化効率が得られない場合が生じてしまう。符号化効率を高めるためには、階層間の予測映像信号を生成する上で、符号化劣化の影響や階層間推定処理の特性を考慮しなければならない。このような符号化劣化の影響や階層間推定処理の特性の考慮は、映像階層符号化装置のみならず、映像階層符号化装置と同一の手順によって原映像信号を復元する映像階層復号装置にも適用する必要が生じる。

本発明は、このような課題に鑑み、基本符号化データを復号した基本復号映像信号を適切に高解像度化処理することで原映像信号と相関の高い予測映像信号を生成し、より効率的な映像階層符号化を実現することが可能な映像階層符号化装置、映像階層符号化方法、および映像階層符号化プログラムを提供することを目的としている。

また、本発明は、このような映像階層符号化装置に対応して、映像階層符号化装置からの多重化データを適切に高解像度化処理することで原映像信号と相関の高い予測映像信号を生成し、より効率的な映像階層復号を実現することが可能な映像階層復号装置、映像階層復号方法、および映像階層復号プログラムを提供することも目的としている。

上記課題を解決するために、本発明の代表的な構成は、空間解像度の異なる複数の映像信号に復元可能な多重化データを生成する映像階層符号化装置であって、原映像信号の空間解像度を縮小して基本映像信号を生成する空間デシメーション部と、基本映像信号を符号化して基本符号化データを生成する基本レイヤ符号化部と、基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、基本復号映像信号の空間解像度を拡大して予測映像信号を生成する空間インターポレーション部と、原映像信号と予測映像信号とを用いて導出された予測誤差信号を符号化して拡張符号化データを生成する拡張レイヤ符号化部と、基本符号化データと拡張符号化データとを多重化して多重化データを生成する多重化部と、を備え、空間インターポレーション部は、基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部と、高周波分離信号から原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部と、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部と、高周波分離信号と高周波相当信号との差分である差分信号を生成する差分生成部と、差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部と、基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部と、高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成する信号合成部と、を有することを特徴とする。

本発明によれば、映像階層符号化の階層間予測における単純な空間インターポレーション（空間的拡大）に、原映像信号の推定を伴った階層間推定処理を加えて階層間の予測誤差信号をより小さくすることで、効率的に高品位な映像階層符号化を実現することが可能となる。また、空間インターポレーションにおいて、基本符号化データを復号した基本復号映像信号（低解像度信号）の符号化劣化や階層間推定処理の特性を考慮して、基本符号化データを復号した基本復号映像信号を、高周波成分のみを通過させた後、推定目的となる原映像信号に相当する高周波成分とそれ以外の信号に分離しそれぞれに適した処理で原映像信号（高解像度信号）を推定するので、予測映像信号の生成をより適切に行うことができ、効率的な映像階層符号化を実現することが可能となる。

高周波抽出フィルタリング部は、突発的変化を有する映像信号に対する雑音除去を行う非線形ディジタルフィルタであるε−フィルタであり、多重化部は、ε−フィルタパラメータである係数列ａ_ｋおよび閾値εも多重化してよい。

かかるε−フィルタの構成により、階層間推定処理に適した高周波成分のみが階層間推定処理に与えられ、残りの差分信号は高周波成分には特化しない処理によって拡大される。また、パラメータａ_ｋおよびεを最終的な多重化データに含めることで、映像階層復号装置においても同一のε−フィルタを用いた適切な映像階層復号が可能となる。

本発明の代表的な他の構成は、空間解像度の異なる複数の映像信号に復元可能な多重化データを生成する映像階層符号化方法であって、原映像信号の空間解像度を縮小して基本映像信号を生成し、基本映像信号を符号化して基本符号化データを生成し、基本符号化データを復号して基本復号映像信号を生成し、基本復号映像信号から高周波成分を分離して高周波分離信号を生成し、高周波分離信号から原映像信号に相当する高周波成分を抽出して高周波相当信号を生成し、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成し、高周波分離信号と高周波相当信号との差分である差分信号を生成し、差分信号の空間解像度を拡大して差分高解像度信号を生成し、基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成し、高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成し、原映像信号と予測映像信号とを用いて導出された予測誤差信号を符号化して拡張符号化データを生成し、基本符号化データと拡張符号化データとを多重化して多重化データを生成することを特徴とする。

本発明の代表的な他の構成は、コンピュータを、空間解像度の異なる複数の映像信号に復元可能な多重化データを生成する映像階層符号化装置として機能させる映像階層符号化プログラムであって、コンピュータを、原映像信号の空間解像度を縮小して基本映像信号を生成する空間デシメーション部と、基本映像信号を符号化して基本符号化データを生成する基本レイヤ符号化部と、基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部、高周波分離信号から原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部、高周波分離信号と高周波相当信号との差分である差分信号を生成する差分生成部、差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部、基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部、および高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成する信号合成部、を有する空間インターポレーション部と、原映像信号と予測映像信号とを用いて導出された予測誤差信号を符号化して拡張符号化データを生成する拡張レイヤ符号化部と、基本符号化データと拡張符号化データとを多重化して多重化データを生成する多重化部と、して機能させることを特徴とする。

上述した映像階層符号化装置における技術的思想に対応する構成要素やその説明は、当該映像階層符号化方法、映像階層符号化プログラムにも適用可能である。

本発明の代表的な他の構成は、空間スケーラビリティが施された多重化データから空間解像度の異なる複数の映像信号を復元可能な映像階層復号装置であって、多重化データから、少なくとも基本符号化データおよび拡張符号化データを含む、空間解像度の異なる複数の符号化データを分離するエクストラクト部と、基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、基本復号映像信号の空間解像度を拡大して予測映像信号を生成する空間インターポレーション部と、拡張符号化データを復号した予測誤差信号と予測映像信号とを用いて原映像信号を復元する拡張レイヤ復号部と、を備え、空間インターポレーション部は、基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部と、高周波分離信号から原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部と、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部と、高周波分離信号と高周波相当信号との差分である差分信号を生成する差分生成部と、差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部と、基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部と、高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成する信号合成部と、を有することを特徴とする。

本発明によれば、映像階層復号の階層間予測における単純な空間インターポレーション（空間的拡大）に、原映像信号の推定を伴った階層間推定処理を加えて階層間の予測誤差信号をより小さくすることで、効率的に高品位な映像階層復号を実現することが可能となる。また、空間インターポレーションにおいて、基本符号化データを復号した基本復号映像信号（低解像度信号）の符号化劣化や階層間推定処理の特性を考慮して、基本符号化データを復号した基本復号映像信号を、高周波成分のみを通過させた後、推定目的となる原映像信号に相当する高周波成分とそれ以外の信号に分離しそれぞれに適した処理で原映像信号（高解像度信号）を推定するので、原映像信号の復元をより適切に行うことができ、効率的な映像階層復号を実現することが可能となる。

高周波抽出フィルタリング部は、突発的変化を有する映像信号に対する雑音除去を行う非線形ディジタルフィルタであるε−フィルタであり、多重化データには、ε−フィルタのパラメータである係数列ａ_ｋおよび閾値εも含まれていてもよい。

かかるε−フィルタの構成により、階層間推定処理に適した高周波成分のみが階層間推定処理に与えられ、残りの差分信号は高周波成分には特化しない処理によって拡大される。また、パラメータａ_ｋおよびεを多重化データから取得することによって映像階層符号化装置におけるε−フィルタ処理と同一の処理を実行することが可能となり、適切な映像階層復号が可能となる。

本発明の代表的な他の構成は、空間スケーラビリティが施された多重化データから空間解像度の異なる複数の映像信号を復元可能な映像階層復号方法であって、多重化データから、少なくとも基本符号化データおよび拡張符号化データを含む、空間解像度の異なる複数の符号化データを分離し、基本符号化データを復号して基本復号映像信号を生成し、基本復号映像信号から高周波成分を分離して高周波分離信号を生成し、高周波分離信号から原映像信号に相当する高周波成分を抽出して高周波相当信号を生成し、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成し、高周波分離信号と高周波相当信号との差分である差分信号を生成し、差分信号の空間解像度を拡大して差分高解像度信号を生成し、基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成し、高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成し、拡張符号化データを復号した予測誤差信号と予測映像信号とを用いて原映像信号を復元することを特徴とする。

本発明の代表的な他の構成は、コンピュータを、
空間スケーラビリティが施された多重化データから空間解像度の異なる複数の映像信号を復元可能な映像階層復号装置として機能させる映像階層復号プログラムであって、コンピュータを、多重化データから、少なくとも基本多重化データおよび拡張多重化データを含む、空間解像度の異なる複数の符号化データを分離するエクストラクト部と、基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部、高周波分離信号から原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部、高周波分離信号と高周波相当信号との差分である差分信号を生成する差分生成部、差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部、基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部と、および高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成する信号合成部、を有する空間インターポレーション部と、拡張符号化データを復号した予測誤差信号と予測映像信号とを用いて原映像信号を復元する拡張レイヤ復号部と、して機能させることを特徴とする。

上述した映像階層復号装置における技術的思想に対応する構成要素やその説明は、当該映像階層復号方法、映像階層復号プログラムにも適用可能である。

以上説明したように本発明によれば、基本符号化データを復号した映像信号を適切に高解像度化処理することで原映像信号と相関の高い予測映像信号を生成し、より効率的な映像階層符号化を実現することが可能となる。また、このような映像階層符号化装置に対応して、映像階層符号化装置からの多重化データを適切に高解像度化処理することで原映像信号と相関の高い予測映像信号を生成し、より効率的な映像階層復号を実現することも可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施形態では、映像階層符号化において、階層間の予測効率を上げるための階層間の推定処理を導入している。このような階層間推定処理により、低解像度の基本復号映像信号の空間解像度を拡大する際、可能な限り原映像信号に近づけることができ、拡張レイヤにおける予測効率を向上させることで階層間の予測誤差を低減することが可能となる。

かかる階層間推定処理は、原映像信号との相関を高める効果を奏するが、単純に空間インターポレーションに適用すると、基本レイヤの符号化における量子化ステップ幅が大きい場合に、復号した映像信号の量子化誤差が大きく、符号化劣化によるノイズが増え、原映像信号との相関が低くなる。そこで、本実施形態では、階層間の予測映像信号を生成する上で、符号化劣化の影響や階層間推定処理の特性を考慮する。

本実施形態では、主にエッジ（輪郭）の推定に優れている階層間推定処理を採用している。従って、階層間推定処理の前に、エッジを保存し小振幅信号のみを除去するフィルタリングを施す。かかるフィルタリングによって、符号化劣化した信号を、空間インターポレーションの推定目的であるエッジ（原映像信号に相当する高周波成分）とそれ以外のノイズを含んでいる部分とに分離し、階層間推定処理をエッジにのみ作用させることで、符号化劣化した低解像度信号から原映像信号により近い高解像度信号を導出することができる。ここでは、エッジを保存するフィルタリングにおける副作用的な信号劣化を抑えるため、その前段にハイパスフィルタリングを施し、通過した高周波成分のみを、エッジを保存するフィルタリングの対象としている。

また、上述したエッジを保存するフィルタリングによって分離された小振幅の差分信号は、テクスチャ等も含んでいるので、エッジ部推定処理（階層間推定処理）後にエッジ部と再合成している。上述した階層間推定処理を実現するための映像階層符号化装置および映像階層復号装置の具体的な構成を、それぞれ実施形態を分けて以下に示す。また、本実施形態では、理解を容易にするため基本レイヤと拡張レイヤとの２階層の階層符号化を例として挙げているが、かかる場合に限られず、３階層、４階層、…等の３階層以上の多階層に適用できることは言うまでもない。また、基本レイヤの解像度を任意に選択することも当然にして可能である。

（第１の実施形態：映像階層符号化装置１００）
図１は、映像階層符号化装置１００の概略的な構成を示した機能ブロック図である。映像階層符号化装置１００は、オリジナルとなる原映像信号が入力され、空間解像度スケーラビリティを施したビットストリームが通信回線または、ブルーレイディスクやＤＶＤといった記録媒体を通じて映像階層復号装置に伝達される。映像階層符号化装置１００は、空間デシメーション部１１０と、基本レイヤ符号化部１１２と、基本レイヤ復号部１１４と、空間インターポレーション部１１６と、拡張レイヤ符号化部１１８と、多重化部１２０とを含んで構成される。

空間デシメーション（decimation）部１１０は、当該映像階層符号化装置１００に入力される原映像信号の空間解像度を基本レイヤによって規定される所定の解像度に縮小し基本映像信号を生成し、基本レイヤ符号化部１１２に伝達する。解像度の縮小（空間デシメーション）は、既存の様々な解像度縮小方法を適用することが可能であるが、後述する空間インターポレーション部１１６におけるラプラシアンピラミッドによる階層間推定処理に対応した解像度縮小方法を適用することが望ましい。また、原映像信号や基本映像信号の解像度の変化に対応するため縮小率を設定することもできる。例えば、基本レイヤの解像度をＲＢ、拡張レイヤの解像度（ここでは原映像信号の解像度）をＲＥとすると、原映像信号の解像度から基本レイヤの解像度に空間デシメーションする際の縮小率は、ＲＢ／ＲＥに設定されるとよい。

基本レイヤ符号化（エンコード）部１１２は、空間デシメーション部１１０によって縮小された基本映像信号を符号化して基本符号化データ（ビットストリーム）を生成し、基本レイヤ復号部１１４および多重化部１２０に伝達する。基本レイヤ符号化部１１２における符号化の方法は、例えば、ＭＰＥＧ２やＨ．２６４等におけるクローズドループのエンコーダが用いられる。ここで、時間方向のスケーラビリティやＳＮＲスケーラビリティなどの機能を含んでいてもよい。また、クローズドループのみならず、オープンループのエンコーダを用いた場合、そのエンコーダには復号（リコンストラクト）機能を含むものとする。

基本レイヤ復号部１１４は、基本レイヤ符号化部１１２で符号化された基本符号化データをさらに復号して基本復号映像信号を生成する。

空間インターポレーション部１１６は、基本レイヤ復号部１１４が復号した基本復号映像信号の空間解像度を空間的に拡大して予測映像信号を生成する。かかる予測映像信号は、原映像信号の推定信号であり、本実施形態では、基本復号映像信号を適切に高解像度化処理することで原映像信号と相関の高い予測映像信号を生成している。本実施形態において特徴的な当該空間インターポレーション部１１６の詳細な構成は後程説明する。空間インターポレーション部１１６は、生成された予測映像信号を拡張レイヤ符号化部１１８に送信すると共に、その空間インターポレーションに用いた各パラメータを符号化した符号化パラメータを多重化部１２０に伝達する。

拡張レイヤ符号化部１１８は、オリジナルの原映像信号と空間インターポレーション部１１６からの予測映像信号とを用い、空間解像度間および時間の相関を利用して予測誤差信号を導出し、その予測誤差信号を符号化して拡張符号化データ（ビットストリーム）を生成する。かかる拡張レイヤ符号化部１１８に関しても詳細な構成は後程説明する。拡張レイヤ符号化部１１８は、生成した拡張符号化データを多重化部１２０に送信する。

多重化部１２０は、基本レイヤ符号化部１１２からの基本符号化データ、空間インターポレーション部１１６からの符号化パラメータ、および拡張レイヤ符号化部１１８からの拡張符号化データを受信し、それらを多重化して一つの多重化データ（ビットストリーム）を生成し、通信回線１３０やメディア（記憶媒体）１３２に出力する。

図２は、上述した映像階層符号化装置１００によりオリジナルの原映像信号を空間スケーラビリティする映像階層符号化方法の具体的な処理を示したフローチャートである。

まず、空間デシメーション部１１０は、原映像信号の空間解像度を縮小して基本映像信号を生成し（Ｓ１５０）、基本レイヤ符号化部１１２は、このように生成された基本映像信号を符号化して、基本符号化データとしてのビットストリームを生成する（Ｓ１５２）。生成されたビットストリームは多重化部１２０に伝達されると共に基本レイヤ復号部１１４に伝達される。

基本レイヤ復号部１１４は、基本符号化データを復号して基本復号映像信号を生成し（Ｓ１５４）、空間インターポレーション部１１６は、基本復号映像信号の空間解像度を高周波成分の階層間推定処理を通じて拡大し予測映像信号を生成する（Ｓ１５６）。また、空間インターポレーション部１１６は、空間インターポレーションに用いたパラメータを符号化して多重化部１２０に送信する。

そして、拡張レイヤ符号化部１１８は、原映像信号と、空間インターポレーション部１１６が生成した予測映像信号とを用いて予測誤差信号を導出し（Ｓ１５８）、その予測誤差信号を符号化して、拡張符号化データとしてのビットストリームを生成する（Ｓ１６０）。このように生成された拡張符号化データは、基本符号化データや符号化パラメータと共に多重化して（Ｓ１６２）、通信回線１３０やメディア１３２に出力される。

（空間インターポレーション部１１６、拡張レイヤ符号化部１１８）
次に、本実施形態において特徴的な空間インターポレーション部１１６および拡張レイヤ符号化部１１８を詳述する。

図３は、空間インターポレーション部１１６および拡張レイヤ符号化部１１８の構成を示した機能ブロック図である。空間インターポレーション部１１６は、第１ハイパスフィルタリング部２０８と、高周波抽出フィルタリング部２１０と、高周波空間インターポレーション部２１２と、差分生成部２１４と、差分空間インターポレーション部２１６と、基本インターポレーション部２１８、第１信号合成部２２０と、第１エントロピー符号化部２２２とを含んで構成される。

第１ハイパスフィルタリング部（ハイパスフィルタリング部）２０８は、基本レイヤ復号部１１４で復号された基本復号映像信号をそのまま受け、高周波成分としてラプラシアン成分を抽出する。このように、符号化劣化を許容できる場合には、符号化劣化を抑制するための所定のフィルタリング処理を介さず、基本レイヤ復号部１１４で復号された基本復号映像信号をそのまま利用してラプラシアン成分を生成することで、復号画像中に含まれるより多くの周波数成分を利用しながら高品質なラプラシアン成分を得ることができる。ここでは、理解を容易にするため、１次元の信号モデル（数式１、２）を例に挙げ、入力信号をＧ_０（ｘ）、入力信号から抽出されるラプラシアン成分をＬ_０（ｘ）とする。

…（数式１）

…（数式２）
ここで、ρは、ガウシアンフィルタの帯域を調整するためのパラメータである。第１ハイパスフィルタリング部２０８は、入力信号から抽出したラプラシアン成分の高周波分離信号を高周波抽出フィルタリング部２１０へ出力する。

ここでは、第１ハイパスフィルタリング部２０８の一例として、ガウシアン関数を用いて高周波成分を抽出しているが、これを他の方法に置き換えることも可能である。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部１１０および後述する第２ハイパスフィルタリング部２３６に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たしていることが望ましい。例えば、空間デシメーション部１１０にｓｉｎｃ関数を用いた場合、第１ハイパスフィルタリング部２０８および第２ハイパスフィルタリング部２３６にもｓｉｎｃ関数を用いることでｓｉｎｃ関数によるピラミッド構成の関係を構築することができる。

高周波抽出フィルタリング部２１０は、例えば、突発的変化を有する映像信号に対する雑音除去を効果的に行う非線形ディジタルフィルタであるε−フィルタで構成され、第１ハイパスフィルタリング部２０８で高周波成分が分離された高周波分離信号から、原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する。

後述する高周波空間インターポレーション部２１２による高周波成分の階層間推定処理は、主に高解像度信号におけるエッジ（輪郭）を推定する能力に優れている。一方、上述したようにε−フィルタはエッジを保存し、小振幅を除去するフィルタである。従って、符号化劣化した基本復号映像信号に対してε−フィルタを設けることにより、推定目的であるエッジ部分と、符号化劣化を含み強調すべきでない、エッジ以外の成分とに分離することができ、エッジ部分にのみ階層間推定処理を適用することが可能となる。なお、１次元ε−フィルタは次の数式３、４で与えられ、信号の水平および垂直方向の両方に対して処理を実行する。

…（数式３）

…（数式４）
ここで、ｙ（）はε−フィルタの出力、ｘ（）はε−フィルタに対する入力信号、ａ_ｋはフィルタの重みを決める係数列、εはエッジを決める閾値である。ａ_ｋおよびεは、ε−フィルタの特性を決めるパラメータとなり、任意に設定することができる。

高周波抽出フィルタリング部２１０は、ε−フィルタを施した信号を高周波空間インターポレーション部２１２および差分生成部２１４に出力し、また、パラメータａ_ｋおよびεを第１エントロピー符号化部２２２に伝達する。こうしてパラメータａ_ｋおよびεも最終的な多重化データに含められる。パラメータａ_ｋおよびεを最終的な多重化データに含めることで、映像階層復号装置においても同一のε−フィルタを用いた適切な映像階層復号が可能となる。

高周波空間インターポレーション部２１２は、高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する。高周波空間インターポレーション部２１２は、具体的に、第１インターポレーション部２３２と、振幅制限定数倍処理部２３４と、第２ハイパスフィルタリング部２３６とから構成される。

第１インターポレーション部２３２は、高周波抽出フィルタリング部２１０より出力される高周波相当信号を受け、所望の解像度となるような倍率のインターポレーションを行う。所望される倍率のインターポレーションは次のように実行する。倍率γにインターポレーションされた信号（ＥＸＰＡＮＤ）_γＬ_０（ｘ）は、入力ラプラシアン成分をＬ^０（ｘ）とすると、数式５、６、７

…（数式５）

…（数式６）

…（数式７）
で与えられる。ここでｉｎｔ（）は整数部分を取り出す関数である。第１インターポレーション部２３２は、インターポレーションした信号を振幅制限定数倍処理部２３４へ出力する。ここで倍率γは、例えば、基本レイヤの解像度をＲＢ、拡張レイヤの解像度をＲＥとすると、基本レイヤの解像度から拡張レイヤの解像度に空間インターポレーションする場合には、ＲＥ／ＲＢの値に設定されるとよい。

振幅制限定数倍処理部２３４は、第１インターポレーション部２３２からの信号を受け、以下に示す未知の高周波成分を推定するための工程を実施する。未知の高周波成分を推定するための工程は、第１インターポレーション部２３２から入力された信号に対して、振幅制限と定数倍処理を行うことで実現される。振幅制限定数倍処理部２３４が生成する信号Ｌ_γ（バー￣）（ｘ）は、入力される信号を（ＥＸＰＡＮＤ）_γＬ_０（ｘ）とすると、数式８

…（数式８）
で与えられる。ここで、振幅制限のためのパラメータＴおよび定数倍処理のためのパラメータα_γは、試行を繰り返すことにより実験的に求められる。なお、パラメータα_γは、拡大率に応じて可変であるが、本実施形態では、拡大率だけではなく、基本レイヤの量子化の程度にも推定精度が関わるため、量子化の程度に応じても決定される。例えば、図４で示されるように、パラメータα_γと量子化ステップとの関係を決定するための変換式、もしくは変換テーブルを予め準備しておき、量子化ステップの変動に応じてパラメータα_γの値を制御できるようにすることが望ましい。振幅制限定数倍処理部２３４は、振幅制限および定数倍処理した信号を第２ハイパスフィルタリング部２３６へ出力し、当該振幅制限および定数倍処理に用いたパラメータα_γおよびＴは第１エントロピー符号化部２２２に伝達される。

第２ハイパスフィルタリング部２３６は、振幅制限定数倍処理部２３４からの信号を受け、未知の高周波成分を推定するための他の工程を実施する。未知の高周波成分を推定するための他の工程は、入力された信号から低周波数帯域成分を取り除き、本来求めようとしている高周波成分のみを得るものである。これは、入力される信号に対してハイパスフィルタリングを行うことで実現される。ハイパスフィルタリングされた信号、即ち、推定された未知の高周波成分Ｌγ（ハット＾）（ｘ）は、入力される信号をＬ_γ（バー￣）（ｘ）とすると、数式９

…（数式９）
で与えられる。ここで、Ｗ（ｉ）は、数式２に示したものである。ここでも、数式９以外の方法を用いて高周波成分を抽出することができるが、ピラミッド構成を満たすものが望ましい。第２ハイパスフィルタリング部２３６は、推定された高周波成分を第１信号合成部２２０へ出力する。

差分生成部２１４は、第１ハイパスフィルタリング部２０８から出力された高周波分離信号と、高周波抽出フィルタリング部２１０が抽出した高周波相当信号との差分である差分信号を生成して差分空間インターポレーション部２１６に伝達する。

差分空間インターポレーション部２１６は、差分生成部２１４からの差分信号の空間解像度を原映像信号と等しい解像度に拡大して差分高解像度信号を生成し、第１信号合成部２２０に伝送する。かかる空間的拡大は、上述した数式５から７を用いて実現することが可能であるが、拡大に用いるフィルタ係数や補間関数等は数式５から７に限定されない。

基本インターポレーション部２１８は、基本レイヤ復号部１１４で復号された基本復号映像信号をそのまま受け、その信号を所望の解像度となるように、インターポレーションを実行して基本高解像度信号を生成する。このように、符号化劣化を抑制するための所定のフィルタリング処理を介さず、基本レイヤ復号部１１４で復号された基本復号映像信号をそのまま利用して基本高解像度信号を生成しているのは、基本復号映像信号の符号化劣化を許容できる場合である。かかる場合には、復号画像中に含まれるより多くの周波数成分を利用しながら高品質な高解像度信号を得ることができる。所望される倍率のインターポレーションは次のようにして行う。倍率γにインターポレーションされた信号（ＥＸＰＡＮＤ）_γＧ_０（ｘ）とすると、数式１０

…（数式１０）
で与えられる。ここで、Ｗ_γ（ｉ）は数式６および７で示したものである。また、基本インターポレーション部２１８による空間的拡大は、上述した数式１０に限らずフィルタ係数や補間関数等が相違する他の拡大方法を用いることもできる。また、倍率γは、例えば、基本レイヤの解像度をＲＢ、拡張レイヤの解像度をＲＥとすると、基本レイヤの解像度から拡張レイヤの解像度に空間インターポレーションする場合には、ＲＥ／ＲＢの値に設定されるとよい。基本インターポレーション部２１８は、拡大した基本高解像度信号を第１信号合成部２２０へ出力する。

第１信号合成部（信号合成部）２２０は、第２ハイパスフィルタリング部２３６からの高周波成分高解像度信号と、差分空間インターポレーション部２１６からの差分高解像度信号と、基本インターポレーション部２１８からの基本高解像度信号とを合成して予測映像信号を生成する。

第１エントロピー符号化部２２２は、高周波抽出フィルタリング部２１０からのパラメータａ_ｋおよびεと、振幅制限定数倍処理部２３４からのパラメータα_γおよびＴとをエントロピー符号化して符号化パラメータとしてのビットストリームを生成し、多重化部１２０に出力する。

このようにして、空間インターポレーション部１１６の第１信号合成部２２０は予測映像信号を生成し、拡張レイヤ符号化部１１８は、オリジナルの原映像信号とかかる予測映像信号とを用い、空間解像度間および時間の相関を利用して予測誤差信号を導出し、その予測誤差信号を符号化して拡張符号化データ（ビットストリーム）を生成する。拡張レイヤ符号化部１１８は、第１フレームメモリ２５０と、第２フレームメモリ２５２と、動き推定部２５４と、動き補償部２５６と、イントラ予測部２５８と、予測信号選択部２６０と、予測誤差信号生成部２６２と、直交変換量子化部２６４と、第２エントロピー符号化部２６６と、逆量子化逆直交変換部２６８と、第２信号合成部２７０と、デブロッキングフィルタ部２７２とを含んで構成される。

第１フレームメモリ２５０は、原映像信号の少なくとも１ＧＯＰ（Group Of Picture）分の信号を格納する。そして、空間インターポレーション部１１６と当該拡張レイヤ符号化部１１８との同期がとれるように、予測誤差信号生成部２６２および動き推定部２５４へ対応するフレーム信号を出力する。

第２フレームメモリ２５２は、デブロッキングフィルタ部２７２からの信号を少なくとも１フレーム分格納し、動き推定に必要なフレーム信号を動き推定部２５４へ、動き補償に必要なフレーム信号を動き補償部２５６へ出力する。

動き推定部２５４は、第１フレームメモリ２５０および第２フレームメモリ２５２からのフレーム信号を受け、Ｈ．２６４に代表される動き推定を行う。動き推定によって得られた動き情報は、動き補償部２５６および第２エントロピー符号化部２６６へ出力される。

動き補償部２５６は、第２フレームメモリ２５２からのフレーム信号および動き推定部２５４からの動き情報を受け、Ｈ．２６４に代表される動き補償を行う。動き補償によって得られた信号は予測信号選択部２６０へ出力される。

イントラ予測部２５８は、第２信号合成部２７０で合成された信号を受け、Ｈ．２６４に代表されるイントラ予測を行う。イントラ予測して得られた信号は予測信号選択部２６０へ出力される。

予測信号選択部２６０は、動き補償部２５６、イントラ予測部２５８および空間インターポレーション部１１６からの信号をそれぞれ受け、いずれか１つを選択、または、それぞれの信号に重み付けを行い合成する。信号の選択や信号の合成における判断基準は任意に決定でき、例えば、符号化効率を重視する場合は、予測誤差信号の二乗平均が小さくなるように、信号を選択または合成する。予測信号選択部２６０は、選択または合成した信号を予測誤差信号生成部２６２および第２信号合成部２７０へ出力する。

予測誤差信号生成部２６２は、第１フレームメモリ２５０の原映像信号から、予測信号選択部２６０を介して入力される予測映像信号を差し引いて予測誤差信号を生成し、直交変換量子化部２６４へ出力する。

直交変換量子化部２６４は、予測誤差信号生成部２６２より出力された予測誤差信号を受け、その予測誤差信号を直交変換および量子化する。直交変換には、離散コサイン変換（ＤＣＴ）やウェーブレット等が用いられる。また、Ｈ．２６４のように、直交変換と量子化を合成した手段を採用することもできる。直交変換量子化部２６４は、直交変換および量子化した信号を、第２エントロピー符号化部２６６および逆量子化逆直交変換部２６８へ出力する。

第２エントロピー符号化部２６６は、直交変換量子化部２６４からの信号をエントロピー符号化し拡張符号化データとしてのビットストリームを生成する。こうして生成された拡張符号化データは多重化部１２０に送信される。

逆量子化逆直交変換部２６８は、直交変換および量子化された信号を受け、その信号を再度逆量子化および逆直交変換して推定信号を生成する。そして、その推定信号を第２信号合成部２７０に送信する。

第２信号合成部２７０は、予測信号選択部２６０からの予測映像信号と、逆量子化逆直交変換部２６８からの推定信号とを合成し、その結果をイントラ予測部２５８およびデブロッキングフィルタ部２７２へ出力する。

デブロッキングフィルタ部２７２は、第２信号合成部２７０からの信号を受け、入力された信号に対してデブロッキングフィルタ処理を行う。ここで、用いられるデブロッキングフィルタは、例えばＨ．２６４で用いられているデブロッキングフィルタを利用することができる。デブロッキングフィルタ処理した信号は第２フレームメモリ２５２に伝送される。

図５は、上述した空間インターポレーション部１１６による映像階層符号化方法の具体的な処理を示したフローチャートである。

まず、第１ハイパスフィルタリング部２０８は基本レイヤ復号部１１４で復号された基本復号映像信号の高周波成分を分離して高周波分離信号を生成し（Ｓ３００）、高周波抽出フィルタリング部２１０はε−フィルタを用いて高周波分離信号にε−フィルタ処理を施し高周波相当信号を抽出する（Ｓ３０２）。高周波空間インターポレーション部２１２は、こうして生成された高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する。詳細には、高周波抽出フィルタリング部２１０が抽出した高周波相当信号を第１インターポレーション部２３２が拡大し（Ｓ３０４）、その信号に対して振幅制限定数倍処理部２３４を用いて振幅制限および定数倍処理を施す（Ｓ３０６）、そして、第２ハイパスフィルタリング部２３６において、振幅制限および定数倍処理した信号から高周波成分を抽出し高周波成分高解像度信号を生成する（Ｓ３０８）。

一方、差分生成部２１４は、高周波分離信号と高周波相当信号との差分である差分信号を生成し（Ｓ３１０）、差分空間インターポレーション部２１６は、差分信号の空間解像度を拡大して差分高解像度信号を生成する（Ｓ３１２）。また、基本インターポレーション部２１８によって基本レイヤ復号部１１４で復号された基本復号映像信号の空間解像度がそのまま別途拡大され、基本高解像度信号が生成される（Ｓ３１４）。ここで、図５に示したａ、ｂ、ｃの処理は、どの順に遂行してもよく、処理能力の許す範囲で並行処理されてもよい。

そして、第１信号合成部２２０は、第２ハイパスフィルタリング部２３６からの高周波成分高解像度信号と、差分空間インターポレーション部２１６からの差分高解像度信号と、基本インターポレーション部２１８からの基本高解像度信号とを合成して予測映像信号を生成する（Ｓ３１６）。また、高周波抽出フィルタリング部２１０および振幅制限定数倍処理部２３４で用いたパラメータα_γおよびＴを符号化する必要があれば、第１エントロピー符号化部２２２においてそれぞれ符号化する（Ｓ３１８）。ここで必要があればとしたのは、予め映像階層符号化装置１００と映像階層復号装置との間でパラメータの取り決めが為されていれば符号化の必要がないからである。

図６は、上述した拡張レイヤ符号化部１１８による映像階層符号化方法の具体的な処理を示したフローチャートである。

まず、イントラ予測部２５８を用いてイントラ予測を行い、イントラ予測した信号を予測信号選択部２６０に送信する（Ｓ３５０）。一方、動き推定部２５４および動き補償部２５６を用いて、動き推定および動き補償（動き補償予測）を行い、動き補償予測した信号も予測信号選択部２６０へ送信する（Ｓ３５２）。また、同様に空間インターポレーション部１１６が予測した予測映像信号も予測信号選択部２６０に送信される（Ｓ３５４）。ここで、図６に示したａ、ｂ、ｃの処理は、どの順に遂行してもよく、処理能力の許す範囲で並行処理されてもよい。

予測信号選択部２６０において、イントラ予測した信号、動き補償予測した信号および高解像度推定信号のいずれかひとつが選択、または、それぞれの信号に重み付けを行って合成し（Ｓ３５６）、選択、または、合成された予測映像信号を、第１フレームメモリ２５０からの原映像信号から差し引いて予測誤差信号を生成する（Ｓ３５８）。次に、予測誤差信号に対して直交変換量子化部２６４を用いて直交変換および量子化する（Ｓ３６０）。直交変換および量子化した信号および動き情報に対して第２エントロピー符号化部２６６を用いてエントロピー符号化する（Ｓ３６２）。

ここで、符号化対象の信号が全て符号化されたかどうか判断され（Ｓ３６４）、符号化されていればここで処理は終了する。全て符号化されていなければ、現在符号化している信号を他の信号の符号化時に参照させるため復号およびデブロッキング処理する。詳細には、直交変換および量子化した信号を逆量子化逆直交変換部２６８において逆量子化および逆直交変換し（Ｓ３６６）、逆量子化および逆直交変換した信号に対して第２信号合成部２７０を用いて、予測映像信号と合成し、復号信号を生成、その復号信号をイントラ予測部２５８およびデブロッキングフィルタ部２７２へ伝送する（Ｓ３６８）。最後に、デブロッキングフィルタ部２７２においてデブロッキングフィルタ処理された信号を第２フレームメモリ２５２に格納して（Ｓ３７０）、最初から処理を繰り返す。

以上、説明した映像階層符号化装置１００によれば、従来における映像階層符号化の階層間予測における単純な空間インターポレーション（空間的拡大）に、原映像信号の推定を伴った階層間推定処理を加えて階層間の予測誤差信号をより小さくすることで、効率的により高品位な映像階層符号化を実現することが可能となる。また、空間インターポレーションにおいて、基本符号化データを復号した基本復号映像信号（低解像度信号）の符号化劣化や階層間推定処理の特性を考慮して、基本符号化データを復号した映像信号を、推定目的となる原映像信号に相当する高周波成分とそれ以外の信号に分離しそれぞれに適した処理で原映像信号（高解像度信号）を推定するので、予測映像信号の生成をより適切に行うことができ、効率的な映像階層符号化を実現することが可能となる。

（第２の実施形態：映像階層復号装置４００）
図７は、映像階層復号装置４００の概略的な構成を示した機能ブロック図である。映像階層復号装置４００は、映像階層符号化装置１００で生成された多重化データから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度の復号映像信号を出力する。映像階層復号装置４００は、エクストラクト部４１０と、基本レイヤ復号部４１２と、空間インターポレーション部４１４と、拡張レイヤ復号部４１６とを含んで構成される。

エクストラクト（分離）部４１０は、映像階層符号化装置１００で生成された多重化データ（ビットストリーム）を受信し、当該映像階層復号装置４００の性能または映像出力を受けるディスプレイ等の性能に合わせて、多重化データ全体から復号に必要なデータを切り出し、分離する。ここでは、基本符号化データを基本レイヤ復号部４１２に、拡張符号化データを拡張レイヤ復号部４１６に、符号化パラメータが付与されていれば、その符号化パラメータを空間インターポレーション部４１４に分割伝送する。

基本レイヤ復号部４１２は、エクストラクト部４１０で切り出された基本符号化データを復号して基本復号映像信号（低解像度の映像出力）を生成する。かかる低解像度の映像出力は必要に応じてディスプレイ４３０に出力される。かかる復号にはＭＰＥＧ−２やＨ．２６４等の技術を適用することができる。また、時間方向のスケーラビリティやＳＮＲスケーラビリティ等を組み合わせてもよい。

空間インターポレーション部４１４は、第１の実施形態における空間インターポレーション部１１６同様、基本レイヤ復号部４１２が復号した基本復号映像信号の空間解像度を空間的に拡大して予測映像信号を生成する。ただし、第１の実施形態における空間インターポレーション部１１６では、その中で用いたパラメータを出力していたが、本実施形態では、その出力されたパラメータを利用して予測映像信号を生成している点で相違する。

かかる予測映像信号は、原映像信号の推定信号であり、本実施形態でも、基本復号映像信号を適切に高解像度化処理することで原映像信号と相関の高い予測映像信号を生成している。本実施形態において特徴的な当該空間インターポレーション部４１４の詳細な構成は後程説明する。空間インターポレーション部４１４は、生成された予測映像信号を拡張レイヤ復号部４１６に送信する。

拡張レイヤ復号部４１６は、エクストラクト部４１０で切り出された拡張符号化データを復号し、その復号した予測誤差信号と、空間インターポレーション部４１４が予測した予測映像信号とを用いて原映像信号（高解像度の映像出力）を復元する。かかる高解像度の映像出力は必要に応じてディスプレイ４３２に出力される。かかる拡張レイヤ復号部４１６に関しても詳細な構成は後程説明する。

図８は、上述した映像階層復号装置４００によりオリジナルの原映像信号を復元する映像階層復号方法の具体的な処理を示したフローチャートである。

まず、エクストラクト部４１０は、映像階層符号化装置１００で生成された多重化データを解析し、基本符号化データ、拡張符号化データ、符号化パラメータに分離し、各データをそれぞれ基本レイヤ復号部４１２、拡張レイヤ復号部４１６、空間インターポレーション部４１４に伝達する（Ｓ４５０）。

基本レイヤ復号部４１２は、基本符号化データを復号して基本復号映像信号を生成する（Ｓ４５２）。ディスプレイが低解像度にしか対応していない場合、この基本復号映像信号を表示する。空間インターポレーション部４１４は、基本復号映像信号およびエクストラクト部４１０からのパラメータを用いて、基本復号映像信号の空間解像度を高周波成分の階層間推定処理を通じて拡大し予測映像信号を生成する（Ｓ４５４）。

そして、拡張レイヤ復号部４１６は、エクストラクト部４１０からの拡張符号化データによる予測誤差信号と、空間インターポレーション部４１４からの予測映像信号とを用いて原映像信号を復元する（Ｓ４５６）。こうして階層の相違する複数の映像出力（基本復号映像信号、原映像信号）が出力される。

（空間インターポレーション部４１４、拡張レイヤ復号部４１６）
続いて、本実施形態において特徴的な空間インターポレーション部４１４、拡張レイヤ復号部４１６を詳述する。

図９は、空間インターポレーション部４１４および拡張レイヤ復号部４１６の構成を示した機能ブロック図である。空間インターポレーション部４１４は、第１ハイパスフィルタリング部２０８と、高周波抽出フィルタリング部５１０と、高周波空間インターポレーション部５１２と、差分生成部２１４と、差分空間インターポレーション部２１６と、基本インターポレーション部２１８、第１信号合成部２２０と、第１エントロピー復号部５２２とを含んで構成される。また、拡張レイヤ復号部４１６は、第２フレームメモリ２５２と、動き補償部２５６と、イントラ予測部２５８と、予測信号選択部２６０と、第２エントロピー復号部５６６と、逆量子化逆直交変換部２６８と、第２信号合成部２７０と、デブロッキングフィルタ部５７２とを含んで構成される。

ここで、第１の実施形態における構成要素として既に述べた、第１ハイパスフィルタリング部２０８と、差分生成部２１４と、差分空間インターポレーション部２１６と、基本インターポレーション部２１８、第１信号合成部２２０と、第２フレームメモリ２５２と、動き補償部２５６と、イントラ予測部２５８と、予測信号選択部２６０と、逆量子化逆直交変換部２６８と、第２信号合成部２７０とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する高周波抽出フィルタリング部５１０と、高周波空間インターポレーション部５１２と、第１エントロピー復号部５２２と、第２エントロピー復号部５６６と、デブロッキングフィルタ部５７２とを主に説明する。

高周波抽出フィルタリング部５１０は、第１の実施形態における高周波抽出フィルタリング部２１０同様、例えば、突発的変化を有する映像信号に対する雑音除去を効果的に行う非線形ディジタルフィルタであるε−フィルタで構成され、第１ハイパスフィルタリング部２０８で高周波成分が分離された高周波分離信号から、原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する。

第１の実施形態では、ε−フィルタの特性を決めるパラメータａ_ｋおよびεを第１エントロピー符号化部２２２に送信していたが、本実施形態では、そのパラメータａ_ｋおよびεを受けてε−フィルタに設定する点が相違する。かかる構成により映像階層符号化時と同じパラメータによりフィルタリングできるので、映像階層符号化時と同一の高周波相当信号を生成することが可能となる。

高周波空間インターポレーション部５１２は、第１インターポレーション部２３２と、振幅制限定数倍処理部５３４と、第２ハイパスフィルタリング部２３６とから構成される。第１の実施形態における構成要素として既に述べた、第１インターポレーション部２３２と、第２ハイパスフィルタリング部２３６とは、実質的に機能が同一である。構成が相違する振幅制限定数倍処理部５３４に関しては、第１の実施形態においてパラメータα_γおよびＴを第１エントロピー符号化部２２２に送信していたが、本実施形態では、そのパラメータα_γおよびＴを自体のパラメータとして設定している点のみが相違している。

第１エントロピー復号部５２２は、符号化パラメータからパラメータａ_ｋ、ε、α_γ、Ｔ等を復号し、パラメータａ_ｋおよびεを高周波抽出フィルタリング部５１０に、パラメータα_γおよびＴを高周波空間インターポレーション部５１２の振幅制限定数倍処理部５３４に出力する。

第２エントロピー復号部５６６は、エクストラクト部４１０からの拡張符号化データを復号し予測誤差信号を生成する。こうして生成された予測誤差信号は、逆量子化逆直交変換部２６８に送信され、動き情報は動き補償部２５６に送信される。

デブロッキングフィルタ部５７２は、第２信号合成部２７０からの信号を受け、入力された信号に対してデブロッキングフィルタ処理を行う。ここで、用いられるデブロッキングフィルタは、例えばＨ．２６４で用いられているデブロッキングフィルタを利用することができる。デブロッキングフィルタ処理した信号は第２フレームメモリ２５２に伝送されると共に原映像信号として外部に出力される。

図１０は、上述した拡張レイヤ復号部４１６による映像階層復号方法の具体的な処理を示したフローチャートである。

まず、第２エントロピー復号部５６６が拡張符号化データを復号して予測誤差信号を生成し（Ｓ６００）、その予測誤差信号が逆量子化逆直交変換部２６８において逆量子化および逆直交変換される（Ｓ６０２）。

続いて、目的とするブロック（マクロブロック）が、イントラ予測、動き補償予測および予測映像信号による予測のいずれが選択されていたか、または合成されていたかを解析し（Ｓ６０４）、それに対応する処理を行う。イントラ予測が選択されていた場合、イントラ予測部２５８を用いてイントラ予測を行う（Ｓ６０６）。一方、動き補償予測が選択されていた場合には、動き補償部２５６を用いて動き補償を行う（Ｓ６０８）。また、予測映像信号による予測が選択されていた場合には、空間インターポレーション部４１４を機能させて予測映像信号を生成させる（Ｓ６１０）。予測映像信号を生成する詳細な処理動作は後ほど説明する。さらに、それぞれの信号が合成されている場合には、上述したイントラ予測、動き補償予測、予測映像信号による予測を全て実行し、重み付けを行った後合成する。

予測信号選択部２６０において、選択、または、合成された予測映像信号を、逆量子化逆直交変換部２６８からの信号と合成し復号信号を生成、その復号信号をイントラ予測部２５８およびデブロッキングフィルタ部５７２へ伝送する（Ｓ６１２）。最後に、デブロッキングフィルタ部２７２においてデブロッキングフィルタ処理された信号を原映像信号として外部に出力する（Ｓ６１４）。ここで、復号対象の拡張符号化データが全て復号されたかどうか判断され（Ｓ６１６）、復号されていればここで処理は終了する。全て符号化されていなければ、最初から処理を繰り返す。

図１１は、上述した空間インターポレーション部４１４による映像階層復号方法の具体的な処理を示したフローチャートである。

まず、第１エントロピー復号部５２２は、必要であれば、符号化パラメータからパラメータａ_ｋ、ε、α_γ、Ｔを復号し、パラメータａ_ｋおよびεを高周波抽出フィルタリング部５１０に、パラメータα_γおよびＴを高周波空間インターポレーション部５１２の振幅制限定数倍処理部５３４に出力する（Ｓ６５０）。ここで必要があればとしたのは、予め映像階層符号化装置１００と映像階層復号装置４００との間でパラメータの取り決めが為されていれば復号の必要がないからである。

続いて、第１ハイパスフィルタリング部２０８は基本レイヤ復号部４１２で復号された基本復号映像信号の高周波成分を分離して高周波分離信号を生成し（Ｓ６５２）、高周波抽出フィルタリング部５１０はε−フィルタを用いて高周波分離信号にε−フィルタ処理を施し高周波相当信号を生成する（Ｓ６５４）。高周波空間インターポレーション部５１２は、こうして生成された高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する。詳細には、高周波抽出フィルタリング部５１０が抽出した高周波相当信号を第１インターポレーション部２３２が拡大し（Ｓ６５６）、その信号に対して振幅制限定数倍処理部５３４を用いて振幅制限および定数倍処理を施す（Ｓ６５８）、そして、第２ハイパスフィルタリング部２３６において、振幅制限および定数倍処理した信号から高周波成分を抽出し高周波成分高解像度信号を生成する（Ｓ６６０）。

一方、差分生成部２１４は、高周波分離信号と高周波相当信号との差分である差分信号を生成し（Ｓ６６２）、差分空間インターポレーション部２１６は、差分信号の空間解像度を拡大して差分高解像度信号を生成する（Ｓ６６４）。また、基本インターポレーション部２１８によって基本レイヤ復号部４１２で復号された基本復号映像信号の空間解像度がそのまま別途拡大され、基本高解像度信号が生成される（Ｓ６６６）。ここで、図１１に示したａ、ｂ、ｃの処理は、どの順に遂行してもよく、処理能力の許す範囲で並行処理されてもよい。

そして、第１信号合成部２２０は、第２ハイパスフィルタリング部２３６からの高周波成分高解像度信号と、差分空間インターポレーション部２１６からの差分高解像度信号と、基本インターポレーション部２１８からの基本高解像度信号とを合成して予測映像信号を生成する（Ｓ６６８）。

以上、説明した映像階層復号装置４００によれば、従来における映像階層復号の階層間予測における単純な空間インターポレーション（空間的拡大）に、原映像信号の推定を伴った階層間推定処理を加えて階層間の予測誤差信号をより小さくすることで、効率的により高品位な映像階層復号を実現することが可能となる。また、空間インターポレーションにおいて、基本符号化データの符号化劣化や階層間推定処理の特性を考慮して、基本符号化データを復号した映像信号を、推定目的となる原映像信号に相当する高周波成分とそれ以外の信号に分離しそれぞれに適した処理で原映像信号（高解像度信号）を推定するので、予測映像信号の生成をより適切に行うことができ、効率的な映像階層復号を実現することが可能となる。

図１２は、本実施形態における映像階層符号化装置１００による映像階層符号化および映像階層復号装置４００による映像階層復号が可能なコンピュータ（情報処理装置）７００の典型例を示した機能ブロック図である。コンピュータ７００は、中央処理装置７１０と、一時記憶装置７１２と、外部記憶装置７１４と、通信部７１６と、入力部７１８と、出力部７２０とを含んで構成される。

中央処理装置（ＣＰＵ）７１０は、一時記憶装置７１２や外部記憶装置７１４のプログラムやアプリケーションによりコンピュータ７００全体を管理および制御する。一時記憶装置７１２は、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ等から構成され、中央処理装置７１０で処理されるプログラムや映像データ等を一時的に記憶する。外部記憶装置７１４は、フラッシュメモリ、ＨＤＤ等で構成され、中央処理装置７１０で処理されるプログラムや映像データ等を記憶する。通信部７１６は、通信回線１３０を介して様々な電子機器やサーバと接続され、それらと映像データを送受信することができる。入力部７１８は、メディア１３２からの多重化データや各種パラメータを入力できる。出力部７２０は、ディスプレイ４３２等に映像出力を出力できる。

上述した映像階層符号化および映像階層復号は、中央処理装置７１０がプログラムを実行することによって為される。従って、映像階層符号化装置１００および映像階層復号装置４００が提供されると同時に、コンピュータ７００を、映像階層符号化装置１００および映像階層復号装置４００として機能させるプログラムも提供される。また、このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信回線１３０を介して伝送されてコンピュータに取り込まれてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の映像階層符号化方法および映像階層復号方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、空間解像度の異なる複数の映像信号に復元可能な多重化データを生成または利用する映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラムに利用することができる。

映像階層符号化装置の概略的な構成を示した機能ブロック図である。 映像階層符号化方法の具体的な処理を示したフローチャートである。 空間インターポレーション部および拡張レイヤ符号化部の構成を示した機能ブロック図である。 量子化パラメータとの関係を示した概念図である。 映像階層符号化方法の具体的な処理を示したフローチャートである。 映像階層符号化方法の具体的な処理を示したフローチャートである。 映像階層復号装置の概略的な構成を示した機能ブロック図である。 映像階層復号方法の具体的な処理を示したフローチャートである。 空間インターポレーション部および拡張レイヤ復号部の構成を示した機能ブロック図である。 映像階層復号方法の具体的な処理を示したフローチャートである。 映像階層復号方法の具体的な処理を示したフローチャートである。 映像階層符号化および映像階層復号が可能なコンピュータの典型例を示した機能ブロック図である。

符号の説明

１００ …映像階層符号化装置
１１０ …空間デシメーション部
１１２ …基本レイヤ符号化部
１１４、４１２ …基本レイヤ復号部
１１６、４１４ …空間インターポレーション部
１１８ …拡張レイヤ符号化部
１２０ …多重化部
２０８ …第１ハイパスフィルタリング部（ハイパスフィルタリング部）
２１０、５１０ …高周波抽出フィルタリング部
２１２、５１２ …高周波空間インターポレーション部
２１４ …差分生成部
２１６ …差分空間インターポレーション部
２１８ …基本インターポレーション部
２２０ …第１信号合成部（信号合成部）
４００ …映像階層復号装置
４１０ …エクストラクト部
４１６ …拡張レイヤ復号部

Claims (8)

1. 空間解像度の異なる複数の映像信号に復元可能な多重化データを生成する映像階層符号化装置であって、
   原映像信号の空間解像度を縮小して基本映像信号を生成する空間デシメーション部と、
   前記基本映像信号を符号化して基本符号化データを生成する基本レイヤ符号化部と、
   前記基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、
   前記基本復号映像信号の空間解像度を拡大して予測映像信号を生成する空間インターポレーション部と、
   前記原映像信号と前記予測映像信号とを用いて導出された予測誤差信号を符号化して拡張符号化データを生成する拡張レイヤ符号化部と、
   前記基本符号化データと拡張符号化データとを多重化して前記多重化データを生成する多重化部と、
   を備え、
   前記空間インターポレーション部は、
   前記基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部と、
   前記高周波分離信号から前記原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部と、
   前記高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部と、
   前記高周波分離信号と前記高周波相当信号との差分である差分信号を生成する差分生成部と、
   前記差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部と、
   前記基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部と、
   前記高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して前記予測映像信号を生成する信号合成部と、
   を有することを特徴とする映像階層符号化装置。
2. 前記高周波抽出フィルタリング部は、突発的変化を有する映像信号に対する雑音除去を行う非線形ディジタルフィルタであるε−フィルタであり、
   前記多重化部は、前記ε−フィルタのパラメータである係数列ａ_ｋおよび閾値εも多重化することを特徴とする請求項１に記載の映像階層符号化装置。
3. 空間解像度の異なる複数の映像信号に復元可能な多重化データを生成する映像階層符号化方法であって、
   原映像信号の空間解像度を縮小して基本映像信号を生成し、
   前記基本映像信号を符号化して基本符号化データを生成し、
   前記基本符号化データを復号して基本復号映像信号を生成し、
   前記基本復号映像信号から高周波成分を分離して高周波分離信号を生成し、
   前記高周波分離信号から前記原映像信号に相当する高周波成分を抽出して高周波相当信号を生成し、
   前記高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成し、
   前記高周波分離信号と前記高周波相当信号との差分である差分信号を生成し、
   前記差分信号の空間解像度を拡大して差分高解像度信号を生成し、
   前記基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成し、
   前記高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成し、
   前記原映像信号と前記予測映像信号とを用いて導出された予測誤差信号を符号化して拡張符号化データを生成し、
   前記基本符号化データと拡張符号化データとを多重化して前記多重化データを生成することを特徴とする映像階層符号化方法。
4. コンピュータを、
   空間解像度の異なる複数の映像信号に復元可能な多重化データを生成する映像階層符号化装置として機能させる映像階層符号化プログラムであって、
   前記コンピュータを、
   原映像信号の空間解像度を縮小して基本映像信号を生成する空間デシメーション部と、
   前記基本映像信号を符号化して基本符号化データを生成する基本レイヤ符号化部と、
   前記基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、
   前記基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部、前記高周波分離信号から前記原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部、前記高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部、前記高周波分離信号と前記高周波相当信号との差分である差分信号を生成する差分生成部、前記差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部、前記基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部、および前記高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して前記予測映像信号を生成する信号合成部、を有する空間インターポレーション部と、
   前記原映像信号と前記予測映像信号とを用いて導出された予測誤差信号を符号化して拡張符号化データを生成する拡張レイヤ符号化部と、
   前記基本符号化データと拡張符号化データとを多重化して前記多重化データを生成する多重化部と、
   して機能させることを特徴とする映像階層符号化プログラム。
5. 空間スケーラビリティが施された多重化データから空間解像度の異なる複数の映像信号を復元可能な映像階層復号装置であって、
   前記多重化データから、少なくとも基本符号化データおよび拡張符号化データを含む、空間解像度の異なる複数の符号化データを分離するエクストラクト部と、
   前記基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、
   前記基本復号映像信号の空間解像度を拡大して予測映像信号を生成する空間インターポレーション部と、
   前記拡張符号化データを復号した予測誤差信号と前記予測映像信号とを用いて原映像信号を復元する拡張レイヤ復号部と、
   を備え、
   前記空間インターポレーション部は、
   前記基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部と、
   前記高周波分離信号から前記原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部と、
   前記高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部と、
   前記高周波分離信号と前記高周波相当信号との差分である差分信号を生成する差分生成部と、
   前記差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部と、
   前記基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部と、
   前記高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して前記予測映像信号を生成する信号合成部と、
   を有することを特徴とする映像階層復号装置。
6. 前記高周波抽出フィルタリング部は、突発的変化を有する映像信号に対する雑音除去を行う非線形ディジタルフィルタであるε−フィルタであり、
   前記多重化データには、前記ε−フィルタのパラメータである係数列ａ_ｋおよび閾値εも含まれていることを特徴とする請求項５に記載の映像階層復号装置。
7. 空間スケーラビリティが施された多重化データから空間解像度の異なる複数の映像信号を復元可能な映像階層復号方法であって、
   前記多重化データから、少なくとも基本符号化データおよび拡張符号化データを含む、空間解像度の異なる複数の符号化データを分離し、
   前記基本符号化データを復号して基本復号映像信号を生成し、
   前記基本復号映像信号から高周波成分を分離して高周波分離信号を生成し、
   前記高周波分離信号から前記原映像信号に相当する高周波成分を抽出して高周波相当信号を生成し、
   前記高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成し、
   前記高周波分離信号と前記高周波相当信号との差分である差分信号を生成し、
   前記差分信号の空間解像度を拡大して差分高解像度信号を生成し、
   前記基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成し、
   前記高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して予測映像信号を生成し、
   前記拡張符号化データを復号した予測誤差信号と前記予測映像信号とを用いて原映像信号を復元することを特徴とする映像階層復号方法。
8. コンピュータを、
   空間スケーラビリティが施された多重化データから空間解像度の異なる複数の映像信号を復元可能な映像階層復号装置として機能させる映像階層復号プログラムであって、
   前記コンピュータを、
   前記多重化データから、少なくとも基本多重化データおよび拡張多重化データを含む、空間解像度の異なる複数の符号化データを分離するエクストラクト部と、
   前記基本符号化データを復号して基本復号映像信号を生成する基本レイヤ復号部と、
   前記基本復号映像信号から高周波成分を分離して高周波分離信号を生成するハイパスフィルタリング部、前記高周波分離信号から前記原映像信号に相当する高周波成分を抽出して高周波相当信号を生成する高周波抽出フィルタリング部、前記高周波相当信号の空間解像度を、高周波成分の階層間推定処理を通じて拡大し高周波成分高解像度信号を生成する高周波空間インターポレーション部、前記高周波分離信号と前記高周波相当信号との差分である差分信号を生成する差分生成部、前記差分信号の空間解像度を拡大して差分高解像度信号を生成する差分空間インターポレーション部、前記基本復号映像信号の空間解像度を拡大して基本高解像度信号を生成する基本インターポレーション部と、および前記高周波成分高解像度信号と差分高解像度信号と基本高解像度信号とを合成して前記予測映像信号を生成する信号合成部、を有する空間インターポレーション部と、
   前記拡張符号化データを復号した予測誤差信号と前記予測映像信号とを用いて原映像信号を復元する拡張レイヤ復号部と、
   して機能させることを特徴とする映像階層復号プログラム。
   
   

Images