JP5140638B2

JP5140638B2 - 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム

Info

Publication number: JP5140638B2
Application number: JP2009147880A
Authority: JP
Inventors: 康孝松尾
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-06-22
Filing date: 2009-06-22
Publication date: 2013-02-06
Anticipated expiration: 2029-06-22
Also published as: JP2011004345A

Description

本発明は、画像符号化におけるウェーブレット（Ｗａｖｅｌｅｔ）変換技法を用いた空間周波数変換技術に関し、特に、空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムに関する。

動画像符号化の伝送用に、画像を空間周波数上でダウンサンプリング（以下、「空間ダウンサンプリング」と称する）した後、例えばＨ．２６４，ＭＰＥＧ−２等の符号化方式に基づいて符号化を行い、伝送した後、復号して空間周波数上でアップサンプリング（以下、「空間アップサンプリング」と称する）を行うことがある。

従来から動画像符号化におけるウェーブレット変換技法を用いた空間周波数変換技術が知られている（例えば、特許文献１参照）。従来の空間ダウンサンプリング法には、線形低域通過フィルタと間引き処理を行う方法が用いられ、従来の空間アップサンプリング法には、線形フィルタ処理か、又は非線形処理を行う方法などがある。

例えば、空間ダウンサンプリングは、通常、不要な高周波成分の折り返しを防ぐために、低域通過フィルタを適用後、標本点の間引きを行う。

また、空間アップサンプリングは、空間ダウンサンプリングや符号化で失われた高空間周波数成分を所定の方法で推定する技法である。この分野は、近年超解像というジャンルで研究・開発が進んでいる。古典的な方法としては、線形フィルタを用いた補間内挿による空間標本化周波数のアップサンプリング技法がある。より最近の方法としては、非線形処理による方法としてＴｏｔａｌＶａｒｉａｔｉｏｎ法などがある。ただし、ＴｏｔａｌＶａｒｉａｔｉｏｎ法は繰り返し演算を用いる必要があるため、組み込みハードウェア化までには至っていない。

特表２００７−５０４５２３号公報

従来の空間ダウンサンプリング時に問題となるのは、通常、空間ダウンサンプリングに合わせた低域通過フィルタを適用後に標本点の間引き処理を行う必要がある点である。即ち、低域通過フィルタとして、理想的な特性のフィルタを作成することが難しいため、どうしても折り返し歪の問題が避けられず、この折り返し歪成分がモアレ（干渉縞）やリンギングとして現れる。また原画像成分も多少損なわれることがある。

また、従来の空間アップサンプリング時に問題となるのは、失われた高空間周波数成分を推定する際、高精度で高空間周波数成分を推定する必要がある点である。低精度で高空間周波数成分を推定すると、それが画面上でジャギー（斜めの線や曲線部分に発生する階段上のギザギザ等）、モアレ、リンギングのような形で画質劣化として現れる。

そこで、本発明の目的は、折り返し歪の影響を軽減し、且つ高精度で高空間周波数成分を推定可能にする空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムを提供することにある。

本発明では、原画像の高空間周波数成分の空間ダウンサンプリングを行い、符号化して伝送又は蓄積する。画像の受信又は読出し時には、復号後に予め既知の原画像の高空間周波数成分の空間アップサンプリングを行う。即ち、空間アップサンプリングに対する原画像の高空間周波数成分は、空間ダウンサンプリング前には既知であるから、空間アップサンプリングを行う際に大きな画質劣化とならないような空間ダウンサンプリングを予め適用する。

即ち、本発明の空間ダウンサンプリング処理装置は、動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置であって、前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎の各ウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出する２次元１階離散Ｗａｖｅｌｅｔ分解処理部と、前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施す２次元１階離散Ｗａｖｅｌｅｔ再構成部と、再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部と、を備えることを特徴とする。

また、本発明の空間ダウンサンプリング処理装置において、前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、該水平高周波・垂直低周波成分の水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、該垂直低周波・水平高周波成分の垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを０に変換することを特徴とする。

また、本発明の空間ダウンサンプリング処理装置において、本発明の空間ダウンサンプリング処理装置と、該空間ダウンサンプリング処理装置から出力される縮小画像信号を所定の符号化方式により圧縮符号化して符号化データを生成する符号化器と、を備えることを特徴とする。

また、本発明の空間アップサンプリング処理装置は、本発明の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置であって、該画像データについて２次元２階ウェーブレット変換を施す２次元２階離散Ｗａｖｅｌｅｔ分解処理部と、前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する２次元１階離散Ｗａｖｅｌｅｔ再構成部と、を備えることを特徴とする。

また、本発明の空間アップサンプリング処理装置において、前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、水平高周波・垂直低周波成分の推定の場合には、２階水平高周波・垂直低周波成分及び１階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、垂直高周波・水平低周波成分の推定の場合には、２階垂直高周波・水平低周波成分及び１階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、垂直高周波・水平高周波成分の推定の場合には、２階垂直高周波・水平高周波成分及び１階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする。

また、本発明の復号装置は、本発明の空間アップサンプリング処理装置と、本発明の符号化装置によって符号された符号化データを復号する復号器と、を備えることを特徴とする。

また、本発明は、動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置として構成するコンピュータに、前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎の各ウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出するステップと、前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、該ステップから供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施すステップと、再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

また、本発明は、本発明の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置として構成するコンピュータに、該画像データについて２次元２階ウェーブレット変換を施すステップと、該ステップから供給される各周波数成分について、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、該ステップから供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした２次元画像を復元するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、従来の空間ダウンサンプリング法及び空間アップサンプリング法を用いる場合よりも高画質に、空間ダウンサンプリング／アップサンプリングを行うことができる。

本発明による一実施例の符号化装置を示す図である。本発明による一実施例の復号装置を示す図である。本発明による一実施例の符号化装置の動作を示すフローチャートである。本発明による一実施例の復号装置の動作を示すフローチャートである。（ａ）は、従来の空間ダウンサンプリング法における水平標本化周波数を１／２に（同様に、垂直標本化周波数を１／２に）、ダウンサンプリングするために適用される低域通過フィルタの処理例を示す図であり、（ｂ）は、従来の空間ダウンサンプリング法における低域通過フィルタを適用後に標本点間引きを行う処理例を示す図である。従来の空間ダウンサンプリング法にて低域通過フィルタを適用しない場合の様子を示す図である。（ａ）は、本発明による一実施例の符号化装置における空間ダウンサンプリング処理器にて水平高周波・垂直低周波成分に帯域制限を施す様子を示す図であり、（ｂ）本発明による一実施例の符号化装置における空間ダウンサンプリング処理器における水平方向の帯域フィルタ機能を示す図である。（ａ）は、本発明による一実施例の符号化装置における空間ダウンサンプリング処理器にて垂直高周波・水平低周波成分に帯域制限を施す様子を示す図であり、（ｂ）本発明による一実施例の符号化装置における空間ダウンサンプリング処理器における垂直方向の帯域フィルタ機能を示す図である。（ａ）は、本発明による一実施例の符号化装置における空間ダウンサンプリングされた画像ＳｐＤｗを示す図であり、（ｂ）及び（ｃ）の各々は、本発明による一実施例の符号化装置におけるそれぞれ水平方向及び垂直方向に標本化周波数の１／４以上で折り返し成分を含む空間ダウンサンプリングされた画像ＳｐＤｗの画像信号の信号利得の様子を示す図である。本発明による一実施例の復号装置における空間アップサンプリング処理器にて空間ダウンサンプリングされた画像ＳｐＤｗに対して空間２階ウェーブレット変換を行う様子を示す図である。本発明による一実施例の復号装置における空間アップサンプリング処理器にて空間ダウンサンプリングされた画像ＳｐＤｗの周波数成分に対して水平方向の高空間周波数成分の推定を行う様子を示す図である。本発明による一実施例の復号装置における空間アップサンプリング処理器にて空間ダウンサンプリングされた画像ＳｐＤｗの周波数成分に対して垂直方向の高空間周波数成分の推定を行う様子を示す図である。本発明による一実施例の復号装置における空間アップサンプリング処理器にて１階離散ウェーブレット再構成を行う様子を示す図である。

先ず、本発明による一実施例の符号化装置及び復号装置について説明する。

［装置構成］
図１は、本発明による一実施例の符号化装置を示す図である。本実施例の符号化装置１は、空間ダウンサンプリング処理器２と、符号化器３とを備える。空間ダウンサンプリング処理器２は、２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１と、帯域制限処理部２２と、２次元１階離散Ｗａｖｅｌｅｔ再構成部２３と、水平・垂直１：２画素間引処理部２４とを有する。本発明による一実施例の符号化装置１の各処理に用いるデータは、符号化装置１が備える記憶部（図示せず）に適宜格納することができる。

２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、処理対象の動画像の時刻ｔにおける１フレーム画像Ｆ（ｔ）について、空間周波数のオクターブ分解法としての離散ウェーブレット分解法により水平方向及び垂直方向に各１／２に１階離散ウェーブレット分解を施し、分解した２次元周波数成分を帯域制限処理部２２に送出するとともに、分解した各周波数成分の領域毎の全ての各ウェーブレット係数の平均値（例えば、二乗平均した値の平方根）を算出し、各平均値（後述するＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨ）を、復号後の「倍数情報」として当該記憶部に記憶保持する。

帯域制限処理部２２は、水平又は垂直方向に高周波成分を含む高空間周波数成分について、各々予め規定した帯域制限を施し、低空間周波数成分と帯域制限を施した高空間周波数成分とを２次元１階離散Ｗａｖｅｌｅｔ再構成部２３に送出する。高空間周波数成分の各々における予め規定した帯域制限については後述する。

２次元１階離散Ｗａｖｅｌｅｔ再構成部２３は、帯域制限処理部２２から供給される低空間周波数成分と帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施し、再構成した画像データを水平・垂直１：２画素間引処理部２４に送出する。

水平・垂直１：２画素間引処理部２４は、２次元１階離散Ｗａｖｅｌｅｔ再構成部２３から供給される再構成した画像データについて水平及び垂直方向にそれぞれ１：２で画素間引きを施し、空間ダウンサンプリングを実行した画像データ（縮小画像信号）を符号化器３に送出する。

符号化器３は、水平・垂直１：２画素間引処理部２４によって空間ダウンサンプリング処理を施した画像データを所定の符号化方式（例えば、ＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４）により圧縮符号化して符号化データを生成する。この符号化データは、前述した倍数情報を付属情報として、当該記憶部に記憶するか、又は装置外部へと伝送することができる。

図２は、本発明による一実施例の復号装置を示す図である。本実施例の復号装置５は、復号器６と、空間アップサンプリング処理器７とを備える。空間アップサンプリング処理器７は、２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１と、高周波成分推定処理部７２と、２次元１階離散Ｗａｖｅｌｅｔ再構成部７３とを有する。本発明による一実施例の復号装置５の各処理に用いるデータは、復号装置５が備える記憶部（図示せず）に適宜格納することができる。

復号器６は、本実施例の符号化装置１によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号し、復号した画像データ（空間ダウンサンプリングされた画像）を２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１に送出する。尚、本実施例の復号装置５は、付属情報としての倍数情報を読出し又は受信して、当該記憶部に記憶する。

２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１は、復号器６から供給される空間ダウンサンプリングされた画像について、２次元２階ウェーブレット変換を施し、各周波数成分を高周波成分推定処理部７２に送出する。

高周波成分推定処理部７２は、２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１から供給される各周波数成分について、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、付属情報としての倍数情報を乗じることにより各高周波成分を推定して再現し、再現した各高周波成分を２次元１階離散Ｗａｖｅｌｅｔ再構成部７３に送出する。当該周波数成分毎に予め規定した補間処理については後述する。

２次元１階離散Ｗａｖｅｌｅｔ再構成部７３は、高周波成分推定処理部７２から供給される低空間周波数成分と再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元する。

次に、本発明による一実施例の符号化装置及び復号装置について説明する。

［装置動作］
図３は、本発明による一実施例の符号化装置の動作を示すフローチャートである。図４は、本発明による一実施例の復号装置の動作を示すフローチャートである。

ステップＳ１にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、当該記憶部から処理対象の動画像の時刻ｔにおける１フレーム画像Ｆ（ｔ）を読み出す。

ステップＳ２にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、読み出した１フレーム画像Ｆ（ｔ）について、離散ウェーブレット分解法により水平方向及び垂直方向に各１／２に１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域毎のウェーブレット係数の平均値（例えば、二乗平均した値の平方根）を算出し、各平均値（後述するＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨ）を算出する。

ステップＳ３にて、本実施例の符号化装置１の帯域制限処理部２２は、水平又は垂直方向に高周波成分を含む高空間周波数成分について、各々予め規定した帯域制限を施す。

ステップＳ４にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ再構成部２３は、低空間周波数成分と帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレットの再構成を実行する。

ステップＳ５にて、本実施例の符号化装置１の水平・垂直１：２画素間引処理部２４は、再構成した画像データについて水平及び垂直方向にそれぞれ１：２で画素間引きを施し、空間ダウンサンプリングを実行した画像データ（縮小画像信号）を得る。

ステップＳ６にて、本実施例の符号化装置１の符号化器３は、空間ダウンサンプリング処理を施した画像データを所定の符号化方式（例えば、ＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４）により圧縮符号化して符号化データを生成し、蓄積又は伝送する。

ここで、従来の空間ダウンサンプリング法と本実施例の空間ダウンサンプリング処理との相違について更に詳細に説明する。

図５（ａ）は、従来の空間ダウンサンプリング法における水平標本化周波数を１／２に（同様に、垂直標本化周波数を１／２に）、ダウンサンプリングするために適用される低域通過フィルタの処理例を示している。図５（ｂ）は、従来の空間ダウンサンプリング法における低域通過フィルタを適用後に標本点間引きを行う処理例を示している。尚、空間ダウンサンプリング法にて低域通過フィルタを適用する理由は、低域通過フィルタを適用しない場合に、図６に示すような折り返し歪みが発生するためである。

一方、本実施例の符号化装置１における空間ダウンサンプリング処理器２は、空間周波数のオクターブ分解法として、離散ウェーブレット分解法を用いてウェーブレット分解を施し、且つ高空間周波数成分の各々について予め規定した帯域制限を施すことで、空間ダウンサンプリングを行う。

即ち、図７（ａ）に示すように、まず、２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、フレーム画像Ｆ（ｔ）に対応する原画像を水平・垂直方向に各１／２に２次元１階離散ウェーブレット分解を施す。これにより、各周波数成分ＯｒｇＬＬ^１, ＯｒｇＬＨ^１，ＯｒｇＨＬ^１，ＯｒｇＨＨ^１が得られる。

次に、２次元１階離散Ｗａｖｅｌｅｔ分解処理部２１は、各周波数成分ＯｒｇＬＬ^１, ＯｒｇＬＨ^１，ＯｒｇＨＬ^１，ＯｒｇＨＨ^１の領域毎の代表的な（好適には全ての）要素（ウェーブレット係数）の平均値（例えば、二乗平均の平方根）を計算して、それぞれ復号後の「倍数情報」ＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨとして当該記憶部に記憶する。

次に、帯域制限処理部２２は、水平高周波・垂直低周波成分であるＯｒｇＨＬ^１の帯域制限を施す。このＯｒｇＨＬ^１の領域は、水平方向に水平標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、ＯｒｇＨＬ^１では、水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側（Ｈｓ＊３／４以上）を０に変換する。この様子が図７（ａ）に示されており、これは、図７（ｂ）に示すように、水平方向に水平標本化周波数の１／２以上、且つＨｓ＊３／４未満の高周波成分の帯域通過を施す帯域通過フィルタと同様の効果を生じさせる。

次に、帯域制限処理部２２は、垂直低周波・水平高周波成分であるＯｒｇＬＨ^１の帯域制限を施す。このＯｒｇＬＨ^１の領域は、垂直方向に垂直標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、ＯｒｇＨＬ^１では垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側（Ｖｓ＊３／４以上）を０に変換する。この様子が図８（ａ）に示されており、これは、図８（ｂ）に示すように、垂直方向に垂直標本化周波数の１／２以上、且つＶｓ＊３／４未満の高周波成分の帯域通過を施す帯域通過フィルタと同様の効果を生じさせる。

次に、帯域制限処理部２２は、水平高周波・垂直高周波成分であるＯｒｇＨＨ^１の帯域制限を施す。このＯｒｇＬＨ^１の領域は、水平・垂直方向ともに標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、このＯｒｇＨＨ^１は、視覚の空間異方特性（視覚の斜め４５度方向の空間周波数−コントラスト感度は、水平０度・垂直90度方向の空間周波数−コントラスト感度と比較して感度が約１／２となる）も考慮して、該水平高周波・垂直高周波成分の全てを０に変換する。

以上のように、本実施例の符号化装置１の帯域制限処理部２２は、水平又は垂直方向に高周波成分を含む高空間周波数成分の各々について予め規定した帯域制限を施す。続いて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ再構成部２３は、この帯域制限を施した高空間周波数成分の各々と、低空間周波数成分ＯｒｇＬＬ^１について１階離散ウェーブレット再構成を行った後、水平・垂直１：２画素間引処理部２４により、水平・垂直方向に１：２で画素間引を行うことで、空間ダウンサンプリングされた画像ＳｐＤｗを得る。図９（ａ）は、空間ダウンサンプリングされた画像ＳｐＤｗを示しており、図９（ｂ）及び図９（ｃ）は、水平又は垂直方向に標本化周波数の１／４以上で折り返し成分を含む空間ダウンサンプリングされた画像ＳｐＤｗの画像信号の信号利得の様子を示している。

即ち、本実施例の空間ダウンサンプリング処理で得られる画像ＳｐＤｗは、折り返し成分を意図的に含んだ画像である。但し、例えば単純に従来のようなＨｓ／２, Ｖｓ／２で折り返した画像と比較して、画像の多くのパワー成分を占めるＨｓ／４, Ｖｓ／４以下の空間周波数成分に折り返し成分を含まない。これは、視覚上は、低域に現れて目立ちやすい高域の折り返し成分が無くなる効果を生じさせる。また、後述する空間アップサンプリング時の高域推定時にて高周波成分を確実に再現することができ、符号化に有利である。

図４を参照して、ステップＳ２１にて、本実施例の復号装置５の復号器６は、本実施例の符号化装置１によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号する。

ステップＳ２２にて、本実施例の復号装置５の２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１は、空間ダウンサンプリングされた画像について２次元２階ウェーブレット変換を実行する。

ステップＳ２３にて、本実施例の復号装置５の高周波成分推定処理部７２は、補間処理を用いてアップサンプリングを行うとともに、付属情報としての倍数情報を乗じて各高周波成分を推定して再現する。

ステップＳ２４にて、本実施例の復号装置５の２次元１階離散Ｗａｖｅｌｅｔ再構成部７３は、低空間周波数成分と再現した各高周波成分とを用いて１階離散ウェーブレット再構成を実行し、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元する。

このように、本実施例の復号装置５における空間アップサンプリング処理器７は、空間ダウンサンプリングされた画像ＳｐＤｗについて、まず、２次元２階離散Ｗａｖｅｌｅｔ分解処理部７１は、図１０に示すように空間２階ウェーブレット分解処理を行う。

次に、高周波成分推定処理部７２は、画像ＳｐＤｗにおける高空間周波数成分の推定を行う。画像ＳｐＤｗは図９に示すような空間周波数の折り返し成分を含む画像である。画像ＳｐＤｗの１階離散ウェーブレット分解成分ＳｐＤｗＨＬ^１は、原画像Ｏｒｇの１階離散ウェーブレット分解成分ＯｒｇＨＬ^１のＨｓ／２〜Ｈｓ＊３／４の領域の折り返し成分を含んでいる。また、ＳｐＤｗＬＨ^１は、ＯｒｇＬＨ^１のＶｓ／２〜Ｖｓ＊３／４の領域の折り返し成分を含んでいる。ＳｐＤｗＨＨ^１は、ＯｒｇＨＬ^１とＯｒｇＬＨ^１の上記折り返し成分を両方含んでいる。

そこで、図１１に示すように、原画像Ｏｒｇ（図示１１１）の水平高周波・垂直平低周波成分の推定処理としては、２階水平高周波・垂直低周波成分ＳｐＤｗＨＬ^２（図示１１３）を水平・垂直方向に各４倍、１階水平高周波・垂直低周波成分ＳｐＤｗＨＬ^１（図示１１２）を水平・垂直方向に各２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、該空間アップサンプリングを施した周波数成分の各々（ＳｐＤｗＨＬ^２とＳｐＤｗＨＬ^１）の空間アップサンプリングでは位相を１/４ずらす。位相をずらす処理は、折り返しによるモアレの発生を防ぐ効果を生じさせる。そしてＳｐＤｗＨＬ^２を空間アップサンプリングした成分とＳｐＤｗＨＬ^１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＨＬを乗算する（図示１１４）。この結果を空間アップサンプリング水平高周波候補ＵｐＨＬとして格納する（図示１１５）。これは、通常周波数スペクトルは低周波から高周波に向かうに従って相関を保ちながら連続的に減少するため、仮に推定する高周波領域に高周波成分が存在する場合には、ＳｐＤｗＨＬ^１とＳｐＤｗＨＬ^２の相関は高い。更に、前述のようにＳｐＤｗＨＬ^１は、より高い周波数の折り返し成分を含むため、相関はより高くなる。

次に、図１２に示すように、原画像（図示１２１）の垂直高周波・水平低周波成分の推定処理としては、２階垂直高周波・水平低周波成分ＳｐＤｗＬＨ^２（図示１２３）を水平・垂直方向に各４倍、１階垂直高周波・水平低周波成分ＳｐＤｗＬＨ^１（図示１２２）を水平・垂直方向に各２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、該空間アップサンプリングを施した周波数成分（ＳｐＤｗＬＨ^２とＳｐＤｗＬＨ^１）の空間アップサンプリングでは位相を１/４ずらす。位相をずらす処理は、折り返しによるモアレの発生を防ぐ効果を生じさせる。そしてＳｐＤｗＬＨ^２を空間アップサンプリングした成分とＳｐＤｗＬＨ^１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＬＨを乗算する（図示１２４）。この結果を空間アップサンプリング水平高周波候補ＵｐＬＨとして格納する（図示１２５）。通常周波数スペクトルは低周波から高周波に向かうに従って相関を保ちながら連続的に減少するため、仮に推定する高周波領域に高周波成分が存在する場合には、ＳｐＤｗＬＨ^１とＳｐＤｗＬＨ^２の相関は高い。更に、前述のようにＳｐＤｗＬＨ^１は、より高い周波数の折り返し成分を含むため、相関はより高くなる。

次に、斜め方向高空間周波数成分、即ち垂直高周波・水平高周波成分ＳｐＤｗＨＨ^１の推定の場合も同様に、２階垂直高周波・水平高周波成分ＳｐＤｗＨＨ^２を水平・垂直方向に４倍、１階垂直高周波・水平高周波成分ＳｐＤｗＨＨ^１を水平・垂直方向に２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、ＳｐＤｗＨＨ^２とＳｐＤｗＨＨ^１の空間アップサンプリングでは位相を１/４ずらす。そしてＳｐＤｗＨＨ^２を空間アップサンプリングした成分とＳｐＤｗＨＨ^１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＨＨを乗算する。この結果を空間アップサンプリング水平高周波候補ＵｐＨＨとして格納する。

以上の水平・垂直・斜め方向高空間周波数成分ＳｐＤｗＨＨ^１の推定処理を行った後、図１３に示すように、２次元１階離散Ｗａｖｅｌｅｔ再構成部７３により、原画像Ｏｒｇと高空間周波数推定成分ＵｐＨＬ，ＵｐＬＨ，ＵｐＨＨを用いて１階離散ウェーブレット再構成を行う。

本実施例の符号化装置１及び復号装置５によれば、空間周波数ダウンサンプリングとアップサンプリングを行う処理、例えば空間周波数を予めダウンサンプリング後、画像圧縮符号化と伝送を行い、復号して空間アップサンプリングを行うことで、視覚特性劣化が少なく伝送容量を大幅に抑えることが可能である。これは、今日ますます高精細化が進む動画像システム、例えばＪＰＥＧ２０００で、フレーム単位で圧縮符号化を行うデジタルシネマ画像の圧縮符号化前／後段で用いることや、Ｈ．２６４で圧縮符号化が検討されているスーパーハイビジョン画像の圧縮符号化前／後段で用いることで、伝送容量を大幅に抑えることができるようになる。

尚、本実施例に係る空間ダウンサンプリング処理器２及び空間アップサンプリング処理器７の各々は、コンピュータとして構成することができ、各機能を実現するためのプログラムはコンピュータの記憶部に記憶することができ、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、空間ダウンサンプリング処理器２及び空間アップサンプリング処理器７の機能を実現させることができる。

上記の実施例では、動画像の１フレーム画像を代表的に説明したが、本発明は、静止画像の圧縮にも適用できる。更に、符号化装置及び復号装置が、それぞれ空間ダウンサンプリング処理器及び空間アップサンプリング処理器を備えるとして説明したが、符号化器及び空間ダウンサンプリング処理器を個別の装置として、並びに復号器及び空間アップサンプリング処理器を個別の装置として構成することができる。更に、空間ダウンサンプリング処理器から出力される縮小画像信号について、空間アップサンプリング処理器は、空間アップサンプリングを施すことができる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、低周波成分に折り返しの少ない、折り返しを意図的に含む空間ダウンサンプリングを行った後、圧縮符号化・伝送・復号を行い、空間アップサンプリングを行うので大幅な伝送帯域圧縮を行うことが可能となるので、多くの伝送容量を必要とするデジタルシネマやスーパーハイビジョンの圧縮符号化・伝送の用途に有用である。

１符号化装置
２空間ダウンサンプリング処理器
３符号化器
５復号装置
６復号器
７空間アップサンプリング処理器
２１２次元１階離散Ｗａｖｅｌｅｔ分解処理部
２２帯域制限処理部
２３２次元１階離散Ｗａｖｅｌｅｔ再構成部
２４水平・垂直１：２画素間引処理部
７１２次元２階離散Ｗａｖｅｌｅｔ分解処理部
７２高周波成分推定処理部
７３２次元１階離散Ｗａｖｅｌｅｔ再構成部

Claims

動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置であって、
前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎のウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出する２次元１階離散Ｗａｖｅｌｅｔ分解処理部と、
前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、
前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施す２次元１階離散Ｗａｖｅｌｅｔ再構成部と、
再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部と、
を備えることを特徴とする空間ダウンサンプリング処理装置。
前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、該水平高周波・垂直低周波成分の水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、該垂直低周波・水平高周波成分の垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを０に変換することを特徴とする、請求項１に記載の空間ダウンサンプリング処理装置。
請求項１又は２に記載の空間ダウンサンプリング処理装置と、
該空間ダウンサンプリング処理装置から出力される縮小画像信号を所定の符号化方式により圧縮符号化して符号化データを生成する符号化器と、
を備えることを特徴とする、符号化装置。
請求項１又は２に記載の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置であって、
該画像データについて２次元２階ウェーブレット変換を施す２次元２階離散Ｗａｖｅｌｅｔ分解処理部と、
前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、
前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する２次元１階離散Ｗａｖｅｌｅｔ再構成部と、
を備えることを特徴とする空間アップサンプリング処理装置。
前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、
水平高周波・垂直低周波成分の推定の場合には、２階水平高周波・垂直低周波成分及び１階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
垂直高周波・水平低周波成分の推定の場合には、２階垂直高周波・水平低周波成分及び１階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
垂直高周波・水平高周波成分の推定の場合には、２階垂直高周波・水平高周波成分及び１階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする、請求項４に記載の空間アップサンプリング処理装置。
請求項４又は５に記載の空間アップサンプリング処理装置と、
請求項３に記載の符号化装置によって符号された符号化データを復号する復号器と、
を備えることを特徴とする、復号装置。
動画像をウェーブレット分解して得られる空間周波数成分を空間ダウンサンプリングする空間ダウンサンプリング処理装置として構成するコンピュータに、
前記動画像における処理対象の２次元画像について、水平方向及び垂直方向に１階離散ウェーブレット分解を施すとともに、前記１階離散ウェーブレット分解された水平方向及び垂直方向の各周波数成分の領域毎の各ウェーブレット係数の平均値を、空間アップサンプリング時の高周波成分の推定に用いる倍数情報として算出するステップと、
前記２次元画像の水平方向及び垂直方向の空間周波数成分における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、
該ステップから供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施すステップと、
再構成した画像データの水平方向及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップと、
を実行させるためのプログラム。
請求項１又は２に記載の空間ダウンサンプリング処理装置によって生成される縮小画像信号からなる画像データについて、空間アップサンプリングを施す空間アップサンプリング処理装置として構成するコンピュータに、
該画像データについて２次元２階ウェーブレット変換を施すステップと、
該ステップから供給される各周波数成分について、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、
該ステップから供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした２次元画像を復元するステップと、
を実行させるためのプログラム。