JP5419795B2

JP5419795B2 - 画像符号化装置及びプログラム

Info

Publication number: JP5419795B2
Application number: JP2010105709A
Authority: JP
Inventors: 康孝松尾; 善明鹿喰; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-04-30
Filing date: 2010-04-30
Publication date: 2014-02-19
Anticipated expiration: 2030-04-30
Also published as: JP2011234316A

Description

本発明は、高精細画像の伝送を行う機器に用いて好適な画像符号化装置及びプログラムに関する。

近年、画像符号化の分野ではデジタル画像の高精細化が進んでいる。高精細画像は膨大な情報量を持つため、限られた帯域で伝送するためには高圧縮符号化する必要がある。しかしながら、膨大な情報量を持つ高精細画像を既存の符号化で処理し伝送するには限界がある。そこで、線形ＬＰＦ(Low Pass Filter)及び間引きによるダウンサンプリング処理を行う手法が案出されている。

この手法では、送信側の画像符号化装置は、ダウンサンプリングした画像を符号化して送信する。受信側の画像復号装置は、符号化されたダウンサンプリング画像を受信し復号した後、線形フィルタ、ラプラシアンピラミッド、ウェーブレット分解、非線形処理などによりアップサンプリング処理を施し、元の原画像を再生する。これにより、膨大な情報量を持つ高精細画像を符号化して伝送することなく、元の高精細画像を再生することができる。なお、基本的なウェーブレットを用いた空間周波数アップサンプリング手法として、例えば特許文献１に開示されたものが知られている。

特表２００７−５０４５２３号公報

しかしながら、空間周波数ダウンサンプリングした画像を空間周波数アップサンプリング処理して原画像を再生する場合、原画像と同程度の高画質な画像を再生することが困難であるという課題がある。

そこで、本発明はかかる問題を解決するためになされたものであり、その目的は、原画像を空間周波数ダウンサンプリングして得られた画像を伝送しても、受信側で原画像に最も近い高画質な画像を再生することができる画像符号化装置及びプログラムを提供することにある。

上記目的を達成するために、請求項１の画像符号化装置の発明は、原画像を空間周波数ダウンサンプリング処理し、空間周波数ダウンサンプリング画像を生成するダウンサンプリング手段と、前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより前記原画像が再生される際に用いられるフィルタリング処理用のフィルタリングパラメータを決定するフィルタリングパラメータ決定手段と、前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像、及び前記フィルタリングパラメータ決定手段により決定された前記フィルタリングパラメータのうち、少なくとも前記空間周波数ダウンサンプリング画像を符号化する符号化手段と、を備える画像符号化装置において、前記ダウンサンプリング手段が、原画像をオクターブ分解フィルタバンク処理し、分解階数ｎ（ｎは整数）の低周波領域成分の空間周波数ダウンサンプリング画像を生成し、前記フィルタリングパラメータ決定手段が、前記ダウンサンプリング手段により生成された分解階数ｎの低周波領域成分を前記オクターブ分解フィルタバンク処理し、分解階数ｎ＋１における水平、垂直及び斜めの高周波領域成分を求め、これらの水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を任意のフィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を空間高周波領域成分とし、この空間高周波領域成分と分解階数ｎの前記低周波領域成分に対してオクターブ再構成フィルタバンク処理により拡大し、拡大して得られた分解階数ｎ−１の低周波領域成分と、前記ダウンサンプリング手段により生成された分解階数ｎ−１の低周波領域成分とを比較し、この差分値が最も小さくなるように前記フィルタリングパラメータの値を変化させることで、前記フィルタリングパラメータを決定することを特徴とする。

また、請求項２の発明は、請求項１に記載の画像符号化装置において、前記オクターブ分解フィルタバンク処理として、ウェーブレット分解を用いることを特徴とする。

また、請求項３の発明は、請求項１または２に記載の画像符号化装置において、前記オクターブ再構成フィルタバンク処理として、ウェーブレット再構成を用いることを特徴とする。

また、請求項４の発明は、請求項１から３までのいずれか一項に記載の画像符号化装置において、前記フィルタリング処理にガウシアンフィルタ処理を用い、前記フィルタリングパラメータにガウシアンフィルタの分散値を用いることを特徴とする。

また、請求項５の発明は、コンピュータを、請求項１から４までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラムである。

本発明によれば、原画像をオクターブ分解フィルタバンク処理し、空間周波数ダウンサンプリング画像を生成して符号化すると共に、生成した空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより原画像に最も近い画像を再生可能とするフィルタリングパラメータを決定するようにした。これにより、原画像をダウンサンプリングして得られた空間周波数ダウンサンプリング画像を受信側へ送信しても、受信側は、そのフィルタリングパラメータを用いて空間周波数アップサンプリングを行うことにより、従来よりも高画質な画像を再生することができる。

本発明の実施例による画像符号化装置の概略構成を示すブロック図である。画像符号化装置の機能ブロック図である。画像符号化装置におけるダウンサンプリング処理の様子を示す図である。画像符号化装置における分散値決定処理の概要を示す図である。画像符号化装置における分散値決定処理の概要を示すフローチャートである。画像符号化装置における符号化及び送信処理を示すフローチャートである。画像符号化装置における分散値決定処理の変形例の概要を示す図である。本発明の実施例による画像復号装置の概略構成を示すブロック図である。画像復号装置の機能ブロック図である。画像復号装置における受信及び復号処理を示すフローチャートである。画像復号装置におけるアップサンプリング処理の様子を示す図である。画像復号装置におけるアップサンプリング処理の概要を示すフローチャートである。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。以下に説明する本発明の実施例は、ウェーブレット分解を用いて原画像を空間周波数ダウンサンプリング（以下、”ダウンサンプリング”という。）し、これにより得られた空間周波数ダウンサンプリング画像（以下、”ダウンサンプリング画像”という。）を符号化して伝送する画像符号化装置を想定している。なお、実施例では、ダウンサンプリングにウェーブレット分解を用いるが、線形フィルタなどを用いることも可能である。すなわち、オクターブ分解フィルタバンク処理を行えるものであれば、どのようなものでも使用可能である。

（画像符号化装置の構成）
図１は、本発明の実施例による画像符号化装置１の概略構成を示すブロック図である。この画像符号化装置１は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ^（ｎ）（ｎ：分解階数）を出力するダウンサンプリング部（ダウンサンプリング手段）１０と、ダウンサンプリング部１０でウェーブレット分解して得られたダウンサンプリング画像ＣＡ^（ｎ），ＣＡ^{（ｎ−１）}を基に、後述するアップサンプリング処理で用いるガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）（下付符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す）を決定する分散値決定部（フィルタリングパラメータ決定手段）１１と、ダウンサンプリング部１０でウェーブレット分解して得られたダウンサンプリング画像ＣＡ^（ｎ）を符号化する符号化部（符号化手段）１２と、符号化部１２で符号化されたダウンサンプリング画像ＥｎＣＡ^（ｎ）及び分散値決定部１１で決定されたガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を放送波として送信する送信部１３と、を備えて構成される。なお、ガウシアンフィルタの分散値は情報量が少ないことから本実施例では符号化してないが、符号化しても構わない。

図２は、画像符号化装置１の機能ブロック図である。空間ウェーブレット分解処理は、前述したダウンサンプリング部１０で行われる処理であり、各ｎ階空間高周波成分へのガウシアンフィルタ適用処理、空間ウェーブレット拡大処理及び画像比較処理は、分散値決定部１１で行われる処理である。以下、ダウンサンプリング部１０、分散値決定部１１、符号化部１２及び送信部１３における処理を詳細に説明する。

（ダウンサンプリング部１０におけるダウンサンプリング処理）
本実施例ではダウンサンプリング処理にウェーブレット分解を用いる。ウェーブレット分解階数は縮小したいサイズにより決定される。縮小したいサイズが縦、横とも１／２^ｎの場合、分解階数はｎ＋１となる。例えば、縮小したいサイズが縦、横とも１／２^１の場合、分解階数は２となる。なお、ダウンサンプリング処理に用いるウェーブレットをｗａｖｅｌｅｔ＿ｎとし、分解階数がｎ階の水平低周波・垂直低周波の周波数成分をＣＡ^（ｎ）（χ，Ψ）、水平高周波・垂直低周波成分をＣＨ^（ｎ）（χ，Ψ）、水平低周波・垂直高周波成分をＣＶ^（ｎ）（χ，Ψ）、水平高周波・垂直高周波成分をＣＤ^（ｎ）（χ，Ψ）とする。水平と垂直の（ｘ，ｙ）を（χ，Ψ）と表示したのは、解像度を変換すると、縦、横とも標本が半分になってしまうので、（ｘ，ｙ）と表示せず、（χ，Ψ）と表示している。

ダウンサンプリング部１０は、原画像Ｆ（ｘ，ｙ，ｔ）に対し、ｎ階離散ウェーブレット分解ＤＷＴ^（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ）を用いて、式（１）のように分解する。ｔは時間を示す。
［数式１］
[ＣＡ^（ｎ），ＣＨ^（ｎ），ＣＶ^（ｎ），ＣＤ^（ｎ）]＝ＤＷＴ^（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ）・・・（１）

図３は、ダウンサンプリング処理の様子を示す図である。１階離散ウェーブレット分解ＤＷＴ^（１）により、原画像Ｆから水平低周波・垂直低周波の周波数成分ＣＡ^（１）、水平高周波・垂直低周波成分ＣＨ^（１）、水平低周波・垂直高周波成分ＣＶ^（１）、水平高周波・垂直高周波成分ＣＤ^（１）が得られる。そして、ＣＡ^（１）から水平低周波・垂直低周波の周波数成分ＣＡ^（２）、水平高周波・垂直低周波成分ＣＨ^（２）、水平低周波・垂直高周波成分ＣＶ^（２）、水平高周波・垂直高周波成分ＣＤ^（２）が得られる。最終的に求めるダウンサンプリング画像はｎ階離散ウェーブレット分解成分ＣＡ^（ｎ）となる。

（分散値決定部１１におけるガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）の決定処理）
図４は、分散値決定部１１の処理の概要を示す図である。まず、分散値決定部１１は、分解階数ｎの低周波領域成分ＣＡ^（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＨ^{（ｎ＋１）}，ＣＶ^{（ｎ＋１）}，ＣＤ^{（ｎ＋１）}を得る（ステップＳ１）。そして、水平、垂直、斜め方向の各高周波領域成分ＣＨ^{（ｎ＋１）}，ＣＶ^{（ｎ＋１）}，ＣＤ^{（ｎ＋１）}の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により、水平、垂直方向に２倍拡大し、ＥｘＣＨ^（ｎ），ＥｘＣＶ^（ｎ），ＥｘＣＤ^（ｎ）を得る（ステップＳ２）。

式（２）に、ＣＨ^{（ｎ＋１）}を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を示す。０はゼロ行列を示す。
［数式２］
ＥｘＣＨ^（ｎ）＝ＩＤＷＴ^（１）（ＣＨ^{（ｎ＋１）}，０，０，０，ｗａｖｅｌｅｔ＿ｎ）・・・（２）

水平、垂直方向に２倍拡大したＥｘＣＨ^（ｎ），ＥｘＣＶ^（ｎ），ＥｘＣＤ^（ｎ）を得た後、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ^（ｎ），ＧＥｘＣＶ^（ｎ），ＧＥｘＣＤ^（ｎ）を得る（ステップＳ３）。この場合、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）は、初期値として任意の値または経験値が用いられる。例えば、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）のそれぞれを０．１から０．１刻みで変化させるものとすると、初期値は、例えばσ_ＣＨ ^（ｎ）＝０．１，σ_ＣＶ ^（ｎ）＝０．１，σ_ＣＤ ^（ｎ）＝０．１となる。

ガウシアンフィルタによるフィルタリングを行って、ＧＥｘＣＨ^（ｎ）、ＧＥｘＣＶ^（ｎ）、ＧＥｘＣＤ^（ｎ）を得た後、低周波領域成分ＣＡ^（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ^（ｎ），ＧＥｘＣＶ^（ｎ），ＧＥｘＣＤ^（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ^{（ｎ−１）}を得る（ステップＳ４）。

ＧＥｘＣＡ^{（ｎ−１）}を得た後、ＣＡ^{（ｎ−１）}との間の差分値を計算する。今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）をそれぞれ記憶する。なお、分散値決定部１１は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。

以上のステップＳ１〜ステップＳ５の処理をガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を変化させながら繰り返し行い、ＧＥｘＣＡ^{（ｎ−１）}とＣＡ^{（ｎ−１）}との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定する。決定したガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）をダウンサンプリング画像ＥｎＣＡ^（ｎ）と共に、受信側（後述する画像復号装置２）へ送信する。受信側では、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を受信して使用することにより、ダウンサンプリング画像ＥｎＣＡ^（ｎ）から原画像に最も近い画像を再生することができる。

図５は、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定する処理の概要を示すフローチャートである。画像符号化装置１は、原画像Ｆ（ｘ，ｙ，ｔ）を空間ウェーブレット分解し、各ｎ階のガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定して、ＣＡ^（ｎ）と共に出力する。

なお、線形（直線）位相特性を持つＨａａｒ等のウェーブレット以外のウェーブレットを用いる場合は、ＥｘＣＨ^（ｎ），ＥｘＣＶ^（ｎ），ＥｘＣＤ^（ｎ）の位相に注意する必要がある。ＥｘＣＨ^（ｎ），ＥｘＣＶ^（ｎ），ＥｘＣＤ^（ｎ）を水平、垂直位相（φ_μ，φ_ν）分だけずらした画像ＥｘＣＨ^（ｎ）（χ＋φ_μ，Ψ＋φ_ν），ＥｘＣＶ^（ｎ）（χ＋φ_μ，Ψ＋φ_ν），ＥｘＣＤ^（ｎ）（χ＋φ_μ，Ψ＋φ_ν）についてＧＥｘＣＨ^（ｎ），ＧＥｘＣＶ^（ｎ），ＧＥｘＣＤ^（ｎ）を得て、位相を変化させながら最終的にガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定するとよい。但し、本実施例では、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を変化させながらＣＡ^{（ｎ−１）}とＧＥｘＣＡ^{（ｎ−１）}を比較するため、この部分で位相ずれによる劣化はある程度吸収される。このため、処理量も多く大規模回路処理となる位相合わせ処理は必ずしも必要ではない。

（分散値決定部１１におけるガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）の決定処理の詳細）
分散値決定部１１は、階層ｎ＋１における斜め方向高周波領域成分ＣＤ^{（ｎ＋１）}を、水平、垂直方向に２倍拡大した後（図４のステップＳ２）、ガウシアンフィルタを用いてフィルタリングする（図４のステップＳ３）。式（３）にガウシアンフィルタを示す。
［数式３］
Ｇａｕｓｓ（ｘ，ｙ，σ）＝ｅｘｐ（−（ｘ^２＋ｙ^２）／２σ^２）・・・（３）

式（３）のσ^２は分散を表す。斜め方向高周波領域成分ＣＤ^{（ｎ＋１）}を水平、垂直方向に２倍拡大してＥｘＣＤ^（ｎ）を得た後（図４のステップＳ２）、式（３）のガウシアンフィルタを用いて式（４）に示すフィルタリング処理を行い（図４のステップＳ３）、ＧＥｘＣＤ^（ｎ）を得る。なお、式（３）のσは、本処理がＥｘＣＤ^（ｎ）のフィルタリングを行う処理内であるため、σ_ＣＤ ^（ｎ）となる。

［数式４］

また、分散値決定部１１は、階層ｎ＋１における水平方向高周波領域成分ＣＨ^{（ｎ＋１）}、垂直方向高周波領域成分ＣＶ^{（ｎ＋１）}を、水平、垂直方向に２倍拡大した後、方向性拡張したガウシアンフィルタを用いて拡大する。式（５）に方向性拡張したガウシアンフィルタを示す。
［数式５］
ＥｘＧａｕｓｓ（ｘ，ｙ，α，β，σ）＝ｅｘｐ（−（αｘ^２＋βｙ^２）／２σ^２）
・・・（５）

式（５）のα，βは方向性拡張係数であり、水平方向高周波領域成分ＣＨ^（ｎ）の場合はα＝１，β＝０、垂直方向高周波領域成分ＣＶ^（ｎ）の場合はα＝０，β＝１となる。以下では、σ_ＣＨ ^（ｎ）を決定する場合のみを説明するが、σ_ＣＤ ^（ｎ）も同様に決定することができる。

階層ｎ＋１における水平方向高周波領域成分ＣＨ^{（ｎ＋１）}を水平、垂直方向に２倍拡大してＥｘＣＨ^（ｎ）を得た後、式（５）の方向性拡張したガウシアンフィルタを用いて、式（６）に示すフィルタリング処理を行い、ＧＥｘＣＨ^（ｎ）を得る。なお、式（５）のσは、本処理がＣＨ^（ｎ）のフィルタリングを行う処理内であるため、σ_ＣＨ ^（ｎ）となる。
［数式６］

以上の処理により、分散値決定部１１は、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を計算した後、ＣＡ^（ｎ），ＧＥｘＣＨ^（ｎ），ＧＥｘＣＶ^（ｎ），ＧＥｘＣＤ^（ｎ）を用いて１階離散ウェーブレット再構成を行い（図４のステップＳ４）、ＧＥｘＣＡ^{（ｎ−１）}を得る。最後に、式（７）に示すように、ＣＡ^{（ｎ−１）}の領域とＧＥｘＣＡ^{（ｎ−１）}の領域における平均二乗誤差（ＲＭＳ)の計算を行い、ＲＭＳ(ＣＡ^{（ｎ−１）})及びＲＭＳ(ＧＥｘＣＡ^{（ｎ−１）})を得て、その差分値を計算する（図４のステップＳ５）。以上の処理をガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）の値を変化させながら行い、Ｄｉｆｆ＿ｒｍｓ（σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ））が最小となるガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を求める。

［数式７］
Ｄｉｆｆ＿ｒｍｓ（σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ））＝
ＲＭＳ（ＣＡ^{（ｎ−１）}（σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）））−ＲＭＳ（ＧＥｘＣＡ^{（ｎ−１）}（σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ））
σ_ＣＨ ^（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σ_ＣＨ ^（ｎ）））
σ_ＣＶ ^（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σ_ＣＶ ^（ｎ）））・・・（７）
σ_ＣＤ ^（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σ_ＣＤ ^（ｎ）））

（符号化部１２における符号化処理）
符号化部１２は、式（１）で求めたＣＡ^（ｎ）を符号化する。本実施例では、ダウンサンプリング処理とアップサンプリング処理を１フレーム単位で行うため、符号化部１２は、ＪＰＥＧ、ＪＰＥＧ２００、ＭＰＥＧ−２、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ等の様々な符号化方法を用いることができる。

（送信部１３における送信処理）
送信部１３は、符号化部１２で符号化されたＥｎＣＡ^（ｎ）を放送波として送信する。このとき、例えば、ＭＰＥＧ−２ＴＳのヘッダに、分散値決定部１１により決定されたガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を収容して送信する。図６は、符号化及び送信処理を示すフローチャートである。画像符号化装置１は、ＣＡ^（ｎ）を符号化してＥｎＣＡ^（ｎ）を得て、ＥｎＣＡ^（ｎ）と共にガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を送信する。

以上説明したように、画像符号化装置１は、原画像Ｆをウェーブレット分解してダウンサンプリングし、低解像度のダウンサンプリング画像ＣＡ^（ｎ）を求めて符号化する。また、画像符号化装置１は、ダウンサンプリング画像ＣＡ^（ｎ），ＣＡ^{（ｎ−１）}に基づいて、アップサンプリング処理により原画像に最も近い画像を生成可能なガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定し、符号化したダウンサンプリング画像ＥｎＣＡ^（ｎ）とガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）とを送信する。

ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）は、以下のようにして決定する。すなわち、低周波領域成分ＣＡ^（ｎ）に対してウェーブレット分解を行い、これにより得られた水平高周波領域成分ＣＨ^{（ｎ＋１）}，垂直高周波領域成分ＣＶ^{（ｎ＋１）}，斜め高周波領域成分ＣＤ^{（ｎ＋１）}の各々を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大してＥｘＣＨ^（ｎ），ＥｘＣＶ^（ｎ），ＥｘＣＤ^（ｎ）を得る。そして、それらに対し、任意の分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を用いたガウシアンフィルタによるフィルタリングを行い、ＧＥｘＣＨ^（ｎ），ＧＥｘＣＶ^（ｎ），ＧＥｘＣＤ^（ｎ）を得る。次いで、ＣＡ^（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ^（ｎ），ＧＥｘＣＶ^（ｎ），ＧＥｘＣＤ^（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大してＧＥｘＣＡ^{（ｎ−１）}を得る。そして、得られたＧＥｘＣＡ^{（ｎ−１）}と同じ分解階数のＣＡ^{（ｎ−１）}と比較し、この差分値が最も小さくなるガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定する。

これにより、原画像Ｆをダウンサンプリングして得られた空間周波数ダウンサンプリング画像を送信しても、受信側では、原画像Ｆに最も近い高画質な画像を再生することができる。

なお、本実施例では、ＧＥｘＣＡ^{（ｎ−１）}とＣＡ^{（ｎ−１）}とを比較することにより、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定するようにしたが、ＣＨ^（ｎ）とＧＥｘＣＨ^（ｎ）、ＣＶ^（ｎ）とＧＥｘＣＶ^（ｎ）、及びＣＤ^（ｎ）とＧＥｘＣＤ^（ｎ）のそれぞれを比較することにより、ガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を決定するようにしてもよい。

図７は、画像符号化装置における分散値決定処理の変形例の概要を示す図である。分散値決定部１１は、ＣＨ^（ｎ）とＧＥｘＣＨ^（ｎ）の比較において平均二乗誤差（ＭＳＥ）が最小となる分散値σ_ＣＨ ^（ｎ）を求める。また、ＣＶ^（ｎ）とＧＥｘＣＶ^（ｎ）の比較において平均二乗誤差が最小となる分散値σ_ＣＶ ^（ｎ）を求める。また、ＣＤ^（ｎ）とＧＥｘＣＤ^（ｎ）の比較において平均二乗誤差が最小となる分散値σ_ＣＤ ^（ｎ）を求める。

画像符号化装置１のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)等の揮発性の記憶媒体、ＲＯＭ(Read Only Memory)等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像符号化装置１を構成するダウンサンプリング部１０、分散値決定部１１、符号化部１２、送信部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

（画像復号装置の構成）
次に、本発明の実施例による画像復号装置について説明する。図８は、画像復号装置の概略構成を示すブロック図である。この画像復号装置２は、前述した画像符号化装置１から送信されたダウンサンプリング画像ＥｎＣＡ^（ｎ）及びガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を受信する受信部２０と、受信部２０で受信されたダウンサンプリング画像ＥｎＣＡ^（ｎ）を復号する復号部（復号手段）２１と、受信部２０で受信されたガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を用いて、復号部２１で復号されたダウンサンプリング画像ＥｎＤｅＣＡ^（ｎ）をアップサンプリング処理するアップサンプリング部（アップサンプリング手段）２２と、を備えて構成される。

図１０は、受信部２０と復号部２１の処理を示すフローチャートである。受信部２０は、符号化されたダウンサンプリング画像ＥｎＣＡ^（ｎ）とガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を受信し、復号部２１は、ダウンサンプリング画像ＥｎＣＡ^（ｎ）を復号してＥｎＤｅＣＡ^（ｎ）を得る。

図９は、画像復号装置２の機能ブロック図である。空間ウェーブレット分解処理、各ｎ階空間高周波成分へのガウシアンフィルタ適用処理及び空間ウェーブレット拡大処理は、アップサンプリング部２２にて行われる処理である。以下、アップサンプリング部２２における処理を説明する。

（アップサンプリング部２２におけるアップサンプリング処理）
図１１は、アップサンプリング処理の様子を示す図である。まず、アップサンプリング部２２は、式（８）に示すように、ＥｎＣＡ^（ｎ）を受信して復号して得られたＥｎＤｅＣＡ^（ｎ）を１階離散ウェーブレット分解ＤＷＴ^（１）し、ＥｎＤｅＣＡ^{（ｎ＋１）}，ＥｎＤｅＣＨ^{（ｎ＋１）}，ＥｎＤｅＣＶ^{（ｎ＋１）}，ＥｎＤｅＣＤ^{（ｎ＋１）}を得る（ステップＳ１１）。
［数式８］
［ＥｎＤｅＣＡ^{（ｎ＋１）}，ＥｎＤｅＣＨ^{（ｎ＋１）}，ＥｎＤｅＣＶ^{（ｎ＋１）}，ＥｎＤｅＣＤ^{（ｎ＋１）}］＝ＤＷＴ^（１）（ＥｎＤｅＣＡ^（ｎ），ｗａｖｅｌｅｔ＿ｎ）
・・・（８）

そして、ＥｎＤｅＣＨ^{（ｎ＋１）}，ＥｎＤｅＣＶ^{（ｎ＋１）}，ＥｎＤｅＣＤ^{（ｎ＋１）}と分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を用いて、水平、垂直、斜め方向拡大成分を計算する。ＥｎＤｅＣＤ^{（ｎ＋１）}に対し、空間低周波領域成分にＥｎＤｅＣＤ^{（ｎ＋１）}、空間高周波領域成分に同じサイズのゼロ行列をおいて１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＥｎＤｅＣＤ^（ｎ）を得る（ステップＳ１２）。同様に、ＥｎＤｅＣＨ^{（ｎ＋１）}とＥｎＤｅＣＶ^{（ｎ＋１）}に対し、１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＥｎＤｅＣＨ^（ｎ），ＥｘＥｎＤｅＣＶ^（ｎ）を得る（ステップＳ１２）。

そして、ＥｘＥｎＤｅＣＨ^（ｎ），ＥｘＥｎＤｅＣＶ^（ｎ），ＥｘＥｎＤｅＣＤ^（ｎ）に対し、分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）のガウシアンフィルタにてフィルタリング処理を行い、ＧＥｘＥｎＤｅＣＨ^（ｎ），ＧＥｘＥｎＤｅＣＶ^（ｎ），ＧＥｘＥｎＤｅＣＤ^（ｎ）を得る（ステップＳ１３）。

そして、式（９）に示すように、ＥｎＤｅＣＡ^（ｎ）,ＧＥｘＥｎＤｅＣＨ^（ｎ）,ＧＥｘＥｎＤｅＣＶ^（ｎ）,ＧＥｘＥｎＤｅＣＤ^（ｎ）を用いて、１階離散ウェーブレット再構成を行う（ステップＳ１４）。
［数式９］
［ＥｎＤｅＣＡ^{（ｎ−１）}］＝ＩＤＷＴ^（１）(ＥｎＤｅＣＡ^（ｎ）, ＧＥｘＥｎＤｅＣＨ^（ｎ）, ＧＥｘＥｎＤｅＣＶ^（ｎ）, ＧＥｘＥｎＤｅＣＤ^（ｎ）,ｗａｖｅｌｅｔ＿ｎ）・・・（９）

以降、ｎ＝ｎ−１として、アップサンプリング方法内の処理をｎ＝０となるまで繰り返す（ステップＳ１５）。

図１２は、アップサンプリング部２２におけるアップサンプリング処理の概要を示すフローチャートである。アップサンプリング部２２は、復号して得られたＥｎＤｅＣＡ^（ｎ）を空間ウェーブレット分解してＥｎＤｅＣＨ^{（ｎ＋１）}，ＥｎＤｅＣＶ^{（ｎ＋１）}，ＥｎＤｅＣＤ^{（ｎ＋１）}を得た後、これらをウェーブレット再構成してＥｘＥｎＤｅＣＨ^（ｎ），ＥｘＥｎＤｅＣＶ^（ｎ），ＥｘＥｎＤｅＣＤ^（ｎ）を得る。そして、分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）のガウシアンフィルタでフィルタリングを行い、ＧＥｘＥｎＤｅＣＨ^（ｎ），ＧＥｘＥｎＤｅＣＶ^（ｎ），ＧＥｘＥｎＤｅＣＤ^（ｎ）を得て、これらとＥｎＤｅＣＡ^（ｎ）を用いてウェーブレット再構成を行う。以上の処理をｎ＝ｎ−１として、ｎ＝０となるまで繰り返す。

以上のように、図８に示した画像復号装置２によれば、受信して復号したダウンサンプリング画像ＥｎＤｅＣＡ^（ｎ）をウェーブレット分解し、これにより得られた水平高周波領域成分ＥｎＤｅＣＨ^{（ｎ＋１）}，垂直高周波領域成分ＥｎＤｅＣＶ^{（ｎ＋１）}，斜め高周波領域成分ＥｎＤｅＣＤ^{（ｎ＋１）}の各々を空間低周波領域成分、ゼロ行列を空間高周波領域成分としてウェーブレット再構成で拡大し、これにより得られた水平高周波領域成分ＥｘＥｎＤｅＣＨ^（ｎ），垂直高周波領域成分ＥｘＥｎＤｅＣＶ^（ｎ），斜め高周波領域成分ＥｘＥｎＤｅＣＤ^（ｎ）を、受信したガウシアンフィルタの分散値σ_ＣＨ ^（ｎ），σ_ＣＶ ^（ｎ），σ_ＣＤ ^（ｎ）を用いてフィルタリングを行い、これにより得られた水平高周波領域成分ＧＥｘＥｎＤｅＣＨ^（ｎ），垂直高周波領域成分ＧＥｘＥｎＤｅＣＶ^（ｎ），斜め高周波領域成分ＧＥｘＥｎＤｅＣＤ^（ｎ）とダウンサンプリング前のＥｎＤｅＣＡ^（ｎ）を用いてウェーブレット再構成を行うので、原画像Ｆに最も近い高画質な画像を再生することができる。

画像復号装置２のハード構成としては、通常のコンピュータを使用することができる。すなわち、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成できる。画像復号装置２を構成する受信部２０、復号部２１、アップサンプリング部２２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現できる。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

以上、実施例を挙げて本発明を説明したが、本発明は前記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例では、画像符号化装置１が、ダウンサンプリング画像及びガウシアンフィルタの分散値を送信し、画像復号装置２が、ガウシアンフィルタの分散値を用いてダウンサンプリング画像をアップサンプリングし、高画質な画像を再生するようにしたが、本発明は、空間周波数ダウンサンプリングとアップサンプリングを行う処理全般に適用がある。例えば、画像符号化装置１が、空間周波数をダウンサンプリングした後、空間周波数ダウンサンプリング画像の圧縮符号化信号と、空間周波数ダウンサンプリング時に得られた付加情報を画像復号装置２へ送信する。そして、画像復号装置２は、空間周波数ダウンサンプリング画像の圧縮符号化信号及び付加情報を受信し、圧縮符号化信号の復号の後に空間周波数アップサンプリングを行う。これにより、低画質劣化かつ低伝送容量の圧縮符号化が可能となる。また、ストレージメディアへ圧縮記録するなどの処理にも適用がある。

また、本発明は、ＪＰＥＧ２０００を用いてフレーム単位で圧縮符号化を行うデジタルシネマ圧縮符号化処理の前段または後段に用いることができる。また、Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣで圧縮符号化が検討されているスーパーハイビジョン圧縮符号化処理の前段または後段に用いることができる。また、将来の新しい圧縮符号化方式と組み合わせて用いることも可能である。

１画像符号化装置
２画像復号装置
１０ダウンサンプリング部
１１分散値決定部
１２符号化部
１３送信部
２０受信部
２１復号部
２２アップサンプリング部

Claims

原画像を空間周波数ダウンサンプリング処理し、空間周波数ダウンサンプリング画像を生成するダウンサンプリング手段と、
前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像に基づいて、空間周波数アップサンプリングにより前記原画像が再生される際に用いられるフィルタリング処理用のフィルタリングパラメータを決定するフィルタリングパラメータ決定手段と、
前記ダウンサンプリング手段により生成された前記空間周波数ダウンサンプリング画像、及び前記フィルタリングパラメータ決定手段により決定された前記フィルタリングパラメータのうち、少なくとも前記空間周波数ダウンサンプリング画像を符号化する符号化手段と、を備える画像符号化装置において、
前記ダウンサンプリング手段は、原画像をオクターブ分解フィルタバンク処理し、分解階数ｎ（ｎは整数）の低周波領域成分の空間周波数ダウンサンプリング画像を生成し、
前記フィルタリングパラメータ決定手段は、前記ダウンサンプリング手段により生成された分解階数ｎの低周波領域成分を前記オクターブ分解フィルタバンク処理し、分解階数ｎ＋１における水平、垂直及び斜めの高周波領域成分を求め、これらの水平、垂直及び斜めの高周波領域成分の各々を空間低周波領域成分とし、ゼロ行列を空間高周波領域成分として、オクターブ再構成フィルタバンク処理にて拡大し、拡大して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を任意のフィルタリングパラメータを用いてフィルタリング処理し、フィルタリング処理して得られた分解階数ｎの水平、垂直及び斜めの高周波領域成分を空間高周波領域成分とし、この空間高周波領域成分と分解階数ｎの前記低周波領域成分に対してオクターブ再構成フィルタバンク処理により拡大し、拡大して得られた分解階数ｎ−１の低周波領域成分と、前記ダウンサンプリング手段により生成された分解階数ｎ−１の低周波領域成分とを比較し、この差分値が最も小さくなるように前記フィルタリングパラメータの値を変化させることで、前記フィルタリングパラメータを決定することを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記オクターブ分解フィルタバンク処理として、ウェーブレット分解を用いることを特徴とする画像符号化装置。
請求項１または２に記載の画像符号化装置において、
前記オクターブ再構成フィルタバンク処理として、ウェーブレット再構成を用いることを特徴とする画像符号化装置。
請求項１から３までのいずれか一項に記載の画像符号化装置において、
前記フィルタリング処理にガウシアンフィルタ処理を用い、前記フィルタリングパラメータにガウシアンフィルタの分散値を用いることを特徴とする画像符号化装置。
コンピュータを、請求項１から４までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。