JP4889403B2 - Ｔｖ法を用いた画像符号化装置及び復号化装置 - Google Patents

Description

本発明は、画像符号化装置及び画像復号化装置に関し、特に、階層化した画像をＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）法を用いて符号化する装置、及び符号化されたデータを復号化する装置に関するものである。

従来、高解像度画像を解像度の異なる複数の画像に階層化し、これらの階層化した複数の画像を統合的に符号化する画像符号化装置が開示されている（例えば、特許文献１，２を参照）。これらの画像符号化装置は、いずれもウェーブレット変換を用いることにより、画像を低解像度画像から高解像度画像までの解像度の異なる複数の画像に階層的に分類し、いわゆる画像をピラミッド状に構成するものである。このように階層化した複数の画像は、画像毎に符号化されるのではなく、統合的に符号化される。すなわち、解像度の異なる複数の画像の相関を用いて符号化される。これにより、符号化効率の向上を実現することができる。

例えば、画像符号化装置は、階層化した複数の画像のうちの１枚の基本画像の符号化データ、及びこの基本画像と他の画像との間の差分の符号化データを画像復号化装置へ伝送する。画像復号化装置は、伝送された基本画像の符号化データ及び差分の符号化データを復号化し、原画像を再生する。

つまり、画像復号化装置は、画像符号化装置により統合的に符号化されたデータ（基本画像と差分データ）を復号化する。例えば、画像符号化装置が２枚の異なる解像度の画像を用いて符号化した場合には、画像復号化装置は、基本画像と差分データを復号化する。

特許第３５７６６６０号公報 特許第３２１３５６１号公報

このように、従来の画像符号化装置は、階層化された解像度の異なる複数の画像を統合的に符号化し、画像復号化装置は、画像符号化装置により伝送された符号化データを復号化する。この場合、符号化及び復号化処理の負荷を小さくする観点からすると、画像符号化装置が生成する符号化データ量をできる低減することが望ましい。また、画像復号化装置において、低解像度画像に基づいて高解像度画像を再生することができれば、符号化及び復号化の効率上望ましいといえる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、符号化データ量を低減すると共に、低解像度画像に基づいて高解像度画像を再生することが可能な画像符号化装置及び画像復号化装置を提供することにある。

前記課題を解決するため、本発明による画像処理装置は、原画像に階層化処理を施し、解像度の異なる複数の画像を生成する階層化処理部と、該階層化処理部により生成された解像度の異なる複数の画像のうち、２つの画像を選択する選択部と、該選択部により選択された２つの画像のうちの低解像度の画像を、ＴＶ法によりカートゥーン画像及びテクスチャ画像に分解する第１の分解部と、前記テクスチャ画像を画素単位で変換して新たなテクスチャ画像を生成する第１の変換部と、前記第１の分解部により分解されたカートゥーン画像及び前記第１の変換部により変換された新たなテクスチャ画像を合成し、高解像化された画像を生成する第１の合成部と、を有する第１のＴＶ法高解像化部と、前記選択部により選択された２つの画像のうちの高解像度の画像と、第１のＴＶ法高解像化部により高解像化された画像との間の差分の画像を算出する減算部と、該減算部により算出された高解像度の差分画像に符号化を施す第１の符号化部と、前記選択部により選択された２つの画像のうちの低解像度の画像に符号化を施す第２の符号化部とを備え、前記第１の変換部は、前記テクスチャ画像の画素値の絶対値が０以上かつ第１の閾値未満である場合には該画素値を０に変換し、前記テクスチャ画像の画素値の絶対値が前記第１の閾値以上かつ第２の閾値未満である場合には該画素値の絶対値を元の値未満の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第２の閾値以上かつ第３の閾値未満である場合には該画素値の絶対値を元の値以上の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第３の閾値以上である場合には該画素値の絶対値を予め設定された最大値に変換することを特徴とする。

また、本発明による画像符号化装置は、さらに、前記第２の符号化部により符号化された画像に復号化を施す復号化部と、前記選択部により選択された２つの画像のうちの低解像度の画像、及び復号化部により復号化された画像のうちのいずれか一方に切り替えて出力する切り替え部とを備え、前記第１のＴＶ法高解像化部が、切り替え部により出力された画像に、ＴＶ法による高解像化を施すことを特徴とする。

また、本発明による画像符号化装置は、さらに、前記選択部により選択された２つの画像のうちの低解像度の画像、または前記復号化部により復号化された画像を拡大するフィルタ部を備え、前記第１のＴＶ法高解像化部が、フィルタ部により拡大された画像に、ＴＶ法による高解像化を施すことを特徴とする。

また、本発明による画像符号化装置は、前記フィルタ部が、選択部により選択された２つの画像のうちの高解像度の画像と同一の画素数になるように拡大処理を施すことを特徴とする。

また、本発明による画像符号化装置は、さらに、前記第１の符号化部により符号化された高解像度の差分画像の符号化データと、第２の符号化部により符号化された低解像度の画像の符号化データとを多重する多重化部を備えたことを特徴とする。

また、本発明による画像符号化装置は、前記第１の符号化部により符号化された高解像度の差分画像の符号化データと、第２の符号化部により符号化された低解像度の画像の符号化データとを別々のストリームとして伝送することを特徴とする。

以上、画像符号化装置について説明したが、本発明には、前記画像符号化装置による符号化データに復号化を施し、原画像を再生する画像復号化装置も包含される。本発明による画像復号化装置は、前記高解像度の差分画像の符号化データに復号化を施す第１の復号化部と、前記低解像度の画像の符号化データに復号化を施す第２の復号化部と、該第２の復号化部により復号化された低解像度の画像を、ＴＶ法によりカートゥーン画像及びテクスチャ画像に分解する第２の分解部と、前記テクスチャ画像を画素単位で変換して新たなテクスチャ画像を生成する第２の変換部と、前記第２の分解部により分解されたカートゥーン画像及び前記第２の変換部により変換された新たなテクスチャ画像を合成し、高解像化された画像を生成する第２の合成部と、を有する第２のＴＶ法高解像化部と、前記第１の復号化部により復号化された高解像度の差分画像と、第２のＴＶ法高解像化部により高解像化された画像とを加算する加算部とを備え、前記第２の変換部は、前記テクスチャ画像の画素値の絶対値が０以上かつ第１の閾値未満である場合には該画素値を０に変換し、前記テクスチャ画像の画素値の絶対値が前記第１の閾値以上かつ第２の閾値未満である場合には該画素値の絶対値を元の値未満の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第２の閾値以上かつ第３の閾値未満である場合には該画素値の絶対値を元の値以上の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第３の閾値以上である場合には該画素値の絶対値を予め設定された最大値に変換することを特徴とする。

以上のように、本発明によれば、ＴＶ法により高解像化された画像は、選択された２つの画像のうちの高解像度の画像に近いものとなる。これにより、高解像度の差分画像のデータ量が少なくなる。したがって、画像符号化装置において、符号化データ量を低減することができ、低いビットレートで符号化データを伝送することができる。また、画像復号化装置は、画像符号化装置からの低解像度の画像及び高解像度の差分画像の符号化データを復号化し、低解像度の画像をＴＶ法により高解像化し、この高解像化した画像と差分画像とを加算することにより、高解像度の画像を再生することができる。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔画像符号化装置〕
まず、画像符号化装置について説明する。図１は、本発明の実施の形態による画像符号化装置の構成を示すブロック図である。この画像符号化装置１００は、原画像について階層化した解像度の異なる複数の画像のうちの１枚の低解像度画像の符号化データを伝送すると共に、複数の画像のうちの１枚の高解像度画像とＴＶ法により低解像度画像を高解像化した画像との間の差分画像の符号化データを伝送する。この場合、ＴＶ法により高解像化した画像を、複数の画像のうちの１枚の高解像度画像の画素数に近づける。つまり、この画像符号化装置１００は、高解像度画像とＴＶ法により高解像化した画像との間の差分画像について、その符号化データ量の低減化を実現することができるものである。図１を参照して、画像符号化装置１００は、階層化処理部１０１、選択部１０２、符号化部１０３、復号化部１０４、切り替え部１０５、フィルタ部１０６、ＴＶ法高解像化部１０７、減算部１０８、符号化部１０９、及び多重化部１１０を備えている。

階層化処理部１０１は、原画像を入力し、原画像に対して階層化処理により画像を縮小化して分割し、解像度の異なる複数の画像（階層化画像）を選択部１０２に出力する。具体的には、階層化処理部１０１は、直流成分及び交流成分の画像について、直流成分を含み、かつ低周波域から高周波域までの交流成分を段階的にピラミッド状に分割し、この分割により低解像度画像から高解像度画像までの解像度の異なる画像をそれぞれ生成する。

このような解像度の異なる複数の画像は、サブバンド符号化、ウェーブレット変換、直交変換等の各種の手法を用いて生成され、例えば、直流成分のみを含む第１の階層化画像、直流成分及び低周波域の交流成分を含む第２の階層化画像、並びに、直流成分、低周波域及び高周波域の交流成分を含む第３の階層化画像とすることができる（これを、ラプラシアンピラミッド状の階層化画像という。）。図１に示すように、サイズの小さい低解像度の画像１からサイズの大きい高解像度の画像ｎまでの階層化画像が生成される。

尚、階層化処理の詳細については省略する。詳細については、「貴家仁志著、“よくわかる動画静止画の処理技術”、ＣＱ出版社」の第１３７頁、または、前述した特許文献１の段落７８〜９４、図２、図３を参照されたい。

選択部１０２は、階層化処理部１０１から解像度の異なる複数の画像（第１の解像度を有する階層化画像，第２の解像度を有する階層化画像，・・・，第ｎの解像度を有する階層化画像）を入力し、基準となる低解像度画像（画像Ａ−１）、及び差分をとる対象となる高解像度画像（画像Ｂ−１）の２つの階層化画像を選択し、低解像度画像（画像Ａ−１）を符号化部１０３及び切り替え部１０５に出力し、高解像度画像（画像Ｂ−１）を減算部１０８に出力する。

符号化部１０３は、選択部１０２から低解像度画像Ａ−１を入力し、符号化を施し、低解像度符号化画像α−１を復号化部１０４及び多重化部１１０に出力する。復号化部１０４は、符号化部１０３から低解像度符号化画像α−１を入力し、復号化を施し、低解像度復号画像を切り替え部１０５に出力する。

切り替え部１０５は、選択部１０２から低解像度画像Ａ−１を入力し、復号化部１０４から低解像度復号画像を入力し、予め設定されたスイッチの選択によりいずれかの画像をフィルタ部１０６に出力する。スイッチは、例えば、符号化部１０３において、低解像度画像Ａ−１に対して高いビットレートを得ることができる（帯域割り当てを十分に得ることができる）ため符号化歪みが発生せず、画像復号化装置において原画像と同等の再生画像を得ることができる場合には、選択部１０２からの低解像度画像Ａ−１を出力するように設定されている。一方、符号化部１０３において、低解像度の画像Ａ−１に対して低いビットレートしか得ることができない（帯域割り当てを十分に得ることができない）ため符号化歪みが発生する場合には、復号化部１０４からの低解像度復号画像を出力するように設定されている。

フィルタ部１０６は、切り替え部１０５から低解像度画像Ａ−１または低解像度復号画像を入力し、選択部１０２において選択された高解像度画像Ｂ−１のサイズに拡大し（高解像度画像Ｂ−１の画素数と同一になるように拡大し）、拡大画像Ａ’−１をＴＶ法高解像化部１０７に出力する。

ＴＶ法高解像化部１０７は、フィルタ部１０６から拡大画像Ａ’−１を入力し、ＴＶ法によりカートゥーン画像ｕとテクスチャ画像ｖとに分解する。そして、カートゥーン画像ｕとテクスチャ画像ｖとを合成して復元画像である画像Ａ’’−１を生成し、または、カートゥーン画像ｕと、テクスチャ画像ｖを変換して生成した新たなテクスチャ画像ｖ’とを合成して復元画像である画像Ａ’’−１を生成し、減算部１０８に出力する。すなわち、ＴＶ法高解像化部１０７は、ＴＶ法により拡大画像Ａ’−１を高解像化して高周波成分を再生し、高解像度画像Ａ’’−１を生成する。ここで生成される高解像度画像Ａ’’−１は、選択部１０２により選択された高解像度画像Ｂ−１と同じ解像度であり、同じ画素数の画像になる。ＴＶ法高解像化部１０７の処理の詳細については後述する。

減算部１０８は、選択部１０２から高解像度画像Ｂ−１を入力し、ＴＶ法高解像化部１０７から高解像度画像Ａ’’−１を入力し、画像Ｂ−１（の各画素値）から画像Ａ’’−１（の各画素値）を減算し、高解像度差分画像Ｃ−１を符号化部１０９に出力する。

符号化部１０９は、減算部１０８から高解像度差分画像Ｃ−１を入力し、符号化を施し、差分符号化画像β−１を多重化部１１０に出力する。多重化部１１０は、符号化部１０３から低解像度符号化画像α−１を入力し、符号化部１０９から高解像度差分符号化画像β−１を入力し、これらの２つの画像信号を多重化し、符号化データの１本のストリームを伝送する。この場合、多重化することなく、低解像度符号化画像α−１の符号化データと、高解像度差分符号化画像β−１の符号化データとを別々にして、２本のストリームを伝送するようにしてもよい。

以上のように、図１に示した画像符号化装置１００によれば、ＴＶ法高解像化部１０７が、階層化された解像度の異なる複数の画像のうちの低解像度画像Ａ’−１を高解像化して画像Ａ’’−１を生成し、階層化された解像度の異なる複数の画像のうちの高解像度画像Ｂ−１に近づけるようにし、減算部１０８が、高解像度画像Ｂ−１と高解像度の画像Ａ’’−１との間の差分を計算し、符号化部１０９が、その高解像度差分画像Ｃ−１を符号化するようにした。ここで、ＴＶ法は従来の画像処理と異なり、例えば顔図に含まれていない高周波成分を生成する。このため、ＴＶ法により高解像化した画像Ａ’’−１と高解像度画像Ｂ−１との間の差分は、従来のフィルタ部１０６により拡大された拡大画像Ａ’−１と高解像度画像Ｂ−１との間の差分よりも情報量が少なくなる。すなわち、ＴＶ法により生成した高解像度画像Ａ’’−１は高解像度画像Ｂ−１に近い画素分布になるから、画像符号化装置１００は、符号化データ量の低減化を図ることができ、低いビットレートにより符号化データを伝送することができる。この場合、後述する画像復号化装置２００が、低解像度画像から高解像度成分を生成し、高解像度画像を再生するようにしたから、画像符号化装置１００は、高解像度画像の符号化データを伝送する必要がなく、符号化データの低減化を図ることができる。

〔画像復号化装置〕
次に、画像復号化装置について説明する。図２は、本発明の実施の形態による画像復号化装置の構成を示すブロック図である。この画像復号化装置２００は、図１に示した画像符号化装置１００により伝送された符号化データを入力し、低解像度画像と高解像度差分画像とに分離し、高解像度差分画像とＴＶ法により低解像度画像を高解像度画像に高解像化した画像とを合成し、再生画像を生成する。つまり、この画像復号化装置２００は、低解像度画像から再生画像の一部である高解像度成分を生成するものである。図２を参照して、画像復号化装置２００は、分離部２０１、復号化部２０２、復号化部２０３、フィルタ２０４、ＴＶ法高解像化部２０５、及び加算部２０６を備えている。

分離部２０１は、画像符号化装置１００により伝送された符号化データの１本のストリームを入力し、この１本のストリームに包含される多重化された２つの符号化データを、高解像度差分符号化画像β−２と低解像度符号化画像α−２とに分離し、高解像度差分符号化画像β―２を復号化部２０２に出力し、低解像度符号化画像α−２を復号化部２０３に出力する。尚、画像符号化装置１００が、低解像度符号化画像α−１の符号化データと、高解像度差分符号化画像β−１の符号化データとを別々にして、２本のストリームを伝送した場合には、画像復号化装置２００の分離部２０１は不要となり、それぞれの符号化データが復号化部２０３，２０２に入力される。

復号化部２０２は、分離部２０１から高解像度差分符号化画像β−２を入力し、復号化を施し、復号画像である高解像度差分画像Ｃ−２を加算部２０６に出力する。復号化部２０３は、分離部２０１から低解像度符号化画像α−２を入力し、復号化を施し、復号画像である低解像度画像Ａ−２をフィルタ部２０４に出力する。

フィルタ部２０４は、復号化部２０３から低解像度画像Ａ−２を入力し、画像符号化装置１００の選択部１０２において選択された画像Ｂ−１のサイズに画素数が同一になるように拡大し、拡大画像Ａ’−２をＴＶ法高解像化部２０５に出力する。

ＴＶ法高解像化部２０５は、フィルタ部２０４から拡大画像Ａ’−２を入力し、ＴＶ法によりカートゥーン画像ｕとテクスチャ画像ｖとに分解する。そして、カートゥーン画像ｕとテクスチャ画像ｖとを合成して復元画像である画像Ａ’’−２を生成し、または、カートゥーン画像ｕと、テクスチャ画像ｖを変換して生成した新たなテクスチャ画像ｖ’とを合成して復元画像である画像Ａ’’−２を生成し、加算部２０６に出力する。すなわち、ＴＶ法高解像化部２０５は、ＴＶ法により拡大画像Ａ’−２を高解像化して高周波成分を再生し、高解像度画像Ａ’’−２を生成する。ここで生成される高解像度画像Ａ’’−２は、画像符号化装置１００の選択部１０２により選択された高解像度画像Ｂ−１と同じ解像度であり、同じ画素数の画像である。ＴＶ法高解像化部２０５の処理の詳細については後述する。

加算部２０６は、復号化部２０２から高解像度差分画像Ｃ−２を入力し、ＴＶ法高解像化部２０５から高解像度画像Ａ’’−２を入力し、画像Ｃ−２（の各画素値）と画像Ａ’’−２（の各画素値）とを加算し、高解像度再生画像Ｂ−２を生成する。この高解像度再生画像Ｂ−２は、画像符号化装置１００の選択部１０２により選択された高解像度画像Ｂ−１に近いものとなる。

以上のように、図２に示した画像復号化装置２００によれば、ＴＶ法高解像化部２０５が、復号化部２０３により復号化されフィルタ部２０４により拡大された低解像度画像Ａ’−２を高解像化して高解像度成分を有する画像Ａ’’−２を生成し、加算部２０６が、復号化部２０２による復号化された高解像度差分画像Ｃ−２と高解像度画像Ａ’’−２とを加算し、再生画像Ｂ−２を生成するようにした。これにより、再生画像Ｂ−２は画像符号化装置１００の選択部１０２により選択された高解像度画像Ｂ−１に近いものとすることができ、高解像度画像を再生することができる。

図１３は、従来の画像復号化装置を用いた場合の画像の周波数分布の例である。従来の画像符号化装置は、図１のブロック図において、切り替え部１０５及びＴＶ法高解像化部１０７が存在しない構成になっている。すなわち、従来の画像符号化装置は、高解像度画像Ｂと低解像度画像Ａを拡大した画像Ａ’との差分をとり、差分画像Ｃの符号化データを伝送する。図１３を参照して、（１）は高解像度画像Ｂの周波数分布を、（２）は拡大画像Ａ’の周波数分布を、（３）は高解像度画像Ｂと拡大画像Ａ’との間の差分画像をそれぞれ示す。（２）に示すように、拡大画像Ａ’は、低解像度画像Ａを拡大した画像に過ぎないから、周波数の巾は、（１）の画像Ｂに比べて狭い。このため、（３）の画像Ｃは、レベルの高い周波数成分が差分として残されていることがわかる。

図１４は、図１に示した画像符号化装置１００を用いた場合の画像の周波数分布の例である。図１４を参照して、（１）は高解像度画像Ｂ−１の周波数分布を、（２）は拡大画像Ａ’をＴＶ法により高解像化した高解像度画像Ａ’’−１の周波数分布を、（３）は高解像度画像Ｂ−１と高解像度画像Ａ’’−１との間の差分画像Ｃ−１をそれぞれ示す。（２）に示すように、高解像度画像Ａ’’−１は、低解像度画像Ａ−１を拡大して高解像度画像Ｂ−１と同一の画素数になるようにした拡大画像Ａ’−１について、この拡大画像Ａ’−１をＴＶ法により高解像化した画像であるから、周波数の巾は、（１）の画像Ｂ−１と同等の巾になっている。このため、（３）の画像Ｃ−１は、レベルの低い周波数成分が差分として残されていることがわかる。図１３に比べて、符号化データ量が少なくて済むことがわかる。

〔ＴＶ法による高解像化処理〕
次に、ＴＶ法により高解像化処理について説明する。この処理は、図１に示したＴＶ法高解像化部１０７、及び図２に示したＴＶ法高解像化部２０５により行われる。図３は、図１に示したＴＶ法高解像化部１０７の第１の構成を示すブロック図である。尚、以下の説明はＴＶ法高解像化部１０７についてのものであるが、図２に示したＴＶ法高解像化部２０５の構成も同様である。

図３を参照して、ＴＶ法高解像化部１０７−１は、分解部１１及び合成部１２を備えている。分解部１１は、画像Ａ’−１である原画像ｆを入力し、ＴＶ法によりカートゥーン画像ｕとテクスチャ画像ｖとに分解する。合成部１２は、分解部１１により分解されたカートゥーン画像ｕとテクスチャ画像ｖとを合成し、画像Ａ’’−１である復元画像を出力する。図１０（Ａ）に原画像ｆを、図１０（Ｂ）にカートゥーン画像ｕを、図１０（Ｃ）にテクスチャ画像ｖの例を示す。

以下、ＴＶ法による画像処理手法について簡単に説明する。尚、詳細については「Journal of Scientific Computing,Vol.19,Nos.1-3,December 2003」を参照されたい。まず、ＴＶ法により分解されるカートゥーン画像ｕは、原画像ｆ内のオブジェクトの形及び大きさを表した骨格画像をいい、平坦部分及び強いエッジ部分を含んでいる。また、テクスチャ画像ｖは、原画像ｆ内のオブジェクトの輝度及び色差の変化による精細部を表す画像をいい、細かな模様のみから成る。

原画像ｆは、後述するパラメータλ，μに応じて、カートゥーン画像ｕとテクスチャ画像ｖとに分解される。ここで、ノイズはテクスチャ画像ｖに含まれておりカートゥーン画像ｕに含まれていないことから、パラメータλ，μの値に応じて、ノイズを低減したテクスチャ画像ｖを生成することができる。すなわち、パラメータλ，μを適切に選択することにより、テクスチャ画像ｖに含まれるノイズを低減することができる。そして、分解した際にノイズを含んでいないカートゥーン画像ｕと、分解した際にノイズを低減したテクスチャ画像ｖとを合成することにより、結果としてノイズを低減した復元画像を得ることができる。

従来はＴＶ法による画像処理手法を用いる代わりに、ローパスフィルタまたはメディアンフィルタを用いていた。この手法ではノイズを含む信号も強調してしまう。これに対し、ＴＶ法による画像処理手法では、ノイズを低減したテクスチャ画像ｖを生成することができるから、従来の画像処理手法に比べて、高画質な画像に復元することができるという利点がある。

次に、ＴＶ法による画像処理手法において、ノイズを低減する原理の概略を説明する。図８は、ＴＶ法によりノイズが低減する原理を説明するための図である。左上図の画像信号が原画像ｆの信号であり、右上図の画像信号がＴＶ法による画像処理を行って得られた復元画像の信号である。左上図及び右上図において、縦軸が画素値を、横軸が画像における任意の水平ラインをそれぞれ示している。この左上図の波形の画像信号を微分することにより、左下図のような信号を得る。そして、この微分信号に対して、処理後の信号と入力信号との差が大きくなり過ぎないような制約の下で、その面積を最小とする際の信号を得る。微分信号の面積を最小とする際、孤立したエッジａは削除されるが、大きな信号ｄ近傍のエッジｂ，ｃは、信号ｄとの間の相関が高いと判断し、ｂ，ｃ，ｄを結合することによりエッジ成分を最小化する。その波形が右下図である。この場合、左上図の画像信号が、左下図の微分信号に対応するものであるから、右下図の微分信号に対する画像信号は、右上図のように得ることができる。

このように、ＴＶ法による画像処理手法によれば、原画像ｆの孤立したノイズａ１（図８左上図を参照）を抑制する。画像本来の信号に近接した信号ｂ１，ｃ１は、近傍信号と相関が高いと判断して結合される。この結合により、原画像では、ノイズと見られる信号から、原画像に存在しない高周波成分が生成される。通常の画像では、連続するエッジは、光学的、電気的にローパスフィルタがかかり、高周波成分はエッジにまつわりつくノイズ的な信号と本当のノイズ信号とに分類される。このＴＶ法による画像処理手法を用いることにより、ノイズが抑圧される。エッジ周辺のノイズ的高周波成分は、エッジに吸収され、エッジがより以上に鋭くなり、鮮鋭感が増大した画像となる。

図９は、ＴＶ法により、原画像ｆに存在しない高周波成分が生成されることを説明するための図である。図８に示した同様の原理により、左上図の原画像ｆから右上図の復元画像が生成される。この場合、図９に示すように、原画像ｆは、画素値が滑らかに変化する高周波成分のない信号から成るが、復元画像は、画素値が線形に変化する高周波成分を有する信号から成ることがわかる。このように、ＴＶ法による画像処理手法によれば、原画像ｆに存在しない高周波成分が生成される。

次に、ＴＶ法による画像処理手法について、数式を用いて簡単に説明する。ＴＶ法による画像処理は、以下の（１）式により表される最小化問題として扱うことができる。

ここで、ｆは原画像、ｕはカートゥーン画像、λ及びμはパラメータである。また、原画像ｆを有界変動空間ＢＶのカートゥーン画像（骨格関数）ｕとテクスチャ画像（振動関数）ｖとに分解するために、有界変動空間ＢＶの双対空間である振動関数空間Ｇを利用する。また、ｇ１及びｇ２はベクトル表記した成分であり、以下の（２）式により表され、テクスチャ画像ｖは以下の（３）式となる。

この表記により、（１）式を発展させた以下の（４）式の最小値問題を解くことにより、カートゥーン画像ｕ及びテクスチャ画像ｖを決定する。

これは、（５）式で表されるEuler-Lagrange方程式に帰着する。

このようにして、カートゥーン画像ｕは、原画像ｆから分解して生成される。

また、振動関数空間Ｇは、（６）式のような分離可能な関数の空間である。

ここで、ｇ_１，ｇ_２は振動母関数であり、（７）式で表される。

すなわち、（８）式のようになる。

このようにして、テクスチャ画像ｖは、原画像ｆから分解して生成される。したがって、原画像ｆをカートゥーン画像ｕ及びテクスチャ画像ｖに、パラメータλ，μの値に応じて分解することができる。

このように、分解部１１により、原画像ｆは、エッジ成分を有するカートゥーン画像ｕと、画像の精細部を表すテクスチャ画像ｖとに分解され、合成部１２により、カートゥーン画像ｕとテクスチャ画像ｖとを合成した復元画像が生成される。

次に、ＴＶ法高解像化部１０７の第２の構成を説明する。図４は、図１に示したＴＶ法高解像化部１０７の第２の構成を示すブロック図である。尚、以下の説明はＴＶ法高解像化部１０７についてのものであるが、図２に示したＴＶ法高解像化部２０５の構成も同様である。

図４を参照して、ＴＶ法高解像化部１０７−２は、分解部１１、合成部１２、及び変換部１３を備えている。分解部１１は、画像Ａ’−１である原画像ｆを入力し、ＴＶ法によりカートゥーン画像ｕとテクスチャ画像ｖとに分解し、カートゥーン画像ｕを合成部１２に出力し、テクスチャ画像ｖを変換部１３に出力する。

変換部１３は、分解部１１より分解されたテクスチャ画像ｖを入力し、予め設定された変換テーブルまたは演算式を用いて、入力したテクスチャ画像ｖを変換して新たなテクスチャ画像ｖ’を生成する。

分解部１１により実現されるＴＶ法による画像処理手法では、パラメータλ，μを適切に設定することにより、ノイズを低減することができる。しかし、ノイズを完全には除去できないため、画像の高精細化を実現するには不十分である。そこで、変換部１３において、画素単位に画素値を変換する。この場合、変換部１３が単に画素値を乗数倍したのみでは、ノイズが見えやすくなる。そこで、閾値処理を行い、画素値が小さい第１の領域においては画素値を０に変換し、画素値が大きい第２の領域においては予め設定された最大画素値に変換する。また、中間の画素値を有する第３の領域においては、第１の領域に近い画素値は小さくなるように変換し、第２の領域に近い画素値は大きくなるように変換する。

第１の領域では、画素値が０に近く比較的ノイズ成分が多いことから、強制的に０に変換してノイズ成分を除去する。第２の領域は、画素値が大きいから、予め設定された最大画素値になるように画素値を小さくし精細感を高める。第３の領域では、画素値が小さい場合は一層小さく、画素値が大きい場合は一層大きくすることにより、精細感を高める。この場合、第１の領域としては画素値が０〜１、第２の領域としては画素値が１７以上、第３の領域としては画素値が２〜１６であることが好ましい。

図５〜７は、変換部１３が用いる変換テーブルＴ１〜Ｔ３を示す図である。図において、横軸はテクスチャ画像ｖの画素値、縦軸は変換後のテクスチャ画像ｖ’の画素値をそれぞれ示している。尚、横軸に示した画素値は、分解部１１により生成されたテクスチャ画像ｖの画素値であり、実際に表示画面に表示する際の画素値とは異なるものである。図５〜７において、第１の領域（ｂからｃまでの範囲）においては画素値を０に変換する。第２の領域（ａより小さい範囲及びｄより大きい範囲）においては画素値を予め設定された最大画素値Ｍまたは最小画素値−Ｍに変換する。また、第３の領域（ａからｂまでの範囲及びｃからｄまでの範囲）においては、画素値は、第１の領域に近い画素値（ａ’からｂまでの範囲及びｃからｃ’までの範囲の画素値）は小さくなるように変換し、第２の領域に近い画素値（ａからａ’までの範囲及びｃ’からｄまでの範囲の画素値）は大きくなるように変換する。尚、図５〜７において直線ｌは、変換を行わない場合（ｖ＝ｖ’）を示している。

このように、変換テーブルＴ１〜Ｔ３は、閾値（デッドゾーン）及び飽和点を有しており、これらの変換ルールは、閾値及び飽和点を用いた関数の演算式として記述することもできる。図５に示したテーブルＴ１及び図６に示したテーブルＴ２は、１次関数として記述することができ、図７に示したテーブルＴ３は、２次関数として記述することができる。

図４に戻って、合成部１２は、分解部１１により分解されたカートゥーン画像ｕと、変換部１３により変換された新たなテクスチャ画像ｖ’とを合成し、画像Ａ’’−１である復元画像を出力する。

図４に示したＴＶ法高解像化部１０７−２によれば、ＴＶ法による画像処理手法で分離したテクスチャ画像ｖに対し、その画素値を変換して新たなテクスチャ画像ｖ’を生成し、復元画像を生成するようにした。すなわち、画素値の変換に際し、画素値が０に近い第１の領域では、強制的に０に変換してノイズ成分を除去し、画素値が比較的大きい第２の領域では、予め設定された最大値になるように画素値を小さくして精細感を高め、画素値が中位の第３の領域では、画素値が小さい場合は一層小さく、画素値が大きい場合は一層大きくして精細感を高めるようにした。これにより、原画像ｆが保有する周波数成分以外の周波数帯域の信号を用いて復元画像が生成されるから、画像の高精細化を実現することができる。図１２に、ＴＶ法高解像化部１０７−２による復元画像の例を示す。図１１に示す従来のバンドパスフィルタまたはハイパスフィルタを用いた画像処理手法により合成した復元画像と比較すると、図１２の方が高精細であることがわかる。

以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図４に示したＴＶ法高解像化部１０７−２の変換部１３が、１次関数で記述できるテーブルＴ１，Ｔ２や２次関数で記述できるテーブルＴ３を用いるようにしたが、これ以外の３次以上の関数である単調増加関数を用いるようにしてもよい。また、三角関数等の部分的に増加する関数を用いるようにしてもよいし、そのうちの増加する部分のみを用いるようにしてもよい。

本発明の実施の形態による画像符号化装置の構成を示すブロック図である。 本発明の実施の形態による画像復号化装置の構成を示すブロック図である。 ＴＶ法高解像化部の第１の構成を示すブロック図である。 ＴＶ法高解像化部の第２の構成を示すブロック図である。 変換テーブルＴ１を示す図である。 変換テーブルＴ２を示す図である。 変換テーブルＴ３を示す図である。 ＴＶ法によりノイズが低減する原理を説明するための図である。 ＴＶ法により、原画像に存在しない高周波成分が生成されることを説明するための図である。 ＴＶ法により原画像ｆをカートゥーン画像ｕとテクスチャ画像ｖに分解する処理を説明するための図である。 従来のフィルタを用いた手法による復元画像の例である。 図４のＴＶ法高解像化部によりカートゥーン画像ｕとテクスチャ画像ｖ’とを合成した復元画像の例である。 従来の画像復号化装置を用いた場合の画像の周波数分布の例である。 図１の画像復号化装置を用いた場合の画像の周波数分布の例である。

符号の説明

１１ 分解部
１２ 合成部
１３ 変換部
１００ 画像符号化装置
１０１ 階層化処理部
１０２ 選択部
１０３ 符号化部
１０４ 復号化部
１０５ 切り替え部
１０６ フィルタ部
１０７ ＴＶ法高解像化部
１０８ 減算部
１０９ 符号化部
１１０ 多重化部
２００ 画像復号化装置
２０１ 分離部
２０２ 復号化部
２０３ 復号化部
２０４ フィルタ部
２０５ ＴＶ法高解像化部
２０６ 加算部

Claims (7)

1. 原画像に階層化処理を施し、解像度の異なる複数の画像を生成する階層化処理部と、
   該階層化処理部により生成された解像度の異なる複数の画像のうち、２つの画像を選択する選択部と、
   該選択部により選択された２つの画像のうちの低解像度の画像を、ＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）法によりカートゥーン画像及びテクスチャ画像に分解する第１の分解部と、前記テクスチャ画像を画素単位で変換して新たなテクスチャ画像を生成する第１の変換部と、前記第１の分解部により分解されたカートゥーン画像及び前記第１の変換部により変換された新たなテクスチャ画像を合成し、高解像化された画像を生成する第１の合成部と、を有する第１のＴＶ法高解像化部と、
   前記選択部により選択された２つの画像のうちの高解像度の画像と、第１のＴＶ法高解像化部により高解像化された画像との間の差分の画像を算出する減算部と、
   該減算部により算出された高解像度の差分画像に符号化を施す第１の符号化部と、
   前記選択部により選択された２つの画像のうちの低解像度の画像に符号化を施す第２の符号化部とを備え、
   前記第１の変換部は、前記テクスチャ画像の画素値の絶対値が０以上かつ第１の閾値未満である場合には該画素値を０に変換し、前記テクスチャ画像の画素値の絶対値が前記第１の閾値以上かつ第２の閾値未満である場合には該画素値の絶対値を元の値未満の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第２の閾値以上かつ第３の閾値未満である場合には該画素値の絶対値を元の値以上の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第３の閾値以上である場合には該画素値の絶対値を予め設定された最大値に変換することを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   さらに、前記第２の符号化部により符号化された画像に復号化を施す復号化部と、
   前記選択部により選択された２つの画像のうちの低解像度の画像、及び復号化部により復号化された画像のうちのいずれか一方に切り替えて出力する切り替え部とを備え、
   前記第１のＴＶ法高解像化部が、切り替え部により出力された画像に、ＴＶ法による高解像化を施すことを特徴とする画像符号化装置。
3. 請求項２に記載の画像符号化装置において、
   さらに、前記選択部により選択された２つの画像のうちの低解像度の画像、または前記復号化部により復号化された画像を拡大するフィルタ部を備え、
   前記第１のＴＶ法高解像化部が、フィルタ部により拡大された画像に、ＴＶ法による高解像化を施すことを特徴とする画像符号化装置。
4. 請求項３に記載の画像符号化装置において、
   前記フィルタ部が、選択部により選択された２つの画像のうちの高解像度の画像と同一の画素数になるように拡大処理を施すことを特徴とする画像符号化装置。
5. 請求項１から４までのいずれか一項に記載の画像符号化装置において、
   さらに、前記第１の符号化部により符号化された高解像度の差分画像の符号化データと、第２の符号化部により符号化された低解像度の画像の符号化データとを多重する多重化部を備えたことを特徴とする画像符号化装置。
6. 請求項１から４までのいずれか一項に記載の画像符号化装置において、
   前記第１の符号化部により符号化された高解像度の差分画像の符号化データと、第２の符号化部により符号化された低解像度の画像の符号化データとを別々のストリームとして伝送することを特徴とする画像符号化装置。
7. 請求項１から６までのいずれか一項の画像符号化装置による符号化データに復号化を施し、原画像を再生する画像復号化装置において、
   前記高解像度の差分画像の符号化データに復号化を施す第１の復号化部と、
   前記低解像度の画像の符号化データに復号化を施す第２の復号化部と、
   該第２の復号化部により復号化された低解像度の画像を、ＴＶ法によりカートゥーン画像及びテクスチャ画像に分解する第２の分解部と、前記テクスチャ画像を画素単位で変換して新たなテクスチャ画像を生成する第２の変換部と、前記第２の分解部により分解されたカートゥーン画像及び前記第２の変換部により変換された新たなテクスチャ画像を合成し、高解像化された画像を生成する第２の合成部と、を有する第２のＴＶ法高解像化部と、
   前記第１の復号化部により復号化された高解像度の差分画像と、第２のＴＶ法高解像化部により高解像化された画像とを加算する加算部とを備え、
   前記第２の変換部は、前記テクスチャ画像の画素値の絶対値が０以上かつ第１の閾値未満である場合には該画素値を０に変換し、前記テクスチャ画像の画素値の絶対値が前記第１の閾値以上かつ第２の閾値未満である場合には該画素値の絶対値を元の値未満の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第２の閾値以上かつ第３の閾値未満である場合には該画素値の絶対値を元の値以上の値に変換し、前記テクスチャ画像の画素値の絶対値が前記第３の閾値以上である場合には該画素値の絶対値を予め設定された最大値に変換することを特徴とする画像復号化装置。