JPWO2008066025A1 - 画像符号化装置及び画像復号化装置 - Google Patents

画像符号化装置及び画像復号化装置 Download PDF

Info

Publication number
JPWO2008066025A1
JPWO2008066025A1 JP2008546992A JP2008546992A JPWO2008066025A1 JP WO2008066025 A1 JPWO2008066025 A1 JP WO2008066025A1 JP 2008546992 A JP2008546992 A JP 2008546992A JP 2008546992 A JP2008546992 A JP 2008546992A JP WO2008066025 A1 JPWO2008066025 A1 JP WO2008066025A1
Authority
JP
Japan
Prior art keywords
image
signal
texture
encoding
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008546992A
Other languages
English (en)
Inventor
ヴェディ トーマス
ヴェディ トーマス
クニッカー フロリアン
クニッカー フロリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2008066025A1 publication Critical patent/JPWO2008066025A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、従来と同等以上のデータ圧縮を行いつつ、不自然さを感じさせないテクスチャの表現方法を提供する。
入力信号は、２つの周波数領域のサブバンドに分離される。低周波成分は、従来の画像／符号化装置によって忠実に符号化される。一方、高周波成分は、代表的なテクスチャパラメータを計算するために分析される。高周波成分を忠実に符号化する代わりに、計算されたテクスチャパラメータだけを記憶するか又は復号化装置に送信する。復号化装置において、低周波成分は再現され、高周波成分はテクスチャパラメータに従って合成された不自然でないテクスチャと置き換えられる。再現された低周波成分及び合成された高周波成分は、その後マージされて出力信号が生成される。

Description

本発明は、画像データや映像データを符号化する方法及び復号化する方法、並びにこれらに対応する符号化装置及び復号化装置に関し、特にテクスチャ合成及び画像の再現に係るハイブリッド手法に関する。
従来のほとんどの画像及び映像の圧縮方法は、平均２乗誤差のように、画質対策の観点からオリジナルのデータを忠実に表現することを目的としている。
データ圧縮はエントロピー符号化技術によって実現され、さらに“不可逆圧縮方法”の場合は、人間の観察者が感知できないサブバンド情報を取り除くことにより実現される。
映像データの圧縮に対して、複数の映像符号化規格が策定されている。そのような規格には、例えば、「Ｈ．２６Ｘ」で示される「ＩＴＵ−Ｔ規格」、及び「ＭＰＥＧ−Ｘ」で
示される「ＩＳＯ／ＩＥＣ規格」がある。現在、最新で最も高度な映像符号化規格は、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ」と呼ばれる規格である。
これら規格の基礎となる符号化手法のほとんどは、以下の主要ステップから構成されている。
（i）ブロックレベルで各映像フレームをデータ圧縮するため、各映像フレームを、画素で構成される２次元ブロックに分割する。
（ii）時間予測方式を各ブロックに適用し、残差予測誤差を空間領域から周波数領域に変換して、時空間的な映像情報を無相関化する。
（iii）結果として生じた変換係数を量子化してデータ全体のデータ量を減少させる。
（iv）量子化した変換係数をエントロピー符号化とすることで、残りのデータを圧縮する。
画像情報を空間領域から周波数領域に変換することが、現在の映像符号化規格における具体的な手法である。画像圧縮は、わずかの周波数成分だけで画像コンテンツを表現することで実現される。自然画像のコンテンツの場合は、低い周波数領域の係数にほとんど集中している。人間の視覚ではあまり感知しない高い周波数部分は、符号化対象のデータ量を削減するため、取り除くか量子化が可能である。
この手法は、草、葉、砂利、波等のような微細で準不規則な配列を示す画像に対しては機能しない。これらの構造に固有の不規則性を忠実に表現するためには、ほぼ全ての画像データのサブバンドの重要度を均等に扱う必要があるが、この場合は効率的なデータ圧縮を行うことができない。したがって、従来の圧縮方法においては、不規則なパターンの符号化品質が大きく損なわれることによってのみ、例えば、明らかな符号化アーチファクトで圧縮することが可能である。
代替手法として、まとめて“テクスチャ合成”と呼ばれる方法で実行されるが、この手法は不規則パターン又はテクスチャに多かれ少なかれ主観的に類似する、画像データの生成が目的である。このテクスチャ合成の利点は、任意の量の“テクスチャ”がシーム又は顕在的な繰り返しのようなアーチファクトではなく、サンプルから生成できることである。したがって、テクスチャ合成は、フォトリタッチから３次元のコンピュータグラフィックのテクスチャマッピングに至るまで幅広い用途がある。
また、テクスチャ合成を映像符号化に用いる試みも見られる。例えば、際立った画像オブジェクトを有する部位、あるいは主観的に重要でない詳細を含む部位に、画像や映像がセグメント化される（例えば、非特許文献１、非特許文献２参照）。
自然の画像においては、隣接する画素は互いに高い相関性を有している。この相関関係は、画素データの滑らかな変動によるものである。画像の辺縁でも（高次の）相関関係が生じる。というのは、画素サイズで規定される長さスケール上の方向が急峻に変化しないためである。これらの相関関係が一般的に画像データのエントロピーを減少させるが、これは従来の画像データ圧縮方法においても行われていることである。
従来のどの画像データ圧縮方法においても、重要なステップの１つに、空間領域の画素の場合より低い程度の相関関係を示す成分に関する画像表現を求めるステップがある。これは、たいてい離散余弦変換（ＤＣＴ）のような直交変換を適用することにより達成され、周波数領域へ元の画像データを変換する。元の画像が忠実に表現できるよう、最も「重要な」周波数成分、例えば、最も大きい振幅を有する成分を選択することによって、異なる空間周波数成分は、ほとんどの場合、各々から独立しており、このように画像データの全体的な量を減少される。
この方法は、以下の２つの理由により、微細な詳細を有する画像に対して機能しない。第１に、画像の細部における特徴的な長さスケールが、画素サイズにより規定される長さスケールに近づく場合、画素データの変動の平滑性が失われ、隣接画素間の相関関係が大きく減少する。その結果として、画像データにおいて、エントロピーの量が増加し、いかなるエントロピーに基づくデータ圧縮アルゴリズムが阻まれる。第２に、画素データがホワイトノイズに近づくにつれて、画像スペクトルは平滑化する。それゆえ、妨害アーチファクトを再現された画像に導入せずに、符号化目的で選択できた、もはやほんの少数の「重要な」周波数成分だけしかない。
映像データにおいて、第三の要素としての時間が活用される。明らかに、「自然」映像は、連続画像間の高度な相関関係によって特徴づけられる。従来は、これらの時間的相関関係は、連続画像の間で差分を符号化することによって、更に映像データを圧縮するために利用される。この状況において、１つの画像から次の画像までの平行移動を符号化し、予測された画像の誤差だけを符号化するため、動き補償予測が用いられる。
しかしながら、この方法は、微細に詳細な画像と同様に機能しない。例えば、カメラのパン（方向変更操作）のために、この種の画像が単に大域的動きを示す場合であっても、予測誤差は、使用される動き推定の精度に精確に依存する。さらに悪いことに、微細に詳細な画像、例えば風で動いている葉さえ不規則局部的な動きを示す傾向がある。この場合、動き補償は完全に機能しない。
図１２に、従来の映像符号化装置の実施例を例示する。通常、映像符号化装置９００は、現在の映像のブロック（入力信号）と、メモリ９４０に記憶される以前に符号化されたブロックに基づく現在のブロックとの間の予測信号誤差を決定するための減算器９１０とを含む。
変換／量子化部９２０は、予測誤差を空間領域から周波数領域に変換し、得られた変換係数を量子化する。エントロピー符号化部９９０は、量子化された変換係数にエントロピー符号化を行う。
Ｈ．２６４／ＡＶＣ規格に従って、入力画像はマクロブロックに分割される。映像符号化装置９００は、以前に符号化されたブロック（「局所的に復号化された画像」）に基づいて、入力映像シーケンスのブロックとそれらの予測間における誤差を単に伝送する差動パルス符号変調（ＤＰＣＭ）方法を用いる。これらの誤差から予測信号を減ずるため、符号化されるブロックを受信する減算器９１０において、その差が決定される。
局所的に復号化された画像は、映像符号化装置９００が備える復号部により提供される。復号部は、逆の方法で符号化ステップを実行する。
逆量子化／逆変換部９３０ は、量子化された係数に逆量子化を行い、そして、逆変換を逆量子化された係数に適用する。加算器９３５において、局所的に復号化画像を形成するために復号化された誤差が予測信号に加算される。さらに、デブロッキングフィルタ９３７は、復号化された画像におけるブロック化しているアーチファクトを減少させる。
映像符号化装置９００において使用される予測タイプは、マクロブロックが「画面内予測」モードと「画面間予測」モードのどちらで符号化されるかによって決まる。映像符号化標準のＨ．２６４／ＡＶＣの「画面内予測」モードでは、同じ画像のすでに符号化されたマクロブロックに基づく予測方式を用いる。「画面間」モードでは、以降のマクロブロックを予測するため、連続した幾つかのフレームの対応するブロック間の動き補償予測が使用される。
画面内予測符号化画像（Ｉタイプの画像）は、先行するいかなる復号化画像をも参照せずに復号化できる。Ｉタイプの画像は、符号化された映像シーケンスに対して誤り耐性を供給する。さらに、ランダムアクセスを可能にする。すなわち、符号化された映像のシーケンスの範囲内でＩタイプの画像にアクセスするため、符号化されたデータのビットストリームへのエントリーポイントは、Ｉタイプの画像により提供される。画面内予測モード（即ち、画面内フレーム予測部９５０での処理）及び画面間予測モード（即ち、動き補償予測部９６０での処理）間のスイッチは、画面内／画面間切換スイッチ９８０によって制御される。
「画面間予測」モードにおいては、マクロブロックは、動き補償を適用することによって、先行フレームの対応するブロックから予測される。現在の入力信号及び局所的な復号化画像を受信して、動き推定部９７０が推定を行う。現在のブロックと先行フレーム内の対応するブロックの間の画素変位を表現して、動き推定では、２次元の運動ベクトルを生成する。動き補償予測部９６０は、推定された動きに基づいて、予測信号を提供する。
変換／量子化部９２０は、「画面内予測」及び「画面間予測」符号化モードの両者に対して、現在の信号及び予測された信号間の誤差を変換係数に変換する。通常、２次元の離散余弦変換（ＤＣＴ）のような直交変換又は直交変換の整数バージョンが適用される。
変換係数は、符号化を要するデータの量を減少させるために量子化される。量子化のステップは、精度及びその精度で各々の周波数係数を符号化するために用いられるビット数を特定する量子化テーブルにより制御される。微細な詳細画像の成分より低い周波数成分は、通常画質にとってより重要であり、結果としてより高い周波数成分を符号化することより、低い周波数成分を符号化することのために、より多くのビットが使用される。
量子化後、エントロピーエンコーダに２次元配列の変換係数を渡すため、その２次元配列の変換係数を１次元の文字列に変換しなければならない。この変換は、所定のシーケンスの配列を走査することにより行われる。このように得られた量子化された変換係数の１次元シーケンスは、実行レベルと呼ばれる一連の数の組み合わせに圧縮される。最終的に、実行レベルシーケンスは、可変長のバイナリ符号語（可変長符号、ＶＬＣ）に符号化される。コードは、短い符号語を典型的な映像において、発生している最も頻繁な実行レベルに割り当てるために最適化される。結果として生じるビット列は、動き情報で多重化され、記録媒体に記憶されるか、又は復号化装置側に送信される。
復号化装置側で符号化された画像を再現するために、上記の符号化プロセスが逆のプロセスが適用される。図１３に、対応する復号化装置の構成を例示した概略ブロック図を示す。
図１３の映像復号化装置９０１においては、最初に、変換係数のエントロピー符号化及び動きデータが、エントロピー復号化部９９１において復号される。このステップでは、さらに、逆変換に必要な、復号化された変換係数を２次元のデータブロックに変換するシーケンスのための逆走査を含んでいる。変換係数の復号化されたブロックは、その後、逆量子化／逆変換部９２１に送信され、復号化された動きデータに動き補償予測部９６０に送信される。復号化された変換係数のブロックは、その後、逆量子化／逆変換部９２１に送出され、復号化された動きデータは、動き補償予測部９６０に送信される。予測誤差を含む逆変換されたデータは、加算器９３５によって予測信号と加算されるが、この予測信号は、画面間予測モードでの動き補償予測部９６０から生じるか、又は画面内予測モードでの画面内フレーム予測部９５０から生じたものである。再現された画像は、デブロッキングフィルタ９３７を通過することが可能であり、復号化された信号は、画面内フレーム予測部９５０、動き補償予測部９６０に適用されるため、メモリ９４０に記憶される。
A. Dumitras and B. G. Haskell, 「An encoder-decoder texture replacement method with application to content-based movie coding」, IEEE Trans. Circuits Syst. Video Technol., Vol. 14, pp. 825-840, 2004 P. Ndjiki-Nya, et al., 「Improved H.264 coding using texture analysis and synthesis」,Proc Icip 2003, Vol. 3, pp. 849-852, 2003
しかしながら、従来、際立った画像オブジェクトは符号化される一方、主観的に重要でない詳細を含むパターンは、少量のテクスチャ合成パラメータで記述できる類似テクスチャと置き換えられる。この結果として、これらのパラメータのみが符号化され復号化装置に送出されなければならない。
このようにして、不規則パターンの帯域浪費記述が、“草”、“葉”又は“砂利”といった主観的な関連情報を伝達することを優先して、草の葉身、葉、又は小石の形あるいは位置を記述しない、形式的な符号化がなされる。
その結果、複雑な合成方法が上記の符号化方法で用いられるが、合成されたテクスチャの主観的印象はしばしば不自然なものとなってしまう。したがって、テクスチャ表現方法を改善させる必要がある。
本発明は、上記課題を解決するためになされたものであり、従来と同等以上のデータ圧縮を行いつつ、不自然さを感じさせないテクスチャの表現方法を提供することを目的とする。
本発明においては、入力信号を周波数領域における第１及び第２のサブバンド信号に分離し、第１のサブバンド信号を従来の表現方法によって表現し、一方、第２のサブバンド信号は合成されたテクスチャと置き換えることを特徴とする。置き換えるテクスチャは、再現された第１のサブバンド信号及び合成されたテクスチャから構成された出力信号が、オリジナルの入力信号に主観的に似ているように決定されたテクスチャパラメータに基づいて合成される。
本発明の第１の特徴として、画像符号化方法を提供する。この方法においては、入力画像信号を第１の画像信号と第２の画像信号に分離し、第１の画像信号から第１のビットストリームを生成し、第２の画像信号を解析して、第２の画像信号のテクスチャを表わすテクスチャパラメータを計算して、このテクスチャパラメータを符号化して第２のビットストリームを生成する。この場合、上記の第１の画像信号と第２の画像信号は入力画像信号における２つの異なるサブバンドを表現する。
さらに、本発明の特徴として、画像符号化装置を提供する。画像符号化装置は、入力画像信号を第１の画像信号と第２の画像信号に分離する分離部と、第１の画像信号から第１のビットストリームを生成する第１の符号化部と、第２の画像信号を解析して、第２の画像信号のテクスチャを表わすテクスチャパラメータを計算して、このテクスチャパラメータを符号化して第２のビットストリームを生成する第２の符号化部とを備える。この場合、上記の第１の画像信号と第２の画像信号は入力画像信号における２つの異なるサブバンドを表現する。
さらに、本発明の特徴として、画像復号化方法を提供する。この方法においては、第１のビットストリームから第１の画像信号を復号し、第２のビットストリームからテクスチャを表わすテクスチャパラメータを復号し、テクスチャパラメータに基づいてテクスチャを合成して第２の画像信号を生成し、第１の画像信号と第２の画像信号から出力画像信号を構成する。この場合、上記の第１の画像信号と第２の画像信号は、出力画像信号における２つの異なるサブバンドを表現する。
また、本発明は、上記画像符号化装置又は画像復号化装置における特徴的な構成手段を備える映像符号化装置又は映像復号化装置として実現したり、上記画像符号化装置又は画像復号化装置における特徴的な構成手段をステップとする画像符号化方法又は画像復号化方法として実現したり、それらのステップをコンピュータ等に実行させるためのプログラムとして実現したりすることもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
本発明は、上記の画像及び映像（特に微細に詳細な画像）の圧縮に関する問題を解決するために考案され、画像及び映像データを表現するための改良された方法及び対応する装置に関する。本発明は、主観的な画質を改良することを意図したものであり、Ｈ．２６４／ＡＶＣのような映像符号化方式と組み合わすことができる。
また、本発明の方法は、従来の画像表現及び主観的な信号増強の組合せである。このために、入力信号は２つの部分に分けられる。符号化プロセスにおいて、上記１つの部分は従来と同様に符号化され、もう一方の部分はパラメータにより表現される。復号化装置側で、従来の符号化の部分は再現され、もう一方の部分はテクスチャ合成アルゴリズムを適用することによって、信号を増強するために使用される。
図１は、本発明の基本概念を示すブロック図である。 図２は、本発明の実施の形態に係る信号強調部の処理の流れを示すフローチャートである。 図３は、本発明の基本概念に対する代替構成を示す概念図である。 図４は、本発明の画像及び映像符号化装置への一般的な応用例を示す概念図である。 図５は、本発明の画像及び映像符号化装置への一般的な応用例の代替構成を示す概念図である。 図６は、本発明の映像符号化装置への具体的な応用例を示す概念図である。 図７は、本発明の映像符号化装置への具体的な応用例の代替構成を示す概念図である。 図８は、本発明に係る可動型ピラミッドの応用例を示す概念図である。 図９は、本発明に係る可動型ピラミッドの応用例の代替構成を示す概念図である。 図１０は、本発明の実施の形態に係るを示すブロック図である。 図１１は、本発明の実施の形態に係るを示すフローチャートである。 図１２は、従来の映像符号化装置の機能構成の一例を示すブロック図である。 図１３は、従来の映像復号化装置の機能構成の一例を示すブロック図である。
符号の説明
１１０ 信号分離部
１１０ａ サブバンド分解部
１２０ 信号強調部
１２１ 解析・符号化部
１２２ 復号化・合成化部
１２２ａ 復号化・テクスチャ合成化部
１３０ 信号強調・信号構成部
１３１ 解析・符号化部
１３１ａ テクスチャ解析・符号化部
１３２ 復号化・合成化・信号構成部
１３２ａ 復号化・テクスチャ合成化・サブバンド構成部
１４０ 決定論的信号表現部
１４１ 符号化部
１４１ａ Ｈ．２６４／ＡＶＣ符号化部
１４２ 復号化・復元化部
１４２ａ Ｈ．２６４／ＡＶＣ復号化部
１５０ 信号構成部
１５０ａ サブバンド構成部
２６０ 加算器
９００ 映像符号化装置
９１０ 減算器
９２０ 変換／量子化部
９２１ 逆変換／逆量子化部
９３０ 逆量子化／逆変換部
９３５ 加算器
９３７ デブロッキングフィルタ
９４０ メモリ
９５０ 画面内フレーム予測部
９６０ 動き補償予測部
９７０ 動き推定部
９８０ 画面内／画面間切換スイッチ
９９０ エントロピー符号化部
９９１ エントロピー復号化部
以下、本発明に係る実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
図１は、本発明の基本概念を例示しているブロック図である。処理対象の入力信号は、信号分離部１１０に供給され、この信号分離部１１０が入力信号を２つの成分に分けている。第１の成分は、（決定論的）信号表現部１４０に供給される。信号表現部１４０は、ＰＣＭ（パルス符号変調）、ＤＰＣＭ（差動パルス符号変調）及び他の変換手法等の決定論的信号表現方法を適用している。各々のこれらの表現方法は、信号を表現することを目的としており、客観的な品質測度、例えば元の信号と比較して表現された信号のＭＳＥ（平均二乗誤差）が最適化される。
他方、第２の成分は、信号強調部１２０に供給されるが、信号に含まれるテクスチャと主観的に類似しているテクスチャを表現するテクスチャパラメータを計算するため、信号が分析される。計算されたテクスチャパラメータに基づいて、信号強調部１２０は、テクスチャを合成して、合成されたテクスチャに基づいて信号を出力する。通常、ＭＳＥのような目標品質測度の観点から、合成されたテクスチャは第２の成分の信号を忠実に表現したものではない。
それにもかかわらず、例えば、草、砂利などのテクスチャについて関連した情報を含むという趣旨で、元の信号内容の代わりに、合成されたテクスチャが主観的に満足な内容を提供する。他方、草又は小石の個々の形あるいは位置のような無関係な詳細は軽視される。
信号構成部１５０に、テクスチャ信号及び第１の成分の信号を表現したものの両方が供給される。信号構成部１５０では、テクスチャ信号及び第１の成分の信号を表現したものを含む出力信号が生成される。
好ましくは、第１の成分は入力信号のより低い周波数から成り、他方の第２の成分は、残りのより高い周波数を含む。このように、人間視覚システムにとって、より重要な信号部分が忠実に従来の方法で表現され、人間視覚システムではあまり影響されない部分、即ち、より高い周波数成分の信号部分がテクスチャ合成を用いて合成される。このように、両者の方法の利点を組み合わせることができ、主観的な画質、特にテクスチャの信頼性を有意に改良できる。
一般に、信号分離部１１０は、入力信号に対してサブバンド分解を実行する。したがって、信号分離部１１０は、複数のフィルタを含む。この場合の複数のフィルタとしては、特に入力信号を低周波成分又は高周波数成分に分ける低域通過、帯域通過又は高域通過フィルタがある。
具体的には、信号分離部１１０は、入力信号をそのサブバンドに分けるため、ウェーブレット変換を実行する（又はフーリエ変換、特に離散余弦変換を実行することも可能である）。しかしながら、可動型ピラミッドに基づく方法のようなその他のサブバンド方法もまた実行可能である。
信号強調部１２０としては、あらゆるテクスチュア解析及び従来技術の周知の合成法を適用できる。例えば、図２のフローチャートで示すように、複雑なウェーブレット変換の共有の統計値に基づくパラメータのテクスチャモデルを適用することもできる。
この方法によれば、可動型ピラミッドは、ステップＢ１０において、帰納的に信号強調部１２０に対する入力信号を１組の指向サブバンドと低域通過残余バンドに分解することによって作成される。その後、ステップＢ２０〜Ｂ４０において、統計的テクスチャパラメータが、上記の分解を用いて計算される。特に、画像における画素の最小値及び最大値と同様に、分散、非対称度及び尖度のような、全体の画像の限界統計値を記述するパラメータを含む統計値ディスクリプタが前記ピラミッドの各々のレベルで計算される。さらに、自己相関及びさまざまな相互相関が、ピラミッドの同一レベル及び各レベル間で計算される。
このように計算されたテクスチャパラメータから任意の量の見た目そっくりのテクスチャを生成することができる。具体的には、ホワイトノイズ画像は、ステップＢ５０において生成され、ステップＢ６０における可動型ピラミッドの構成により、ステップＢ１０において実行される上記の分解に従って指向サブバンドに分解される。算出されたテクスチャパラメータにより示される統計的な制約条件を満たすように、ステップＢ７０においてホワイトノイズ画像の各サブバンドが更に調整される。可動型ピラミッドは、ステップＢ８０において圧壊して、ステップＢ９０において調整されることにより、最終的には、画像全体の統計値が、ステップＢ２０において計算された統計パラメータ値と合致する。ステップＢ６０〜Ｂ９０は、繰り返して処理してもよい。すなわち、上記の生成されたテクスチャは、所定の繰返し回数分、又は前記合成されたテクスチャが十分に安定するまで、前記ホワイトノイズ画像の代わりに、分解及び調整の初期値として使用され得る。
信号強調部１２０の操作は、特定のパラメトリックテクスチャモデルにより例証されたにもかかわらず、本発明は、この点で制限されない。その代わりとして、他のパラメトリックモデル、あるいはサンプリングに基づいたモデルなど非パラメトリックモデルを使用してもよい。
信号構成部１５０は、基本的に信号分離部１１０の逆の処理を行う。通常、所望の出力信号を生成するために、信号強調部１２０及び信号表現部１４０の出力信号を単純に加算する。しかしながら、例えば可動型ピラミッド又は逆ウェーブレット変換を圧壊させるような、より複雑な操作が、入力信号を２つの成分に分けるために使用されるメカニズムに応じて必要である可能性がある。
図３は、図１のブロック図の代替構成を示す図である。信号強調部１２０及び信号構成部１５０は、元の入力信号の追加的な複製を受信する信号強調・信号構成部１３０に融合される。代わりに信号強調・信号構成部１３０は、また、元の入力信号の代わりに第１成分の複製も受信する可能性がある。いずれの場合においても同じ効果が得られることは、以下の説明から明らかである。
信号強調・信号構成部１３０に対して入力信号を追加的に供給するため、テクスチャパラメータは、元の入力信号を考慮して計算することも可能である。このように、計算されたテクスチャパラメータは、第１の成分及び第２の成分の間で相互相関を有する可能性がある。これらの相互相関は、合成されるテクスチャの空間情報を表現する可能性がある。レンガ塀又は織物のように、類似した規則的なテクスチャに対して、低周波成分及び高周波成分間の相互相関は、総合されたテクスチャ及び再現された低周波成分を正確にマージするために必要とされる位相情報を含む可能性がある。
一方、低域通過成分に含まれる情報を考慮するため、さらに再現された第１の成分信号に基づいてテクスチャの合成を行ってもよい。特に、前述の相互相関のように、第１及び第２の成分信号の間で統計的関係を記述するテクスチャパラメータに基づいて、テクスチャが合成される可能性がある。この代替構成は、以下に記載の画像及び映像符号化装置／映像復号化装置に関する本発明の応用例においては、より重要になる。
図４は、本発明の画像及び映像符号化に関する、具体的な応用例を示す図である。符号化される画像又は映像信号は、信号分離部１１０に供給され、上記の通りに２つの別々のサブバンドに分割される。２つのサブバンド成分は、互いに独立して符号化される。低周波成分は、従来の符号化部１４１に供給され、第１のビット列に符号化される。一方、高周波成分は、解析・符号化部１２１に供給される。解析・符号化部１２１は、上記図１と関連して記述された代表的なテクスチャパラメータを計算する。このように計算されたテクスチャパラメータは、第２のビット列に符号化される。
テクスチャパラメータを符号化するために、上記の図１２と関連して記述された変換係数を符号化するのと同様の方法を用いることが可能である。特に、ハフマン符号のような可変長コードによって符号化されるため、テクスチャパラメータは、１次元のデータ列に変換されてエントロピー符号部に渡される。選択的に、符号化されるデータ量を減少させるため、テクスチャパラメータは、変換係数に一致させて量子化される可能性がある。
第１のビット列及び第２のビット列は、多重化され、単一のビット列として、信号分離部１１０、符号化部１４１、解析・符号化部１２１を含む符号化装置によって出力される可能性がある。
符号化装置によるビットストリーム出力は、記録媒体に記憶され、又は伝送チャネルを通じて送信される可能性がある。
復号化装置側で、受信されたビット列は、低周波成分を表現している第１のビット列と、テクスチャパラメータを含んでいる第２のビット列とに逆多重化される。それぞれ、第１のビット列、第２のビット列は、その後、復号化・復元化部１４２、復号化・合成化部１２２によって受信される。復号化・復元化部１４２は、第１のビット列を復号化し、元の入力信号の中で低周波成分を再現する。一方、復号化・合成化部１２２は、第２のビット列に含まれるテクスチャパラメータを復号化し、復号化されたテクスチャパラメータに基づいて、元の入力信号の高周波成分を模倣したテクスチャ信号を合成する。適切に復号化装置側の出力信号にマージさせるため、再現された低周波成分及び合成されたテクスチャ信号は、信号構成部１５０に供給される。
高周波成分の中の不規則パターンに含まれる主観的に重要度の低い部分が、２、３のテクスチャパラメータのみによって完全に決定され、合成されたテクスチャと置き換えられる。そのため、本発明によれば、入力画像／映像データは、非常に効率的な方法で圧縮することができる。それゆえ、従来の動画符号化とは異なり、画質に妥協することなしに、静止画や動画を低レートで送信、あるいは少ない記録容量で記録できる。最も重要なことは、合成されたテクスチャにおいては符号化歪みが発生しない。
最終的に、本発明は、低周波成分は合成されるのではなく忠実に表現されるため、テクスチャ合成に基づく従来の動画圧縮技術よりも、テクスチャ部をより自然かつ確実に表現できる。
図５は、上記図４に示される画像／ビデオ符号化装置の代替構成を示す図である。図３と同様に、復号化・合成化部１２２及び信号構成部１５０は、単一の復号化・合成化・信号構成部１３２に融合される。さらに、解析・符号化部１３１は、元の入力信号の追加的な複製を受信する。この構成において、元の入力信号を考慮することによって、テクスチャパラメータは、再度計算される可能性があり、低域通過成分に含まれる情報を考慮するため、復号化装置側上のテクスチャの合成は、加えて再現された第１の成分信号に基づく可能性がある。特に、視覚的に元のものと類似している出力画像を得るため、復号化・復元化部１４２によって再現された第１の成分信号出力は、テクスチャ合成アルゴリズムで用いられる可能性がある。
このように、符号化装置は、第１の成分及び第２の成分の間で、相互相関を含むテクスチャパラメータを計算する可能性があるが、このパラメータは位相のようなテクスチャの空間情報を正しく得るために復号化装置によって用いられる可能性がある。これは、空間領域で個々に表現された領域に分割される画像の場合には特に重要である。各々の領域のためのテクスチャが、各々関連して正しい位相により合成される場合、領域の境界において、目に見えるシームのようなアーチファクトを妨げることを予防することができる。本発明によれば、例えば、高周波成分及び低周波成分の間で上述した相互相関を使用することによって、これは低周波成分の機能に合成されたテクスチャの位相を修正することにより達成される。
図６は、本発明を映像の符号化に適用した具体例を示す図である。図６に示される構成は、上記図４と類似しており、同じ参照符号で示される部分については、詳細な説明は省略する。
サブバンド分離部１１０ａは、ウェーブレット変換に基づくサブバンド分解によって、入力映像信号を低周波成分及び高周波成分に分割する。特に人間視覚システムにとって重要である低周波成分は、従来のビデオ符号化方法（例えばＨ．２６４／ＡＶＣ）によって、第１のビット列に符号化される。高周波成分（それは人間視覚システムにとってより重要でない）は、分析され、その結果として生じるテクスチャパラメータも、上記図４に示すように符号化される。
復号化装置側で、第１のビット列は、対応する従来のＨ．２６４／ＡＶＣ復号化装置に従って復号化される。第２のビット列は、上記図４と同様に復号化される。サブバンド構成部１５０ａは、再現された低周波成分及び合成された高周波成分の両方を受信し、例えば、ウェーブレット変換に基づくサブバンド構成法によって、最終的な出力信号を構成する。
具体的には、テクスチャパラメータの新規なセットは、計算され、入力映像信号の各々のフレーム毎に符号化される。あるいは、いくつかのフレーム毎にテクスチャパラメータの一部又は全ては、復号化装置に送信される。テクスチャは、複数のフレームのためのテクスチャパラメータの少なくとも部分的に同一のセットに基づいて合成される。これは、特に送信されなければならないか又は固有テクスチャ特性がフレームからフレームまで変化しないケースにおいて、記録されなければならないデータ量をさらに減少するために役立つ。低周波成分における相互相関が使用される場合、テクスチャの動きも表現され得る点に留意する必要がある。
図７は、上記図６に示される映像符号化装置の代替構成を示す図である。上記図５と同様に、サブバンド構成部１５０ａ及び復号化・テクスチャ合成化部１２２ａは、単一の復号化・テクスチャ合成化・サブバンド構成部１３２ａに融合される。さらに、テクスチャ解析・符号化部１３１ａは、元の入力信号の追加的な複製を受信する。この構成においても、図５と同様の利点を達成することができる。
この構成において、テクスチャパラメータのセットは、さらに高周波成分と低周波成分との間の相互相関を含んでもよい。これらの相互相関は、その後、合成されたテクスチャの空間情報（「位相」）を修正するために復号化装置側で使用することができる。相互相関によって、低周波成分の特徴を合成したテクスチャの「位相」を決定するために、さらに、時間に依存するテクスチャが表現される。例えば、動いているオブジェクトの特徴は、低周波成分において表現されるオブジェクトによって決定される。
図８は、本発明を映像符号化装置に応用する場合のその他の具体例を示す図である。図８に示される構成において、図６と同様の部分は同じ参照符号を付し、その説明は省略する。
図８に示される構成は、上記信号分離部１１０が可動型ピラミッド（すなわち帰納的マルチスケールサブバンド分解方式）に基づくという点で、上記図６の構成と異なる。最も微細なスケールで、入力信号は低域通過画像Ｌo及び高域残差信号Ｈoに分けられる。低域通過画像は、さらに、Ｎ個の指向性帯域通過画像（Ｂ0 0…Ｂ0 N-1）に分解され、他の低域通過画像Ｌ1は２のファクタでダウンサンプルされる。このステップは、帰納的に繰り返される可能性がある。
符号化装置には、より微細なスケールの全てのサブバンドは解析・符号化部１２１に入力されて、テクスチャパラメータのみにより表現される。一方、最も粗いスケールＬM-1の低域通過画像は、従来のＨ．２６４／ＡＶＣエンコーダ１４１ａによって符号化される。Ｈ．２６４／ＡＶＣのビット列及びテクスチャパラメータのビット列は、復号化装置に送信される。
復号化装置では、テクスチャパラメータは復号化され、より微細なスケールのサブバンドは、テクスチャ合成アルゴリズムによって置換される。Ｈ．２６４／ＡＶＣのビット列は、低域通過画像を得るためにＨ．２６４／ＡＶＣ復号化装置によって復号化される。全体のピラミッドは、サブバンド構成部１５０ａにおいて、復号化された出力信号を生成するために圧壊される。
この方法は、低周波成分の情報が元の解像度よりも低い解像度のビデオ信号に格納されるというメリットがある。従って、従来の符号化部１４１と復号化・復元化部１４２は、元のデータよりも少量のデータを扱えばよく、性能の向上、及び処理コストの低減が見込める。
図９は、上記図８に示される映像符号化装置の代替構成を示す図である。上記図５と同様に、サブバンド構成部１５０ａ及び復号化・テクスチャ合成化部１２２ａは、単一の復号化・テクスチャ合成化・サブバンド構成部１３２ａに融合される。さらに、解析・符号化部１３１は、元の入力信号の追加的な複製を受信する。この構成により、上記図５及び図７と同様の効果を達成することができる。
好ましくは、１つのスケール及び４つの方向性を持ったＢＰＦ（band-pass filter）に基づいて分解を行う。低域通過残像は、従来の符号化装置によって処理され、一方、相補型画像成分はテクスチャ合成により表現される。それゆえに、信号分離はアンチエイリアスフィルタと関連して古典的な周波数分離とみなすことができる。
しかしながら、可動型ピラミッドの分解は、上記図２に示されるテクスチャ合成にだけ関連する。そのために、元の入力画像は、追加的なスケールでさらに分解される。これは、最初のスケールの４つの適応させられた帯域通過成分、別のスケールの４つの適応させられた帯域通過成分、１つの高域通過残余成分及び１つの低域通過残余成分の中への分解に結びつく。第１のスケール及び高域残留上の帯域通過成分は、統計的信号成分と一致する。第２のスケール及び低域通過残留上の帯域通過成分は、決定論的信号と一致する。
図１０は、復号化・テクスチャ合成化・サブバンド構成部１３２ａの構成を示すブロック図である。
符号化されたテクスチャパラメータのビット列は、復号化装置２７０に供給される。そして、それはテクスチャ合成のために必要な復号化されたテクスチャパラメータを出力する。図２と同様の方法に従って、テクスチャ合成が、白色雑音発生器２０５により生成されるホワイトノイズ画像から始まる。ホワイトノイズ画像は、分解部２１０によって、可動型ピラミッドに分解される。
しかし、低周波サブバンドＢM-1 0，…，Ｂ0 N-1及び低域通過残像ＬM-1は分解部２１０から出力され、復号化された低域通過成分の対応する成分と置き換えられる。置き換えられた成分は、Ｈ．２６４／ＡＶＣ復号化部１４２ａの後段のフィルターバンク２８０から生成される。この置換が実際に本発明の第１の構成のサブバンド構成部１５０ａにより行われるサブバンド合成と一致する点に留意する必要がある。高周波サブバンドにおける画素データの分配は、その後、テクスチャパラメータにより記述される統計的制約を満たすために微調整される。特に、高周波残余成分Ｈ0は、ユニット２３０において、分散制約を満たすために変換される。しかし、相互相関、ひずみ及び尖度を含むサブバンドの統計値は、分解部２１０から出力された中間周波数サブバンドンドＢ0 0，…，Ｂ0 N-1に付加される。しかし、Ｈ．２６４／ＡＶＣ復号化部１４２ａから出力された、復号化された低周波成分ＢM-1 0，…，ＢM-1 N-1，ＬM-1は、サブバンド統計値部２４０によっては変えられない。このユニットは、さらに可動型ピラミッドにおける中間及び低周波サブバンドを圧壊させ、ユニット２５０に、自己相関、非対称度及び尖度に関して制約を課すために再構成された信号を供給する。加算器２６０は、ユニット２３０及びユニット２５０の出力を加算することによって、可動型ピラミッドを圧壊させる最後のステップを行っている。統計付加部２２０は、最終的に復号化装置の出力信号を提供するために全体の画像に関して統計的制約を課す。全体の合成プロセスは、スイッチ２０６を経て繰り返され得る。
図１１は、本発明の実施例に従って画像及び映像符号化のための方法を示しているフローチャートである。ステップＡ１０において、入力画像は第１及び第２のサブバンド成分に分けられる。高周波成分は代表的なテクスチャパラメータを計算するためにステップＡ２０において、分析される。そして、それはその時ステップＡ３０において、符号化される。図５、図７及び図９に示される代替構成に対する類似において、代表的なテクスチャパラメータは、さらに第１及び第２のサブバンドの間で関係を記述するテクスチャパラメータを計算する際、元の入力信号成分（例えば相互相関）を考慮してもよい。一方、低周波成分は、ステップＡ４０における従来のデータ表現方法によって符号化される。このように、全体の入力画像は符号化され、符号化された画像データは記録媒体に記憶され又は通信チャネルを経て送信され得る。
符号化された画像データについて復号化が開始されると、低周波成分は、ステップＡ５０において、即座に従来のデータ復号方法によって復号化される。一方、テクスチャパラメータは、ステップＡ６０において、復号化される及び、テクスチャはステップＡ７０の高周波サブバンド成分を生成するために復号化されたテクスチャパラメータから合成される。図５、図７及び図９に示される代替構成においては、合成されたテクスチャの空間情報を修正するために、復号済みの低周波サブバンド成分を考慮して合成してもよい。最終的にステップＡ８０で、出力画像は低周波及び高周波サブバンド成分から構成される。
なお、上記ではテクスチャ合成を符号化に適用する例について説明したが、超解像などその他の画像処理に適用してもよい。例えば、低解像度画像が入力された際に、データベースなどから、入力低解像度画像に対応する高解像度画像の統計パラメータ値を取得し、それら取得した統計パラメータに基づいて高解像度画像のテクスチャを合成する。ここで、データベースは低解像度画像と高解像度画像の統計パラメータの関係を予め学習しておくなどして生成できる。
本発明は、画像符号化装置及び画像復号化装置として利用が可能である。本発明は、さらに、画像データ又は映像データを符号化する符号化方法、これに対応する復号化方法及びコンピュータプログラム製品として実現可能である。
本発明は、画像データや映像データを符号化する方法及び復号化する方法、並びにこれらに対応する符号化装置及び復号化装置に関し、特にテクスチャ合成及び画像の再現に係るハイブリッド手法に関する。
従来のほとんどの画像及び映像の圧縮方法は、平均２乗誤差のように、画質対策の観点からオリジナルのデータを忠実に表現することを目的としている。
データ圧縮はエントロピー符号化技術によって実現され、さらに“不可逆圧縮方法”の場合は、人間の観察者が感知できないサブバンド情報を取り除くことにより実現される。
映像データの圧縮に対して、複数の映像符号化規格が策定されている。そのような規格には、例えば、「Ｈ．２６Ｘ」で示される「ＩＴＵ−Ｔ規格」、及び「ＭＰＥＧ−Ｘ」で
示される「ＩＳＯ／ＩＥＣ規格」がある。現在、最新で最も高度な映像符号化規格は、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ」と呼ばれる規格である。
これら規格の基礎となる符号化手法のほとんどは、以下の主要ステップから構成されている。
（i）ブロックレベルで各映像フレームをデータ圧縮するため、各映像フレームを、画素で構成される２次元ブロックに分割する。
（ii）時間予測方式を各ブロックに適用し、残差予測誤差を空間領域から周波数領域に変換して、時空間的な映像情報を無相関化する。
（iii）結果として生じた変換係数を量子化してデータ全体のデータ量を減少させる。
（iv）量子化した変換係数をエントロピー符号化とすることで、残りのデータを圧縮する。
画像情報を空間領域から周波数領域に変換することが、現在の映像符号化規格における具体的な手法である。画像圧縮は、わずかの周波数成分だけで画像コンテンツを表現することで実現される。自然画像のコンテンツの場合は、低い周波数領域の係数にほとんど集中している。人間の視覚ではあまり感知しない高い周波数部分は、符号化対象のデータ量を削減するため、取り除くか量子化が可能である。
この手法は、草、葉、砂利、波等のような微細で準不規則な配列を示す画像に対しては機能しない。これらの構造に固有の不規則性を忠実に表現するためには、ほぼ全ての画像データのサブバンドの重要度を均等に扱う必要があるが、この場合は効率的なデータ圧縮を行うことができない。したがって、従来の圧縮方法においては、不規則なパターンの符号化品質が大きく損なわれることによってのみ、例えば、明らかな符号化アーチファクトで圧縮することが可能である。
代替手法として、まとめて“テクスチャ合成”と呼ばれる方法で実行されるが、この手法は不規則パターン又はテクスチャに多かれ少なかれ主観的に類似する、画像データの生成が目的である。このテクスチャ合成の利点は、任意の量の“テクスチャ”がシーム又は顕在的な繰り返しのようなアーチファクトではなく、サンプルから生成できることである。したがって、テクスチャ合成は、フォトリタッチから３次元のコンピュータグラフィックのテクスチャマッピングに至るまで幅広い用途がある。
また、テクスチャ合成を映像符号化に用いる試みも見られる。例えば、際立った画像オブジェクトを有する部位、あるいは主観的に重要でない詳細を含む部位に、画像や映像がセグメント化される（例えば、非特許文献１、非特許文献２参照）。
自然の画像においては、隣接する画素は互いに高い相関性を有している。この相関関係は、画素データの滑らかな変動によるものである。画像の辺縁でも（高次の）相関関係が生じる。というのは、画素サイズで規定される長さスケール上の方向が急峻に変化しないためである。これらの相関関係が一般的に画像データのエントロピーを減少させるが、これは従来の画像データ圧縮方法においても行われていることである。
従来のどの画像データ圧縮方法においても、重要なステップの１つに、空間領域の画素の場合より低い程度の相関関係を示す成分に関する画像表現を求めるステップがある。これは、たいてい離散余弦変換（ＤＣＴ）のような直交変換を適用することにより達成され、周波数領域へ元の画像データを変換する。元の画像が忠実に表現できるよう、最も「重要な」周波数成分、例えば、最も大きい振幅を有する成分を選択することによって、異なる空間周波数成分は、ほとんどの場合、各々から独立しており、このように画像データの全体的な量を減少される。
この方法は、以下の２つの理由により、微細な詳細を有する画像に対して機能しない。第１に、画像の細部における特徴的な長さスケールが、画素サイズにより規定される長さスケールに近づく場合、画素データの変動の平滑性が失われ、隣接画素間の相関関係が大きく減少する。その結果として、画像データにおいて、エントロピーの量が増加し、いかなるエントロピーに基づくデータ圧縮アルゴリズムが阻まれる。第２に、画素データがホワイトノイズに近づくにつれて、画像スペクトルは平滑化する。それゆえ、妨害アーチファクトを再現された画像に導入せずに、符号化目的で選択できた、もはやほんの少数の「重要な」周波数成分だけしかない。
映像データにおいて、第三の要素としての時間が活用される。明らかに、「自然」映像は、連続画像間の高度な相関関係によって特徴づけられる。従来は、これらの時間的相関関係は、連続画像の間で差分を符号化することによって、更に映像データを圧縮するために利用される。この状況において、１つの画像から次の画像までの平行移動を符号化し、予測された画像の誤差だけを符号化するため、動き補償予測が用いられる。
しかしながら、この方法は、微細に詳細な画像と同様に機能しない。例えば、カメラのパン（方向変更操作）のために、この種の画像が単に大域的動きを示す場合であっても、予測誤差は、使用される動き推定の精度に精確に依存する。さらに悪いことに、微細に詳細な画像、例えば風で動いている葉さえ不規則局部的な動きを示す傾向がある。この場合、動き補償は完全に機能しない。
図１２に、従来の映像符号化装置の実施例を例示する。通常、映像符号化装置９００は、現在の映像のブロック（入力信号）と、メモリ９４０に記憶される以前に符号化されたブロックに基づく現在のブロックとの間の予測信号誤差を決定するための減算器９１０とを含む。
変換／量子化部９２０は、予測誤差を空間領域から周波数領域に変換し、得られた変換係数を量子化する。エントロピー符号化部９９０は、量子化された変換係数にエントロピー符号化を行う。
Ｈ．２６４／ＡＶＣ規格に従って、入力画像はマクロブロックに分割される。映像符号化装置９００は、以前に符号化されたブロック（「局所的に復号化された画像」）に基づいて、入力映像シーケンスのブロックとそれらの予測間における誤差を単に伝送する差動パルス符号変調（ＤＰＣＭ）方法を用いる。これらの誤差から予測信号を減ずるため、符号化されるブロックを受信する減算器９１０において、その差が決定される。
局所的に復号化された画像は、映像符号化装置９００が備える復号部により提供される。復号部は、逆の方法で符号化ステップを実行する。
逆量子化／逆変換部９３０ は、量子化された係数に逆量子化を行い、そして、逆変換を逆量子化された係数に適用する。加算器９３５において、局所的に復号化画像を形成するために復号化された誤差が予測信号に加算される。さらに、デブロッキングフィルタ９３７は、復号化された画像におけるブロック化しているアーチファクトを減少させる。
映像符号化装置９００において使用される予測タイプは、マクロブロックが「画面内予測」モードと「画面間予測」モードのどちらで符号化されるかによって決まる。映像符号化標準のＨ．２６４／ＡＶＣの「画面内予測」モードでは、同じ画像のすでに符号化されたマクロブロックに基づく予測方式を用いる。「画面間」モードでは、以降のマクロブロックを予測するため、連続した幾つかのフレームの対応するブロック間の動き補償予測が使用される。
画面内予測符号化画像（Ｉタイプの画像）は、先行するいかなる復号化画像をも参照せずに復号化できる。Ｉタイプの画像は、符号化された映像シーケンスに対して誤り耐性を供給する。さらに、ランダムアクセスを可能にする。すなわち、符号化された映像のシーケンスの範囲内でＩタイプの画像にアクセスするため、符号化されたデータのビットストリームへのエントリーポイントは、Ｉタイプの画像により提供される。画面内予測モード（即ち、画面内フレーム予測部９５０での処理）及び画面間予測モード（即ち、動き補償予測部９６０での処理）間のスイッチは、画面内／画面間切換スイッチ９８０によって制御される。
「画面間予測」モードにおいては、マクロブロックは、動き補償を適用することによって、先行フレームの対応するブロックから予測される。現在の入力信号及び局所的な復号化画像を受信して、動き推定部９７０が推定を行う。現在のブロックと先行フレーム内の対応するブロックの間の画素変位を表現して、動き推定では、２次元の運動ベクトルを生成する。動き補償予測部９６０は、推定された動きに基づいて、予測信号を提供する。
変換／量子化部９２０は、「画面内予測」及び「画面間予測」符号化モードの両者に対して、現在の信号及び予測された信号間の誤差を変換係数に変換する。通常、２次元の離散余弦変換（ＤＣＴ）のような直交変換又は直交変換の整数バージョンが適用される。
変換係数は、符号化を要するデータの量を減少させるために量子化される。量子化のステップは、精度及びその精度で各々の周波数係数を符号化するために用いられるビット数を特定する量子化テーブルにより制御される。微細な詳細画像の成分より低い周波数成分は、通常画質にとってより重要であり、結果としてより高い周波数成分を符号化することより、低い周波数成分を符号化することのために、より多くのビットが使用される。
量子化後、エントロピーエンコーダに２次元配列の変換係数を渡すため、その２次元配列の変換係数を１次元の文字列に変換しなければならない。この変換は、所定のシーケンスの配列を走査することにより行われる。このように得られた量子化された変換係数の１次元シーケンスは、実行レベルと呼ばれる一連の数の組み合わせに圧縮される。最終的に、実行レベルシーケンスは、可変長のバイナリ符号語（可変長符号、ＶＬＣ）に符号化される。コードは、短い符号語を典型的な映像において、発生している最も頻繁な実行レベルに割り当てるために最適化される。結果として生じるビット列は、動き情報で多重化され、記録媒体に記憶されるか、又は復号化装置側に送信される。
復号化装置側で符号化された画像を再現するために、上記の符号化プロセスが逆のプロセスが適用される。図１３に、対応する復号化装置の構成を例示した概略ブロック図を示す。
図１３の映像復号化装置９０１においては、最初に、変換係数のエントロピー符号化及び動きデータが、エントロピー復号化部９９１において復号される。このステップでは、さらに、逆変換に必要な、復号化された変換係数を２次元のデータブロックに変換するシーケンスのための逆走査を含んでいる。変換係数の復号化されたブロックは、その後、逆量子化／逆変換部９２１に送信され、復号化された動きデータに動き補償予測部９６０に送信される。復号化された変換係数のブロックは、その後、逆量子化／逆変換部９２１に送出され、復号化された動きデータは、動き補償予測部９６０に送信される。予測誤差を含む逆変換されたデータは、加算器９３５によって予測信号と加算されるが、この予測信号は、画面間予測モードでの動き補償予測部９６０から生じるか、又は画面内予測モードでの画面内フレーム予測部９５０から生じたものである。再現された画像は、デブロッキングフィルタ９３７を通過することが可能であり、復号化された信号は、画面内フレーム予測部９５０、動き補償予測部９６０に適用されるため、メモリ９４０に記憶される。
A. Dumitras and B. G. Haskell, 「An encoder-decoder texture replacement method with application to content-based movie coding」, IEEE Trans. Circuits Syst. Video Technol., Vol. 14, pp. 825-840, 2004 P. Ndjiki-Nya, et al., 「Improved H.264 coding using texture analysis and synthesis」,Proc Icip 2003, Vol. 3, pp. 849-852, 2003
しかしながら、従来、際立った画像オブジェクトは符号化される一方、主観的に重要でない詳細を含むパターンは、少量のテクスチャ合成パラメータで記述できる類似テクスチャと置き換えられる。この結果として、これらのパラメータのみが符号化され復号化装置に送出されなければならない。
このようにして、不規則パターンの帯域浪費記述が、“草”、“葉”又は“砂利”といった主観的な関連情報を伝達することを優先して、草の葉身、葉、又は小石の形あるいは位置を記述しない、形式的な符号化がなされる。
その結果、複雑な合成方法が上記の符号化方法で用いられるが、合成されたテクスチャの主観的印象はしばしば不自然なものとなってしまう。したがって、テクスチャ表現方法を改善させる必要がある。
本発明は、上記課題を解決するためになされたものであり、従来と同等以上のデータ圧縮を行いつつ、不自然さを感じさせないテクスチャの表現方法を提供することを目的とする。
本発明においては、入力信号を周波数領域における第１及び第２のサブバンド信号に分離し、第１のサブバンド信号を従来の表現方法によって表現し、一方、第２のサブバンド信号は合成されたテクスチャと置き換えることを特徴とする。置き換えるテクスチャは、再現された第１のサブバンド信号及び合成されたテクスチャから構成された出力信号が、オリジナルの入力信号に主観的に似ているように決定されたテクスチャパラメータに基づいて合成される。
本発明の第１の特徴として、画像符号化方法を提供する。この方法においては、入力画像信号を第１の画像信号と第２の画像信号に分離し、第１の画像信号から第１のビットストリームを生成し、第２の画像信号を解析して、第２の画像信号のテクスチャを表わすテクスチャパラメータを計算して、このテクスチャパラメータを符号化して第２のビットストリームを生成する。この場合、上記の第１の画像信号と第２の画像信号は入力画像信号における２つの異なるサブバンドを表現する。
さらに、本発明の特徴として、画像符号化装置を提供する。画像符号化装置は、入力画像信号を第１の画像信号と第２の画像信号に分離する分離部と、第１の画像信号から第１のビットストリームを生成する第１の符号化部と、第２の画像信号を解析して、第２の画像信号のテクスチャを表わすテクスチャパラメータを計算して、このテクスチャパラメータを符号化して第２のビットストリームを生成する第２の符号化部とを備える。この場合、上記の第１の画像信号と第２の画像信号は入力画像信号における２つの異なるサブバンドを表現する。
さらに、本発明の特徴として、画像復号化方法を提供する。この方法においては、第１のビットストリームから第１の画像信号を復号し、第２のビットストリームからテクスチャを表わすテクスチャパラメータを復号し、テクスチャパラメータに基づいてテクスチャを合成して第２の画像信号を生成し、第１の画像信号と第２の画像信号から出力画像信号を構成する。この場合、上記の第１の画像信号と第２の画像信号は、出力画像信号における２つの異なるサブバンドを表現する。
また、本発明は、上記画像符号化装置又は画像復号化装置における特徴的な構成手段を備える映像符号化装置又は映像復号化装置として実現したり、上記画像符号化装置又は画像復号化装置における特徴的な構成手段をステップとする画像符号化方法又は画像復号化方法として実現したり、それらのステップをコンピュータ等に実行させるためのプログラムとして実現したりすることもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
本発明は、上記の画像及び映像（特に微細に詳細な画像）の圧縮に関する問題を解決するために考案され、画像及び映像データを表現するための改良された方法及び対応する装置に関する。本発明は、主観的な画質を改良することを意図したものであり、Ｈ．２６４／ＡＶＣのような映像符号化方式と組み合わすことができる。
また、本発明の方法は、従来の画像表現及び主観的な信号増強の組合せである。このために、入力信号は２つの部分に分けられる。符号化プロセスにおいて、上記１つの部分は従来と同様に符号化され、もう一方の部分はパラメータにより表現される。復号化装置側で、従来の符号化の部分は再現され、もう一方の部分はテクスチャ合成アルゴリズムを適用することによって、信号を増強するために使用される。
以下、本発明に係る実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
図１は、本発明の基本概念を例示しているブロック図である。処理対象の入力信号は、信号分離部１１０に供給され、この信号分離部１１０が入力信号を２つの成分に分けている。第１の成分は、（決定論的）信号表現部１４０に供給される。信号表現部１４０は、ＰＣＭ（パルス符号変調）、ＤＰＣＭ（差動パルス符号変調）及び他の変換手法等の決定論的信号表現方法を適用している。各々のこれらの表現方法は、信号を表現することを目的としており、客観的な品質測度、例えば元の信号と比較して表現された信号のＭＳＥ（平均二乗誤差）が最適化される。
他方、第２の成分は、信号強調部１２０に供給されるが、信号に含まれるテクスチャと主観的に類似しているテクスチャを表現するテクスチャパラメータを計算するため、信号が分析される。計算されたテクスチャパラメータに基づいて、信号強調部１２０は、テクスチャを合成して、合成されたテクスチャに基づいて信号を出力する。通常、ＭＳＥのような目標品質測度の観点から、合成されたテクスチャは第２の成分の信号を忠実に表現したものではない。
それにもかかわらず、例えば、草、砂利などのテクスチャについて関連した情報を含むという趣旨で、元の信号内容の代わりに、合成されたテクスチャが主観的に満足な内容を提供する。他方、草又は小石の個々の形あるいは位置のような無関係な詳細は軽視される。
信号構成部１５０に、テクスチャ信号及び第１の成分の信号を表現したものの両方が供給される。信号構成部１５０では、テクスチャ信号及び第１の成分の信号を表現したものを含む出力信号が生成される。
好ましくは、第１の成分は入力信号のより低い周波数から成り、他方の第２の成分は、残りのより高い周波数を含む。このように、人間視覚システムにとって、より重要な信号部分が忠実に従来の方法で表現され、人間視覚システムではあまり影響されない部分、即ち、より高い周波数成分の信号部分がテクスチャ合成を用いて合成される。このように、両者の方法の利点を組み合わせることができ、主観的な画質、特にテクスチャの信頼性を有意に改良できる。
一般に、信号分離部１１０は、入力信号に対してサブバンド分解を実行する。したがって、信号分離部１１０は、複数のフィルタを含む。この場合の複数のフィルタとしては、特に入力信号を低周波成分又は高周波数成分に分ける低域通過、帯域通過又は高域通過フィルタがある。
具体的には、信号分離部１１０は、入力信号をそのサブバンドに分けるため、ウェーブレット変換を実行する（又はフーリエ変換、特に離散余弦変換を実行することも可能である）。しかしながら、可動型ピラミッドに基づく方法のようなその他のサブバンド方法もまた実行可能である。
信号強調部１２０としては、あらゆるテクスチュア解析及び従来技術の周知の合成法を適用できる。例えば、図２のフローチャートで示すように、複雑なウェーブレット変換の共有の統計値に基づくパラメータのテクスチャモデルを適用することもできる。
この方法によれば、可動型ピラミッドは、ステップＢ１０において、帰納的に信号強調部１２０に対する入力信号を１組の指向サブバンドと低域通過残余バンドに分解することによって作成される。その後、ステップＢ２０〜Ｂ４０において、統計的テクスチャパラメータが、上記の分解を用いて計算される。特に、画像における画素の最小値及び最大値と同様に、分散、非対称度及び尖度のような、全体の画像の限界統計値を記述するパラメータを含む統計値ディスクリプタが前記ピラミッドの各々のレベルで計算される。さらに、自己相関及びさまざまな相互相関が、ピラミッドの同一レベル及び各レベル間で計算される。
このように計算されたテクスチャパラメータから任意の量の見た目そっくりのテクスチャを生成することができる。具体的には、ホワイトノイズ画像は、ステップＢ５０において生成され、ステップＢ６０における可動型ピラミッドの構成により、ステップＢ１０において実行される上記の分解に従って指向サブバンドに分解される。算出されたテクスチャパラメータにより示される統計的な制約条件を満たすように、ステップＢ７０においてホワイトノイズ画像の各サブバンドが更に調整される。可動型ピラミッドは、ステップＢ８０において圧壊して、ステップＢ９０において調整されることにより、最終的には、画像全体の統計値が、ステップＢ２０において計算された統計パラメータ値と合致する。ステップＢ６０〜Ｂ９０は、繰り返して処理してもよい。すなわち、上記の生成されたテクスチャは、所定の繰返し回数分、又は前記合成されたテクスチャが十分に安定するまで、前記ホワイトノイズ画像の代わりに、分解及び調整の初期値として使用され得る。
信号強調部１２０の操作は、特定のパラメトリックテクスチャモデルにより例証されたにもかかわらず、本発明は、この点で制限されない。その代わりとして、他のパラメトリックモデル、あるいはサンプリングに基づいたモデルなど非パラメトリックモデルを使用してもよい。
信号構成部１５０は、基本的に信号分離部１１０の逆の処理を行う。通常、所望の出力信号を生成するために、信号強調部１２０及び信号表現部１４０の出力信号を単純に加算する。しかしながら、例えば可動型ピラミッド又は逆ウェーブレット変換を圧壊させるような、より複雑な操作が、入力信号を２つの成分に分けるために使用されるメカニズムに応じて必要である可能性がある。
図３は、図１のブロック図の代替構成を示す図である。信号強調部１２０及び信号構成部１５０は、元の入力信号の追加的な複製を受信する信号強調・信号構成部１３０に融合される。代わりに信号強調・信号構成部１３０は、また、元の入力信号の代わりに第１成分の複製も受信する可能性がある。いずれの場合においても同じ効果が得られることは、以下の説明から明らかである。
信号強調・信号構成部１３０に対して入力信号を追加的に供給するため、テクスチャパラメータは、元の入力信号を考慮して計算することも可能である。このように、計算されたテクスチャパラメータは、第１の成分及び第２の成分の間で相互相関を有する可能性がある。これらの相互相関は、合成されるテクスチャの空間情報を表現する可能性がある。レンガ塀又は織物のように、類似した規則的なテクスチャに対して、低周波成分及び高周波成分間の相互相関は、総合されたテクスチャ及び再現された低周波成分を正確にマージするために必要とされる位相情報を含む可能性がある。
一方、低域通過成分に含まれる情報を考慮するため、さらに再現された第１の成分信号に基づいてテクスチャの合成を行ってもよい。特に、前述の相互相関のように、第１及び第２の成分信号の間で統計的関係を記述するテクスチャパラメータに基づいて、テクスチャが合成される可能性がある。この代替構成は、以下に記載の画像及び映像符号化装置／映像復号化装置に関する本発明の応用例においては、より重要になる。
図４は、本発明の画像及び映像符号化に関する、具体的な応用例を示す図である。符号化される画像又は映像信号は、信号分離部１１０に供給され、上記の通りに２つの別々のサブバンドに分割される。２つのサブバンド成分は、互いに独立して符号化される。低周波成分は、従来の符号化部１４１に供給され、第１のビット列に符号化される。一方、高周波成分は、解析・符号化部１２１に供給される。解析・符号化部１２１は、上記図１と関連して記述された代表的なテクスチャパラメータを計算する。このように計算されたテクスチャパラメータは、第２のビット列に符号化される。
テクスチャパラメータを符号化するために、上記の図１２と関連して記述された変換係数を符号化するのと同様の方法を用いることが可能である。特に、ハフマン符号のような可変長コードによって符号化されるため、テクスチャパラメータは、１次元のデータ列に変換されてエントロピー符号部に渡される。選択的に、符号化されるデータ量を減少させるため、テクスチャパラメータは、変換係数に一致させて量子化される可能性がある。
第１のビット列及び第２のビット列は、多重化され、単一のビット列として、信号分離部１１０、符号化部１４１、解析・符号化部１２１を含む符号化装置によって出力される可能性がある。
符号化装置によるビットストリーム出力は、記録媒体に記憶され、又は伝送チャネルを通じて送信される可能性がある。
復号化装置側で、受信されたビット列は、低周波成分を表現している第１のビット列と、テクスチャパラメータを含んでいる第２のビット列とに逆多重化される。それぞれ、第１のビット列、第２のビット列は、その後、復号化・復元化部１４２、復号化・合成化部１２２によって受信される。復号化・復元化部１４２は、第１のビット列を復号化し、元の入力信号の中で低周波成分を再現する。一方、復号化・合成化部１２２は、第２のビット列に含まれるテクスチャパラメータを復号化し、復号化されたテクスチャパラメータに基づいて、元の入力信号の高周波成分を模倣したテクスチャ信号を合成する。適切に復号化装置側の出力信号にマージさせるため、再現された低周波成分及び合成されたテクスチャ信号は、信号構成部１５０に供給される。
高周波成分の中の不規則パターンに含まれる主観的に重要度の低い部分が、２、３のテクスチャパラメータのみによって完全に決定され、合成されたテクスチャと置き換えられる。そのため、本発明によれば、入力画像／映像データは、非常に効率的な方法で圧縮することができる。それゆえ、従来の動画符号化とは異なり、画質に妥協することなしに、静止画や動画を低レートで送信、あるいは少ない記録容量で記録できる。最も重要なことは、合成されたテクスチャにおいては符号化歪みが発生しない。
最終的に、本発明は、低周波成分は合成されるのではなく忠実に表現されるため、テクスチャ合成に基づく従来の動画圧縮技術よりも、テクスチャ部をより自然かつ確実に表現できる。
図５は、上記図４に示される画像／ビデオ符号化装置の代替構成を示す図である。図３と同様に、復号化・合成化部１２２及び信号構成部１５０は、単一の復号化・合成化・信号構成部１３２に融合される。さらに、解析・符号化部１３１は、元の入力信号の追加的な複製を受信する。この構成において、元の入力信号を考慮することによって、テクスチャパラメータは、再度計算される可能性があり、低域通過成分に含まれる情報を考慮するため、復号化装置側上のテクスチャの合成は、加えて再現された第１の成分信号に基づく可能性がある。特に、視覚的に元のものと類似している出力画像を得るため、復号化・復元化部１４２によって再現された第１の成分信号出力は、テクスチャ合成アルゴリズムで用いられる可能性がある。
このように、符号化装置は、第１の成分及び第２の成分の間で、相互相関を含むテクスチャパラメータを計算する可能性があるが、このパラメータは位相のようなテクスチャの空間情報を正しく得るために復号化装置によって用いられる可能性がある。これは、空間領域で個々に表現された領域に分割される画像の場合には特に重要である。各々の領域のためのテクスチャが、各々関連して正しい位相により合成される場合、領域の境界において、目に見えるシームのようなアーチファクトを妨げることを予防することができる。本発明によれば、例えば、高周波成分及び低周波成分の間で上述した相互相関を使用することによって、これは低周波成分の機能に合成されたテクスチャの位相を修正することにより達成される。
図６は、本発明を映像の符号化に適用した具体例を示す図である。図６に示される構成は、上記図４と類似しており、同じ参照符号で示される部分については、詳細な説明は省略する。
サブバンド分離部１１０ａは、ウェーブレット変換に基づくサブバンド分解によって、入力映像信号を低周波成分及び高周波成分に分割する。特に人間視覚システムにとって重要である低周波成分は、従来のビデオ符号化方法（例えばＨ．２６４／ＡＶＣ）によって、第１のビット列に符号化される。高周波成分（それは人間視覚システムにとってより重要でない）は、分析され、その結果として生じるテクスチャパラメータも、上記図４に示すように符号化される。
復号化装置側で、第１のビット列は、対応する従来のＨ．２６４／ＡＶＣ復号化装置に従って復号化される。第２のビット列は、上記図４と同様に復号化される。サブバンド構成部１５０ａは、再現された低周波成分及び合成された高周波成分の両方を受信し、例えば、ウェーブレット変換に基づくサブバンド構成法によって、最終的な出力信号を構成する。
具体的には、テクスチャパラメータの新規なセットは、計算され、入力映像信号の各々のフレーム毎に符号化される。あるいは、いくつかのフレーム毎にテクスチャパラメータの一部又は全ては、復号化装置に送信される。テクスチャは、複数のフレームのためのテクスチャパラメータの少なくとも部分的に同一のセットに基づいて合成される。これは、特に送信されなければならないか又は固有テクスチャ特性がフレームからフレームまで変化しないケースにおいて、記録されなければならないデータ量をさらに減少するために役立つ。低周波成分における相互相関が使用される場合、テクスチャの動きも表現され得る点に留意する必要がある。
図７は、上記図６に示される映像符号化装置の代替構成を示す図である。上記図５と同様に、サブバンド構成部１５０ａ及び復号化・テクスチャ合成化部１２２ａは、単一の復号化・テクスチャ合成化・サブバンド構成部１３２ａに融合される。さらに、テクスチャ解析・符号化部１３１ａは、元の入力信号の追加的な複製を受信する。この構成においても、図５と同様の利点を達成することができる。
この構成において、テクスチャパラメータのセットは、さらに高周波成分と低周波成分との間の相互相関を含んでもよい。これらの相互相関は、その後、合成されたテクスチャの空間情報（「位相」）を修正するために復号化装置側で使用することができる。相互相関によって、低周波成分の特徴を合成したテクスチャの「位相」を決定するために、さらに、時間に依存するテクスチャが表現される。例えば、動いているオブジェクトの特徴は、低周波成分において表現されるオブジェクトによって決定される。
図８は、本発明を映像符号化装置に応用する場合のその他の具体例を示す図である。図８に示される構成において、図６と同様の部分は同じ参照符号を付し、その説明は省略する。
図８に示される構成は、上記信号分離部１１０が可動型ピラミッド（すなわち帰納的マルチスケールサブバンド分解方式）に基づくという点で、上記図６の構成と異なる。最も微細なスケールで、入力信号は低域通過画像Ｌo及び高域残差信号Ｈoに分けられる。低域通過画像は、さらに、Ｎ個の指向性帯域通過画像（Ｂ0 0…Ｂ0 N-1）に分解され、他の低域通過画像Ｌ1は２のファクタでダウンサンプルされる。このステップは、帰納的に繰り返される可能性がある。
符号化装置には、より微細なスケールの全てのサブバンドは解析・符号化部１２１に入力されて、テクスチャパラメータのみにより表現される。一方、最も粗いスケールＬM-1の低域通過画像は、従来のＨ．２６４／ＡＶＣエンコーダ１４１ａによって符号化される。Ｈ．２６４／ＡＶＣのビット列及びテクスチャパラメータのビット列は、復号化装置に送信される。
復号化装置では、テクスチャパラメータは復号化され、より微細なスケールのサブバンドは、テクスチャ合成アルゴリズムによって置換される。Ｈ．２６４／ＡＶＣのビット列は、低域通過画像を得るためにＨ．２６４／ＡＶＣ復号化装置によって復号化される。全体のピラミッドは、サブバンド構成部１５０ａにおいて、復号化された出力信号を生成するために圧壊される。
この方法は、低周波成分の情報が元の解像度よりも低い解像度のビデオ信号に格納されるというメリットがある。従って、従来の符号化部１４１と復号化・復元化部１４２は、元のデータよりも少量のデータを扱えばよく、性能の向上、及び処理コストの低減が見込める。
図９は、上記図８に示される映像符号化装置の代替構成を示す図である。上記図５と同様に、サブバンド構成部１５０ａ及び復号化・テクスチャ合成化部１２２ａは、単一の復号化・テクスチャ合成化・サブバンド構成部１３２ａに融合される。さらに、解析・符号化部１３１は、元の入力信号の追加的な複製を受信する。この構成により、上記図５及び図７と同様の効果を達成することができる。
好ましくは、１つのスケール及び４つの方向性を持ったＢＰＦ（band-pass filter）に基づいて分解を行う。低域通過残像は、従来の符号化装置によって処理され、一方、相補型画像成分はテクスチャ合成により表現される。それゆえに、信号分離はアンチエイリアスフィルタと関連して古典的な周波数分離とみなすことができる。
しかしながら、可動型ピラミッドの分解は、上記図２に示されるテクスチャ合成にだけ関連する。そのために、元の入力画像は、追加的なスケールでさらに分解される。これは、最初のスケールの４つの適応させられた帯域通過成分、別のスケールの４つの適応させられた帯域通過成分、１つの高域通過残余成分及び１つの低域通過残余成分の中への分解に結びつく。第１のスケール及び高域残留上の帯域通過成分は、統計的信号成分と一致する。第２のスケール及び低域通過残留上の帯域通過成分は、決定論的信号と一致する。
図１０は、復号化・テクスチャ合成化・サブバンド構成部１３２ａの構成を示すブロック図である。
符号化されたテクスチャパラメータのビット列は、復号化装置２７０に供給される。そして、それはテクスチャ合成のために必要な復号化されたテクスチャパラメータを出力する。図２と同様の方法に従って、テクスチャ合成が、白色雑音発生器２０５により生成されるホワイトノイズ画像から始まる。ホワイトノイズ画像は、分解部２１０によって、可動型ピラミッドに分解される。
しかし、低周波サブバンドＢM-1 0，…，Ｂ0 N-1及び低域通過残像ＬM-1は分解部２１０から出力され、復号化された低域通過成分の対応する成分と置き換えられる。置き換えられた成分は、Ｈ．２６４／ＡＶＣ復号化部１４２ａの後段のフィルターバンク２８０から生成される。この置換が実際に本発明の第１の構成のサブバンド構成部１５０ａにより行われるサブバンド合成と一致する点に留意する必要がある。高周波サブバンドにおける画素データの分配は、その後、テクスチャパラメータにより記述される統計的制約を満たすために微調整される。特に、高周波残余成分Ｈ0は、ユニット２３０において、分散制約を満たすために変換される。しかし、相互相関、ひずみ及び尖度を含むサブバンドの統計値は、分解部２１０から出力された中間周波数サブバンドンドＢ0 0，…，Ｂ0 N-1に付加される。しかし、Ｈ．２６４／ＡＶＣ復号化部１４２ａから出力された、復号化された低周波成分ＢM-1 0，…，ＢM-1 N-1，ＬM-1は、サブバンド統計値部２４０によっては変えられない。このユニットは、さらに可動型ピラミッドにおける中間及び低周波サブバンドを圧壊させ、ユニット２５０に、自己相関、非対称度及び尖度に関して制約を課すために再構成された信号を供給する。加算器２６０は、ユニット２３０及びユニット２５０の出力を加算することによって、可動型ピラミッドを圧壊させる最後のステップを行っている。統計付加部２２０は、最終的に復号化装置の出力信号を提供するために全体の画像に関して統計的制約を課す。全体の合成プロセスは、スイッチ２０６を経て繰り返され得る。
図１１は、本発明の実施例に従って画像及び映像符号化のための方法を示しているフローチャートである。ステップＡ１０において、入力画像は第１及び第２のサブバンド成分に分けられる。高周波成分は代表的なテクスチャパラメータを計算するためにステップＡ２０において、分析される。そして、それはその時ステップＡ３０において、符号化される。図５、図７及び図９に示される代替構成に対する類似において、代表的なテクスチャパラメータは、さらに第１及び第２のサブバンドの間で関係を記述するテクスチャパラメータを計算する際、元の入力信号成分（例えば相互相関）を考慮してもよい。一方、低周波成分は、ステップＡ４０における従来のデータ表現方法によって符号化される。このように、全体の入力画像は符号化され、符号化された画像データは記録媒体に記憶され又は通信チャネルを経て送信され得る。
符号化された画像データについて復号化が開始されると、低周波成分は、ステップＡ５０において、即座に従来のデータ復号方法によって復号化される。一方、テクスチャパラメータは、ステップＡ６０において、復号化される及び、テクスチャはステップＡ７０の高周波サブバンド成分を生成するために復号化されたテクスチャパラメータから合成される。図５、図７及び図９に示される代替構成においては、合成されたテクスチャの空間情報を修正するために、復号済みの低周波サブバンド成分を考慮して合成してもよい。最終的にステップＡ８０で、出力画像は低周波及び高周波サブバンド成分から構成される。
なお、上記ではテクスチャ合成を符号化に適用する例について説明したが、超解像などその他の画像処理に適用してもよい。例えば、低解像度画像が入力された際に、データベースなどから、入力低解像度画像に対応する高解像度画像の統計パラメータ値を取得し、それら取得した統計パラメータに基づいて高解像度画像のテクスチャを合成する。ここで、データベースは低解像度画像と高解像度画像の統計パラメータの関係を予め学習しておくなどして生成できる。
本発明は、画像符号化装置及び画像復号化装置として利用が可能である。本発明は、さらに、画像データ又は映像データを符号化する符号化方法、これに対応する復号化方法及びコンピュータプログラム製品として実現可能である。
図１は、本発明の基本概念を示すブロック図である。 図２は、本発明の実施の形態に係る信号強調部の処理の流れを示すフローチャートである。 図３は、本発明の基本概念に対する代替構成を示す概念図である。 図４は、本発明の画像及び映像符号化装置への一般的な応用例を示す概念図である。 図５は、本発明の画像及び映像符号化装置への一般的な応用例の代替構成を示す概念図である。 図６は、本発明の映像符号化装置への具体的な応用例を示す概念図である。 図７は、本発明の映像符号化装置への具体的な応用例の代替構成を示す概念図である。 図８は、本発明に係る可動型ピラミッドの応用例を示す概念図である。 図９は、本発明に係る可動型ピラミッドの応用例の代替構成を示す概念図である。 図１０は、本発明の実施の形態に係るを示すブロック図である。 図１１は、本発明の実施の形態に係るを示すフローチャートである。 図１２は、従来の映像符号化装置の機能構成の一例を示すブロック図である。 図１３は、従来の映像復号化装置の機能構成の一例を示すブロック図である。
１１０ 信号分離部
１１０ａ サブバンド分解部
１２０ 信号強調部
１２１ 解析・符号化部
１２２ 復号化・合成化部
１２２ａ 復号化・テクスチャ合成化部
１３０ 信号強調・信号構成部
１３１ 解析・符号化部
１３１ａ テクスチャ解析・符号化部
１３２ 復号化・合成化・信号構成部
１３２ａ 復号化・テクスチャ合成化・サブバンド構成部
１４０ 決定論的信号表現部
１４１ 符号化部
１４１ａ Ｈ．２６４／ＡＶＣ符号化部
１４２ 復号化・復元化部
１４２ａ Ｈ．２６４／ＡＶＣ復号化部
１５０ 信号構成部
１５０ａ サブバンド構成部
２６０ 加算器
９００ 映像符号化装置
９１０ 減算器
９２０ 変換／量子化部
９２１ 逆変換／逆量子化部
９３０ 逆量子化／逆変換部
９３５ 加算器
９３７ デブロッキングフィルタ
９４０ メモリ
９５０ 画面内フレーム予測部
９６０ 動き補償予測部
９７０ 動き推定部
９８０ 画面内／画面間切換スイッチ
９９０ エントロピー符号化部
９９１ エントロピー復号化部

Claims (15)

  1. フレーム画像を表わす入力画像信号を符号化する画像符号化装置であって、
    前記入力画像信号を、第１のサブバンドの第１画像信号と第２のサブバンドの第２画像信号とに分離する信号分離部と、
    前記第１画像信号を第１ビット列に符号化する第１符号化部と、
    前記第２画像信号を解析し、この解析結果に基づいて前記第２画像信号のテクスチャを表現する複数のテクスチャパラメータを決定し、決定された前記テクスチャパラメータを第２のビット列に符号化する第２符号化部と
    を備えることを特徴とする画像符号化装置。
  2. 前記画像符号化装置はさらに、
    前記第１ビット列及び前記第２ビット列を多重化して、出力ビット列として出力する信号構成部を含む
    ことを特徴とする請求項１に記載の画像符号化装置。
  3. 前記信号分離部は、
    前記入力画像を、複数の画素からなる複数のブロックに分割し、
    前記第１符号化部は、分割された前記ブロック単位に前記第１ビット列への符号化を行い、
    前記第２符号化部は、分割された前記ブロック単位に前記解析及び前記第２ビット列への符号化を行う
    ことを特徴とする請求項１に記載の画像符号化装置。
  4. 前記信号分離部は、
    入力画像信号を前記第１画像信号及び第２画像信号にそれぞれ分離する第１フィルタと第２フィルタとを含む
    ことを特徴とする請求項１に記載の画像符号化装置。
  5. 前記第１フィルタは低域通過フィルタであり、前記第２のフィルタは高域通過フィルタである
    ことを特徴とする請求項４に記載の画像符号化装置。
  6. 前記信号分離部は、ウェーブレット変換、離散的フーリエ変換、又は可動型ピラミッド（steerable pyramid）に基づいて、前記サブバンド分解を行う
    ことを特徴とする請求項１に記載の画像符号化装置。
  7. 前記第１画像信号及び前記第２画像信号は、前記入力画像信号の低周波成分及び高周波成分をそれぞれ表現する
    ことを特徴とする請求項１に記載の画像符号化装置。
  8. 前記第２符号化部は、前記第２画像信号について統計的解析を行うことによって、前記テクスチャパラメータを計算する
    ことを特徴とする請求項１に記載の画像符号化装置。
  9. 前記第２符号化部は、前記第２画像信号の代表サンプルを表わす情報を前記テクスチャパラメータとして特定する
    ことを特徴とする請求項１に記載の画像符号化装置。
  10. 前記第２符号化部は、前記第２画像信号と、前記第１画像信号及び入力画像信号のどちらか１つとを解析し、前記第２画像信号と前記第１画像信号における統計的特性を計算する
    ことを特徴とする請求項９に記載の画像符号化装置。
  11. 前記入力画像信号には、少なくともＩフレーム画像が含まれており、
    前記信号分離部は、前記Ｉフレーム画像について前記分離を行う
    ことを特徴とする請求項１に記載の画像符号化装置。
  12. 第１ビット列と第２ビット列とを含む符号化信号を復号してフレーム画像を生成する画像復号化装置であって、
    前記第１ビット列から、第１のサブバンドを表現する第１画像信号に復号化する第１復号化部と、
    前記第２ビット列から、テクスチャを表現する複数のテクスチャパラメータに復号化すると共に、前記テクスチャパラメータに基づいてテクスチャを合成し、前記合成されたテクスチャから、第１のサブバンドとは異なる第２のサブバンドを表現する第２画像信号を生成する第２復号化部と、
    前記第１画像信号及び前記第２画像信号から、出力画像信号を構成する信号構成部と
    を備えることを特徴とする画像復号化装置。
  13. フレーム画像を表わす入力画像信号を符号化する画像符号化方法であって、
    前記入力画像信号を、第１のサブバンドの第１画像信号と第２のサブバンドの第２画像信号とに分離する信号分離ステップと、
    前記第１画像信号を第１ビット列に符号化する第１符号化ステップと、
    前記第２画像信号を解析し、この解析結果に基づいて前記第２画像信号のテクスチャを表現する複数のテクスチャパラメータを決定し、決定された前記テクスチャパラメータを第２のビット列に符号化する第２符号化ステップと
    を含むことを特徴とする画像符号化方法。
  14. 第１ビット列と第２ビット列とを含む符号化信号を復号してフレーム画像を生成する画像復号化方法であって、
    前記第１ビット列から、第１のサブバンドを表現する第１画像信号に復号化する第１復号化ステップと、
    前記第２ビット列から、テクスチャを表現する複数のテクスチャパラメータに復号化すると共に、前記テクスチャパラメータに基づいてテクスチャを合成し、前記合成されたテクスチャから、第１のサブバンドとは異なる第２のサブバンドを表現する第２画像信号を生成する第２復号化ステップと、
    前記第１画像信号及び前記第２画像信号から、出力画像信号を構成する信号構成ステップと
    を含むことを特徴とする画像復号化方法。
  15. 請求項１３記載の画像符号化方法又は請求項１４記載の画像復号化方法のステップをコンピュータに実行させるためのプログラム。
JP2008546992A 2006-11-27 2007-11-27 画像符号化装置及び画像復号化装置 Withdrawn JPWO2008066025A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06024537.0 2006-11-27
EP06024537A EP1926321A1 (en) 2006-11-27 2006-11-27 Hybrid texture representation
PCT/JP2007/072822 WO2008066025A1 (fr) 2006-11-27 2007-11-27 Appareil de codage d'image et partie de décodage d'image

Publications (1)

Publication Number Publication Date
JPWO2008066025A1 true JPWO2008066025A1 (ja) 2010-03-04

Family

ID=37898662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008546992A Withdrawn JPWO2008066025A1 (ja) 2006-11-27 2007-11-27 画像符号化装置及び画像復号化装置

Country Status (4)

Country Link
US (1) US20100046845A1 (ja)
EP (2) EP1926321A1 (ja)
JP (1) JPWO2008066025A1 (ja)
WO (1) WO2008066025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495894B2 (en) * 2013-01-21 2016-11-15 Sharp Kabushiki Kaisha Display device, and data processing method in display device

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659005B2 (ja) * 2007-08-17 2011-03-30 日本電信電話株式会社 テクスチャ合成に基づく動画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体
WO2009147224A1 (fr) * 2008-06-05 2009-12-10 Thomson Licensing Procede de codage d ' image avec synthese de texture
CN102823242B (zh) 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
WO2011090798A1 (en) 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
WO2011090352A2 (ko) * 2010-01-22 2011-07-28 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
JP5351093B2 (ja) * 2010-06-01 2013-11-27 日本電信電話株式会社 画像符号化方法，画像符号化装置および画像符号化プログラム
JP5351094B2 (ja) * 2010-06-01 2013-11-27 日本電信電話株式会社 画像符号化方法，画像符号化装置および画像符号化プログラム
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
KR101885633B1 (ko) * 2010-09-10 2018-08-06 톰슨 라이센싱 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩
WO2012033971A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example - based data pruning using intra- frame patch similarity
JP5700666B2 (ja) * 2011-06-27 2015-04-15 日本電信電話株式会社 画像復号装置、画像復号方法及び画像復号プログラム
US8694306B1 (en) 2012-05-04 2014-04-08 Kaonyx Labs LLC Systems and methods for source signal separation
US10497381B2 (en) 2012-05-04 2019-12-03 Xmos Inc. Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
EP2920969A4 (en) * 2012-11-13 2016-07-13 Intel Corp VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
EP2952003B1 (en) 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9241163B2 (en) * 2013-03-15 2016-01-19 Intersil Americas LLC VC-2 decoding using parallel decoding paths
US9728182B2 (en) 2013-03-15 2017-08-08 Setem Technologies, Inc. Method and system for generating advanced feature discrimination vectors for use in speech recognition
US9842410B2 (en) * 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
US10715804B2 (en) 2016-04-22 2020-07-14 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
US10791343B2 (en) 2018-03-13 2020-09-29 Google Llc Mixed noise and fine texture synthesis in lossy image compression
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5872867A (en) * 1995-08-04 1999-02-16 Sarnoff Corporation Method and apparatus for generating image textures
WO1997016027A2 (en) * 1995-10-24 1997-05-01 Line Imaging Systems L.L.C. Ultrasound video subband coding system and method
US6977659B2 (en) * 2001-10-11 2005-12-20 At & T Corp. Texture replacement in video sequences and images
KR100716210B1 (ko) * 2005-09-20 2007-05-10 웅진코웨이주식회사 폴리아미드 역삼투 복합막 제조방법 및 이로부터 제조된폴리아미드 역삼투 복합막
JP2007184800A (ja) * 2006-01-10 2007-07-19 Hitachi Ltd 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
US7734107B2 (en) * 2006-02-24 2010-06-08 Sony Corporation System and method for performing wavelet-based texture feature extraction and classification

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495894B2 (en) * 2013-01-21 2016-11-15 Sharp Kabushiki Kaisha Display device, and data processing method in display device

Also Published As

Publication number Publication date
EP2088785A1 (en) 2009-08-12
EP1926321A1 (en) 2008-05-28
EP2088785A4 (en) 2011-06-08
WO2008066025A1 (fr) 2008-06-05
US20100046845A1 (en) 2010-02-25

Similar Documents

Publication Publication Date Title
JPWO2008066025A1 (ja) 画像符号化装置及び画像復号化装置
JP5283628B2 (ja) 映像復号方法及び映像符号化方法
EP1825690B1 (en) Method and system for decomposing multiview videos
KR101160818B1 (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP4922391B2 (ja) 多階層基盤のビデオエンコーディング方法および装置
CN1926876B (zh) 空间和时间可扩展编码的图像序列的编码和解码方法
EP1782631A1 (en) Method and apparatus for predecoding and decoding bitstream including base layer
JPH09121345A (ja) 画像符号化装置及び画像復号装置
JP2010011470A (ja) ビデオコーディングがテクスチャ解析およびテクスチャ合成を含むビデオコーディングのための方法およびアセンブリと、対応するコンピュータプログラムおよび対応するコンピュータで読み込み可能な記録媒体
JPWO2005122591A1 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
WO2006080662A1 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
JP2009531942A (ja) エントロピ符号化効率を向上させる方法およびその方法を用いたビデオエンコーダおよびビデオデコーダ
JP4844455B2 (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
KR100679027B1 (ko) Ｄｃ 성분의 손실 없이 영상을 코딩하는 방법 및 장치
KR101529903B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
JP4860156B2 (ja) ビデオ符号化
KR101285811B1 (ko) 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
KR20130021878A (ko) 홀로그래픽 광원의 공간 스케일러블 인코딩 및 디코딩 장치 및 방법
JP2006180173A (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法
JP2003023633A (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101124

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120727