JP4880373B2 - 画像の符号化方法、符号化画像の復号化方法、画像の符号化装置および符号化画像の復号化装置 - Google Patents

Description

本発明は、画像の符号化方法、符号化画像の復号化方法、画像の符号化装置および符号化画像の復号化装置に関する。

画像シーケンスの符号化方法、例えばＭＰＥＧまたはｔ＋２Ｄウェーブレット法（すなわち時間分解ｔおよび空間分解２Ｄを用いる手法）では、たいていの場合、第１のステップの時間分解により連続画像間の時間冗長性が低減され、第２のステップの空間分解により空間冗長性が低減される。こうした手法は図１に示されている。シーケンスの各画像は少なくとも１つの成分、例えば１つのルミナンス成分および２つのクロミナンス成分を含む。ソース画像と称される画像シーケンスはふつう符号化前に複数のピクチャグループＧＯＰまたはフレームグループＧＯＦへ分割され、図２のＧＯＦ１〜ＧＯＦ３のようになっている。符号化方法において、動き補償画像シーケンスの時間分解ステップ１０は例えば動き補償時間フィルタリングＭＣＴＦから成り、種々の時間周波数帯域その他がＩＳＯ／ＩＥＣ１３８１８−２ "Information technology---Generic coding of moving pictures and associated audio information: Video"）に定義されたＭＰＥＧ２規格に基づく符号化スキーマでの予測により得られる。このステップはふつう画像の成分ごとに個別に適用される。次に動き予測ステップ１１で動き補償用の動きベクトルＭＶが形成される。このステップは例えば従来のブロックマッチングによる予測であってもよい。動きベクトルは、シーケンス内の或る画像から次の画像へオブジェクトの位置が移動している場合に送信情報量を低減するために用いられる。その後、時間分解から得られた画像が符号化ステップ１７で符号化される。このステップは一般に、例えば離散コサイン変換ＤＣＴまたは離散ウェーブレット変換ＤＷＴを用いることにより空間冗長性を低減する空間分解ステップ１２と、得られた空間‐時間係数を符号化するエントロピー符号化ステップ１３とを含む。マルチプレクスステップ１５では、あらかじめ動きベクトル符号化ステップ１４で符号化された動きベクトルと空間‐時間係数に関する符号化データとが結合され、１つのデータストリームが形成される。エントロピー符号化ステップ１３で各画像の符号化に使用されるビット数を適合化できない場合には、全ての画像シーケンスが同数のビットによって符号化される。各画像の符号化に使用されるビット数が適合化されないと、復号化後の画像シーケンスの再構成の品質が低下してしまう。ディジタルシネマなどの所定の分野では高品質の再構成が要求され、こうしたデグラデーションは許されない。

本発明の課題は、上述の欠点を回避し、符号化方法および相応の装置によって各画像の同数ビットでの符号化が要求される場合の画像再構成の品質を改善することである。

本発明は少なくとも１つの成分を含むＮ＋１個の画像の符号化方法に関している。ここで本発明の画像の符号化方法は、前述の課題を解決するため、成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解ステップと、成分ごとに、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割する分割ステップと、成分ごとに、Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むようにこの低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させるインタリーブステップと、成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する符号化ステップとを有する。

有利には、符号化ステップはＪＰＥＧ２０００符号化規格に基づいて行われる。

有利には、時間分解ステップは動き補償時間フィルタリングから成る。

有利には、時間フィルタリングではHaar型フィルタおよびDaubechies 5-7型フィルタを含むグループに属するフィルタが用いられる。

有利には、前述の方法はＭ個の境界によってＮ＋１個の画像部分に分割された少なくとも２つのグループの画像に連続的に適用され、Ｍ個の境界は少なくとも２つの画像グループ間で所定の空間方向へオフセットされる。

ここで有利には、Ｎは１であり、Ｍは１である。

有利には、少なくとも２つの画像グループの開始部において境界があらかじめ定められたオフセットウィンドウ内で一定の数のピクセルだけオフセットされ、境界がオフセットウィンドウを外れてしまう場合にはこの境界はオフセットウィンドウのあらかじめ定められた位置へ移動される。

本発明はまた、前述の画像の符号化方法にしたがって符号化され、データストリームの形態を有する符号化画像の復号化方法に関する。ここで本発明の符号化画像の復号化方法は、成分ごとに、データストリームまたはその一部を復号化してＮ＋１個のインタリーブ画像を形成する復号化ステップと、成分ごとに、Ｎ＋１個のインタリーブ画像をデインタリーブして１個の低周波数画像およびＮ個の高周波数画像を形成するデインタリーブステップと、１個の低周波数画像およびＮ個の高周波数画像を時間合成し、Ｎ＋１個の復号化画像を形成する時間合成ステップとを有する。

本発明はまた、少なくとも１つの成分を含むＮ＋１個の画像の符号化装置に関する。ここで本発明の画像の符号化装置には、成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解モジュールと、成分ごとに、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割し、Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に各インタリーブ画像が低周波数の画像部分を１個ずつ含むようにこの低周波数の画像部分をＮ＋１個のインタリーブ画像間に分散させる処理モジュールと、成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する少なくとも１つの符号化モジュールとが設けられている。

有利には、少なくとも１つの符号化モジュールはＪＰＥＧ２０００規格に基づく画像符号化器である。

本発明はさらに、前述の符号化装置にしたがって符号化され、データストリームの形態を有する符号化画像の復号化装置に関する。ここで本発明の符号化画像の復号化装置には、成分ごとに、データストリームまたはその一部を復号化してＮ＋１個のインタリーブ画像を形成する復号化モジュールと、Ｎ＋１個のインタリーブ画像を処理して１個の低周波数画像およびＮ個の高周波数画像を形成する処理モジュールと、１個の低周波数画像およびＮ個の高周波数画像を時間合成し、Ｎ＋１個の復号化画像を形成する時間合成モジュールとが設けられている。

本発明は添付図に示されている有利な実施例についての以下の説明により良好に理解されるはずである。ただし実施例は本発明を限定するものではない。

本発明はソース画像のシーケンスを符号化してデータストリームを形成する方法、およびこの符号化によって形成されたデータストリームを復号化する方法に関する。ソース画像は少なくとも１つの成分、例えば１つのルミナンス成分Ｙおよび２つのクロミナンス成分Ｕ，Ｖを含む。各成分は、複数のピクセルまたは複数の画点から成る１つの画像の形態で表され、各ピクセルまたは各画点はそれぞれ１つの値（例えばルミナンス値Ｙまたはクロミナンス値Ｕ，Ｖ）に対応する。本発明の符号化方法は図３に示されているが、これは図１に示されている従来技術の方法に類似したステップを含むので、相応するステップには相応の参照番号を付してある。一般にソース画像のシーケンスは、符号化前に、図２に示されているようなＮ＋１個の画像から成る画像グループＧＯＦへ分割される。第１の実施例によれば、シーケンスは２個の画像から成るＧＯＦに分割される。

ステップ１０において、各ＧＯＦは例えば動き補償時間フィルタリングＭＣＴＦにより時間分解される。このステップは一般に画像の各成分に対してそれぞれ独立に適用される。動き非補償の時間フィルタリングを用いることもできる。このような時間フィルタリングは従来のたたみ込みプロシージャを用いて行われるか、または連続した予測ステップおよび更新ステップを含むリフティングプロシージャと称される特定のプロシージャにより行われる。フィルタリングそのものはウェーブレット法、例えばHaar型フィルタによるショートフィルタリングスキーマまたはDaubechies 9-7型フィルタによるロングフィルタリングスキーマに基づく。一般に、空間ドメインでは、時間ウェーブレット変換は低周波数での再帰２項フィルタリングから成る。したがって、所定のレベルでの時間分解により、２^ｐ個の画像グループは２^ｐ−１個の低周波数および高周波数の画像から成る２つのグループへ変換される。低周波数画像は新たなレベルの時間分解を行う同じ手法にしたがってさらに分解される。

図４には２個の画像Ａ，Ｂから成るＧＯＦの時間分解スキーマ、すなわちHaar型フィルタに基づくリフティングプロシージャが示されている。この図では、時間分解は２レベルにわたって行われる。つまりシーケンスのソース画像Ａ，Ｂに相応する第１の時間分解レベルＮ_０と、高周波数画像Ｈおよび低周波数画像Ｌに相応する第２の時間分解レベルＮ_１とである。時間分解法はハイパスフィルタおよびローパスフィルタに適用され、時間的高周波数を表す画像Ｈと時間的低周波数を表す画像Ｌとが得られる。フィルタリングを作用させるために、フィルタリングすべき画像対のあいだの動きフィールドがステップ１１で例えばｐｅｌ再帰型予測器またはブロックマッチング型予測器により予測される。この２回のフィルタリングステップは式

に相応する。ここでＭＣＡ←Ｂ（Ｆ）は画像Ｆの動き補償に相応し、ＩＭＣＡ←Ｂ（Ｈ）
は画像Ｈの動き“逆”補償に相応する。

高周波数画像Ｈを得るには、画像Ｂから画像Ａへの動きフィールドが予測される。より詳細に云えば、高周波数画像Ｈは画像Ｂと動き補償された画像Ａとのポイントごとの差形成により得られる。つまり画像Ｂの１ピクセルから、必要であれば適切に補間されて、画像Ｂから画像Ａへの動き予測において計算された動きベクトルにより指示される画像Ａの所定の値が導出される。低周波数画像Ｌを得るには、画像Ａから画像Ｂへの動きフィールドが予測される。より詳細に云えば、低周波数画像Ｌは画像Ａと逆変換された動き補償画像Ｈとの加算により導出される。つまり、必要であれば適切に補間されて、画像Ａの１ピクセル（正確には画像Ａの所定ピクセルのルミナンス値の正規化値）に、画像Ａから画像Ｂへの動き予測において計算された動きベクトルにより指示される高周波数画像Ｈの所定の値が加算される。一般には、一方の動きフィールド、例えば画像Ｂから画像Ａへの動きフィールドのみが予測され、他方の動きフィールドは第１の動きフィールドを直接に逆変換することにより導出される。

ＧＯＦが２個を超える画像から成る場合、このフィルタリングはさらに低周波数画像に対して適用される。詳細に云えば、図５に示されている方法では４個の画像Ａ_１，Ｂ_１，Ａ_２，Ｂ_２から成るＧＯＦが処理されている。時間分解により種々のレベルの時間分解Ｎ_０，Ｎ_１，Ｎ_２に相応に、４個の画像、すなわち１個の低周波数画像Ｌ_３および３個の高周波数画像Ｈ_１，Ｈ_２，Ｈ_３が得られる。図では、第１のレベルの時間分解Ｎ_０はシーケンスのソース画像Ａ，Ｂに相応し、第２の時間分解レベルＮ_１は高周波数画像Ｈ_１，Ｈ_２および低周波数画像Ｌ_１，Ｌ_２に相応し、第３の時間分解レベルＮ_２は高周波数画像Ｈ_３および低周波数画像Ｌ_３に相応する。この時間分解法は、付加的な分解レベルを形成すれば、４個を超える画像から成るＧＯＦにも直接に拡張することができる。前述したように、時間フィルタリング法は動き補償を用いなくてもよい。２個の画像から成るＧＯＦでは、高周波数画像Ｈおよび低周波数画像Ｌは

のように形成される。

ソース画像が複数の成分、例えばＹ，Ｕ，Ｖを含む場合、時間分解ステップは各成分に対してそれぞれ独立に適用される。したがって、２個の画像から成るＧＯＦの場合、ステップ１０は成分ｘ当たり画像Ｌ_ｘおよび画像Ｈ_ｘを形成する。一般に、ルミナンス成分について予測された動きベクトルはスケーリング後に直接にクロミナンス成分について用いられる。スケーリングは例えば４２０フォーマットの場合動きベクトルの２個の成分による分割として行われる。

図３のステップ１６では、ステップ１０で得られた画像が境界によって複数の画像部分に分割され、特定のパターンにしたがった低周波数および高周波数の画像部分のインタリーブが準備される。より詳細に云えば、１個の低周波数画像およびＮ個の高周波数画像がそれぞれＮ＋１個の画像部分へ分割される。つまり例えば４個の画像から成るＧＯＦの場合、１個の低周波数画像Ｌ_３および３個の高周波数画像がそれぞれ４個ずつの画像部分Ｈ_１，Ｈ_２，Ｈ_３へ分割される。ここで４個の画像は、図６に示されているような４個ずつの画像部分Ｘ＿ＮＷ，Ｘ＿ＮＥ，Ｘ＿ＳＷ，Ｘ＿ＳＥへ分割される。ここでＸは符号化すべき４個の画像Ｈ_１，Ｈ_２，Ｈ_３，Ｌ_３を表す。画像のインタリーブには、インタリーブ画像と称される４個の新たな画像を所定の順序のシーケンスとして形成するステップから成る。各インタリーブ画像はそれぞれ低周波数画像Ｌ_３の１つの画像部分を含むように形成される。

有利には、各画像部分は図７に示されているようにインタリーブされる。第１のインタリーブ画像Ｉ_１は低周波数画像Ｌ_３に属する１個の画像部分と高周波数画像Ｈ_１に属する３個の画像部分とを含み、第２のインタリーブ画像Ｉ_２は低周波数画像Ｌ_３に属する１個の画像部分と高周波数画像Ｈ_２に属する３個の画像部分とを含み、第３のインタリーブ画像Ｉ_１は低周波数画像Ｌ_３に属する１個の画像部分と高周波数画像Ｈ_３に属する３個の画像部分とを含み、第４のインタリーブ画像Ｉ_１は低周波数画像Ｌ_３および高周波数画像Ｈ_１，Ｈ_２，Ｈ_３に属する画像部分を１つずつ含む。図８に示されている第２の例では、各インタリーブ画像は時間フィルタリングにより得られた４個の各画像に属する画像部分を１つずつ含んでいる。画像部分のインタリーブは、各インタリーブ画像に低周波数の画像部分が１つずつ含まれるように分散されれば、どのように行ってもよい。すなわち、１個の低周波数画像およびＮ個の高周波数画像がそれぞれＮ＋１個の画像部分に分割され、さらにこれらの画像部分が、低周波数の画像部分が１つずつ各インタリーブ画像に含まれるように分散されてインタリーブされる。特に、低周波数画像は、エネルギが他の画像よりも大きいので、シーケンス再構成に用いられる情報を高周波数画像よりも多く含む。再構成の品質を向上させるには、正確に符号化を行わなければならない。本発明によれば、低周波数の各画像部分はこれら４つの画像部分が同じ画像として符号化される場合よりも多くのビット数で符号化されている。

第２の実施例によれば、２個の画像から成るＧＯＰが図４に示されているように用いられる。前述のように時間分解により低周波数画像Ｌおよび高周波数画像Ｈの２つが形成される。各画像はそれぞれ図９に示されているような２つの画像部分Ｘ＿Ｗ，Ｘ＿Ｅに分割される（ここでＸは画像Ｌ，Ｈのいずれかを表す）。図１０には、特定のパターンにしたがったインタリーブの後、第１の画像Ｉ_１および第２の画像Ｉ_２が形成されることが示されている。ソース画像が複数の成分を含む場合、所定の成分Ｃに対応する画像Ｌ_Ｃ，Ｈ_Ｃが相互にインタリーブされる。インタリーブステップは各成分に対して独立に適用される。ただし、インタリーブパターンは、ソース画像のフォーマットに依存したスケーリングにしたがって、全成分に対して等しくなければならない。４２０フォーマットのシーケンスにおいて、ルミナンス成分Ｙに関する第１のインタリーブ画像すなわち１次画像が画像Ｌ_Ｙに属するＫピクセル幅の部分および画像Ｈ_Ｙに属するＭピクセル幅の部分を含む場合、第１のクロミナンス成分Ｕに関する第１のインタリーブ画像すなわち１次画像は画像Ｌ_Ｕに属するＫ／２ピクセル幅の部分および画像Ｈ_Ｕに属するＭ／２ピクセル幅の部分を含む。同じことが第２のクロミナンス成分Ｖに関する第２のインタリーブ画像すなわち２次画像にも当てはまる。２個を超える画像から成るＧＯＦにおいても同じプロシージャが適用される。このように、所定の成分に関する所定次の各インタリーブ画像に対して、他の成分の同次のインタリーブ画像が相応し、それぞれの同次のインタリーブ画像は同パターンにしたがってインタリーブされる。

有利には、ぼやけ効果を低減するために、種々の画像部分間の境界を修正することができる。２個の画像から成るＧＯＦにおいて、画像部分の境界の位置は、ＧＯＦごとに図１１に示されているような特定のパターンにしたがって修正される。この境界は、新たなＧＯＦのたびに、初期位置から右方へ所定の位置まで１ピクセル（またはそれ以上）ずつオフセットされ、そこから左方へ初期位置まで１ピクセル（またはそれ以上）ずつオフセットされる。別の実施例によれば、境界は、ピクセルの中央列に合わせて置かれた有限のオフセットウィンドウ内で一定の数のピクセルだけ右方へオフセットされる。一定の数のピクセルずつオフセットしていって、境界の現在位置がオフセットウィンドウを外れる場合には、その境界はウィンドウの開始部に再び位置決めされる。画像シーケンスがＨＤフォーマットである場合、ルミナンス成分に対しては、オフセットウィンドウのサイズ１４６ピクセル、一定のピクセル数４０が適している。４２０フォーマットの場合には、クロミナンス成分に対してこれらの値は１／２となる。一般に、２個を超える画像から成るＧＯＦでは、境界はＧＯＦごとに所定の空間方向へオフセットされる。境界のオフセットプロセスは符号化法および復号化法によって既知でなければならない。このために、図１２に示されているような所定数のＧＯＦを含む構造のマルチＧＯＦを形成することができる。ソース画像のシーケンスはマルチＧＯＦへ分割され、これがさらに複数のＧＯＦへ分割される。各マルチＧＯＦの開始部では境界位置が再イニシャライズされる。別の実施例によれば、同期信号がデータストリーム内へ非周期的に挿入され、この同期信号が復号化方法により復号化されるときに境界位置が再イニシャライズされる。

図３に戻って、ステップ１７では、所定の成分に関するインタリーブ画像がそれぞれ独立に符号化され、その際、各インタリーブ画像の符号化には同数のビットが用いられる。ステップ１７は、画像の空間冗長性を低減するための空間分解ステップ１２およびエントロピー符号化ステップ１３を含む。有利には、符号化ステップ１７は、ISO/IEC 15444-1:2002 "Information Technology - JPEG 2000 image coding System"に記載され、特に離散ウェーブレット変換およびビットプレーンエントロピー符号化器を用いるＪＰＥＧ２０００規格に基づく。この手法により特に１ｂｉｔ内の目標スループットを達成することができる。有利には、このスループットは、ＪＰＥＧ２０００規格に基づく符号化法で形成されたバイナリのストリームのヘッダ内のデータの一部を除去することによりさらに低減することができる。例えば、画像のサイズに関する情報は画像ごとに送信する必要はなく、ＧＯＦまたはマルチＧＯＦごとに開始時に送信すればよい。特にソース画像が複数の成分を含む場合、ステップ１７では成分ごとにインタリーブ画像がそれぞれ独立に符号化される。ただし、例えばＪＰＥＧ２０００規格に基づく符号化法により、全成分に関する相応のインタリーブ画像を同時に符号化することもできる。低周波数画像および高周波数画像のインタリーブにより、特に、復号化後の再構成の品質ひいては符号化効率を向上させることができる。

ステップ１４では、場合によりステップ１１で予測された動きベクトルＭＶが、例えば可変長符号化法ＶＬＣまたはエントロピー符号化その他により符号化される。

ステップ１５では、動きベクトルに関するデータと空間‐時間係数に関するデータとが結合され、１つのデータストリームが形成される。

ステップ１１，１４，１５は任意に付加可能なステップである。特に、本発明によれば、時間フィルタリングは動き補償を用いなくてもよい。

本発明はさらに、Ｎ＋１個の画像から成るＧＯＦを前述の方法にしたがって符号化したことにより形成されたデータストリームを復号化する方法にも関する。本発明の復号化方法は図１３に示されている。復号化方法のステップ４１では、ストリームの動きデータと空間‐時間係数に関するデータとが分離される。ステップ４２では空間‐時間係数に関するデータストリームの一部が復号化される。一般にステップ４２はエントロピー復号化ステップ４２０および空間合成ステップ４２１を含む。符号化方法で前述のＪＰＥＧ２０００規格に基づくステップ１７を使用している場合、復号化方法でもＪＰＥＧ２０００規格に基づく復号化ステップ４２を用いる。このステップによりＮ＋１個のインタリーブ画像が形成される。デインタリーブステップ４３では１個の低周波数画像およびＮ個の高周波数画像が形成される。データストリームが動きに関するデータを含む場合、動きベクトル形成ステップ４４でこの動きが復号化される。動きベクトルＭＶ、低周波数画像および高周波数画像は、時間合成ステップ４５で時間フィルタリングにかけられ、復号化画像のシーケンスが形成される。データストリームの形成に使用されたソース画像が複数の成分を含む場合には、ステップ４３で成分ごとに１個の低周波数画像およびＮ個の高周波数画像が形成される。

本発明はさらに図１４の符号化装置２に関する。符号化装置２は、少なくとも１つの成分を含むソース画像を成分ごとに１個の低周波数画像およびＮ個の高周波数画像へ分解する時間分解モジュール２１を有する。この時間分解モジュールには動きベクトルＭＶを形成する動き予測モジュール２２を接続することができる。この場合、符号化装置２は動きベクトル符号化モジュール２３も含む。動きベクトル符号化モジュール２３は例えば可変長符号化法または算術符号化法に基づく符号化プロセスを行う。また符号化装置２は、１個の低周波数画像およびＮ個の高周波数画像をそれぞれＮ＋１個の画像部分へ分割し、これを前述のようにインタリーブし、所定の順序のＮ＋１個のインタリーブ画像を形成する処理モジュール２４を含む。符号化装置２はさらに、少なくとも１つの固定画像符号化装置２５を含み、この固定画像符号化装置は空間分解モジュール２５０およびエントロピー符号化器２５１を含む。符号化装置２はさらに符号化モジュール２３，２５から供給されるデータストリームを結合して１つのデータストリームとするマルチプレクサモジュール２６を含む。モジュール２２，２３，２６は任意に付加可能なモジュールである。とりわけ画像シーケンスの時間分解には動き補償が用いられなくてもよい。有利には、固定画像符号化装置２５はＪＰＥＧ２０００規格に基づいて離散ウェーブレット変換およびビットプレーンエントロピー符号化器を用いている。本発明によれば、他の固定画像の符号化法を用いる装置を使用することもできる。

実施例によれば、固定画像符号化装置２５により種々の成分Ｙ，Ｕ，Ｖに関するインタリーブ画像を任意の順序で一緒に符号化することができる。別の実施例によれば、第１の固定画像符号化装置がルミナンス成分Ｙに関するインタリーブ画像を符号化し、第２の固定画像符号化装置がクロミナンス成分Ｕ，Ｖに関するインタリーブ画像を任意の順序で符号化するために用いられる。

本発明はさらに、Ｎ＋１個の画像から成るＧＯＦを前述の符号化方法にしたがって符号化することにより形成されたデータストリームを復号化する図１５の復号化装置３にも関している。復号化装置３によって受信されたデータストリームは、デマルチプレクサモジュール３１の入力側へ送信され、このモジュールにより空間‐時間係数に関するデータと動きベクトルに関するデータとが分離される。動きベクトルに関するデータは、例えばエントロピー復号化器である動き復号化モジュール３２へ送信される。空間‐時間係数に関するデータは固定画像復号化装置３３へ送信される。固定画像復号化装置３３はエントロピー復号化器３３０および空間合成モジュール３３１を含む。固定画像復号化装置３３は符号化装置２の固定画像符号化装置２５に対して逆の動作を行う。特にこの固定画像復号化装置はインタリーブ画像を種々の時間周波数帯域に相応に再構成する。このように復号化されたインタリーブ画像は処理モジュール３４でデインタリーブされ、１個の低周波数画像およびＮ個の高周波数画像が形成される。処理モジュール３４は符号化装置２の処理モジュール２４に対して逆の動作を行う。復号化装置３で受信されたデータストリーム（使用されたソース画像）が複数の成分を含む場合には、処理モジュール３４は成分ごとに１個の低周波数画像およびＮ個の高周波数画像を形成する。動き復号化モジュール３２で復号化された動きベクトルＭＶおよび処理モジュール３４から供給された低周波数画像および高周波数画像は、時間合成モジュール３５へ送信され、そこで時間合成フィルタリングに基づいて出力画像として再構成される。付加的に、時間合成モジュールを後処理回路へ接続してもよく、この場合、後処理回路の出力が復号化装置３の出力となる。後処理回路では例えばポストフィルタリングが行われ、ブロック効果などの障害が低減される。なお符号化装置２が前述のモジュール２２，２３，２６を含まない場合には、相応に復号化装置３はモジュール３１，３２を含まない。

もちろん本発明は上述した実施例のみに限定されない。特に当該分野の技術者であれば、これらの実施例を変更したり組み合わせたりして、そのバリエーションから容易に種々の利点を導出することができるであろう。例えば、ＧＯＦの２つの画像Ｌ，Ｈのあいだの境界は、垂直線に代えて水平線であってもよい。

本発明は特にディジタルシネマで用いられるワイヤレスカメラに適している。

従来技術の符号化方法を示す図である。 従来技術の画像シーケンスのグループ画像ＧＯＦの構造を示す図である。 本発明の符号化方法を示す図である。 ２画像から成るＧＯＦの画像シーケンスをウェーブレット変換ベースで時間分解する従来技術の手法を示す図である。 ４画像から成るＧＯＦの画像シーケンスをウェーブレット変換ベースで時間分解する従来技術の手法を示す図である。 ４画像から成るＧＯＦの画像シーケンスの時間分解から得られた低周波数画像および高周波数画像を画像部分へ分割した様子を示す図である。 図６の低周波数および高周波数の画像部分のインタリーブの第１の例を示す図である。 図６の低周波数および高周波数の画像部分のインタリーブの第２の例を示す図である。 ２画像から成るＧＯＦの画像シーケンスの時間分解から得られた低周波数画像および高周波数画像を画像部分へ分割した様子を示す図である。 図９の低周波数および高周波数の画像部分のインタリーブを示す図である。 ＧＯＦごとの画像部分境界のオフセットを示す図である。 画像シーケンスのマルチＧＯＦ構造を示す図である。 本発明の復号化方法を示す図である。 本発明の符号化装置を示す図である。 本発明の復号化装置を示す図である。

符号の説明

２ 符号化装置、 ２１ 時間分解モジュール、 ２２ 動き予測モジュール、 ２３ 動きベクトル符号化モジュール、 ２４ 処理モジュール、 ２５ 固定画像符号化装置、 ２５０ 空間分解モジュール、 ２５１ エントロピー符号化器、 ２６ マルチプレクサモジュール、 ３ 復号化装置、 ３１ デマルチプレクサモジュール、 ３２ 動き復号化モジュール、 ３３ 固定画像復号化装置、 ３３０ エントロピー復号化器、 ３３１ 空間合成モジュール、 ３４ 処理モジュール、 ３５ 時間合成モジュール

Claims (11)

1. 少なくとも１つの成分を含むＮ＋１個の画像を符号化する方法であって、前記方法は、成分ごとに、Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解ステップを含む、方法であって、
   成分ごとに、前記１個の低周波数画像および前記Ｎ個の高周波数画像をそれぞれＮ＋１個の画像部分に分割する分割ステップと、
   成分ごとに、前記Ｎ＋１個の画像部分をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に前記Ｎ＋１個のインタリーブ画像の各々が低周波数画像の１個の画像部分および高周波数画像のＮ個の画像部分を含むように当該低周波数画像の前記Ｎ＋１個の画像部分を前記Ｎ＋１個のインタリーブ画像間に分散させるインタリーブステップと、
   成分ごとに、Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する符号化ステップと
   を有することを特徴とする方法。
2. 前記符号化ステップは、ＪＰＥＧ２０００符号化規格に基づいて行う、請求項１記載の方法。
3. 前記時間分解ステップは、動き補償時間フィルタリングを用いて行う、請求項１または２記載の方法。
4. 前記動き補償時間フィルタリングは、Haar型フィルタおよびDaubechies 5-7型フィルタを含むグループに属するフィルタを用いる、請求項３記載の方法。
5. 前記方法は、少なくともＮ＋１個の第１のグループおよび第２のグループに連続的に適用され、前記画像の各々は、Ｍ個の境界によりＮ＋１個の画像部分に分割され、前記Ｍ個の境界のそれぞれの位置は、所定の空間方向に沿って前記第２のグループの画像において配置される、請求項１から４までのいずれか１項記載の方法。
6. Ｎは１であり、Ｍは１である、請求項５記載の方法。
7. 前記少なくとも２つのグループの画像の開始部において、前記Ｍ個の境界の各々は、あらかじめ定められた領域内に配置される、請求項５記載の方法。
8. 画像を復号化する方法であって、符号化画像はデータストリームの形態で生じる、方法であって、
   成分ごとに、Ｎ＋１個のインタリーブ画像を形成するように、前記ストリームまたは前記ストリームの一部を復号化する復号化ステップであって、前記Ｎ＋１個のインタリーブ画像の各々は、低周波数画像の１個の画像部分および高周波数画像のＮ個の画像部分を含み、前記低および高周波数画像は、Ｎ＋１個の画像部分に分割される、ステップと、
   成分ごとに、前記低周波数画像および前記Ｎ個の高周波数画像を形成するように、前記Ｎ＋１個のインタリーブ画像をデインタリーブするデインタリーブステップと、
   Ｎ＋１個の復号化画像を形成するように、前記Ｎ＋１個の低周波数および高周波数画像を時間合成する時間合成ステップと
   を有することを特徴とする方法。
9. 少なくとも１つの成分を含むＮ＋１個の画像を符号化する符号化装置であって、前記符号化装置は、成分ごとに、前記Ｎ＋１個の画像を時間分解して１個の低周波数画像およびＮ個の高周波数画像を形成する時間分解モジュールを含む、符号化装置であって、
   成分ごとに、前記Ｎ＋１個の低周波数および高周波数画像のそれぞれをＮ＋１個の画像部分に分割し、前記Ｎ＋１個の低周波数および高周波数画像をインタリーブしてＮ＋１個のインタリーブ画像から成るシーケンスを形成し、その際に前記Ｎ＋１個のインタリーブ画像の各々が低周波数画像の１個の画像部分および前記高周波数画像のＮ個の画像部分を含むように当該低周波数画像の画像部分をＮ＋１個のインタリーブ画像間に分散させる処理モジュールと、
   成分ごとに、前記Ｎ＋１個のインタリーブ画像を同数のビットによりそれぞれ独立に符号化する少なくとも１つの符号化モジュールと
   を含むことを特徴とする画像の符号化装置。
10. 前記少なくとも１つの符号化モジュールは、ＪＰＥＧ２０００規格に基づく画像符号化器である、請求項９記載の装置。
11. 画像を復号化する復号化装置であって、符号化画像は、データストリームの形態で生じる、復号化装置であって、
    成分ごとに、Ｎ＋１個のインタリーブ画像を形成するように、データストリームまたはデータストリームの一部を復号化するモジュールであって、前記Ｎ＋１個のインタリーブ画像の各々は、低周波数画像の1個の画像部分および高周波数画像のＮ個の画像部分を含み、前記低および高周波数画像は、Ｎ＋１個の画像部分に分割される、モジュールと、
    前記低周波数画像および前記Ｎ個の高周波数画像を形成するように、前記Ｎ＋１個のインタリーブ画像を処理するモジュールと、
    前記Ｎ＋１個の復号化画像を形成するように、前記Ｎ＋１個の低周波数および高周波数画像を時間合成するモジュールと
    を含むことを特徴とする復号化装置。

Images