JP5717886B2 - デジタル画像のシーケンスを符号化する方法 - Google Patents

Description

本発明は、デジタル画像のシーケンスを符号化する方法、および、そのようなシーケンスを復号化する方法に関する。本発明は、更に、符号化装置、復号化装置、および、符号化装置と復号化装置を含んだシステムに関する。

高い符号化効率を有するデジタルビデオ符号化のため、いわゆる動き補償が使用される。動き補償において、符号化される画像および対応する参照画像における、類似する画像ブロック間の動きベクトルが決定される。動きベクトルは、符号化される画像の画像ブロックと同じ、または、非常に類似した画像情報を有する参照画像の参照ブロックを参照する。動き補償では、画像内の多数の構造体は移動するのみであり、ある画像から次の画像にかけて変化が起こらないことを考慮する。画像ブロックおよびその対応する参照ブロックに基づいて、これらのブロック間の予測誤差が計算され、符号化のために使用される。

ある一定の状況下において、予測に使用される参照ブロックを、参照画像内の所定の領域に制限する必要がある。例えば、刊行物１，２および３は、各画像の一領域だけが段階的にイントラ更新されるビデオ符号化処理を記載している。従って、画像は、既にイントラ符号化された更新後の領域と、未だにイントラ符号化されていない未更新の領域とを有することになる。このシナリオにおいて、画像の更新後の領域における画像ブロックを、参照画像の未更新の領域における参照ブロックから予測することは禁止される。そうでないと、ビデオストリームにランダムにアクセスする場合、未更新の領域におけるブロックが正確に復号化されていないために、これらの参照は不整合を起こしてしまう。

刊行物４は、複数の入力ビデオストリームに基づいて、符号化ビデオストリームを生成する方法を開示している。刊行物４は、１つのビデオストリームの画像を符号化するための予測は、これらの画像の範囲内のみで行われるべきであると述べている。

本発明の課題は、高い符号化効率を有し、かつ、画像ブロックの時間予測に関する符号化制限を考慮した、デジタル画像のシーケンスを符号化する方法を提供することである。

この課題は、本発明の独立請求項によって解決される。本発明の好ましい実施例は、従属請求項に記載される。

本発明による方法によれば、動き補償処理が実行され、動き補償処理において、現在の画像の複数の画素を示す画像ブロックと、参照画像の複数の画素を示す参照ブロックとの間の動きベクトルが使用され、参照画像は、シーケンスからの１つ以上の画像に基づく。動き補償処理において、動きベクトルによって示される対応する参照ブロックに基づく時間予測が現在の画像の少なくとも一部の各画像ブロックに対して実行され、これにより、画像ブロックと対応する参照ブロックとの間の予測誤差が得られる。予測誤差は、適切な符号化技術によって符号化される。本発明の方法によれば、デジタル画像のシーケンスにおける現在の画像は、複数の画像領域に分割され、参照画像の参照領域は、各画像領域に関連しており、画像領域における画像ブロックの時間予測は、画像領域に関連する参照領域内に少なくとも部分的に位置し、かつ、この参照領域の画素情報だけを含む参照ブロックに基づく。

本発明は、複数の画像ブロックに関して、時間予測に関する制限を考慮することができるという有利な点を有する。これは、関連する参照領域からの画像領域の予測のみを許可するという、参照領域と画像領域との適切な関連付けにより達成される。

上記の通り、参照ブロックは、部分的にしか参照領域内に入っていなくてもよい。ただし、参照ブロックにおける画素情報は、参照領域の内側の情報だけに基づく必要がある。好ましい実施形態において、参照領域内に完全に位置する参照ブロックに加え、対応する参照領域を超えて延在する境界参照ブロックを時間予測に使用することができ、参照領域の外側に位置する境界参照ブロックの画素値は、参照領域の内側の境界参照ブロックの画素値だけに基づいて決定される。そのため、参照領域の外側の画素値を取得するのに、周知の境界拡張アルゴリズムを使用できる。特に、参照領域の境界に位置する境界参照ブロックの画素値は、参照領域の外側に位置する境界参照ブロックの画素に割当られる。これは、参照領域の境界の画素値を領域の外側の画素に割り当てる周知の外挿手法である。特に、参照領域を超えて境界部の画素値を拡張するために、例えば水平方向または垂直方向など、画像における対応する拡張方向を定義することができる。

本発明の別の実施形態によれば、参照画像は、符号化の際に圧縮された画像から生成される再構成画像、または、複数の再構成画像の一部を含む。

本発明の別の変形によれば、予測符号化は、変換ステップと、量子化ステップと、無損失のエントロピー符号化ステップとを含む。これらの符号化ステップは従来技術において周知である。好ましくは、再構成画像、または、参照画像を形成する再構成画像は、変換ステップおよび量子化ステップによって圧縮され、逆変換および逆量子化を実行することによって再構成される画像である。

特に好ましい実施形態によれば、本発明の方法は、複数のビデオ画像を含む混合ビデオストリームに使用され、各画像領域、および、画像領域に関連する参照領域は、混合ビデオストリームの（共通の）ビデオ画像に対応する。予測を別々のビデオ画像に制限することによって、動き補償処理における不整合を避けられる。

本発明の別の実施形態によれば、１つ以上の画像領域のそれぞれは下位領域に分割され、１つ以上の下位領域に対し、更なる符号化制限が適用される。画像領域および下位領域への画像の分割を示すため、階層的なインデックス体系を使用することができる。この体系によれば、同一の階層インデックスの値は、現在の画像および時間予測が許可された参照画像における対応する領域を示す。好ましい実施形態によれば、下位領域は、上記のインデックス体系によって示すことができる更に小さい下位領域に分割されても良い。別の実施形態によれば、インデックス体系における更なるインデックスが予め用意される。この更なるインデックスは、画像領域のうち、画像領域の下位領域と同一の階層レベルにある参照画像の全ての下位領域から時間予測することができる下位領域を示すために使用される。

本発明の別の実施形態によれば、少なくとも１つの画像領域における空間的に連続しているセクションは、現在の画像から次の画像にかけてイントラ符号化され、このイントラ符号化の周期は、所定の数の画像が符号化された後に、全画像領域が符号化されるように定義される。

この実施形態は、画像領域に基づく動き補償と、刊行物１，２および３に定義される段階的なイントラ更新符号化との組み合わせである。このイントラ符号化技術を使用することによって、複数の画像の後に、対応する画像領域における全体のイントラ更新を達成できる。この方法は、固定ビットレートのチャンネルで画像のシーケンスを転送する際に、バッファサイズを減らし、遅延を減少させる。

上記の実施形態の変形によれば、少なくとも１つの画像領域は、更新後の下位領域と未更新の下位領域とに分割され、更新後の下位領域は、イントラ符号化周期において既にイントラ符号化されたセクションを示し、未更新の下位領域は、イントラ符号化周期において未だ符号化されていないセクションを示す。更新後の下位領域における画像ブロックの時間予測は、好ましくは、画像領域に関連する参照領域の更新後の下位領域の画素情報だけを含む参照ブロックに基づいており、未更新の下位領域の画像ブロックの時間予測は、参照領域の更新後の下位領域と未更新の下位領域との画素、すなわち、更新後の下位領域と未更新の下位領域とのいずれかまたは両方の画素を含む参照ブロックに基づく。

別の実施形態によれば、現在の画像における画像領域および／または更なる画像領域は、時間予測以外の１つ以上の所定の処理工程、特に、イントラ予測、非ブロック化フィルタリング、インループフィルタリングおよび／または補間フィルタリングにおいて、互いに独立して処理される。

本発明によれば、画像の画像領域への分割は、様々な方法によって表すことができる。一実施形態によれば、この分割は各符号化画像においてシグナリングされる。付加的にまたは択一的に、この分割は、符号化画像とは別に定義されたパラメータセットにおいてシグナリングすることもできる。

上記の符号化方法に加え、本発明は、上記発明の方法によって符号化されたデジタル画像のシーケンスを復号化する方法に関する。この復号化方法において、符号化信号における予測誤差が復号化され、符号化の際と同一の動きベクトルを用いて、動き補償処理が実行される。従って、符号化に使用した動きベクトルは、復号化方法において利用できる。例えば、動きベクトルは、符号化ビデオストリームにおける更なる情報として送信される。復号化方法において、復号化された予測誤差は、動き補償処理の参照画像を計算するのに使用される。

本発明は更に、上記符号化方法によって画像が符号化され、上記復号化方法によって符号化画像が復号化される、デジタル画像のシーケンスを符号化および復号化する方法に関する。

本発明は、デジタル画像のシーケンスを符号化する装置を含む。この装置は動き補償処理を実行する手段と、予測誤差を符号化する手段とを備える。この装置では、動き補償処理において、現在の画像の複数の画素を示す画像ブロックと参照画像の複数の画素を示す参照ブロックとの間の動きベクトルが使用され、参照画像は、シーケンスからの１つ以上の画像に基づいており、動きベクトルによって示される対応する参照ブロックに基づく時間予測が、現在の画像の少なくとも一部の各画像ブロックに対して実行され、これにより、画像ブロックと対応する参照ブロックとの間の予測誤差が得られる。

この装置における、動き補償処理を実行する手段は、シーケンスにおける現在の画像を複数の画像領域に分割し、参照画像の参照領域は、各画像領域に関連しており、画像領域における画像ブロックの時間予測は、参照領域内に少なくとも部分的に位置し、この参照領域の画素情報だけを含む参照ブロックに基づく。

本発明の装置は、好ましくは、本発明による上記の好ましい実施形態の符号化方法を実行するように構成されている。

本発明は更に、本発明の符号化方法によって符号化されたデジタル画像のシーケンスを復号化する装置に関する。装置は、予測誤差を復号化する手段と、符号化の際と同一の動きベクトルを用いて、動き補償処理を実行する手段とを備える。

本発明は更に、デジタル画像のシーケンスを符号化および復号化するシステムを含む。システムは、本発明による上記の符号化装置と、上記の復号化装置とを含む。

本発明の実施例を、添付の図面に関連して以下に説明する。

本発明の一実施例によるビデオストリームの符号化および復号化を示した概略図である。 従来技術による、段階的なイントラ更新が行われる画像に対する動き補償処理を示した図である。 本発明の一実施例に基づいた動き補償処理を示した図である。 本発明の別の実施例に基づいた動き補償処理を示した図である。 本発明の一実施例によるビデオストリームの符号化および復号化を実行するシステムを示した概略図である。

図１は、本発明の一実施形態に基づいて、ビデオストリームを符号化および復号化するステップを示す。図１の左側部分は、ビデオストリームＸを符号化するための符号化手段ＣＯＤを示す。図１の右側部分は、符号化手段ＣＯＤによって符号化されたビデオストリームを復号化するための復号化手段ＤＥＣを示す。ビデオストリームＸは、符号化処理が行われる複数の画像Ｉを備える。この処理において、予測誤差信号は符号化される。図１の実施形態において、この信号は、符号化される現在の画像を形成する入力信号Ｉと、先行画像である参照画像を動き補償して再構成したものとの差を示す。ただし、参照画像は、ビデオストリームにおける画像の時間的順序に従って、現在の画像の前および／または後の異なった画像の一部から構成されても良い。

図１において、入力画像と予測画像の差として、加算手段Ａによって求められた予測誤差には、変換Ｔ、特に周知の離散コサイン変換（ＤＣＴ）が行われる。この変換によって生成された変換係数は、その後、量子化手段Ｑによって量子化される。その結果、画像における対応するマクロブロックのシンボルＳが得られる。このシンボルＳは、変換係数と、予測のために使用される動きベクトルと、更なる符号化パラメータとを含む符号化画像情報を示す。

図３において、符号化処理中に使用される動きベクトルは、ＭＶで示される。この動きベクトルは、動き推定ステップＭＥにおいて決定される。この動き推定ステップＭＥでは、現在の画像Ｉの画像ブロックに対する、参照画像の類似画像ブロックが決定され、参照画像が画像記憶装置ＳＰに格納される。動きベクトルは、現在の画像の画像ブロックと参照画像の対応する類似画像ブロックとの間の移動を示す。この動きベクトルは、復号化のために必要となる。従って、図１の破線で示されるように、動きベクトルは、復号化手段ＤＥＣに送信される。記憶装置ＳＰ内の参照画像は、逆量子化ＩＱおよび逆変換ＩＴを実行することによって、シンボルＳから生成される。この結果、再構成された予測誤差が得られる。この予測誤差は、加算手段Ａ’によって、記憶装置ＳＰ内の、先行する再構成された参照画像に加えられる。この結果、新しい参照画像が得られる。

これまでの説明は、従来技術から知られる一般的な符号化処理に関する。本発明によれば、符号化される画像は複数の画像領域に分割され、ここで、対応する参照画像の参照領域は、各画像領域に関連する。画像領域の画像ブロックに対する予測誤差を計算するための参照ブロックが、画像領域に関連する参照領域からの情報だけを含むように、画像領域および参照領域は、動き補償処理に基づいて時間予測を制限する。画像領域および参照領域を適切に定義することによって、符号化エラーは回避される。これは、画像領域が、画像Ｉのシーケンスによって表されるビデオストリームに含まれる別々のビデオ画像に関連する場合に、特に有用である。画像領域および参照領域に基づいた上記の動き補償処理を、図３および４に関連して以下に詳細に説明する。

図１の符号化手段ＣＯＤは、更に、周知のエントロピー符号化手段ＥＣを含む。この符号化手段は、シンボルＳを無損失でエントロピー符号化し、より高い符号化効率をもたらす。エントロピー符号化されたシンボルＳ’は、エントロピー復号化ＥＤ、逆量子化ＩＱ、および逆変換ＩＴを行う復号器ＤＥＣに送信される。従って、復号化された予測誤差が求められる。この誤差および、復号器に送信され、記憶装置ＳＰに格納された動きベクトルＭＶに基づいて、オリジナルの復号化画像を求めるための動き補償処理が実行される。そのため、加算手段Ａ’’によって、予測誤差が、記憶装置ＳＰにおける動き補償された復号化画像と結合される。

本発明を詳細に説明する前に、刊行物１，２および３に記載されている従来の動き補償処理を説明する。この動き補償処理は、本発明の動き補償処理と組み合わされても良い。従来の動き補償処理は、図２に示されている。図２は、符号化すべき現在の画像Ｉ、および、動き補償のために使用される対応する参照画像ＲＩを示す。図２の符号化処理によれば、画像の一部だけがイントラ符号化される。この部位は、図２においてセクションＳＥとして示され、ある画像から次の画像にかけて、下方へと移動する。イントラ符号化は、イントラ符号化周期において行われ、ここで、符号化周期内で全ての画像を符号化した後に、画像における全てのセクションがイントラ符号化ステップにおいて更新される。図２において、線分Ｌの上方の領域Ａ１は、対応する符号化周期において、既にイントラ符号化されたセクションである更新後の領域を形成する。これに対して、領域Ａ２は、現在のイントラ符号化周期において、未だイントラ符号化されていないセクションである未更新の領域を形成する。画像Ｉに類似して、参照画像ＲＩも、更新後の領域Ａ１’と、未更新の領域Ａ２’とを含む。ここで、参照画像ＲＩにおいては、セクションＳＥが、未だイントラ符号化されていないので、更新後の領域Ａ１’はＡ１と比較して小さい。

図２で実行される時間予測において、既に更新された領域Ａ１における画像ブロックを、参照画像ＲＩの未更新の領域Ａ２’に含まれる参照ブロックから予測することは禁止されるべきである。この符号化の制限によって、更新後の領域Ａ１における画像ブロックは、参照ブロックＲ１など、領域Ａ１’の参照ブロックからしか予測されない。参照ブロックＲ２およびＲ３は、少なくとも部分的に未更新の領域Ａ２’に含まれるため、これらの参照ブロックは、領域Ａ１における画像ブロックの予測ために使用することはできない。これとは逆に、未更新の領域Ａ２における画像ブロックに対して、参照画像ＲＩにおける任意の位置の参照ブロックを使用できる。すなわち、参照ブロックＲ１および参照ブロックＲ２またはＲ３を予測のために使用できる。

上記の通り、刊行物１，２および３は、更新後の領域を識別する方法を開示している。これは、例えばブロック２のような、両方の領域に存在する参照ブロックの特別の処理を可能とする。更新後の領域内に存在するブロックＲ２の一部は、参照のために使用されるが、未更新の領域内に存在するブロックＲ２の一部は、更新後の領域からの外挿によって生成された画素と置き換えられる。本発明の方法とは異なり、刊行物１，２および３に示されている方法では、単一の領域境界、すなわち、更新後の領域および未更新の領域の境界がシグナリングされる。しかしながら、ここで定義される領域とは、複数の画像領域および参照領域を表現するのには適していない。なぜなら、制限された参照を有する単一の領域だけがシグナリングされるためである。更に、課される制限は、未更新の領域から更新後の領域を予測できないということのみである。

図３は、本発明の第１実施形態に基づく動き補償処理を示す。図３は、対応する参照画像ＲＩの構造と同一の構造を有する現在の画像Ｉを示す。従って、対応する参照画像は、括弧書きのＲＩで示される。画像Ｉは４つの画像領域ＩＡ１、ＩＡ２、ＩＡ３およびＩＡ４に分割される。同一の参照領域ＲＡ１、ＲＡ２、ＲＡ３およびＲＡ４は、参照画像ＲＩに含まれる。画像領域ＩＡ１に関連する参照領域はＲＡ１、画像領域ＩＡ２に関連する参照領域はＲＡ２、画像領域ＩＡ３に関連する参照領域はＲＡ３、および、画像領域ＩＡ４に関連する参照領域はＲＡ４で示される。

図３に示される実施形態は、画像領域ＩＡ１からＩＡ４の各領域が別々のビデオ画像に対応する混合されたビデオストリームに関する。異なったビデオ画像間での時間予測を避けるために、各画像領域ＩＡ１からＩＡ４における画像ブロックの予測は、関連する参照領域ＲＡ１からＲＡ４における画素情報だけを含む参照ブロックに基づいてのみ実行することができる。図３は、画像ブロックＢ１の例を示す。このブロックは、対応する参照領域ＲＡ１の範囲内に完全に位置する参照ブロック、または、領域ＲＡ１の範囲内には、部分的にしか位置しないが、この領域からの情報だけを含む参照ブロックからのみ予測することができる。

参照ブロックが、関連する参照領域の外に部分的に位置する場合、アクティブな参照領域の画素だけが使用される。その他の画素（例えば、隣接する画像領域における画素）は周知の境界拡張アルゴリズム、例えば外挿法を使用して推定される。好ましい実施形態において、参照領域の境界における画素値は、参照領域の外側に位置する画素値として使用される。特に、画素値は、垂直な境界に対して水平に拡張されるか、又は、水平な境界に対して垂直に拡張される。

図３に記載される実施形態は、矩形の画像領域および参照領域に関する。ただし、原則として、領域は任意の形状を取ることができる。画像をより小さい画像領域へと再分割する下位分割を表すには、２つの選択肢が考えられる。第１の選択肢において、下位分割は、各符号化画像内において定義および識別される。第２の選択肢において、画像の下位分割は、符号化画像とは別に、例えばピクチャーパラメータセットにおいて定義することができる。そして、下位分割は、パラメータセットへの参照によって示される。

図３に示される実施形態も、図２に示される実施形態と組み合わせることができる。そのため、図２に示されるように、各画像領域ＩＡ１は画像Ｉによって示すことができる。これにより、更新後および未更新の領域に対するものと同一の予測制限が、各画像領域に適用される。更に、画像ブロックが、関連する参照領域からのみ予測することができるという制限は、そのような組み合わされた実施形態においても有効である。

図４は、そのような組み合わされた実施形態を示す。図３に類似して、画像Ｉは４つの画像領域ＩＡ１，ＩＡ２，ＩＡ３およびＩＡ４に分割される。各画像領域に対して、関連する参照領域ＲＡ１，ＲＡ２，ＲＡ３およびＲＡ４は、対応する参照画像ＲＩにおけるそれぞれ同一の位置に存在する。各ビデオ画像が、図２に示される部分イントラ更新によって、符号化されている混合ビデオストリームでは、各画像領域ＩＡ１からＩＡ４が、別々のビデオ画像を形成している。対応する画像領域における更新後の領域Ａ１および未更新の領域Ａ２の境界は、線分Ｌで示される。例えば、領域Ａ１の画像ブロックはＢ２で示され、領域Ａ２の画像ブロックはＢ３で示される。

画像Ｉにおける予測制限をシグナリングするため、全ての画像領域を指定する階層的なインデックス"ｘ．ｙ"が使用される。この階層的なインデックスによれば、同一のインデックス"ｘ"および同一の下位インデックス"ｙ"を有する参照領域からのみ予測をすることができる。ただし、下位インデックス"ｙ"が０の場合、同一のインデックス"ｘ"を有する全ての画像領域から予測を行うことが出来る。階層的なインデックスは、画像Ｉにおける全ての画像領域における対応する更新後および未更新の領域を特定するのに、使用される。これらの領域は、ＰＡ１．０，ＰＡ１．１，ＰＡ２．０，ＰＡ２．１，ＰＡ３．０，ＰＡ３．１，ＰＡ４．０およびＰＡ４．１で示される。下位インデックス"ｙ"の値が０の場合、更新後の領域を示し、下位インデックス"ｙ"の値が１の場合は、未更新の領域を示す。上記の階層インデックスに基づいて、例えば、現在の画像Ｉの画像領域ＰＡ１．０は、参照画像の画像領域ＰＡ１．０およびＰＡ１．１から予測することができ、ここで、参照画像において、イントラ符号化周期は一段階遅れているため、境界Ｌは若干上方にずれている。

上記インデックス体系は、参照画像の全ての領域からの予測を可能にするために使用されても良い。これはインデックス０．０（インデックス０に等しい）で示される。類似のルールを、例えば"ｘ．ｙ．ｚ"など、より高次のインデックス階層を有する画像領域の定義にも適用できる。一般には、現在の画像における画像領域の予測を可能とする参照画像の参照領域一覧は、上記の階層インデックス体系によって、シグナリングまたは定義することができる。

上記の画像領域の定義は、画像内のイントラ予測を、それを越えて実行することができない人工の境界を定義するために使用されても良い。この仕組みは、不整合を回避する。例えば、混合ビデオストリームにおいて、周辺の画像領域の画素からの予測は行われない。これは、これらの画像が、混合前のオリジナル符号化ビデオ画像において、イントラ予測に利用できなかったためである。更に、通常は、部分イントラ更新を使用するビデオストリームにおいて、未更新の領域から更新後の領域のイントラ予測を行うことができる。ビデオストリームにランダムにアクセスする場合は、未更新の領域の画素は、もはや利用できない可能性、すなわち、符号化が正確に実行されていない可能性がある。画像領域の使用はこれらの場合において、イントラ予測を禁止する。また、イントラ予測以外の他の処理工程においても（非ブロック化フィルタリング、インループフィルタリング、補間フィルタリング等）、現在の画像の画像領域を使用して、人工の境界を定義することができる。イントラ予測の場合と同様に、周辺の画像領域からの画素値は、アクティブな画像領域内の処理に使用されるべきではない。これによって、周辺部が変化した場合（例えば、ストリームの混合、または、部分イントラ更新を使用した符号化ストリームへのランダムなアクセスによって変化が起こった場合に）、不整合をさけられる。

画像ブロックの予測と異なり、エントロピー符号化は、画像領域を横断して行うことができる。画像における全ての情報（シンタックス要素）を符号化するために、ジョイント統計モデルを使用することができる。コンテキストモデルの再設定は必要とされない。従って、画像領域の使用は、エントロピー符号化を更に柔軟なものとする。これは、符号化効率を高める結果となる。

上記の発明は複数の点で有利である。適した画像領域および関連する参照領域を定義することによって、混合ビデオストリームに対して、境界を認識した動き補償処理を実行することができる。これは、刊行物１，２および３に記載されるような、更新後および未更新の領域の定義では不可能である。部分イントラ更新を使用する混合ビデオストリームおよび符号化ビデオストリームに対して、境界を認識した動き補償処理の統一されたシグナリング方式を使用することができる。混合ビデオストリームにおいて、インター予測、イントラ予測、および、他のイントラ画像処理工程における不整合を避けることができる。

本発明の有利な実施形態においては、符号化効率を高めることができる。特に、境界拡張アルゴリズムを、対応する画像領域の外側に位置する参照ブロックの画素に使用することによって、予測に使用される参照ブロックの選択において、より高い柔軟性を得られる。エントロピー符号化に関し、画像領域の境界におけるコンテキストモデルの再設定を行う必要が無いので、複数、または、全ての画像領域に対してジョイント統計を使用することができる。

図５は、本発明によるビデオストリームの符号化および復号化システムの一実施例を示す。デジタルビデオストリームＸは、動き補償処理を行う手段１０１を備える符号化装置１によって符号化される。当該動き補償予測処理において、現在の画像と参照画像の画像ブロック間の動きベクトルが使用され、動きベクトルによって示される対応する参照ブロックに基づく時間予測が、各画像ブロックまたは現在の画像の少なくとも一部に対して行われる。これによって、画像ブロックと対応する参照ブロックとの間の予測誤差が得られる。符号化装置は更に、動き補償手段１０１によって生成された予測誤差を符号化する手段１０３を備える。動き補償手段１０１は更に、ビデオストリームにおける現在の画像を複数の画像領域に分割する手段を含む。参照画像における参照領域は、各画像領域に関連する。画像領域における画像ブロックの時間予測は、画像領域に関連する参照領域に少なくとも部分的に位置し、かつ、この参照領域の画素情報だけを有する参照ブロックに基づく。

符号化装置１によって符号化されたビデオストリームは、Ｓ’で示され、対応する復号化装置２によって処理される。この復号化装置は、ストリームＳ’に含まれる予測誤差を復号化する手段２０１と、符号化装置１が符号化に使用したのと同一の動きベクトルを使用して、動き補償処理を行う手段２０２とを備える。そのため、符号化装置１で決定された動きベクトルは、復号化装置２に送信される。その結果、復号化ビデオストリームＸ’は、復号化装置２によって出力される。

［参考文献一覧］
［刊行物１］ Ｋｉｍｉｈｉｋｏ Ｋａｚｕｉ， Ｊｕｎｐｅｉ Ｋｏｙａｍａ， Ａｋｉｒａ Ｎａｋａｇａｗａ， "Ｅｖａｌｕａｔｉｏｎ ｒｅｓｕｌｔ ｏｆ ＪＣＴＶＣ−Ｂ０３１"， ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３， ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ− Ｃ０２１／Ｍ１８０２８， Ｇｕａｎｚｈｏｕ， Ｃｈｉｎａ， Ｏｃｔｏｂｅｒ ２０１０．
［刊行物２］ Ｋｉｍｉｈｉｋｏ Ｋａｚｕｉ， Ｊｕｎｐｅｉ Ｋｏｙａｍａ， Ａｋｉｒａ Ｎａｋａｇａｗａ， "Ｄｒａｆｔ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｐｒｏｐｏｓｅｄ ｓｙｎｔａｘ ａｎｄ ｓｅｍａｎｔｉｃｓ ｆｏｒ ｖｅｒｙ ｌｏｗ ｄｅｌａｙ ｃｏｄｉｎｇ"， ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３， ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ−Ｄ０５３／Ｍ１８８００， Ｄａｅｇｕ， Ｋｏｒｅａ， Ｊａｎｕａｒｙ ２０１１．
［刊行物３］ Ｋｉｍｉｈｉｋｏ Ｋａｚｕｉ， Ｊｕｎｐｅｉ Ｋｏｙａｍａ， Ａｋｉｒａ Ｎａｋａｇａｗａ， "Ｂｅｎｅｆｉｔ ｏｆ ｔｈｅ ｎｅｗ ｓｙｎｔａｘ ａｎｄ ｓｅｍａｎｔｉｃｓ ｆｏｒ ｖｅｒｙ ｌｏｗ ｄｅｌａｙ ｃｏｄｉｎｇ ｉｎ ＨＥＶＣ"， ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３， ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ−Ｄ０５４／Ｍ１８８０１， Ｄａｅｇｕ， Ｋｏｒｅａ， Ｊａｎｕａｒｙ ２０１１．
［刊行物４］ 独国公開第１０ ２００７ ０４９ ３５１ Ａ１号

Claims (18)

1. デジタル画像（Ｉ）のシーケンスを符号化する方法において、
   現在の画像（Ｉ）の複数の画素を指す画像ブロック（Ｂ１，Ｂ２，Ｂ３）と、参照画像（ＲＩ）の複数の画素を指す参照ブロック（Ｒ１，Ｒ２，Ｒ３）との間の動きベクトル（ＭＶ）を使用して、動き補償処理が実行され、
   前記参照画像（ＲＩ）は、前記シーケンスからの１つ以上の画像に基づいており、
   動きベクトル（ＭＶ）によって示される対応する参照ブロック（Ｒ１，Ｒ２，Ｒ３）に基づいた時間予測が前記現在の画像（Ｉ）の少なくとも一部の各画像ブロック（Ｂ１，Ｂ２，Ｂ３）に対して実行され、これにより、前記画像ブロック（Ｂ１，Ｂ２，Ｂ３）と前記対応する参照ブロック（Ｒ１，Ｒ２，Ｒ３）との間の予測誤差が得られ、前記予測誤差が符号化される、方法において、
   前記シーケンスの前記現在の画像（Ｉ）は複数の画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に分割され、
   前記参照画像（ＲＩ）の参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）は、各画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に関連しており、
   画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）における画像ブロック（Ｂ１，Ｂ２，Ｂ３）の前記時間予測は、前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に関連する前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）内に少なくとも部分的に位置し、かつ、前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の画素情報だけを含む参照ブロック（Ｒ１，Ｒ２，Ｒ３）に基づいて実行され、
   対応する参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）を超えて延在する境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）が時間予測に使用され、
   前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の外側に位置する境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）の画素値は前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の内側の前記境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）の画素値だけに基づいて決定される
   ことを特徴とする方法。
2. 前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の境界に位置する境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）の画素値が、前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の外側に位置する境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）の画素値に割当られることを特徴とする請求項１記載の方法。
3. 前記参照画像（ＲＩ）は、符号化の際に圧縮された画像から生成される一つの再構成画像である、または、複数の再構成画像の一部を含むことを特徴とする請求項１または２記載の方法。
4. 前記予測誤差の前記符号化は、変換ステップ（Ｔ）と、量子化ステップ（Ｑ）と、エントロピー符号化ステップ（ＥＣ）とを含むことを特徴とする請求項１から３までのいずれか１項記載の方法。
5. 前記画像（Ｉ）のシーケンスは、複数のビデオ画像を含む混合ビデオストリームであり、
   各画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）、および、前記各画像領域に関連する参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）は、前記混合ビデオストリームの１つのビデオ画像に対応することを特徴とする請求項１から４までのいずれか１項記載の方法。
6. １つ以上の前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）のそれぞれは下位領域（Ａ１，Ａ２）に分割され、
   １つ以上の前記下位領域に対し、更なる符号化制限が適用されることを特徴とする請求項１から５までのいずれか１項記載の方法。
7. 画像（Ｉ）の画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）および下位領域（Ａ１，Ａ２）への分割が、階層的なインデックス体系によって示され、
   同一階層のインデックス値は、現在の画像（Ｉ）および時間予測が許可された参照画像（ＲＩ）の対応する領域を示しており、
   好ましくは、更なるインデックスが予め用意され、該更なるインデックスは、前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）内の下位領域（Ａ１，Ａ２）と同一階層レベルにある参照画像（ＲＩ）の全ての下位領域（Ａ１’，Ａ２’）から時間予測することができる、前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）内の下位領域（Ａ１，Ａ２）を示すために使用されることを特徴とする請求項６記載の方法。
8. 少なくとも１つの画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）における空間的に連続しているセクション（ＳＥ）は、現在の画像から次の画像にかけてイントラ符号化され、
   該イントラ符号化の周期は、所定の数の画像（Ｉ）が符号化された後に、全画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）がイントラ符号化されるように定義されることを特徴とする請求項１から７までのいずれか１項記載の方法。
9. 前記少なくとも１つの画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）は、更新後の下位領域（Ａ１）と未更新の下位領域（Ａ２）とに分割され、
   前記更新後の下位領域（Ａ１）は、前記イントラ符号化周期において、既にイントラ符号化されたセクション（ＳＥ）を示し、前記未更新の下位領域（Ａ２）は、前記イントラ符号化周期において、未だ符号化されていないセクション（ＳＥ）を示すことを特徴とする請求項８記載の方法。
10. 更新後の下位領域（Ａ１）における画像ブロック（Ｂ１，Ｂ２）の時間予測は、前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に関連する前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の更新後の下位領域（Ａ１’）の画素情報だけを含む参照ブロック（Ｒ１，Ｒ２，Ｒ２）に基づいており、
    未更新の下位領域（Ａ２）の画像ブロック（Ｂ１，Ｂ２，Ｂ３）の時間予測は、前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の前記更新後の下位領域（Ａ１’）および前記未更新の下位領域（Ａ２’）の画素を含む参照ブロック（Ｒ１，Ｒ２，Ｒ３）に基づくことを特徴とする請求項９記載の方法。
11. 前記現在の画像（Ｉ）の前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）および／または更なる画像領域は、時間予測以外の１つ以上の所定の処理工程、特に、イントラ予測、非ブロック化フィルタリング、インループフィルタリングおよび／または補間フィルタリングにおいて、互いに独立して処理されることを特徴とする請求項１から１０までのいずれか１項記載の方法。
12. 前記画像（Ｉ）の画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）への前記分割は、各符号化画像において、および／または前記符号化画像とは別に定義されたパラメータセットにおいて表されることを特徴とする請求項１から１１までのいずれか１項記載の方法。
13. 請求項１から１２までのいずれか１項記載の方法によって符号化されたデジタル画像のシーケンスを復号化する方法において、予測誤差が復号化され、符号化の際と同一の動きベクトル（ＭＶ）を用いて、動き補償処理が実行されることを特徴とする方法。
14. 前記画像（Ｉ）は請求項１から１２までのいずれか１項記載の方法において符号化され、
    符号化画像が請求項１３記載の方法において復号化されることを特徴とするデジタル画像のシーケンスを符号化および復号化する方法。
15. デジタル画像のシーケンスを符号化する装置であって、
    動き補償処理を実行する手段（１０１）と、予測誤差を符号化する手段（１０３）とを備え、
    現在の画像（Ｉ）の複数の画素を示す画像ブロック（Ｂ１，Ｂ２，Ｂ３）と参照画像（ＲＩ）の複数の画素を示す参照ブロック（Ｒ１，Ｒ２，Ｒ３）との間の動きベクトル（ＭＶ）を使用して、前記動き補償処理が実行され、
    前記参照画像（ＲＩ）は、前記シーケンスからの１つ以上の画像（Ｉ）に基づいており、
    動きベクトルによって示される対応する参照ブロック（Ｒ１，Ｒ２，Ｒ３）に基づく時間予測が、前記現在の画像（Ｉ）の少なくとも一部の各画像ブロック（Ｂ１，Ｂ２，Ｂ３）に対して実行され、これにより、前記画像ブロック（Ｂ１，Ｂ２，Ｂ３）と前記対応する参照ブロック（Ｒ１，Ｒ２，Ｒ３）との間の予測誤差が得られる、装置であって、
    前記動き補償処理を実行する手段は、前記シーケンスにおける前記現在の画像（Ｉ）を複数の画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に分割し（分割する手段を有し）、
    前記参照画像（ＲＩ）における参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）は、各画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に関連しており、
    画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）における画像ブロック（Ｂ１，Ｂ２，Ｂ３）の前記時間予測は、前記画像領域（ＩＡ１，ＩＡ２，ＩＡ３，ＩＡ４）に関連する前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）内に少なくとも部分的に位置し、かつ、該参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の画素情報だけを含む参照ブロック（Ｒ１，Ｒ２，Ｒ３）に基づいて実行され、
    対応する参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）を超えて延在する境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）が時間予測に使用され、
    前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の外側に位置する境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）の画素値は前記参照領域（ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４）の内側の前記境界参照ブロック（Ｒ１，Ｒ２，Ｒ３）の画素値だけに基づいて決定される
    ことを特徴とする装置。
16. 請求項２から１２までのいずれか１項記載の方法を実行するように配置されることを特徴とする請求項１５記載の装置。
17. 請求項１から１２までのいずれか１項記載の方法によって符号化されたデジタル画像のシーケンスを復号化する装置において、
    前記予測誤差を復号化する手段（２０１）と、
    符号化の際と同一の動きベクトル（ＭＶ）を用いて、動き補償処理を実行する手段（２０２）とを備えることを特徴とする装置。
18. デジタル画像（Ｉ）のシーケンスを符号化および復号化するシステムにおいて、前記システムは請求項１５または１６記載の装置と、請求項１７記載の装置とを備えることを特徴とするシステム。

Images