JP4647180B2 - 画像シーケンスの符号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、時間的な予測による符号化及び復号処理に関する。関連する標準は、たとえば、Ｈ２６１，Ｈ２６３，ＭＰＥＧ等であり、一般にブロック毎の画像符号化及び動き補償に基づいた標準である。
【０００２】
【従来の技術】
かかる標準は、画像をマクロブロックと呼ばれる１６×１６画素のウィンドウに細分することを記述している。画像の内容は、マクロブロック毎に符号化される。時間的な予測が符号化に利用されるとき、マクロブロックは、過去又は将来の画像に基づいて予測される場合がある。画像の符号化の順序よりはむしろ画像の表示の順序が考慮されるとき、１つ以上のマクロブロック当りの動きベクトルによる。
【０００３】
この標準の記述による注記は、画像又はビデオオブジェクトプレーン（ＶＯＰ）のいずれかについて言及している。これは、ビデオオブジェクトプレーンを定義するＭＰＥＧ４標準により導入される概念であり、すなわち、所与の瞬間でのビデオオブジェクトの写真である。ＶＯＰは、矩形の画像であり、そのサイズは、たとえば、バイナリマスクの形状及びテクスチャの形状を構成して、時間につれて変化する場合がある。以下に説明される原理は、ＭＰＥＧ２標準の矩形の従来の画像、及びＭＰＥＧ４標準のＶＯＰにも同様に関連する。
【０００４】
異なった要素からなるネットワーク、すなわちインターネットにわたりデータストリームを転送することは、送信エラーを生じることがある。次いで、デコーダは、画像の失った部分の再構築に直面する。デジタル記録メディア及び通信チャネルの殆どは、エラーに対して保護されていない。
【０００５】
ＭＰＥＧ標準は、エラーに対してロバストなモードを提供する。
送信エラーによる問題を制限するための既存のツールの中で、再同期と呼ばれる第１の手段は、ビデオパケットを定義する再同期マーカをストリームに挿入することからなる。
【０００６】
保護に関する第２のレベルは、Ｉ画像及びＰ画像に関連するビデオパケットにおけるデータを区分することからなる、（標準においてエラー隠蔽とも呼ばれる）エラーをマスクすることを可能にする。マクロブロックのヘッダは、ビデオパケットの開始に位置され、テクスチャのマクロブロックは、ビデオパケット内でマーカにより分離されてその後に位置される。テクスチャデータが失われた場合、画像は、動き情報から再構築される場合がある。
【０００７】
別なレベルの保護は、テクスチャデータ向けのリバーシブル可変長符号（ＲＶＬＣ）を利用することからなるデータの回復を可能にする。ストリームにおいて検出される送信エラーにより、次のビデオパケットの同期ワードの位置を取り、後方の復号処理を実行することが可能である。
【０００８】
【発明が解決しようとする課題】
別の手段は、マクロブロックの符号化のモードに関連する。イントラモードにおけるマクロブロックのリフレッシュは、いわばマクロブロックの符号化モードを強制的にイントラモードにすることであり、インター符号化によるエラーの伝搬を制限するために周期的に実行される。しかし、イントラモードにおけるかかる符号化は、符号化ビットの観点でコストがかかる。
本発明の狙いは、上述した問題点を解決することにある。
【０００９】
【課題を解決するための手段】
したがって、本発明の主題は、ＭＰＥＧ標準に従う符号化処理を提供することにあり、画像の表示の順序を考慮することにより、次の画像又はビデオオブジェクトプレーンにおいて符号化すべき現在のマクロブロックの予測される位置を計算することであり、マクロブロックの符号化パラメータは、予測されるマクロブロックが次の画像又はビデオオブジェクトプレーンの外にあるか否かに依存することを特徴としている。
【００１０】
本発明の特定の実現によれば、符号化パラメータは、マクロブロックのＴＣＤ係数についてのイントラモード符号化又はインターモード符号化、或いは量子化間隔である。
本発明の別の特定の実現によれば、符号化パラメータは、画像すなわちＰビデオオブジェクトプレーンと、画像すなわち次のＰビデオオブジェクトプレーンの間に位置されるＢ画像又はＢビデオオブジェクトプレーンの数を考慮するものである。
【００１１】
本発明の変形例によれば、エラーマスキングアルゴリズムは、マクロブロックのイントラ符号化によるマクロブロックのランダムなリフレッシュに基づくものであり、次の画像又はビデオオブジェクトプレーンにおけるマクロブロックの予測された位置を考慮するものである。
【００１２】
本発明の別の変形例によれば、ＭＰＥＧ４標準における、ビデオパケットの開始に対応する再同期マーカの位置合わせは、マクロブロックの予測される位置を考慮するものであり、また、画像に含まれ、該画像の外側で予測される位置を有するマクロブロックの数の関数として、ビデオパケットのサイズを変更することを可能にするものである。
【００１３】
本発明の別の変形例によれば、符号化の間、スケーラビリティに対する拡張を利用して、符号化の精度を改善するものであり、その予測される位置が次の画像の外側にあるマクロブロックについて、追加符号化レイヤが除かれるか、又は追加符号化レイヤの数が減少される。
【００１４】
本発明は、それぞれのマクロブロックＭＢについて、このマクロブロックについての符号化パラメータを、次の瞬間で予測されるその位置の関数として適合するものである。この考えは、このマクロブロックが次の瞬間でビデオオブジェクトプレーン又は画像の外側にあるという高い可能性が存在する場合に、このマクロブロックを符号化するためのコストを制限することである。
【００１５】
これは、たとえば、このマクロブロックがシーンから消失する場合、すなわち、次の画像のための画像から消える場合に、イントラモードにおけるマクロブロックのリフレッシュの間にイントラモードへの強制を実行しないことを含んでいる。
本発明の主要な利点は、画像系列を符号化するコストを制限することである。
【００１６】
【発明の実施の形態】
本発明の他の特徴及び他の効果は、添付図面を参照して、限定するものではない実施の形態を介して与えられる以下の説明において、明らかとなるであろう。
図１は、画像又はビデオオブジェクトプレーン（ＶＯＰ）１、及び該画像の内部にある現在のマクロブロック２を表している。マクロブロックが動きベクトル４と関連されており、これにより、（符号化の順序に従い）前に再構築された画像における予測されるマクロブロック３を定義することが可能である。この再構築される画像は、図において示されていない。
【００１７】
動きベクトル４は、現在のマクロブロック２の予測される動きに対応するものであり、次の画像におけるこの現在のマクロブロックの位置を予測するために利用される。したがって、動きはある画像から別の画像に続くものとされる。動きベクトル４に対応する動きは、現在のマクロブロック２に適用されて、図１において参照符号６で参照されるマクロブロックの新たな位置となる。これは、現在のマクロブロックの予測される位置、又は次の画像についての予測されるマクロブロックである。
【００１８】
２つのケースが生じる場合がある。
予測されるマクロブロックは、画像における全体又は一部のいずれかにある。これは、このようなケースが図１に示されている。この場合、符号化の制約が現在のマクロブロックに課されていない。コーダは、マクロブロックの符号化のモードを決定する。
【００１９】
予測されるマクロブロックの位置の分析に関連する制約は存在しない。マクロブロックは、先に示されたように。イントラリフレッシュについてイントラモードで符号化することができる。また、予測されるマクロブロックは、画像の完全に外側にある。このようなケースは図２に示されており、予測されるマクロブロック６は、画像１の外側にある。
【００２０】
この後者のケースでは、現在のマクロブロック２の符号化のモードは、１つ以上の以下の方法において変更される。
強制されたイントラ、すなわちリフレッシュにより符号化されるモードが禁止される。このイントラ符号化は、マクロブロックのイントラ符号化がインターモードの符号化よりもコストが安い場合に常に可能である。
符号化がイントラ符号化によるマクロブロックの周期的なリフレッシュのためのアルゴリズムを実現する場合、この手順は現在のマクロブロックについて再度初期化される。
【００２１】
イントラリフレッシュにより発生される画像の符号化のコストを少なくするために、マクロブロックは、イントラに同時に強制されず、順次強制される。リフレッシュは、マクロブロック毎に行われる。一般に、カウンタは、画像のマクロブロックのそれぞれに割当てられ、ループカウントを実行するものであり、ランダムなやり方で初期化される。
【００２２】
この初期化は、たとえば、イントラモードにおける系列すなわちグループ オブ ピクチャ（ＧＯＰ）の第１の画像を符号化するときに、この符号化のコストを低減するように行われる。ループカウントは、たとえば、ＧＯＰを構成している画像の番号に対応する番号Ｎを通して達成される。カウンタは、それぞれの符号化でインクリメントされ、リフレッシュは、Ｎからゼロに通過する間に行われる。
【００２３】
本発明のフレームワーク内で、カウンタは、符号化の強制されたイントラモードが禁止されたときに再度初期化される。このように、アルゴリズムは、カウンタをゼロに位置決めすることによりものであり、後続するマクロブロックについて、現在のマクロブロックの位置に対応するマクロブロックのリフレッシュを禁止する。
【００２４】
マクロブロックの係数の符号化についての量子化間隔は、値「ハイ“high”」に強制されるか、計算された値よりも大きな値に強制され、次の画像の間に消失するものと思われるマクロブロックの符号化のコストが低減される。この強制は、送信のタイプに依存する場合がある。
【００２５】
低ビットレート送信は、復号の低減された品質を許容し、したがって、あるマクロブロックから隣接するマクロブロックまでの余りに異なる量子化間隔により発生されるブロックの作用に関する大きな許容差となる。量子化間隔の値は、現在の画像及び次のＰタイプの画像により、側面に位置される（flanked）Ｂタイプの画像の数を考慮する場合がある。Ｂタイプの画像のマクロブロックの符号化は、Ｐタイプの画像のマクロブロックへの参照を行う。
【００２６】
スケーラビリティに対する拡張を利用した符号化の場合では、ｆｇｓ（Fine Granularity Scalability）のような信号対雑音比（ＳＮＲ）タイプの例について、符号化は、ＤＣＴ係数をリファインするために、ＤＣＴ係数の符号化の下位レイヤ、及び１つ以上の改良レイヤからなり、改良レイヤのためのこれらの係数を符号化するための手順は、符号化ビットの数を低減することにより、たとえば、予定されるよりも少ないビットプレーンを割当てることにより変更される。
【００２７】
図３は、本発明による処理を実現するアルゴリズムを表している。第１のステップ７は、現在のマクロブロックについての動きベクトルの計算からなる。
次のステップ８は、マクロブロックに割当てられた動きベクトルに基づいたマクロブロックの動きを推定することにより、次の画像のために、この現在のマクロブロックの位置を計算する。
【００２８】
次のステップ９は、マクロブロックの位置が画像の内側にあるか外側にあるかを判定する。マクロブロックの予測される位置が画像の少なくとも１部内にある場合、次のステップであるステップ１０は、従来のやり方でマクロブロックを符号化するためのパラメータを決定する。
【００２９】
マクロブロックの予測される位置が画像の完全に外側にある場合、次のステップであるステップ１１は、符号化パラメータを先に示されたように強制する。たとえば、イントラモードの符号化が禁止される。
次のステップはステップ１２であり、先のステップで決定された符号化パラメータの関数として、マクロブロックの符号化を実行する。
【００３０】
ここで提案されるアルゴリズムは、エンコーダに追加される余分のブロックの形式をとることもでき、追加ステップ８，９及び１１を実行して、これにより、画像又はＶＯＰの様々なマクロブロックの中でのビット分散を改善することができる。さらに、エラーに対するロバスト性の文脈では、Ｐ−ＶＯＰについてのイントラ符号化モードを判定することにおいて使用することができる。
【００３１】
マクロブロックの予測は、動き予測に基づいて実行される。動き予測は、現在のマクロブロックに割当てられる動きベクトルの単なるコピーに対応しており、したがって、この動きの推定が実行される。この動きは、たとえば、動きフィールドをモデリングすることに基づいて、より複雑なやり方で予測される場合もある。
【００３２】
ＭＰＥＧ標準は、ＭＰＥＧデータストリームにおいて再同期マーカを定義するものであり、２つのマーカ間のデータは、ビデオパケットに対応する。本発明の変形例は、データストリームにおけるマーカの位置を選択することに関して、マクロブロックの予測される位置を考慮するものである。したがって、画像から消失すべきマクロブロックの前に任意の同期マーカを配置しないこと、又はかかるマクロブロックの前に余りに近くに任意の同期マーカを配置しないことが判定されるべきである。
【００３３】
実際に、データストリームを重要性の低い到来するデータと同期させることは、むしろ非能率的である。消失するマクロブロックに関連するデータは、マクロブロックを予測及び再構築するために、その後に実際には使用されない。この位置決めは、ストリームにおける、画像から消失することになるマクロブロックの密度を考慮する場合があり、又はストリームにおける、マーカとかかるマクロブロックの間のギャップに依存する。
【００３４】
同様に、２つの再同期マーカの間に位置されるパケットのサイズは、画像から消失されることになり、該画像に含まれるマクロブロックの数の関数として計算することができる。このサイズは、画像から消失されることが予定される多くのマクロブロックを含んでいるパケットについて大きい場合があり、画像から消失されることが予定される少ないマクロブロックを含んでいるパケットについて小さい場合がある。
【００３５】
情報の損失は、画像から消失することになるマクロブロックに関しての障害は実際に少なく、結果的に、再同期は、かかるマクロブロックを含むパケットに関して、更に離れて位置することができる。
【００３６】
ＭＰＥＧタイプの符号化は、空間スケーラビリティのような各種のタイプのスケーラビリティを利用して、符号化の精度を改善している。たとえば、ｆｇｓ符号化は、マクロブロックの符号化のために、様々なレベルの解像度を利用している。
【００３７】
本発明の変形例は、精度の改善に関連するこの符号化の精度を、マクロブロックの状態に依存させることからなる。この状態とは、すなわち、マクロブロックが、画像の外側の予測された位置を有しているか否かに関する。したがって、レイヤ数を低減することが可能であり、その予測される位置が画像又はＶＯＰの外側にあるマクロブロックに関して、これらの改良レイヤについてＤＣＴ係数をより粗雑に符号化することができる。
【図面の簡単な説明】
【図１】その予測されるマクロブロックが画像内にある画像における現在のマクロブロックを示す図である。
【図２】その予測されるマクロブロックが画像外にある画像における現在のマクロブロックを示す図である。
【図３】本発明による処理を実現するアルゴリズムを説明するフローチャートである。
【符号の説明】
１：画像又はビデオオブジェクトプレーン
２，３，６：マクロブロック
４，５：動きベクトル

Claims (5)

1. 画像シーケンスを符号化する方法であって、画像はマクロブロックに分割される、方法であり：
   前記画像の符号化順序を考慮することにより、次の画像又はビデオオブジェクトプレーンにおいて符号化するようになっている現在のマクロブロックについて該マクロブロックの予測位置を計算し；
   前記現在のマクロブロックに帰属する動きベクトルを外挿することにより前記予測位置が計算され；そして
   前記現在のマクロブロックについての符号化パラメータは、前記現在のマクロブロックの符号化コストを低減するように、前記予測位置が前記画像の外にあるとき、前記符号化パラメータに対して制限を加えることにより、前記予測位置が前記次の画像又はビデオオブジェクトプレーンの外側にあるか否かに依存して、前記現在のマクロブロックについての符号化パラメータが計算される；
   ことを特徴とする符号化方法。
2. 前記符号化パラメータは符号化モードである、ことを特徴とする請求項１記載の符号化方法。
3. 前記符号化パラメータは、前記マクロブロックのＤＣＴ係数についての量子化間隔である、ことを特徴とする請求項１記載の符号化方法。
4. 前記制限は、前記現在のマクロブロックが属す現在のＰ画像又はＰビデオオブジェクトプレーンと、前記予測位置が計算された次のＰ画像又はＰビデオオブジェクトプレーンとの間に位置付けられるＢ画像又はＢビデオオブジェクトプレーンの数に依存する、ことを特徴とする請求項２又は３記載の符号化方法。
5. マクロブロックのイントラ符号化による前記マクロブロックのランダムリフレッシュに基づいて、エラーマスキングアルゴリズムが実行され、マクロブロックについて前記エラーマスキングアルゴリズムにより決定されるイントラ符号化モードは、前記次の画像又はビデオオブジェクトプレーンにおける前記マクロブロックの前記予測位置の関数である、ことを特徴とする請求項１記載の符号化方法。

Images