JP5230798B2 - 符号化及び復号化方法、コーダ及びデコーダ - Google Patents

Description

本発明は、符号化方法、復号化方法、コーダ及びデコーダに関する。

MPEG（Moving Picture Expert Group）及びITU（International Telecommunication Union）標準機関は、MPEG1，MPEG2，MPEG4及びH.264のような様々なビデオ圧縮標準を定義している。これら異なる標準の圧縮効率は、様々なビデオアプリケーションの出現を出現を可能にしている。

しかし、益々改善される性能にも関わらず、ビデオ圧縮の問題は、現在のままであり、一定の品質で圧縮率を増加し、インターネットネットワークにわたる高品質ビデオの配信又は携帯電話でのビデオの配信のような新たに出現するサービスの発展を可能にする試みが必要とされる。

本発明の目的は、再構成された画像の視覚的な品質を維持しつつ、データ圧縮率が増加されるのを可能にする符号化及び復号化方法を提案することにある。

上記目的を達成するため、本発明は、あるビデオ系列のあるピクチャのうちのピクチャ部分を符号化する方法であり、ビデオ系列の少なくとも１つのピクチャは、キーピクチャであり、本方法は、以下のステップを含む。ａ）キーピクチャ又はそれぞれのキーピクチャの特性マップを計算するステップ。ｂ）符号化されるピクチャ部分について、キーピクチャの一部又はそれぞれのキーピクチャの一部に示す少なくとも１つの動きベクトルを予測するステップ。ｃ）前記ピクチャ部分について、予測された特性マップの少なくとも１部を得るため、予測される動きベクトル（V1，V2）を使用して特性マップの少なくとも１部を動き補償するステップ。ｄ）予測される特性マップの１部又はそれぞれの１部の特性レベルに従ってピクチャ部分を符号化するステップ。

特定の実現モードに従って、符号化手順は、個別に又は組み合わせで採用される、１以上の以下の特性を有する。ステップｄ）は、以下のステップを含む。予測される特性マップの一部の特性レベルを決定するステップ。予め定義された特性レベル（S1）と予測された特性マップの一部の特性レベル（S）とを比較するステップ。前記比較の結果に従って選択される方法を使用してピクチャ部分を符号化するステップ。前記方法は、少なくとも第一の方法と第二の方法のうちから選択される。第一の符号化方法は、H.264標準により定義され、第二の符号化方法は、それぞれの動きベクトル（V1，V2）の成分の振幅が１／４画素よりも大きいH.264標準に基づく方法である。第二の符号化方法は、第一の方法で使用されるフィルタ以外の補間フィルタに基づいた動き補間、及びアフィンパラメータにより定義される動き情報の符号化及び送信のステップを含む。ビデオ系列のあるピクチャのピクチャ部分は、スケーラブルレイヤ方法による圧縮に従って符号化され、キーピクチャは、ベースレイヤで符号化されることとなり、ピクチャ部分は、高位レベルで符号化される。

また、符号化方法は、以下のステップを含む。第二の中間ピクチャの一部から動きベクトルであって、第一の中間ピクチャのある部分の少なくとも１部を示す動きベクトルを予測するステップ。第一の中間ピクチャの前記部分の画素の数をカウントするステップ。

カウントされる画素の数が予め定義された数（Nmin）よりも大きい場合、符号化方法は、以下のステップを含む。第一の中間ピクチャの一部を使用し、第一の中間ピクチャの一部を符号化するために選択される方法により、第二の中間ピクチャの一部を符号化するステップ。第一のキーピクチャの一部及び第二のキーピクチャの一部から、ある中間ピクチャの一部の双方向符号化の間、予め定義された特性マップのレベルに比較される特性レベル（S1）は、第一の動きベクトル（V1）から予測される特性マップの第一の部分の特性レベル（S12）及び第二の動きベクトル（V2）から予測される特性マップの第二の部分の特性レベル（S14）の関数であり、中間ピクチャの前記一部は、第一のキーピクチャの一部の予測と第二のキーピクチャの一部の予測の平均から符号化される。前記平均は、予測される特性マップの第一及び第二の部分の前記特性レベル（S12，S14）により重み付けされる。ステップａは、キーピクチャ又はそれぞれのキーピクチャの符号化ステップを含む。前記ステップは、再構成されたキーピクチャを生成する。特性マップは、再構成されたキーピクチャから計算される。

また、本発明の方法は、再構成されるべきピクチャの一部の再構成のためにビデオ系列のピクチャ及びキーピクチャの、動きベクトル（V1，V2）を表す圧縮されたデータを含むバイナリストリームの復号化方法を含む。特定の実施の形態によれば、以下のステップを有する。ａ）圧縮されたデータからキーピクチャ又はそれぞれのキーピクチャを再構成するステップ。ｂ）再構成されたキーピクチャ又はそれぞれ再構成されたキーピクチャの特性マップを計算するステップ。ｃ）キーピクチャの一部を示す、再構成されるピクチャの部分について少なくとも１つの動きベクトル（V1，V2）を復号化するステップ。ｄ）再構成されるピクチャの部分について、予測される特性マップの一部を得るため、復号化された動きベクトル（V1，V2）を使用して特性マップの少なくとも１部を動き補償するステップ。ステップｅ）は、予測される特性マップの一部又はそれぞれの一部の特性レベルを決定するステップ。予め定義された特性レベル（S1）及び予め定義された特性マップの一部の特性レベル（S）を比較するステップ。前記比較の結果に従って選択された方法を使用して、再構成されるべきピクチャの一部を再構成するステップ。前記方法は、少なくとも第一の方法と第二の方法のうちから選択される方法である。ビデオ系列のあるピクチャのピクチャ部分は、レイヤによりスケーラブルな圧縮方法に従って復号化され、ベースレイヤの圧縮されたデータの再構成は、キーピクチャを生成し、ハイレベルの圧縮されたデータの再構成は、再構成されるピクチャ部分を生成する。

また、本方法は、以下のステップを含む。第二の中間ピクチャの一部から、第一の復号化された中間ピクチャのある部分の少なくとも１部を示す少なくとも１つの動きベクトル（V1，V2）を復号化するステップ。また、本方法は、以下のステップを含む。第一のデコードされた中間ピクチャの前記部分の一部の画素の数をカウントするステップ。

カウントされた画素の数が予め定義された数（Ｎmin）よりも大きいとき、本方法は、以下のステップを含む。第一の中間ピクチャの一部を使用して、及び第一の中間ピクチャの一部を再構成するために選択される方法により、第二の中間ピクチャの一部を再構成するステップ。第一のキーピクチャの一部と第二のキーピクチャの一部とから双方向の予測に従って符号化された中間ピクチャの一部の再構成の間、予め定義された特性レベル（S1）と比較される特性レベル（S）は、第一の動きベクトル（V1）から予測される特性マップの第一の部分の特性レベル（S12）と、第二の動きベクトル（V2）から予測される特性マップの第二の部分の特性レベル（S14）との関数であり、前記中間ピクチャの部分は、第一のキーピクチャの部分の予測と第二のキーピクチャの部分の予測との平均から再構成され、前記平均は、予測される特性マップの第一及び第二の部分の前記特性レベル（S12，S14）により重み付けされる。

さらに、本発明は、ビデオ系列のピクチャを符号化するコーダに関し、少なくとも１つのピクチャは、キーピクチャであり、本コーダは、以下を有することを特徴とする。キーピクチャ又はそれぞれのキーピクチャの特性マップの計算ユニット。符号化されるピクチャの一部について、キーピクチャ又はそれぞれのキーピクチャの一部を示す少なくとも１つの動きベクトル（V1，V2）を予測する予測ユニット。前記ピクチャの一部について、特性マップの少なくとも１つの部分を得るため、予測された動きベクトル（V1，V2）を使用して特性マップの部分を動き補償する補償ユニット。符号化ユニットは、予測された特性マップの部分の特性レベルに従ってピクチャの一部を符号化する符号化ユニット。

最終的に、本発明は、再構成されるピクチャの一部の再構成のため、ビデオ系列のピクチャ及びキーピクチャの動きベクトル（V1，V2）を表す圧縮されたデータを含むバイナリビットストリームのデコーダに関する。本デコーダは、以下を有する。圧縮されたデータからキーピクチャを再構成する再構成ユニット。再構成されたキーピクチャの特性マップを計算する計算ユニット。再構成されたピクチャの一部の少なくとも１つの動きベクトル（V1,V2）であって、キーピクチャの一部を示す動きベクトルを復号化する復号化ユニット。再構成されるピクチャの前記部分について、予測される特性マップの一部を得るため、復号化された動きベクトル（V1，V2）を使用して特性マップの少なくとも１部を動き補償する動き補償ユニット。予測される特性マップの一部の特性レベルに従って、再構成されるピクチャの一部を再構成する再構成ユニット。

本発明は、例示としてのみ与えられ、添付図面を参照して行われる以下の説明を読むことで良好に理解される。

本発明に係るコーダのブロック図である。 本発明に係るデコーダのブロック図である。 本発明に係る符号化方法のフローチャートである。 一方向予測に従って符号化されたピクチャの一部について、本発明に係る符号化及び復号化の間に実現される動き補償方法を示す図である。 本発明に係る復号化方法のフローチャートである。 双方向予測に従って符号化されたピクチャの一部について、本発明に係る符号化及び復号化の間に実現される動き補償方法を示す図である。 第一の中間ピクチャに少なくとも基づいた第二の中間ピクチャの符号化を示す図である。 第一の中間ピクチャに少なくとも基づいた第二の中間ピクチャの符号化方法の一部を示す図である。

図１を参照して、コーダ２は、符号化されるビデオ系列６を受ける入力４と、バイナリストリーム１０を送信する出力８を有する。

ビデオ系列６は、中間ピクチャ１８と一般に呼ばれる一連のピクチャを構成する少なくとも２つのキーピクチャ１２，１４から形成される１以上のGOP（Group Of Picture）を有する（中間ピクチャに先行する少なくとも１つのキーピクチャ及び中間ピクチャに後続する少なくとも１つのキーピクチャ）。

キーピクチャ１２，１４及び中間ピクチャ１６，１８は、マクロブロック、ブロック、サブブロック又は領域に分割される。

マクロブロック、ブロック及びサブブロックの表記は、たとえばMPEG-4で使用され、文献JVT-M050d4, Draft of Version 4 of H.264/AVC (ITU Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 part 10) Advanced Video Coding)で定義される「マクロブロック」、「パーティション」及び「サブパーティション」と同様である。

マクロブロックは、16×16画素のセットである。係るマクロブロックは、16×8，8×16，8×8ブロックからなるブロックに分割される。それぞれのブロックは、4×8，8×4，4×4画素からなるサブブロックに分割される。この領域は、予め定義されたサイズを有さず、ピクチャのゾーンに対応する。この説明の残りでは、マクロブロック、サブブロック及び領域は、ピクチャの一部分（picture portions）と呼ばれる。

コーダ２は、入力４に接続される動きベクトル予測ユニット１９、予測ユニット１９に接続される符号化判定ユニット２０、判定ユニット２０及び出力に接続される符号化ユニット２２、及び符号化ユニット２２に接続される特性マップ計算ユニット２４を有する。

動きベクトル予測ユニット１９は、それぞれの中間ピクチャ１６，１８のそれぞれの一部分について、中間ピクチャのこの一部分と、１以上の中間ピクチャのある一部分と、１以上のキーピクチャ１２，１４のある一部分との間の動きベクトル、及びそれぞれのキーピクチャ１２，１４のそれぞれの一部分について、このキーピクチャの一部分と別のキーピクチャの一部分との間の動きベクトルとを判定する。

動きベクトル予測ユニット１９は、物理的に存在する物理フィールドに近い動きベクトルを予測し、これにより、動き方向で補間される中間ピクチャの特性マップは、それらマップ自身の間で一時的に一致し、及びキーピクチャの特性マップと一時的に一致する。係る予測ユニットは、たとえば、文献［Tourapis, Au,Liou,Fast Motion Estimation using Circular Zonal Search, Proceedings of Visual Communications and Image Processing 1999 (VCIP’99)］で記載される。

変形例として、階層的な空間−時間型の予測ユニット１９を使用することもできる。

判定ユニット２０は、（文献JVT-M050d4の第7.4.5節で規定されるような）キーピクチャ１２，１４のそれぞれのマクロブロックについて、その符号化モードと、領域、マクロブロック、ブロック等へのその分割であるピクチャの一部分へのその分割、動き情報又は空間予測情報（参照画像、関連する動きベクトル）、変換及び定量化される予測残差を決定する。

符号化ユニット２２は、キーピクチャについて、ユニット２０により行われる符号化判定及び関連するデータ（符号化モード、ピクチャの一部分の分割、動きベクトル及びピクチャデータ、変換及び定量化された予測残差）を符号化する。

計算ユニット２４は、ローカルに復号化されたキーピクチャからキーピクチャ１２，１４の特性マップ、及びそれらに関連する符号化された動きデータを計算する。

この目的のために、計算ユニット２４は、たとえば文献（O.Le Meur, P.Le Callet and D. barba, Predicting visual fixation on video based on low-level visual features, Vision Research, Vol47/19 pp2483/2498, September 2007）で提供される方法を使用する。

また、コーダ２は、入力４及び予測ユニット１９に接続される符号化モード判定ユニット２５、ユニット２５及び出力８に接続される符号化判定の符号化ユニット２６、符号化ユニット２６及び計算ユニット２４に接続される動き補償ユニット２８を有する。

符号化判定ユニット２５は、H.264標準で定義されるイントラ、インター単方向又は双方向の間で中間ピクチャのそれぞれのピクチャの一部分の符号化モード、ピクチャの一部分の分割情報及び参照画像のインデックスを判定する。このユニット２５は、入力として、予測ユニット１９からのデータを使用する。

符号化ユニット２６は符号化判定ユニット２５により行われた全ての符号化の判定の内容を符号化する。

補償ユニット２８は、中間ピクチャのピクチャの一部分に関して、キーピクチャの特性マップから推定される特性レベルを決定するため、予測ユニット１９により予測された動きベクトルを使用してキーピクチャの特性マップの一部分を動き補償する。

また、コーダ２は、補償ユニット２８及び予測ユニット１９に接続される選択ユニット３０、並びに、入力４、選択ユニット３０及び出力８に接続される符号化ユニット３２を有する。

選択ユニット３０は、動き補償された特性マップの一部分の特性レベルSを分析し、後に定義されるように、この特性レベルに従って中間ピクチャ１６，１８のピクチャの一部分の符号化方法を選択する。

符号化ユニット３２は、選択ユニット３０により選択された符号化方法を使用して中間ピクチャ１６，１８のピクチャの一部分を符号化する。

記載される実施の形態によれば、ユニット３０は、第一及び第二の符号化方法を選択する。

第一の符号化方法は、高められた特性レベルを有するピクチャの一部分に選択され、これらの一部分は、符号化の間の保存のために必要とされると考えられる。第一の方法は、ソース信号に忠実であるような方法でピクチャの一部分を符号化することを狙いとし、残余の可能性のある予測誤差の符号化により補正を行う。

第一の方法は、たとえば、H.264標準の全ての符号化モードを使用する。

第二の符号化方法は、低い特性レベルを有するピクチャの一部分に関するものであり、これらの一部分は、ソース信号に対する現実の忠実度なしにリターンすることができるとして考えられる。残差は、これらのピクチャの一部分に関して符号化されず、一時的な予測によってのみ生成される。残差が符号化されるピクチャの一部分に対して予測が等価な品質からなるように、第二の方法は、より正確な動き補償ステップを有する。特に、第二の符号化方法は、第一の方法で採用されるよりも微細な動き補償に基づいている（たとえば、第一の方法では、動きベクトル成分の大きさは、１／１６画素に等しく、アフィン動きモデルによるH.264におけるような画素の１／４ではなく、H.264等におけるような並進運動（translational）ではない）。

たとえば、微細な動き補間は、文献JVT−X201 “Joint Draft ITU−T Rec． H．264／ISO／IEC 14496−10／Amd．3 Scalable video coding” Geneva, Switzerland, 29 June − 5 July 2007.のG.8.6.2.3節の表G8に記載されるように、イントラレイヤ間テクスチャ補間についてMPEG-4 SVCで規定されるフィルタから実現される。たとえば、Lanczosフィルタモデル又は双三次フィルタから、（４を超える係数といった）長いサポートのフィルタを使用することもできる。

第二の方法は、アフィンパラメータに基づく動き補償及び符号化ステップを有する。

定義により、あるゾーンがある動きを受けるとき、そのゾーンの任意の点（ｘ,ｙ）の動きベクトルが（ｄｘ,ｄｙ）は以下のように書くことができるように、６つのアフィンパラメータθ＝（ａ,ｂ,α,β,γ,δ）^Tをもつベクトルが存在する。

変形例として、キーピクチャと中間ピクチャは、分割されない。

本発明の実施の形態によれば、ビデオ系列のピクチャは、ＳＶＣ（Scalable Video Coding）標準により定義されるように、レイヤによりスケーラブルである符号化方法に従って符号化される。

このスケーラブル符号化方法によれば、それぞれのレイヤは、ベースレイヤと呼ばれるレイヤで符号化される最低解像度からトップレイヤと呼ばれるレイヤで符号化される最高解像度まで、ビデオコンテンツの異なる空間解像度に対応する。あるレイヤの符号化情報は、たとえばレイヤ間予測方法を使用することで、より高いレベルの符号化において役立つ。

この場合、第一の符号化方法は、４つの係数をもつフィルタによる補間と、全ての残差係数の符号化とを使用したレイヤ間予測によるＳＶＣ標準に基づいている。

第二の符号化方法は、たとえば、残差符号化のない長いフィルタにより実現される複雑な補間を使用したレイヤ間予測によるＳＶＣ標準に基づく。

変形例として、この第二の符号化方法は、ピクチャの輪郭を強調するステップを含む。

この実施の形態では、特性マップは、一体化して再構成されるベースレイヤからのピクチャから決定される。好適な実施の形態では、ベースレイヤの全てのキーピクチャは、完全に再構成される。ベースレイヤからのこれらの再構成されたピクチャに関して、特性マップが計算される。ベースピクチャが完全に再構成されたトップレイヤからのあるピクチャのピクチャ部分の符号化の間、ベースレベルからのピクチャにおいて、ピクチャ部分に対応するピクチャ部分の特性からその特性レベルが計算される。トップレイヤからのピクチャがベースレイヤからの再構成されたピクチャを有さない場合、特性レベルは、上述されたように、トップレイヤのキーピクチャの特性マップの動き補償により決定される。

代替的に、他の符号化方法が使用される。

符号化方法は、１以上のキーピクチャ１２，１４から又は他の中間ピクチャから単方向又は双方向の予測に従って、中間ピクチャ１６，１８のピクチャ部分の符号化を可能にする。本方法に係る符号化及び復号化方法は、これらの状況のそれぞれで以下に記載される。

図３及び図４を参照して、単方向予測に従う中間ピクチャ１６のピクチャ部分５４の符号化方法は、ユニット１９により実行されるキーピクチャの動き予測ステップ４３で開始し、ユニット２０により実行される符号化判定ステップ４５、ユニット２２により実行されるキーピクチャの符号化、及びユニット２４により実行されるキーピクチャの特性マップ計算ステップ４７が続く。

ピクチャの一部分５４の符号化方法は、中間ピクチャ１６の分割と、この中間ピクチャ１６と参照のキーピクチャ１２の間に存在する動きベクトルとの予測ステップ５０で継続する。

このステップは、中間ピクチャ１６のそれぞれのピクチャ部分について分割及び動き情報を計算する予測ユニット１９により実行される。

たとえば、図４を参照して、予測ユニット１９は、中間ピクチャ１６の一部５４とキーピクチャ１２の一部との間に動きベクトルＶ１が存在することを予測する。特に、動きベクトルＶ１は、ピクチャ部分５４からピクチャ部分５２を示す。

ステップ５５の間、判定ユニット２５は、中間ピクチャのピクチャ部分５４の符号化モードを決定する。

ステップ５６の間、符号化ユニット２６は、分割及び動きベクトルを含めて、符号化モードに関連する符号化の判定を符号化する。

ユニット２６により符号化された符号化モードがイントラタイプであるとき、プロセスは、残差情報の符号化ステップ７４によりダイレクトに継続する。

ステップ６４の間、補償ユニット２８は、ステップ５０から得られる動きデータによる特性マップ６０の補償を実行する。これは、一部分６６がキーピクチャ１２における一部分５２と特性マップ６０における同じ位置に位置されるように、特性マップ６０の一部分６６を決定し、次いで、動きベクトルのサブピクセルレベルの精度を考慮して、この一部分６６から一部分７２を補間することからなる。

ステップ６８は、動き補償された特性マップの一部分７２の特性レベルSを決定する。特性情報は、それぞれの画素で計算される、典型的に０と２５５の間で変化する２進でない情報を構成する。

決定された特性レベルは、ピクチャの一部分７２の平均の特性レベルである。変形例として、特性マップの一部分７２の平均の特性レベル又は最大の特性レベルが決定される。

ステップ７０の間、選択ユニット３０は、予め定義された特性レベルS1を動き補償された特性マップの一部分７２の特性レベルSに比較する。

一部分７２の特性レベルSが予め定義された特性レベルS1よりも大きい場合、ピクチャの一部分５４は、第一の符号化方法によりステップ７４の間に符号化される。（予測の残差のような）前の符号化ステップ５６で未だ符号化されていない情報のみが符号化される。対照的に、ステップ５０の間に決定された動きベクトルは、たとえば符号化されない。

動き補償された特性マップの一部分７２の特性レベルSが予め定義された特性レベルS1よりも小さいとき、符号化方法は、ステップ７６に進み、予測ユニット１９は、より正確な動きベクトル、たとえば成分の大きさが１／４画素よりも大きい精度のレベルを有する動きベクトルであって、たとえば１／１６画素に等しい精度のレベルを有する動きベクトルを計算する。

次いで、ステップ２８の間、ピクチャの部分５４は、第二の符号化方法により符号化ユニット３２により符号化される。

特性マップ７２の一部分が高レベルの特性を提供するとき、第一の符号化方法は、ステップ７４に従う符号化によりソース信号を最良に再生する。しかし、特性レベル７２の一部分が低レベルの特性を提供する場合、第二の符号化方法は、符号化されたピクチャを正確に再生しないが、ある視覚的な品質を有するピクチャの取得を可能にする。

図３及び図６を参照して、中間ピクチャ１６のピクチャの一部分の双方向の予測符号化の場合において、本発明に係る符号化方法が記載される。

ステップ４３〜４７の実現の後、予測ユニット１９は、中間ピクチャ１６のピクチャの一部分５４からキーピクチャ１２のピクチャの一部分５２を示す第一の動きベクトルV1と、ピクチャの一部分５４からキーピクチャ１４のピクチャの一部分９８を示す第二の動きベクトルV2を予測する。

ステップ５５の間、判定ユニット２５は、中間ピクチャのピクチャの一部分５４の符号化モードを決定する。

ステップ５６の間、符号化ユニット２６は、分割及び動きベクトルを含めて、符号化モードに関する符号化の判定を符号化する。

ステップ６４の間、補償ユニット２８は、ピクチャの一部分５２と同じ位置に位置される特性マップ６６の第一の部分と、ピクチャの一部分９８と同じ位置に位置される特性マップ１００の第二の部分を決定する。

一部分６６は、キーピクチャ１２の特性マップ６０に含まれ、一部分１００は、キーピクチャ１４の特性マップ１０１に含まれる。ステップ６４の間、ピクチャの一部分６６は、第一の動きベクトルV1を使用して動き補償され、動き補償された特性マップの一部分７２が取得される。

同様に、特性マップ１００の一部分は、第二の動きベクトルV2を使用して動き補償され、動き補償された特性マップの第二の部分１０２が取得される。

ステップ６８において、補償ユニット２８は、動き補償された特性マップの一部分７２の特性レベルS12、及び動き補償された特性マップの一部分１０２のレベルS14を決定する。

次いで、ユニット２８は、特性マップの一部分の特性レベルS12と特性マップ１０２の一部分の特性レベルS14との間の最大の特性レベルをサーチする。この最大の特性レベルは、ステップ７０の間に、符号化方法を選択するために予め定義された特性レベルS1に比較される。

変形例では、レベルS12，S14の平均の特性レベルは、比較ステップのために考慮される。

次いで、中間ピクチャ１６のピクチャの一部分は、ピクチャの一部分５２及び９８の重み付け総和により、第一のキーピクチャ１２及び第二のキーピクチャ１４からステップ７４及び７８で符号化され、前記重み付けは、特性マップの一部分６６及び１００の特性レベルS12，S14に従う。

たとえば、以下の式が適用される。

ここで（ｘ,ｙ）は、（中間ピクチャ１６における）予測されたピクチャの一部分におけるある画素の座標を示し、pred0[]及びpred1[]は、一部分５２及び９８の予測部分を構成し、S12及びS14は、一部分５２及び９８の特性レベルを表す。

変形例として、更なる重み付けW0は、一部分５２の予測部分に適用され、更なる重み付けW1は、W0+X1=A1により一部分９８の予測部分に適用される。これらの重み付けW0，W1は、たとえばキーピクチャ１２と中間ピクチャ１６との間の距離、従って中間ピクチャ１６とキーピクチャ１４の間の距離の関数である。この距離は、これらのピクチャ間に組み込まれるピクチャの数を表す。

この場合、先の式は以下のようになる。

特性レベルS12及びS14は、それぞれのピクチャの一部分について定義される。変形例として、それぞれのピクチャの一部分のそれぞれの画素の特性レベルは、それぞれの中間ピクチャのピクチャの一部分を符号化及び復号化するために考慮される。

本発明の別の態様によれば、中間ピクチャは、所定の場合に、他の中間ピクチャの符号化について参照としての役割を果たす。

この場合、図７及び図８を参照して、中間ピクチャ１８のピクチャ部分１１６の符号化方法が考慮される。

第一のステップ１０６において、予測ユニット１９は、第二の中間ピクチャ１８のピクチャの一部分１１６から第一の中間ピクチャ１６のピクチャの一部分１１８を示す動きベクトルＶ５を予測する。

ステップ１０８の間、第一の方法に従って符号化された画素の数Ｎ１は、第一の中間ピクチャ１６のピクチャの一部分１１８において数えられる。

ステップ１１０の間、第一の方法に従って符号化された画素の数Ｎ１は、閾値Ｎminに比較される。Ｎ１がＮminよりも大きい場合、第一の符号化方法は、ピクチャの一部分１１６の符号化について選択される。Ｎ１がＮminよりも大きくない場合、動きベクトルが有効であると考慮されず、中間ピクチャ１６からのピクチャの一部分１１６の予測及び符号化のために使用されない。

コーダ（及び従ってデコーダ）は、動きベクトルが示している中間ピクチャのピクチャの一部分が第一の方法に従って符号化された画素の十分な数を含む場合を除いて、中間ピクチャに対する予測を使用することができない。この場合、第一の符号化方法は、単一方向モード又は双方向モードの何れかに適用される（別のキーピクチャ又は中間ピクチャからの別予測子が使用される必要がある）。

図２を参照して、本発明に係るデコーダ３４は、たとえばコーダ２により符号化されるバイナリストリーム１０を受ける入力３６、たとば２つのキーピクチャ１２，１４及び中間ピクチャ１６，１８を含むグループオブピクチャを生成する出力３８を有する。

デコーダ３４は、キーピクチャ１２，１４を表す圧縮されたデータを復号化する復号化ユニット４０、及び中間ピクチャの動きデータ（分割、ベクトル、参照画像）を表す圧縮されたデータを復号化する復号化ユニット４２を有する。復号化ユニット４０は、入力３６及び出力３８に接続される。復号化ユニット４２は、入力３６及び復号化ユニット４０に接続される。

また、デコーダ３４は、中間ピクチャの動きデータ（分割、ベクトル、参照画像）を表す圧縮されたデータを復号化する復号化ユニット４２を有する。

復号化ユニット４０は、入力３６及び出力３８に接続される。復号化ユニット４２は、入力３６及び復号化ユニット４０に接続される。また、デコーダ３４は、復号化されたキーピクチャ１２，１４の特性マップを計算する計算ユニット４４、及び、中間ピクチャのピクチャの一部分の特性レベルを決定するためにキーピクチャの特性マップの一部分を動き補償する動き補償ユニット４６を有する。

計算ユニット４４は、復号化ユニット４０に接続される。補償ユニット４６は、計算ユニット４４及び復号化ユニット４２に接続される。

また、デコーダ３４は、補償ユニット４６に接続される中間ピクチャのピクチャの一部分を復号化する復号化方法を選択する選択ユニット４８、入力３６、選択ユニット４８及び出力３８に接続される中間ピクチャを再構成する再構成ユニット４９を有する。

選択ユニット４８は、中間ピクチャのピクチャの一部分について、動き補償された特性マップの一部分の特性レベルSを分析し、特性レベルに従って中間ピクチャのこれらのピクチャの一部分に復号化方法を選択する。

再構成ユニット４９は、少なくとも第一及び第二の復号化方法のうちから選択された方法に従って中間ピクチャ１６，１８を復号化する。

これら復号化方法は、勿論、H.264標準に基づく復号化方法又はSVC標準に基づく復号化方法の何れかである、コーダ２で使用される符号化方法の逆の処理に対応する。

代替的に、他の復号化方法が使用される。

図５を参照して、単方向予測による中間ピクチャ１６のピクチャの一部分５４を復号化する復号化方法は、キーピクチャの再構成ステップ８２及びキーピクチャの特性マップの計算ステップ８３で開始する。

ピクチャの一部分５４を復号化する復号化方法は、ステップ８４に進み、ここで復号化ユニット４２は、復号化モード、ピクチャの一部分の分割情報、及び中間ピクチャ１６，１８とキーピクチャ１２，１４の間で定義される動きベクトルを復号化する。

ステップ８８の間、補償ユニット４６は、図４に示されるように動きベクトルV1が示すキーピクチャの一部分５２と同じ位置で位置される特性マップ６６の一部分を決定し、動きベクトルのサブピクセル精度のレベルを考慮してこの一部分６６から一部分７２を補間する。

ステップ９０は、動き補償された特性マップの一部分７２の特性レベルSを決定する。

ステップ９２の間、選択ユニット４８は、予め定義された特性レベルS1を動き補償された特性マップの一部分７２の特性レベルSと比較する。

一部分７２の特性レベルSが予め定義された特性レベルS1よりも大きいとき、選択ユニット４８は、ピクチャの一部分５４を再構成するために第一の復号化方法を選択する。

この第一の復号化方法は、ステップ７４で使用される第一の符号化方法に対応する。

ピクチャの一部分５４は、ステップ９４の間に第一の復号化方法を使用して再構成される。

一部分７２の特性レベルSが予め定義された特性レベルS1よりも小さいとき、ピクチャの一部分５４は、ステップ７８で使用される第二の符号化方法に対応する第二の復号化方法に従ってステップ９６の間に復号化される。

図５を参照して、双方向予測方法に従って符号化される中間ピクチャのピクチャの一部分の再構成の間、ステップ８２〜８８は、第一の動きベクトルV1及び第二の動きベクトルV2について実現される。

次いで、ステップ９０の間、補償ユニット２８は、第一の動きベクトルV1を使用して動き補償された特性マップの一部分７２の特性レベルS12及び第二の動きベクトルV2を使用して動き補償された特性マップの一部分１０２の特性レベルS14を決定する。

次いで、最大の特性レベルは、特性レベルS12と特性レベルS14の間でサーチされる。この特性レベルは、ステップ９２の間、中間ピクチャ１６の復号化方法を選択するため、予め定義された特性レベルS1と比較される。

予測ピクチャの第一の一部分５４と予測ピクチャの第二の一部分５４’が再構成され、ピクチャの一部分は、特性レベル及び／又は距離を使用して第一の予測されたピクチャの一部分５４及び第一の予測されたピクチャの一部分５４’の重み付けされた平均から計算される。

同時に、このように符号化された中間ピクチャの再構成の間、復号化方法は、以下のステップを有する。第二の中間ピクチャ１８の一部分１１６から第一の復号化された中間ピクチャ１６の一部分１１８の少なくとも１部を示す動きベクトルを復号化するステップ。第一の符号化方法により第一の中間ピクチャの一部分を使用して第二の中間ピクチャ１８の一部分１１６を再構成するステップ。

変形例として、符号化及び復号化方法は、幾つかの予め定義された特性レベルS1，S2，S3及びたとえば異なる動きベクトルの解像度を提供する幾つかの符号化方法を有することができる。

Claims (13)

1. ビデオ系列のうちのピクチャの一部分を符号化する方法であって、
   前記ビデオ系列は、少なくとも１つのキーピクチャ及び少なくとも１つの中間ピクチャを含み、
   当該方法は、
   ａ）前記キーピクチャ又はそれぞれのキーピクチャの特性マップを計算するステップと、
   ｂ）符号化されるピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを予測するステップと、
   ｃ）前記ピクチャの一部分について、予測された特性マップの少なくとも１部を得るため、１つ又はそれぞれの予測された動きベクトルを使用して前記特性マップの少なくとも１つの一部分を動き補償するステップと、
   ｄ）前記予測された特性マップのそれぞれの一部分の特性レベルに従って前記ピクチャの一部分を符号化するステップとを含み、
   前記ステップｄ）は、
   前記予測された特性マップのそれぞれの一部分の特性レベルを決定するステップと、
   予め定義された特性レベルと、前記予測された特性マップの少なくとも１部の前記特性レベルとを比較するステップと、
   前記少なくとも１部の特性レベルが前記予め定義された特性レベルよりも大きいときに第一の符号化手法を使用し、前記少なくとも１部の特性レベルが前記予め定義された特性レベルよりも小さいときに第二の符号化手法を使用して前記ピクチャの一部分を符号化するステップと、を含み、
   前記第一の符号化手法は、動き補償と残差符号化とをもつ符号化手法であり、前記第二の符号化手法は、前記第一の符号化手法の動き補償よりも精度の高い動き補償をもち、残差符号化をもたない符号化手法である、
   ことを特徴とする符号化方法。
2. 前記第一の符号化手法は、Ｈ．２６４標準により定義され、
   前記第二の符号化手法は、それぞれの動きベクトルの成分の大きさが１／４画素よりも大きいＨ．２６４標準に基づく手法である、
   請求項１記載の符号化方法
3. 第二の符号化手法は、アフィンパラメータにより定義される動き情報の符号化及び送信を有する、
   請求項１及び２記載の符号化方法。
4. 前記ビデオ系列の中間ピクチャの一部分は、レイヤによりスケーラブルである圧縮方法に従って符号化され、前記キーピクチャは、ベースレイヤで符号化され、前記ピクチャの一部分は、高位レイヤで符号化される、
   請求項１及び２記載の符号化方法。
5. 第二の中間ピクチャの一部分から第一の中間ピクチャの一部分の少なくとも１部を示す動きベクトルを予測するステップと、
   第一の中間ピクチャの一部分の画素の数をカウントするステップと、
   カウントされる画素数が予め定義された数よりも大きいとき、前記第一の中間ピクチャの一部を使用して及び前記第一の中間ピクチャの一部分を符号化するために選択された手法により、前記第二の中間ピクチャの一部分を符号化するステップと、
   を含む請求項１又は２に記載の符号化方法。
6. 前記第一のキーピクチャの一部分と前記第二のキーピクチャの一部分からの中間ピクチャの双方向符号化の間、前記予め定義された特性レベルに比較とされる前記特性レベルは、第一の動きベクトルからの前記予測される特性マップの第一の部分の特性レベルと、第二の動きベクトルからの前記予測される特性マップの第二の一部分の前記特性レベルとの関数であり、前記中間ピクチャの一部分は、前記第一のキーピクチャの一部分の予測と前記第二のキーピクチャの一部分と予測の平均から符号化され、前記平均は、前記予測される特性マップの第一の一部分と第二の一部分の前記特性レベルにより重み付けされる、
   請求項１又は２に記載の符号化方法。
7. 前記ステップａ）は、前記キーピクチャを符号化するステップを含み、
   前記ステップは、再構成されたキーピクチャを生成し、
   前記特性マップは、前記再構成されたキーピクチャから計算される、
   請求項１又は２に記載の符号化方法。
8. 再構成される中間ピクチャの一部分の再構成のため、ビデオ系列の動きベクトル、中間ピクチャ及びキーピクチャを表す圧縮されたデータを含むバイナリストリームを有するバイナリストリームを復号化する方法であって、
   当該方法は、
   ａ）前記圧縮されたデータから前記キーピクチャを再構成するステップと、
   ｂ）前記再構成されたキーピクチャの特性マップを計算するステップと、
   ｃ）再構成された前記中間ピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを復号化するステップと、
   ｄ）再構成された前記中間ピクチャの一部分について前記予測される特性マップの一部分を得るため、前記復号化された動きベクトルを使用して前記特性マップの少なくとも１部分を動き補償するステップと、
   ｅ）前記予測された特性マップの前記特性レベルに従って、再構成された前記中間ピクチャの一部分を再構成するステップとを含み、
   前記ステップｅ）は、
   前記予測された特性マップのそれぞれの一部分の特性レベルを決定するステップと、
   予め定義された特性レベルと、前記予測された特性マップの一部分の特性レベルとを比較するステップと、
   前記一部分の特性レベルが前記予め定義された特性レベルよりも大きいときに第一の復号化手法を使用し、前記一部分の特性レベルが前記予め定義された特性レベルよりも小さいときに第二の復号化手法を使用して、再構成すべき前記中間ピクチャの一部分を再構成するステップと、を含み、
   前記第一の復号化手法は、動き補償と残差復号化とをもつ復号化手法であり、前記第二の復号化手法は、前記第一の復号化手法の動き補償よりも精度の高い動き補償をもち、残差復号化をもたない復号化手法である、
   を含むことを特徴とする復号化方法。
9. 前記ビデオ系列の中間ピクチャの前記ピクチャの一部分は、レイヤによりスケーラブルな圧縮方法に従って符号化され、
   ベースレイヤの圧縮されたデータの再構成は、前記キーピクチャを生成し、
   高位レイヤの圧縮されたデータの再構成は、再構成すべき前記ピクチャの一部分を生成する、
   請求項８記載の復号化方法。
10. 第二の中間ピクチャの一部分から第一の復号化された中間ピクチャの一部分の少なくとも１部を示す少なくとも１つの動きベクトルを復号化するステップと、
    当該方法は、
    前記第一の復号化された中間ピクチャの一部分の画素の数をカウントするステップと、
    カウントされる画素の数が予め定義された数よりも大きいとき、前記第一の中間ピクチャの一部分を使用して及び前記第一の中間ピクチャの一部分を再構成するために選択される手法により、前記第二の中間ピクチャの一部分を再構成するステップと、
    を含む請求項８記載の復号化方法。
11. 前記第一のキーピクチャの一部分と前記第二のキーピクチャの一部分からの双方向予測に従って符号化された中間ピクチャの一部分の再構成の間、前記予め定義された特性レベルと比較される前記特性レベルは、第一の動きベクトルから予測された前記特性マップの第一の一部分の前記特性レベルと、第二の動きベクトルから予測された前記特性マップの第二の一部分の前記特性レベルとの関数であり、前記中間ピクチャの一部分は、前記第一のキーピクチャの一部分の予測と、前記第二のキーピクチャの一部分と予測との平均から再構成され、前記平均は、前記予測された特性マップの第一の一部分と第二の一部分の前記特性レベルにより重み付けされる、
    請求項８記載の復号化方法。
12. ビデオ系列のピクチャを符号化するコーダであって、
    少なくとも１つのピクチャは、キーピクチャであり、
    当該コーダは、
    前記キーピクチャの特性マップを計算する計算ユニットと、
    符号化すべき前記ピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを予測する予測ユニットと、
    前記ピクチャの一部分について前記予測された特性マップの少なくとも１つの一部分を得るため、前記予測された動きベクトルを使用して前記特性マップの一部分を動き補償する補償ユニットと、
    前記予測された特性マップの一部分の前記特性レベルに従って前記ピクチャの一部分を符号化する符号化ユニットと、を有し、
    前記符号化ユニットは、
    前記予測された特性マップのそれぞれの一部分の特性レベルを決定するユニットと、
    予め定義された特性レベルと、前記予測された特性マップの一部分の特性レベルとを比較するユニットと、
    前記一部分の特性レベルが前記予め定義された特性レベルよりも大きいときに第一の符号化手法を使用し、前記一部分の特性レベルが前記予め定義された特性レベルよりも小さいときに第二の符号化手法を使用して、前記ピクチャの一部分を符号化するユニットと、を有し、
    前記第一の符号化手法は、動き補償と残差復号化とをもつ符号化手法であり、前記第二の符号化手法は、前記第一の符号化手法の動き補償よりも精度の高い動き補償をもち、残差復号化をもたない符号化手法である、
    ことを特徴とするコーダ。
13. 再構成すべきピクチャの一部分の再構成のため、ビデオ系列の動きベクトル、ピクチャ及びキーピクチャを表す圧縮されたデータを有するバイナリストリームのデコーダであって、
    当該デコーダは、
    前記圧縮されたデータから前記キーピクチャを再構成する再構成ユニットと、
    前記再構成されたキーピクチャの前記特性マップを計算する計算ユニットと、
    再構成すべきピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを復号化する復号化ユニットと、
    再構成すべき前記ピクチャの一部分について前記予測された特性マップの一部分を得るため、復号化された動きベクトルを使用して前記特性マップの少なくとも１部分を動き補償する動き補償ユニットと、
    前記予測された特性マップの一部分の前記特性レベルに従って、再構成すべきピクチャ部分を再構成する再構成ユニットと、を有し、
    前記再構成ユニットは、
    前記予測された特性マップのそれぞれの一部分の特性レベルを決定するユニットと、
    予め定義された特性レベルと、前記予測された特性マップの一部分の特性レベルとを比較するユニットと、
    前記一部分の特性レベルが前記予め定義された特性レベルよりも大きいときに第一の復号化手法を使用し、前記一部分の特性レベルが前記予め定義された特性レベルよりも小さいときに第二の復号化手法を使用して、再構成すべき前記中間ピクチャの一部分を再構成するユニットと、を含み、
    前記第一の復号化手法は、動き補償と残差復号化とをもつ復号化手法であり、前記第二の復号化手法は、前記第一の復号化手法の動き補償よりも精度の高い動き補償をもち、残差復号化をもたない復号化手法である、
    することを特徴とするデコーダ。

Images