JPH09502840A

JPH09502840A - テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用

Info

Publication number: JPH09502840A
Application number: JP6520700A
Authority: JP
Inventors: ケスラー，ダミアン; デルヴァン，ブルース; ブッシュロク，ファディラ
Original assignee: トムソン−セーエスエフ
Priority date: 1993-03-16
Filing date: 1994-03-04
Publication date: 1997-03-18
Anticipated expiration: 2021-04-12
Also published as: ES2177575T3; EP0691065B1; JP3766686B2; FR2702917B1; WO1994022267A1; EP0691065A1; DE69430738T2; US5907360A; FR2702917A1; DE69430738D1

Abstract

(57)【要約】エンコーダ／デコーダは、前段のデコード画像（Ｉ_ｎ-1）及び現在のソース画像（Ｉ_ｎ）から各々解像度の異なる２つの画像ピラミッド（Ｐ_１及びＰ_２）を各々構成するための手段を備え、各画像ピラミッドは、解像度に従って同一方法により順番を付けた同一所定数の画像を有している。その各画像は、画像の水平（Ｘ）及び鉛直（Ｙ）方向で前段の解像度レベルの半分の解像度レベルに対応し、各ピラミッド（Ｐ_１及びＰ_２）は、各々運動ベクトル（Ｖ）を出力する階層的運動予測器の第１及び第２の直列入力に各々入力され、その運動ベクトル（Ｖ）の大きさは２つのピラミッド（Ｐ_１及びＰ_２）間で予測された運動に比例する。両立式高品位テレビに適用される。

Description

【発明の詳細な説明】テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用本発明は、テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用に関するものである。本発明は、デジタル伝送システム及び特にデジタル画像シーケンスの伝送に使用される。広帯域デジタルネットワークの発展と共にデジタル伝送に関する最近の技術の進歩は、デジタル圧縮の役割に重要な位置を与えている。データ伝送に割り当てられたビット伝送速度は減少し続けているが、一方、符号化の品質に関する要求は増大しでいる。従って、デジタル画像シーケンス伝送に関して、開発されたアルゴリズムは、通常、運動予測と共に時間冗長度を活用することに基づく、より強化された複雑な技術を使用することを必要とする。これは、例えば、「フレームスキップ（frameskip）」と呼ばれる画像飛越し技術を使用する両方向符号化または時間内挿技術を使用する場合である。しかし、これらの技術は運動予測に関して新しい制約の出現を伴う。特に処理されている画像が高品位（High Definition）（ＨＤ）フォーマットである時、両方向符号化は、大きな振幅の運動を予測する能力を要求する。「フレームスキップ」及び時間内挿は、可能限り物理フィールドに類似した正確なベクトルフィールドを要求する。また、伝送されるべき運動情報がかなり大きくなると、運動フィールドを符号化するコストを可能な限り少なくすることが重要である。このために最も有効な手段は、可能な限り均質にすることである。精度、均質性、大きな大きさ及び物理フィールドへの適合性は、運動予測器によって考慮されるべき特性である。公知の画像エンコーダ／デコーダの大多数は、画像をブロックに区画する技術を示す「ブロックマッチング型」運動予測技術と共に、内部(intra)または相互( inter)モードで作動するＤＣＴと略称されている離散コサイン変換(Discrete Co sine Transform)符号化技術を使用する。ブロックにつき１つの運動ベクトルが、相関計算によって測定される。この技術によって、特に「イメージコミュニケーション(Image Communication)４」（1992年）161 〜174 頁に発表された『画像シーケンス符号化のための運動予測及び補正(Motion estimation and compens ation for image sequence coding)』に展開された整数の画素またはより稀にはペル再帰(pel-recursive)型（ペル(pel)は、画素(pixel)の略称である）によって計算された運動ベクトルを得ることが可能になる。ペル再帰法では、輪郭運動のレベルで十分な精度を得ることができず、また、ノイズに対する余りに影響を受けやすい。予測エラーを減少させることに関して良好な結果を与えるより普及した技術は、「ブロックマッチングフルサーチ（block matching full search）」として知られる技術である。しかし、この技術は大きさが大きい運動を予測することはできない。また、「フルサーチ(full search)」技術は、近接するブロックから生じるベクトル間の空間相関を考慮しないが、これは真の運動から掛け離れたノイズの多いフィールドとして示されることがしばしばある。サーチウィンドのサイズを大きくすることは、予測したフィールドの不均質性を強調するだけであり、従って、その符号化のコストは低いビット伝送速度では無視できない。従って、「フルサーチ」は、もはや新しい制約に適していない。より大きなベクトル偏位を可能にする、より複雑だが、迅速な「ブロックマッチング」技術は、複数の論文に展開されており、特にキュー．ワン(Q.Wang)及びアール．ジェー．クラーク(R.J.Clarke)による『画像シーケンス符号化のための運動予測及び補正(Motion estimation and compensation for image sequence coding)』（「イメージコミュニケーション(Image Communicaon)４」（1992年） 161〜174頁）及びエル．リー(L.Lee)、ジェー．ワン(J.WANG)、ジェー．リー(J. Lee)及びジェー．シー(J．Shie)による『ブロックマッチングアルゴリズムのためのダイナミックサーチウィンドアジャストメント及びインターレース式サーチ (Dynamic Search Window Adjustment and Interlaced Search for Block Matchi ngAlgorithm)』（「ＨＤＴＶに関するインターナショナルワークショップ '93 、会報第２巻(International Workshop on HDTV '93，Proceedings vol.２)」（ 1992年11月）カワサキ(Kawasaki)に記載されている。これらの技術の目的は、ブロックごとにテストする位置の数の最小にすることである。これらの方法の利点は、完全なサーチを排除することにある。しかし、それらの技術は、運動フィールドにより大きな一貫性を与えることがなく、反対に、運動予測器の分散の可能性を大きくする。しかし、階層的予測技術によって、運動フィールドの符号化に関する上記の制約を満たすことが可能である。これらの符号化技術及び予測技術を使用するcodec （エンコーダ／デコーダ(c oder/decoder)の略称）は、２つの予測ループを有する両立式の構造を備え、従って、ＨＤＴＶ（High Definition TeleVisi on(高画質テレビ)の略称）エンコーダと呼ばれる第１のループの“全解像度”コーダと標準型とされるＴＶ（Televisionの略称）デコーダと呼ばれる第２のループの“４分の１解像度”デコーダとの間のドリフトを防ぐ。そのような構造は、『ＴＶ／ＨＤＴＶ両立式符号化方法の草案仕様書(Draft Specification of TV/H DTV Compatible Coding Scheme)』（「ＣＭＴＴ／２−ＳＲＧ文献（Document C MTT/2-SRG）」1992年７月）に記載されている。このcodec によって使用される符号化原理は、ソース画像のスペクトルをサブバンドに分割することからなり、その各バンドは別々に符号化されている。code c は、最初に符号化モード、すなわち、“内部”モードまたは“相互”モードを選択し、次に内部モードの場合はバンドそれ自体を、または相互モードの場合はこのバンドに関する予測エラーを量子化する。次に、ＶＬＣ（可変長符号化(Var iable Length Coding)の略称）符号化後、伝送チャネルを介してバンドを順番に次々に伝送する。相互予測モードでは、codec は伝送された係数から解像度の異なる２つの画像、すなわちＨＤＴＶループの“全解像度”画像及びＴＶループの“４分の１解像度”画像を再構築する。“全解像度”画像は、伝送される全周波数帯域を使用する合成フィルタの段によって得られる。“４分の１解像度”画像は、伝送されたサブバンドのちょうど４分の１だけを使用する。次に、これらの２つのデコードされた画像はメモリに記憶され、直前のデコードされた画像と現在のソース画像の間の運動の予測及び補正の後、次のソース画像の相互予測を提供するために使用される。２つの画像は、次に再整列し、サブバンドに分割される。ＴＶループは、低い周波数に対応するサブバンドの４分の１を与え、サブバンドの残りはＨＤＴＶループから派生する。この型のcodec では、両立式の“４分の１解像度”画像は、予測後、“全解像度”画像間で予測されるベクトルを使用することによって相互予測のために再整列させる。しかし、対応する再整列は、“全解像度”レベルに良好に適合していることはあるが、必ずしも“４分の１解像度”レベルに適合しているわけではない。また、“全解像度”画像に関して伝送される全運動ベクトルもまた両立式デコーダによってデコードされなければならず、これは低いビット伝送速度での両立式部分に対応するピット伝送速度をかなり大きくする。本発明の目的は、上記の問題点を解消することにある。このため、本発明の目的は、２つの連続したソース画像すなわち前段の画像及び現在の画像間の階層的運動予測器に接続された特定のフォーマットの主符号化回路及び符号化ループを備える型のテレビ画像のサブバンド両立式符号化のエンコーダ／デコーダであって、前段のデコード画像及び現在のソース画像から各々その解像度によって同一の番号を付けた同じ特定の数の画像を含む解像度の異なる画像ピラミッドを各々構成するための手段を備え、その各画像は、画像の水平方向及び鉛直方向で前段の解像度レベルの半分の解像度レベルに対応し、各ピラミッドは、各々運動ベクトルを出力する階層的運動予測器の第１及び第２の直列入力に各々入力され、その運動ベクトルの大きさは、２つのピラミッド間で予測された運動に比例することを特徴とするエンコーダ／デコーダである。本発明によって、一方では多解像度ピラミッドを生成するための知られている二重ループcodec の構造によることができ、一方では所定のビット伝送速度で、特に両立式部分のレベルで画像の品質に関してcodec の性能を改良することができるという利点がある。本発明のその他の特徴及び利点は、添付図面を参照して行なう下記の説明から明らかになろう。第１図は、本発明によるエンコーダ／デコーダの１実施例を図示したものであり、第２図は、本発明によるエンコーダ／デコーダによって使用される階層的運動予測器を介した空間予測子の選択を示す画像ピラミッドの１部分の２次元表示である。第１図には、多解像度階層的運動予測器を備える本発明による４つの解像度レベルを有するエンコーダ／デコーダすなわちcodec の１実施例が図示されている。この実施例は、ジェー．モー(J.Mau)による『完全な再構成変調フィルタ段(Pe rfect Reconstruction Modulated Filter Banks)』（ＩＣＡＳＳＰ、1992年３月、サンフランシスコ(San Francisco)）に記載されたサブバンド分割原理を使用する。画像は、２次元の分離可能なフィルタ段の使用に基づく並列構造によってサブバンドに分割される。そのような段は、解析フィルタと合成フィルタを備える。解析フィルタの段は、画像を、画像の水平方向Ｘ及び垂直方向Ｙに沿って所定の数Ｍのバンドに分解する。従って、各々Ｍ行とＭ列を決定する。フィルタの分離可能な特徴によって、画像の行及び列を別々に処理することができる。画像をサブバンドＭ×Ｍへ分割するため、解析フィルタは１次元であり、Ｍ個のサブバンドに画像の行を分割し、次に連続してＭ個のサブバンドに列を分割する。サブバンドは、各方向Ｘ及びＹにおいて、バンド数Ｍによってサブサンプリングされる。同様に、画像は、数Ｍのサブバンドに対応する数Ｍの１次元合成フィルタを含む段と、サブバンド数Ｍの特定のファクタによる内挿とによって再構成される。分析及び合成フィルタは、同一リニアフェイズ低域原型フィルタを変調することによって計算される。解析及び合成の変調位相は反対であり、従って、画像再構成中のスペクトル後退を除去する。 “全解像度”画像をＭ×Ｍ個のサブバンドに分割することから出発して、本発明によるｃｏｄｅｃは、Ｍが偶数ならば“４分の１解像度”のサブ画像を再構成する。このため、ｃｏｄｅｃはこのレベルの解像度に対応するＭ／２×Ｍ／２のサブバンドを選択するが、このサブバンドは低周波数に対応する。ｃｏｄｅｃは、“全解像度”合成段から単純に演繹された合成段を計算する。Ｍ／２合成フィルタ段は、Ｍ個のサブバンドへの分割のため当初の原型フィルタの２つづサブサンプリングされた型を変調することによって得られる。Ｍが２の累乗である時、方法は反復され、１×１の合成段の使用まで16番目の解像度サブ画像等を生成する。本発明によるｃｏｄｅｃの実施例は、点線によって区画された主符号化回路１を備える。この主符号化回路によって、伝送チャネルを介して、内部モードでは符号化された現在のソース画像Ｉ_ｎを、相互モードでは現在のソース画像Ｉ_ｎと前段のデコード画像Ｉ_ｎ-1に基づいて形成された予測から生じる画像との間の差から生成する符号化されたエラー信号を送ることができる。主符号化回路は、入力Ｅから出力Ｓまで、現在のソース画像Ｉ_ｎをその入力に受け、その出力に64個のバンド、すなわち、画像の水平なＸ方向に８個及びＹ方向に８個のバンドに分割された同じ“全解像度”画像を出力する第１の高品位解析フィルタ段すなわちＨＤ解析段２を備える。ＨＤ解析段２の出力は、ｃｏｄｅｃによって選択された「内部モード」位置でスイッチ４によって量子化回路すなわち量子化器３に直接接続されるか、または、ｃｏｄｅｃによって選択された「相互モード」位置でスイッチ４を介して出力が量子化器３の入力に接続された減算演算子すなわち減算器５の第１のオペランド入力に接続される。内部モードでは分割され量子化されたＨＤ画像をまたは相互モードでは量子化されたエラー信号を出力する量子化器３の出力は、一方ではマルチプレクサＭＵＸを内蔵し、出力が伝送チャネルに接続された可変長符号化装置すなわちＶＬＣ６の第１の入力に接続され、もう一方では出力がｃｏｄｅｃによって選択された「内部モード」位置では第２のスイッチ12を介して、点線内に各々図示された４つの符号化ループ８〜11の入力に直接接続されるかまたは出力がｃｏｄｅｃによって選択された「相互モード」位置では各々高品位(High Definition)フォーマット、テレビジョン(Television)フォーマット、ビデオ電話(Videotelephone)フォーマット及び信号の平均が零であることを意味する「直流(Direct Current)」フォーマットを意味するＨＤ、ＴＶ、ＶＴ及びＤＣフォーマットに関する４つの符号化ループ８〜11の入力に接続されている加算演算子すなわち加算器13の第１のオペランド入力に接続される。各ループ８〜11は、前段のデコードされた画像Ｉ_ｎ-1から再構成された画像を出力し、ＨＤフォーマットでは“全解像度” 画像を、ＴＶフォーマットでは“４分の１解像度”画像を、ＶＴフォーマットでは“16分の１解像度”画像を及びＤＣフォーマットでは“64分の１解像度”画像を各々構成する。第１及び第２のループ８及び９は、各々、ＨＤ予測ループ及びＴＶ予測ループに対応する。ＨＤ予測ループ８及びＴＶ予測ループ９は、各々、入力から出力までにサブバンドに分割された“全解像度”画像からＨＤフォーマット“全解像度”画像Ｒ＝１画像及びＴＶフォーマット“４分の１解像度”画像Ｒ＝４分の１画像を再構成するための合成フィルタ段すなわち合成段12及び13を備える。合成段12及び13は、各々前段のＨＤ及びＴＶフォーマットの画像の記憶を可能にする画像メモリ14及び15の入力に接続される。各画像メモリ14及び15の出力は、各々運動補正装置16及び17の第１の入力に接続されており、その運動補正装置 16及び17は、運動補正装置16及び17の第２の入力に達する運動ベクトルＶの形の制御信号により、現在のソース画像Ｉ_ｎと前段のデコードされた画像Ｉ_n-1 との間で実行される運動予測に基づいて、ＨＤ及びＴＶフォーマット画像を再整列させることを可能にする。運動ベクトルＶは、そのままの大きさで、ＨＤループの運動補正装置16に入力され、この大きさの半分は、ＴＶループ解像度が、画像の両方向Ｘ及びＹのＨＤループの解像度の半分を示すので、ＴＶループの運動補正装置17に入力される。それら運動補正装置16及び17の出力は、解析段18及び19の入力にそれぞれ接続されている。２つの再整列されたＨＤ及びＴＶフォーマット画像は、次にサブバンドに分割され、次のソース画像Ｉ_ｎの予測として役立つ。解析段18及び19の各出力は、共通接続されており、また、一方では減算器５の第２のオペランド入力に、もう一方では加算器13の第２のオペランド入力に接続されている。第３及び第４のループ10及び11は、各々、ＶＴ及びＴＣフォーマットのループに対応し、各々合成段20及び21を備える。各合成段 20及び21の出力は、各々、画像メモリ22及び23の入力に接続されている。４つのループ８、９、10及び11に関する画像メモリ14、15、22及び23の出力は、各々、多解像度階層的運動予測器24の第１の組の４つの番号の付いた入力に接続されている。４つのループ８、９、10及び11の出力は、第１の多解像度ピラミッドＰ₁を生成する。そこでは、各ループ８、９、10及び11に再構成された画像は、そのピラミッドＰ₁の４つのレベルｎ＝１〜４の１つに対応する。第１のレベルｎ＝１はＨＤフォーマットを有する“全解像度”Ｒ＝１画像に、第２のレベルｎ＝２はＴＶフォーマットを有する“４分の１解像度”Ｒ＝１／４画像に、第３のレベル＝３はＶＴフォーマットを有する“16分の１解像度”画像Ｒ＝“１／16”画像に、そして、第４のレベルｎ＝４はＤＣフォーマットを有する“64分の１解像度”画像Ｒ＝“１／64”画像に対応する。予測器24は、第１の組の４つの前述した入力と同様に、第２の組の４つの順番の付いた入力に、第２の多解像度ピラミッドＰ₂を受ける。第１の入力は、主符号化回路１のＨＤ解析段２によるサブバンド分割の前の“ 全解像度”の現在のソース画像Ｉ_nを受ける。その他の３つの連続した入力は、各々、順番に主符号化回路１の解析段２によってＭ×Ｍ個のサブバンドに分割されてそれらの入力に入力された現在のソース画像Ｉ_nから、それぞれＴＶ合成段2 5、ＶＴ合成段26及びＤＣ合成段27によって再構成された画像を受ける。次に、予測器24によって現在のソース画像Ｉ_nと前もって符号化されたソース画像Ｉ_n-1との間の階層的運動予測を実施する。この最後のデコードされた画像Ｉ_n-1に対応する第１のピラミッドＰ₁は、既にＨＤループ８に存在するデコードされた“全解像度”画像、ＴＶループ９に存在する“４分の１解像度”画像及びＤＣループ11の合成フィルタ21の係数から直接得られるＤＣ画像を含む。ｃｏｄｅｃは、ＶＴループ10の合成段20に基づく16分１の解像度画像だけを再構成する。２つの多解像度ピラミッドＰ₁及びＰ₂に基づいて実施される運動予測から生じる運動ベクトルＶを生成する予測器24の出力は、一方では第１のＨＤ予測ループ８の画像メモリ16の第２の入力に接続され、もう一方では主符号化回路１のＶＬＣの第２の入力に接続される。同じベクトルＶは、その大きさが２分の１に分割されて、また第２のＴＶ予測ループ９の画像メモリ17の第２の入力に接続される。本発明によるｃｏｄｅｃでの多解像度階層的予測器の使用は、予測アルゴリズムの構造の変更を必要としない。すなわち、ＴＶフォーマットと両立する画像のために使用される運動ベクトルＶは、再拡張されたＨＤフォーマットの“全解像度”画像のベクトルである。ベクトルＶのフィールドは、ベクトルＶの拡張後、 “全解像度”画像及び“ＴＶ両立式”画像との両方に対して再整列を確保する。特に、第１のピラミッドＰ₁の様々なレベルｎ＝１〜ｎ＝４は、実際両立式画像から再構成される。特に、最後のレベルｎ＝４で予測されたベクトルＶは、前のレベルｎ＝３で計算されたベクトルを使用して初期化され、従って、ＴＶ両立式画像の最高の再整列を確実にする。従って、ＴＶ両立式画像の再整列のため再拡張された時、“全解像度”運動ベクトルＶのフィールドは、第１のピラミッドＰ₁の後ろから２番目のレベルｎ＝３で予測されるような真のフィールドに似る各機会を有する。予測方法の実施例を下記に記載する。ソース画像は、特定の数のブロックに分割される。各ブロックは行及びその各列の交点によって区画され、そのサイズは全ての解像度レベルで同じである。この実施例では、運動予測は、“全解像度” 画像の場合、漸進フォーマットでは16×16ブロックごとに、または交差フォーマットでは16×８ブロックごとに、１つの運動ベクトルで最高に達しなければならない。サーチは、最も低い解像度レベルで開始する。予測器は、サーチを初期化するために１ブロックにつき１つの時間予測子を含む。この予測値の値は、前の予測中の同じブロック及び同じ解像度レベルに対応するベクトルの値である。シーケンスの開始時に、時間予測子は０に設定される。次に、予測器は、略称ＤＦＤで知られている、時間予測に対応する変位した内部画像差を、零変移に対応する差と共に計算する。最小のＤＦＤを有するベクトルが得られる。次に、このベクトルは、水平方向Ｘで±ｘ及び垂直方向Ｙで±ｙの大きさのサーチウィンドによって抽出され、ベクトルの先端に中心が合わせられる。最小のＤＦＤを形成する補正されたベクトルを取り出し、次の解像度レベルでサーチを初期化するために使用する。この技術は、特に、ピー．アナンダン (P.Anandan)によって「ＳＰＩＥ第521 巻インテリジェントロボットとコンピュータヴィジョン(ＳＰＩＥ Vol.521 Intelligent Robot and Computer Vision )」（1986年）に発表された『閉塞を含む場で信頼予測で密度の濃い変位フィールドを計算する(Computing dense displacement fields with confidence measures in scenes containing occlusions)』に記載されている。２つの連続したレベルｎ−１及びｎでは、高いレベルｎの各ブロックは４つの予測子、すなわち、低いレベルｎ−１で実施された前段の予測から派生する１つの時間予測子及び３つの空間予測子を有する。低いレベルｎ−１の各ブロックに高いレベルｎの４つのブロックが対応する。低いレベルｎ−１のブロックに割り当てられたベクトルは、ベクトルを拡張した後、高いレブルの４つのブロックの各々に伝搬される。３つの空間予測子の割当は、高いレベルｎの各ブロックごとに決定される。図２の実施例では、低いレベルｎ＝１の１〜９の番号の付いた９個のブロックを線影をつけて図示した。各ブロック１〜９＝２の４つのブロック、すなわち、右上ブロック、左上ブロック、左下ブロック及び右下ブロックが対応する。ブロックが対応する。そのブロック５の中心は、上位レベルｎ＝２の４つのブロック上に中心がある。３つの空間予測子は、てられる。第１の空間予測子は各々、上位レベルｎ＝２のベクの２つの空間予測子は各々第１の予測子に近接する２つのブロックに対応する。４×３個の予測子の組は、上位レベルｎ＝２で十字を形成する。残りのサーチは、下位レベルｎ＝１の他のブロックについて同様に続行され、続く上位レベルｎ＝３及び４でも同じ作業が実施される。しかし、レベルｎ＝４に対応する“全解像度”レベルでは、予測器はもはや時間予測子を使用せず、３つの空間予測子だけを使用して、サーチを初期化する。従って、実施の複雑さを最小にする。従って、ｎ＝１〜ｎ＝４の４つのレベルで、16×16または16×８のブロックにつき１つの整数ベクトルが得られる。サブ画素精度を得るためには、双一次内挿または類似のものを使用して、前段で発見された整数ベクトルの周囲の対応する位置をテストすることができる。この階層的予測器によって予測されるベクトルの最大整数の大きさは、下記の通りである。レベルｎ＝１では、｜Ｖ_1x｜＋ｘ｜Ｖ_1y｜＋ｙレベルｎ＝２では、２｜Ｖ_1x｜＋３ｘ２｜Ｖ_1y｜＋３ｙレベルｎ＝３では、４｜Ｖ_1x｜＋７ｘ４｜Ｖ_1y｜＋７ｙ及びレベルｎ＝４では、８｜Ｖ_1x｜＋15ｘ８｜Ｖ_1y｜＋15ｙ（但し、｜Ｖ_1x｜及び｜Ｖ_1y｜は、各々、Ｘ方向でのベクトルＶ₁の基準及びＹ方向でのベクトルＶ₁の基準を示す。従って、水平及び鉛直に±３の画素の大きさを有するウィンドでは、漸進の場合、予測器はその大きさが各方向に±45画素に達することがあるベクトルを予測することができる。実際、ピラミッドの第１のレベルで時間予測子を使用することによって、より大きさの大きいベクトル予測が可能である。予測される最大の大きさは、予測器の発散の危険性を小さくするためにはやはりピラミッドの全レベルで制限されなければならない。本発明によるｃｏｄｅｃは、例えば、「４進木(quadtree)」型のツリー構造を使用する運動ベクトルフィールドの符号化に使用される。この用途では、両立式部分に使用されるベクトルはツリー構造を介して直接伝送されなければならない。この用途は、従来の示差符号化に対して全フィールドを符号化するコストを減少する観点から利点があり、さらに大きな利点は両立式デコーダは全運動情報をデコードする必要がなく、単に根から所望の解像度レベルまで伸びるツリー部分だけをデコードすればよいということである。

【手続補正書】特許法第１８４条の８【提出日】１９９５年３月３日【補正内容】請求の範囲１．主符号化回路（１）と、２つの連続したソース画像間の運動予測器(24)に基づいて運動ついて補正されたサブバンドを計算するための少なくとも１つの予測ループ(8、9)とを備える型のテレビ画像のサブバンド両立式エンコーダ／デコーダであって、現在の画像及び現在のサブバンドから現在の画像の第１のピラミッド（Ｐ２）及び前段の符号化されたサブバンドから前段の画像（Ｐ１）の第２のピラミッドを構成する手段を備え、各ピラミッドは解像度レベルの異なる画像から構成され、運動予測器(24)は、その入力にピラミッドが入力される階層的運動予測器であることを特徴とするエンコーダ／デコーダ。２．特定のフォーマットのテレビの画像に関する解像度の異なる画像を再構成する予測ループを備えるコーダ／デコーデであって、ピラミッドＰ１の少なくとも１つの画像は予測ループから取り出されることを特徴とする請求項１に記載のエンコーダ／デコーダ。３．ピラミッドＰ２を構成する画像は、サブバンド符号化用の解析フィルタ段（２）から生成され、ピラミッドＰ１を構成する画像は、予測ループにおいて画像を再構成する合成フィルタ段（12、13）から生成されることを特徴とする請求項１に記載のエンコーダ／デコーダ。４．階層的運動予測器(24)は更に、現在のソース画像（Ｉ_ｎ）の“全解像度”レベルの大きい解像度レベルに対応するサブ画素精度を可能にする双一次内挿段を備えることを特徴とする請求項１〜３のいずれか１項に記載のエンコーダ／デコーダ。５．２つの多解像度画像ピラミッド（Ｐ_１及びＰ_２）を構成する手段は、現在のソース画像（Ｉ_ｎ）を、各々その画像（Ｉ_ｎ）の行及び列に対応する、その画像（Ｉ_ｎ）の水平方法（Ｘ）及び垂直方向（Ｙ）に沿って、互いに等しい偶数のサブバンド（Ｍ）に分割する第１の手段と第１の手段からの結果を使用して前段の画像（Ｉ_ｎ-1）とそれらの解像度に従って並べられた解像度が異なり且つ前段のデコード画像（Ｉ_ｎ-1）から構築された特定の数の画像を備える第１の組の画像を再構成するために第２の手段（８、９、10及び11）と、第１の手段によって分割された“全解像度”の現在のソース画像（Ｉ_ｎ）から、それらの解像度に従って並べられた解像度が異なる特定の数の画像を含む第２の組の画像を再構成する第３の手段（25、26及び27）とを備え、解像度が異なる第１の組の画像が、上記した第１のピラミッド（Ｐ_１）を形成しており、現在のソース画像（Ｉ_ｎ）と解像度が異なる第２の組の画像とが、上記した第２のピラミッド（Ｐ_２）を形成していることを特徴とする請求項１に記載のエンコーダ／デコーダ。６．第１の手段は、画像（Ｉ_ｎ）の行及び列に各々対応する画像の水平方向（Ｘ）及び垂直方向（Ｙ）に沿ってサブバンド（Ｍ）に分割される現在のソース画像（Ｉ_n）の連続解析を可能にする２次元の分離可能な解析フィルタ段（２）を備えることを特徴とする請求項５に記載のエンコーダ／デコーダ。７．第２の手段は特定の数の符号化ループ（８、９、10及び11）を備え、各ループは特定のフォーマットでの画像を再構成するための合成フィルタ段（12、13、 20及び21）と、再構成された画像を記憶する画像メモリ（14、15、22及び23）とを備え、各画像メモリ（14、15、22及び23）の出力は、各々ループ（８、９、10 及び11）のフォーマットによって決定された解像度を有する画像を出力し、従って、第１のピラミッド（Ｐ_１）を形成することを特徴とする請求項５に記載のエンコーダ／デコーダ。８．予測ループと呼ばれる特定数の符号化ループ（８及び９）は更に、各々、同じループ（８及び９）に第１の入力が接続され、ループ（８及び９）のフォーマットに応じて重み付けられた運動ベクトル（Ｖ）を出力する階層的予測器(24)の出力に第２の入力が接続された運動補正装置（16及び17）と、運動補正装置（16 及び17）から出力される画像をサブバンド（Ｍ）に再分割する解析フィルタ段（ 18及び19）とを備え、各ループ（８及び９）の出力は互いに接続され、各々主符号化回路（１）と符号化ループ（８、９、10及び11）の入力に接続され、各々前段のデコード画像（Ｉ_ｎ-1）と現在の画像（Ｉ_ｎ）との間で符号化エラーに関する予測信号（Ｐ）を出力することを特徴とする請求項５に記載のエンコーダ／デコーダ。９．第３の手段は、特定の数の合成フィルタ（25、26及び27）を備え、各々が合成フィルタ段(2)によって分割された“全解像度”の現在のソース画像（Ｉ_ｎ）から解像度の異なる画像を再構成するこ特徴とする請求項を特徴とする請求項５に記載のエンコーダ／デコーダ。 10．各ピラミッド（Ｐ_１及びＰ_２）は、最低レベルから最高レベルまでの解像度を含み、第１の画像はＤＣフォーマットの解像度Ｒ＝１／64のレベル（ｎ＝１）の画像に対応し、第２の画像はＶＴフォーマットの解像度Ｒ＝１／16のレベル（ｎ＝２）の画像に対応し、第３の画像はＴＶフォーマットの解像度Ｒ＝１／４のレベル（ｎ＝３）の画像に対応し、及び、第４の画像はＨＤフォーマットの“全解像度”Ｒ＝１のレベル（ｎ＝４）の画像に対応することを特徴とする請求項１〜９のいずれか１項に記載のエンコーダ／デコーダ。 11．第２のピラミッド（Ｐ_２）の第１の３つのレベル（ｎ＝１〜３）は、解析フィルタ段（１）によって画像の水平方向（Ｘ）及び垂直方向（Ｙ）に沿って各々８個のバンドに、すなわち、64個のバンド（Ｍ）に分割され、各々ＤＣ、ＶＴ及びＴＶ合成フィルタ（27、26及び25）によって別々に再構成された現在のソース画像（Ｉ_ｎ）から得られ、第１のピラミッド（Ｐ_１）の４つのレベル（ｎ＝１〜４）は各々、ＤＣ、ＶＴ、ＴＶ及びＨＤフォーマットに対応する４つの符号化ループ（８、９、10及び11）によってＨＤ解析フィルタ(2)によって分割された前段のデコード画像（Ｉ_ｎ-1）から得られることを特徴とする請求項10に記載のエンコーダ／デコーダ。 12．各々ＨＤ及びＴＶフォーマットを有する第１の２つのループ（８及び９）は、運動補正予測ループであることを特徴とする請求項11に記載のエンコーダ／デコーダ。 13．解析及び合成フィルタは、同一リニアフェイズ低域原型フィルタを変調することによって計算され、解析及び合成の変調位相は反対であり、従って、画像の再構成中のスペクトル変化を排除することを特徴とする請求項１〜12のいずれか１項に記載のエンコーダ／デコーダ。 14．ツリー構造による運動ベクトル（Ｖ）のフィールドの符号化への請求項１〜 11のいずれか１項に記載のエンコーダ／デコーダの使用であって、運動ベクトル（Ｖ）はツリー構造を介しで予測器(24)の出力から予測ループ（８及び９）に転送される使用。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ブッシュロク，ファディラフランス国 92402 クールヴボワセデックスボワトポスタル 329 トムソンセーエスエフエスセーペーイー

Claims

【特許請求の範囲】１．２つの連続したソース画像すなわち前段の画像（Ｉ_n-1）及び現在の画像（Ｉ_n）間の階層的運動予測器(24)に接続された特定のフォーマットの主符号化回路（１）及び符号化ループ(8〜11)を備える型のテレビ画像のサブバンド両立式符号化のエンコーダ／デコーダであって、前段のデコード画像（Ｉ_n-1）及び現在のソース画像（Ｉ_n）から各々その解像度によって同一の番号を付けた同じ特定の数の画像を含む解像度の異なる画像ピラミッド（Ｐ₁及びＰ₂）を各々構成するための手段を備え、その各画像は画像の水平（Ｘ）及び鉛直（Ｙ）方向で前段の解像度レベルの半分の解像度レベルに対応し、各ピラミッド（Ｐ₁及びＰ₂）は各々運動ベクトル（Ｖ）を出力する階層的運動予測器の第１及び第２の直列入力に各々入力され、その運動ベクトル（Ｖ）の大きさは２つのピラミッド（Ｐ₁及びＰ₂）間で予測された運動に比例することを特徴とするエンコーダ／デコーダ。２．さらに、階層的運動予測器(24)は、現在のソース画像（Ｉ_n）の“全解像度 ”レベルより大きい解像度レベルに対応するサブ画素精度を可能にする双一次内挿段を含むことを特徴とする請求項１に記載のエンコーダ／デコーダ。３．２つの多解像度画像ピラミッド（Ｐ₁及びＰ₂）を構成する手段は、現在のソース画像（Ｉ_n）を各々その画像（Ｉ_n）の行及び列に沿って等しい偶数のサブバンド（Ｍ）に分割する第１の手段と、第１の手段からの結果を使用して前段の画像（Ｉ_n-1）とそれらの解像度に応じて番号のついた解像度が異なり、前段のデコード画像（Ｉ_n-1）から構成された特定の数の画像を備える第１の組の画像を再構成するために第１の手段(2)からの結果を使用する第２の手段（８、９、10及び11）と、第１の手段によって分割された“全解像度”の現在のソース画像（Ｉ_n ）からのそれらの解像度に応じて番号のついた解像度が異なる特定の数の画像と第２のピラミッド（Ｐ₂）を形成する第２の組の解像度の異なる画像を含む第３の手段（25、26及び27）を備えることを特徴とする請求項１または２に記載のエンコーダ／デコーダ。４．第１の手段は、画像（Ｉ_n）の行及び列に各々対応する画像の水平（Ｘ）及び垂直（Ｙ）方向に沿ってサブバンド（Ｍ）に分割される現在のソース画像（Ｉ_n ）の連続解析を可能にする２次元の分離可能な解析フィルタ段（２）を備えることを特徴とする請求項３に記載のエンコーダ／デコーダ。５．第２の手段は特定の数の符号化ループ（８、９、10及び11）を備え、各ループは特定のフォーマットでの画像を再構成するための合成フィルタ段（12、13、 20及び21）及び再構成された画像を記憶する画像メモリ（14、15、22及び23）を備え、各画像メモリ（14、15、22及び23）は各々ループ（８、９、10及び11）のフォーマットによって決定された解像度を有する画像を出力し、従って、第１のピラミッド（Ｐ₁）を形成することを特徴とする請求項３に記載のエンコーダ／デコーダ。６．予測ループと呼ばれる特定数の符号化ループ（８及び９）は、また、各々第１の入力を介して同じループ（８及び９）に接続され、第２の入力を介してループ（８及び９）のフォーマットに応じて重み付けられた運動ベクトル（Ｖ）を出力する階層的予測器(24)の出力に接続された運動補正装置（16 及び17）と、運動補正装置（16及び17）を離れる画像をサブバンド（Ｍ）に再分割する解析フィルタ段（18及び19）とを備え、各ループ（８及び９）の出力は互いに接続され、各々主符号化回路(1)及び符号化ループ（８、９、10及び11）の入力に接続され、各々前段のデコード画像（Ｉ_n-1）と現在の画像（Ｉ_n）との間で符号化エラーに関する予測信号（Ｐ）を出力することを特徴とする請求項５に記載のエンコーダ／デコーダ。７．第３の手段は、特定の数の合成フィルタ（25、26及び27）を備え、各々が合成フィルタ段(2)によって分割された“全解像度”の現在のソース画像（Ｉ_n）から解像度の異なる画像を再構成することを特徴とする請求項３に記載のエンコーダ／デコーダ。８．各ピラミッド（Ｐ₁及びＰ₂）は、最低レベルから最高レベルまでの解像度を含み、第１の画像はＤＣフォーマットの解像度Ｒ＝１／64のレベル（ｎ＝１）の画像に対応し、第２の画像はＶＴフォーマットの解像度Ｒ＝１／16のレベル（ｎ＝２）の画像に対応し、第３の画像はＴＶフォーマットの解像度Ｒ＝１／４のレベル（ｎ＝３）の画像に対応し、及び、第４の画像はＨＤフォーマットの“全解像度”Ｒ＝１のレベル（ｎ＝４）の画像に対応することを特徴とする請求項１〜７のいずれか１項に記載のエンコーダ／デコーダ。９．第２のピラミッド（Ｐ₂）の第１の３つのレベル（ｎ＝１〜３）は、解析フィルタ段（２）によって画像の水平（Ｘ）及び垂直（Ｙ）方向に沿って各々８個のバンドに、すなわち、64個のバンド（Ｍ）に分割され、各々ＤＣ、ＶＴ及びＴＶ合成フィルタ（27、26及び25）によって別々に再構成された現在のソース画像（Ｉ_n）から得られ、第１のピラミッド（Ｐ₁）の４つのレベル（ｎ＝１〜４）は各々ＤＣ、ＶＴ、ＴＶ及びＨＤフォーマットに対応する４つの符号化ループ（８、９、10及び11）によってＨＤ解析フィルタ(2)によって分割された前段のデコード画像（Ｉ_n-1）から得られることを特徴とする請求項８に記載のエンコーダ／デコーダ。 10．各々ＨＤ及びＴＶフォーマットを有する第１の２つのループ（８及び９）は、運動補正予測ループであることを特徴とする請求項９に記載のエンコーダ／デコーダ。 11．解析及び合成フィルタは、同一リニアフェイズ低域原型フィルタを変調することによって計算され、解析及び合成の変調位相は反対であり、従って、画像の再構成中のスペクトル変化を排除することを特徴とする請求項１〜10のいずれか１項に記載のエンコーダ／デコーダ。 12．ツリー構造による運動ベクトル（Ｖ）のフィールドの符号化への請求項１〜 11のいずれか１項に記載のエンコーダ／デコーダの使用であって、運動ベクトル（Ｖ）はツリー構造を介して予測器(24)の出力から予測ループ（８及び９）に転送される使用。