JPH11509709A - ビデオ画像を分割符号化及び復号する方法とシステム - Google Patents

Abstract

(57)【要約】 本発明は、能動型三角形メッシュ符号化手法とパーチションツリーとを使用して、一連の画像シーケンスを符号化する方法及びシステムを記述する。現在の画像を先ず高傾度点にノードを持つブロックのメッシュに分割し、さらにブロックを２個の三角形に分割する。本システムは、投影回路、前の画像用に定義されたメッシュを基に評価するための多角形で構成され現在の画像に対応する投影メッシュおよびテクスチャ誤り検出・符号化回路から構成される。適用分野は極めて低速のビットレートの符号化であり、マルチメディアへの応用である。

Description

【発明の詳細な説明】 ビデオ画像を分割符号化及び復号する方法とシステム 本発明は一連の画像シーケンスを符号化する方法に関し、該方法は、それら各 画像の分割操作に続きそれにより得られる継起的なパーチション(partition)を 符号化する操作に依存し、且つ対応する符号化システム及び復号システムに依存 する方法である。本発明は数年内にすべてのマルチメディア応用分野で重要な役 割を演じるであろう MPEG4標準と関連して特に有用である。 極く低いビットレートのビデオ画像符号化の分野では、１組のリージョン（こ れを１パーチションと呼ぶ）という見地で、また受信機が画像を再構築するのに 利用する各リージョンに対する或る情報という見地で、一連の画像シーケンスの 各々を説明するところの、リージョンに基づく圧縮方法への関心が増大しつつあ る。これらの技術の間の主たる相違は、空間情報又は動きの情報に割り当てる重 要度に係わるものである。例えば Signal Processing:Image Communication誌 V ol.1,No.2,1989年10月，pp.117-138所載のH.G.Musmann,M.Hoetter,及びJ.Osterm ann による“Object-oriented analysis-synthesis coding of moving images” という文献では、動きが重要な役割を果たし、画像は過去に蓄積されているフレ ームの動き補償を受けて受信側に蓄積される。各画像の１パーチションが補償さ れるべきリージョンを定義するのに使用される。このアプローチの仕方は、もし 上記一連の画像シーケンスが実際に補償されることができるならば好結果をもた らす、換言すれば、もし新しい対象物がそのシーン(scene)に導入されることが 許容されないならば、そしてシーンの変更が禁止されるならば好結果をもたらす 。結果的に、この技術は「頭部と肩」のシーケンスのような極めて特定の適用分 野に主として用いられる。 更に一般的な他のアプローチの仕方は、主としてシーンの空間情報を取り扱う 。画像シーケンスの空間的分析を送信された情報の動き補償と組み合わせたとこ ろの、符号化アルゴリズムが提案される。一方において空間的分析が、任意の種 類のシーケンスもシーンの変更も取り扱うことのできる一般的な手法(scheme)を 求めるために使用され、他方において、動きの情報が送信されなければならない ところの空間的情報（パーチションとテクスチャ、又は色）を補償することによ る符号化能率を向上させるために使用される。そのような符号化アルゴリズムの 結果分析によれば、ビットの流れの約55％がパーチション情報に振り当てられ、 約35％がテクスチャ（又は色）に振り当てられ、残りの10％が動き情報に振り当 てられている。 本発明の１番目の目的は、一層多くのテクスチャ情報を受信端へ送信する改良 された符号化方法を提案することである。 この目的のために本発明は、冒頭に述べたような符号化方法で、各現在のパー チションがその前のパーチションと関連して考察される符号化方法が： (1)現在の画像パーチションをブロックのメッシュに再分割し、そのノードは高 傾度点(high gradient points)に存在するようにし、また、上記メッシュのブロ ックを２個の三角形に再分割する初期化ステップ； (2)変位ベクトルを各三角形のノードに関連付けるために動き評価操作により、 シーケンスの時間的展開に従うことを許容し、それに続いて上記ノードのこの動 きに基づき新メッシュを定義するための投影ステップ； (3)次のパーチションを創り出し、テクスチャ情報を補償することを許容する動 きの場(motion field)を定義するために、該補償はノードの動きの知識に基づき 現在の画像を予測する合成ステップを実行することを許容するところのメッシュ の動きの符号化ステップ； (4)シーンの展開にメッシュのトポロジーを適用するための分割及び併合ステッ プであって、その分割サブステップはメッシュに新しい三角形の導入を許容し、 その併合サブステップは小形の三角形又は変形した三角形の除去を許容するとこ ろの分割および併合ステップ； (5)メッシュ更新符号化ステップ； (6)テクスチャの誤り検出及び符号化ステップ； の諸ステップを有して成るものとする。 この方法によれば、幾つかの既存の実施例のような任意の形状のリージョンに よってではなく、三角形のような簡単な形状により動作し、動き及びパーチショ ン情報とともに送信するよう提案される。この発想は、能動型三角形メッシュ符 号化の手法を定義することにつながる。例えば通信の分野で研究されている能動 型メッシュについての、IEEE Transactions on Image Processing誌Vol.3,No.5 ，1994年９月,pp.610-624 所載“Active mesh：a feature seeking and trackin g image sequence representation scheme”という文献では、能動型メッシュは 、一般的に動きの情報をモデルとしているが、完全な能動型符号化の手法は極め て少数のみ取り上げられているに過ぎない。本明細書ではメッシュがシーケンス そのものをモデル化するのに使われると共に、次の２つの基本的役割を果たす:( a)三角形で構成される簡単化されたパーチション（パーチションはテクスチャの 表現では均一なリージョンを定義するのに使用され、その特別な構造上、非常に 効率よく符号化される）を定義する;(b)三角形のメッシュのノードは動きの情報 を送るのにも使用される。これは各リージョンの動きがアフィン(affine)変換に よってモデル化されると想定され、むしろ複雑な事象を考慮できる。 本発明のもう１つの目的は、該方法を実行するために、それに対応した符号化 システムを提案することである。 この目的のために本発明は、継起的なパーチションを定義する一連の分割され た画像のシーケンスを符号化するシステムであって、現在の各画像は元来はブロ ックのメッシュの形で得られ、そのノードは高傾度点に位置し、各ブロックは２ 個の三角形に再分割されているところの符号化システムが、： (A)前の画像(T−1)に対して定義されたメッシュに基づいて、多角形で作られて 現在の画像Ｔに対応する投影されたメッシュを推定するための投影回路； (B)上記投影されたメッシュに関連する動きとテクスチャを符号化するためのメ ッシュ符号化回路； (C)テクスチャ誤り検出及び符号化回路； を有して成るものとする。 １番目の実施例によれば、上記メッシュ符号化回路は： (a)メッシュの各ノードに対して定義された翻訳ベクトルを符号化するためのメ ッシュの動き符号化回路； (b)ノードの動きの場についての知識とテクスチャ情報の逐次補償とに基づいて 現在の画像を予測するための合成回路； (c)三角形の分割又は併合によるメッシュのトポロジーの修正のためのメッシュ 更新回路； (d)メッシュのトポロジーに関する修正情報を符号化するためのメッシュ更新符 号化回路； を有して成るものとすることができよう。 もう１つの実施例によれば、代替案として上記メッシュ符号化回路は： (a)併合により得られた目の粗いメッシュで且つ上記ツリーより更に上のレベル を定義するメッシュ、及び再分割により得られた目の細かいメッシュで且つ上記 ツリーより更に下のレベルを定義するメッシュを、上記投影されたメッシュに関 連付けるためのメッシュ・ツリー定義デバイス； (b)上記定義されたメッシュ・ツリーのメッシュ提案を取り入れ、いわゆる最終 投影されたメッシュにどの多角形が属するかについて、及び、予め定められたリ スト中からどの符号化技術を上記多角形の各々の内部で使用することになるかに ついて決定するための決定サブアセンブリ； (c)上記決定と、上記最終投影されたメッシュと、上記最終選択された多角形の 各々のテクスチャとを符号化するための符号化サブアセンブリ； を有して成るものとすることができよう。 上記２番目の実施例の場合、決定サブアセンブリは決定ツリーを構築するデバ イスを含むことができ、該決定ツリーは上記符号化技術のコストと品質に関する 情報を伝達するために設けられるものであり、また上記決定ツリーは最適化デバ イスを含むことができ、該最適化デバイスは最高の符号化品質と最低の関連コス トで企画された上記最終のパーチションを定義する１組の多角形を見つけ出すた めのものである。 本発明の更にもう１つの目的は上述のような符号化システムで符号化された符 号を復号するシステムを提案することである。 この目的のために本発明は、上述のような符号化システムを用いて符号化され た信号の復号システムであって、上記符号化された信号は、前のパーチションの 動きの評価及び補償により定まる主パーチションのリージョンから成るか、又は 主パーチションのリージョンを併合又はは再分割することにより創り出された追 加パーチションのリージョンから成るところの、最適パーチションに対応する符 号化された情報を現在の各パーチションに対して構成している信号である復号シ ステムが：上記最適パーチションを符号化するのに用いられた方策に対応して情 報を復号するために設けられた決定復号デバイスと；動きを復号するデバイスと ；パーチションを復号するデバイスと；テクスチャを復号するデバイスと；を有 して成るものとする。 本発明の上記ならびに他の態様は下記および付属の図面との関連において考慮 される実施例から明らかになるよう説明される。 図１は、本発明に基づく符号化システムの構成を示す図であり； 図２ないし図５は、メッシュ作成開始の最初の段階を示す図であり； 図６は、テクスチャがどのように合成されるかを示す図であり； 図７ないし図９は、三角形の分割に対する３種の分割手法を示す図であり； 図10は、新規エッジを作成する上での制限条件を示す図であり； 図11ないし図13は、ノード除去の過程がどのようにメッシュのトポロジーを破 壊することがあるかを示す図であり； 図14ないし図18は、テクスチャ合成が貧弱な画像表現を生成した場合の、テク スチャ符号化の一例を示す図であり； 図19は、本発明による能動型三角形メッシュ符号化方法のもう１つの実施例を 示す図であり； 図20は、メッシュツリーの形での一組のメッシュ構成の提案を示す図であり、 また図21は、このメッシュツリーが、いずれの多面体が最終メッシュに属するか ということと、いずれの符号化技術が各リージョン内で使用されるかの決定をさ せるかを示す図であり； 図22は、決定ツリー構成を示す図であり、また図23は、符号化手法について局 所的な判定がどのように行われるかを示す図であり； 図24は、本発明による復号システムの図式表現を示す図であり、図25は、分割 片とテクスチャ復号を一層詳細に示す図であり、また図26は、パーチション復号 装置の一実施例を示す図である。 図１に示すような符号化システムの例において実現される符号化方法の提案の 主要なステップは下記の通りである： (1) 投影ステップ：メッシュの時間的展開を定義するための投影回路11による この第１ステップは、同時に、新規パーチション（複数の三角形で作られた）の 定義とノードの動き評価とを行う（このステップでは新リージョンの導入は許容 されない）； (2) メッシュの動き符号化ステップ：メッシュの動き符号化回路12によるこの 第２ステップは、受信側でのメッシュ変形に必要な情報の符号化を行う（各メッ シュのノードの変位ベクトル）； (3) 合成ステップ：合成回路13によるこの第３ステップでは、各三角形の時間 経過はテクスチャの補償に使用されるアフィン動きモデルを定義する３個の頂点 の動きによって定義される； (4) メッシュ更新ステップ：メッシュ更新回路14によるこの第４ステップでは 、ある三角形は分割されるか（物体またはテクスチャの強い不均一性が現れる場 合）、または反対に、ある三角形は非常に小さい面積か極端に細長いために使用 しないようにする； (5) メッシュ更新符号化ステップ：メッシュ更新符号化回路15によるこの第５ ステップでは、この前のメッシュ更新ステップにより定義されたメッシュトポロ ジー変更情報が符号化され受信機へ送られる（図１の矢印）； (6) ある三角形のテクスチャの品質は劣っていることもある：テクスチャ誤り 検出回路16（第６ステップ）が準備され、テクスチャを改善すべき最小限のテク スチャが選ばれる； (7) テクスチャ誤り符号化ステップ：選択された三角形の品質は、テクスチャ 誤り符号化回路17で構成されるこの第７ステップによる三角形のテクスチャの符 号化により改善され、受信機へ送られる（図１の矢印）。 引き続く記述において、図示したシステムに実現されたこれらの各種ステップ をさらに正確に説明する。しかし、予備的なステップが画像内容に適したメッシ ュを定義するために設けられている（＝メッシュの初期化）。該１番目のフレー ムに対するメッシュのそのような定義を図２から図５までに示す（明瞭にするた め、画像そのものはメッシュの後面に示されていない）。最初の(initial)メッ シュはブロックメッシュで、例えば図２に示すような規則的な正方形のメッシュ である。この当初のメッシュのノードは、画像の形態学的(morphological)傾度 に対して働くブロック・マッチング・アルゴリズムに類似の簡単な探査アルゴリ ズムにより、傾度の大きい点へ位置が変えられる（図３参照）。次いで、この結 果の各多角形は２個の三角形に変えられる（図４参照）。多角形には４個のノー ドがあるので、２個の三角形に分割するのに２通りの方法が可能であるが、分割 後に三角形内の変化が最低になるように分割する。最後に、図５に示すメッシュ のように、画像の非活性化部分のノードは取り除かれる。この処理はメッシュの 三角形構造を破壊するので、三角形化アルゴリズム（例えばDelaunayの三角形化 ）によって復元しなければならない。これにより得られたメッシュは符号化すべ きフレームに適合している。すなわち、三角形の密度は信号の活発度に関係し、 メッシュの辺は画像の強い傾度に沿っている。 投影ステップ（第１ステップ）の目的はシーケンスの時間的発展に追従するこ とであり、投影回路11は動き評価段階111 とメッシュ定義段階112 に分かれてい る。 最初の段階111 では、各ノードの動きはブロック整合により評価される。評価 に少数のノード(典型的な数は100)について行われるので、探査区域はむしろ広 域となる。評価の有効性の検証のため、確実性評価が使用された。探査区域の全 ての位置での変位フレーム差(displaced frame difference - DFD)の平均値に較 べて、任意の位置のDFD が顕著に低くなければ、評価は破棄され動きが無かった と想定される。 第２の段階112 では、ノードの変位ベクトルが計算されれば(段階111)、該１ 組のノードのこの動きに基づいて新ノードが定義されねばならない。全てのノー ドがこのようにして評価されたベクトルに置換されれば、その結果の構造は三角 形のメッシュでは無くなるので、手順は単純でないことに注意しなければならな い。例えば、三角形の１つの頂点が反対側の辺を横切らないようにしなければな らない。 投影回路の最初の評価段階111 においてメッシュの各ノードに対して定義され た翻訳(translation)ベクトルは符号化され（第２ステップ）、新メッシュ（す なわち次のパーチション）を創り出すために受信機に送出されねばならない。同 時にこの翻訳ベクトルはテクスチャ情報を補償（第３ステップ）するための動き の場を定義するのにも使用される。（合成回路13における）この画像補償は、ノ ードの動きの知識に基づき、現在のフレームの予測を可能とする。上述のように ノードの動きは各三角形の中の密集した動きの場の再現を可能とする。実際、各 三角形の時間的推移は、その３個のノードの位置の変化により特長付けられる。 これは、６個の独立パラメーターを持つ幾何学的アフィン変換を定義する。 上記補償は図６に示すように、逆方向モードで実行される。フレーム(T)の三 角形の各画素(i,j)は、フレーム(T−1)の画素(x,y)に変換される。座標(x,y)は 一般に実数であるので、画素(i,j)に与えられるであろうグレイレベル値を定義 するのに双一次(bilinear)内挿が使用される。フレーム(T)の画素の値がフレー ム(T-1)の画素位置の値を計算することにより定義されることから、逆方向であ る補償方法は、フレーム(T)の各画素に１個の値を割り当てられる有利性がある 。 分割ステージ141 において、テクスチャまたは動きを一層正確に表現するため メッシュに新しい三角形を導入したいとの希望がある。分割すべき三角形の選択 には、２種類の基準が使用できる。最初のは、もし信号の高傾度エレメントがこ の三角形の一辺を横切るならば、三角形は新しい１辺がこの高傾度エレメントに 沿うように分割すべきである（＝傾度判定基準）。これは図７または図８に示さ れた状況で、追加された辺AEは約50％の高傾度点に対応している。第２の基準で は、非常に大きな三角形（図９の状況で、３個の追加辺AEを持つ）は大きな合成 誤りを発生する可能性があるので、より小さい三角形に分割すべきである（＝幾 何学的判定基準）。これら何れの分割手法も元の三角形を２または４個の一層小 形の三角形に分割している。このシステムの実行方法を分析すれば、無効な三角 形を多数作らないために、新規ノードは一般的に三角形の内部には発生させるべ きではない。この方法では、もし新規ノードを作るとすれば、図10に示すように 既に存在する辺上で高傾度位置上に常に存在する。１個の三角形を分割するため に新しいノードNNが導入されているとき、メッシュ構造を維持するため数個の新 らしい辺NEを創り出すべきである（メッシュの全ての多面体は３個のみの頂点を 持つべきである）。 併合ステージ142 では、図11から図13に示すようにノード除去が行われる。そ のような除去は、非常に小さいか１辺が他の２辺に較べて非常に短い三角形のよ うに退化変形した三角形を取り除くのが一般的である。図11（最初のメッシュ） に、２個の退化変形した三角形DGT が見られる。このノードを除去することは図 12の中央部に見られるようにメッシュ・トポロジーを破壊する。従って、新しい 辺NEを加えメッシュの三角形トポロジーを回復するために、三角形化のアルゴリ ズムが導入されねばならない。 ノード導入（分割サブステップ）またはノード除去（併合サブステップ）の情 報は受信機へ送られる（第５ステップ）。この情報は効率よく符号化される。す なわち、ノード導入の場合は、新ノードは既存の辺の上にあるので、それに関す る情報のエントロピーを強く抑制できる。ノード除去に対しては、三角形化アル ゴリズムは純粋に幾何学的で、受信側において実行できるので、どのノードを除 去したかを単に示せば良い。 そのとき提案されるテクスチャ符号化は、合成が画像の貧弱な再現を生じさせ たエリアの検出に関係する（図14と図15はそれぞれ時点(T-1)における直前のフ レームとそれに対応する合成フレーム(SF)の例を示す）。この目的で、テクスチ ャを改善すべき場所を示すマスクを引き出すために、該合成フレームと元の現在 のフレームとの違いが計算され、且つ分析される（第６ステップ）。高誤りのゾ ーン(EZ)を図16に示し、それに対応する誤りマスク(EM)を図17に示す。得られた 符号化フレーム(CF)を最後に図18に示す。テクスチャ符号化（第７ステップ）自 体は、従来のリージョンに基づくテクスチャ符号化技術（符号化回路17）により 実行される。 上記の符号化方法は、動きと分割の情報を非常に効率よく取り扱い、テクスチ ャ符号化に使用されるビットを大幅に節減できるので、従来からのリージョンに 基づく符号化方法に較べて有望な結果を生じる。この能動型メッシュの手法は、 形と動き情報を逓減したコストで符号化することを可能とし、ビットの流れの分 析は80％以上のビットはテクスチャ符号化に費やされていることを明らかにして いる。さらにシーケンスの品質は従来の結果よりは良好である。 この状況にも関わらず、パーチションに割り当てられるビット数をさらに減少 させることにより、この結果を更に改善することが考えられる。国際特許出願番 号第PCT/IB96/01135号として出願された PCT出願には、処理すべき（すなわち補 償すべき）リージョンの数を減少させるために、あるリージョンは動きにおいて 均一で、他のリージョンはグレイレベルで均一な時間・空間分割が記述されてい る：このような種類の分割を能率的に定義するため、ビット配置の問題の慎重な 分析がなされ、連続するフレームのパーチションを関係付け、リージョンを遅れ ずに追うために、パーチションツリーの概念を提案しているこの方法（各現在の パーチションに対しパーチションツリーの異なるレベルからのリージョンを含む 最適パーチションが定義され、該最適パーチションのリージョンのために一連の 異なる技術の組み合わせが使用される）は、少なくとも約30 kbits/s以上のビッ トレートに対し興味深い結果を示した。 非常に低いビットレート(30kbits/sより下)に対しては、このパーチション符 号化技術は、リージョンが併合する傾向とともに、ビットの視点から高価過ぎる ようになる。しかし、上記欧州特許出願（これは実際上、速度・ひずみ概念にお いて、パーチションと最適ビット配置を与える符号化手法との間の最適化から構 成されている）に記述の解決方法の主要な長所を考慮し、そのような特長と前記 の技術的解決方法に使用されたような能動メッシュがパーチション情報を非常に 有効に処理する事実を組み合わせて、最適能動型メッシュ符号化の手法を提案す ることができる。 この改良された符号化の手法の主処理サブアセンブリを図19に示す。３個のサ ブアセンブリ191 から193 までは直列に接続される。それらは、第１パーチショ ン・プロポーザル定義サブアセンブリ191,決定サブアセンブリ192,及び符号化サ ブアセンブリ193 である。サブアセンブリ191 では決定サブアセンブリ192 によ って符号化すべく選択されるパーチションの数と選択されたパーチションの各多 角形メッシュに相応しい符号化手段の定義を実行する。次いで符号化サブアセン ブリ193 は受信機側で画像を同期させるのに必要な全ての情報を符号化する。 最初のサブアセンブリ191 は第１の投影デバイス1911と第２のメッシュツリー 定義デバイス1912を含む。投影デバイス1911はメッシュの時間経過を定義するた めのもので、リージョンを時間的に追従する。事前のフレーム(T−1)用に定義さ れたメッシュを基に、以前の記述（投影回路11における）で示したように各メッ シュの動きの定義を使って、この装置はフレームＴに対応するメッシュの評価を 行う。メッシュトポロジー（多角形の数、隣接関係）はこのデバイスでは変更さ れない。メッシュツリー定義デバイス1912はパーチションツリーに相応するが、 多角形メッシュに対するもので、任意のリージョンに対するものではないメッシ ュツリーが得られるようにする。 例えば、既に引用した PCT特許出願に記述したパーチションツリーは、画像の 符号化に最も好都合なリージョン（現在の場合、最も好都合な多角形）を後で選 択するため、一般的に動きとテクスチャの基準を基に、１枚の投影画像から異な ったパーチションを与えるように作られている。該好都合なリージョンはメッシ ュツリーの異なるレベルから生じるリージョンで組み立てられる最終パーチショ ンを構成する。本メッシュツリーの内部構築過程は２種類のパーチションの（投 影されたパーチションからの）創造に基づいている。一方は粗なもので、投影さ れたパーチションからのリージョンを併合（この併合処理は例えば類似の動きを 行うような与えられた基準を満足させる近隣のリージョンを集め一層大きなリー ジョンを作ることを許す）して創造され、ツリーの上部レベルを定義する。他方 は細密なもので、投影されたパーチションの再分割（画面に新しい物体が現れた 場合や違ったテクスチャで特徴付けられた２個のリージョンが直前のフレームで 例えば類似の動きをしたので併合したところ現在のフレームで急に違った動きを するような場合にこの再分割処理は有効である）によって創造されるもので、ツ リーの下部レベルを定義する。 該メッシュツリーの最終目的は、図20に示すように、元の投影メッシュOPM か ら１組のメッシュの提案を行うもので、上部レベルは併合により、下部レベルは 再分割により得られる。これらのメッシュ提案は、いわゆる最終投影メッシュに 属する候補となる数の減少した多面体を定義する。メッシュツリーはメッシュの 階層による集合である。これはもし１つのノードまたは１つの辺が或るレベルに 出現すれば、このノードまたは辺は再び下部レベルに出現することを意味する。 図示のように、メッシュツリーは次の２つの部分から形成されている：(a) 投射 メッシュ（投射の結果によるメッシュ）の下部、一連の一層細密なメッシュが現 れ、画像の一層細かな詳細を表現できる一層小形の多面体を含められる；(b) 投 影メッシュの上部、一連の一層粗なメッシュが現れる：下部レベルの幾つかの多 角形を併合して多角形が作られ、１つのリージョンとして処理される大きなリー ジョンを表す。もし映像内容が大きく変わらなければ、最終投影メッシュは最適 メッシュの良好な近似でなければならないので、この構造を選んだ。このメッシ ュツリーによって、決定サブアセンブリ192 に対し、投影メッシュからの変動で ある一連のパーチションが提案される。従って、投影メッシュに対し、あるリー ジョンを除去するか付加するかの決定が行われ、該最終投影メッシュを定義させ る。 決定サブアセンブリ192 はメッシュツリーからの提案を受け入れ、何れの多角 形が該最終投影メッシュに属するか、および何れの符号化技術が、メッシュツリ ーの各種レベルから来た多角形で構成されるこの最終メッシュの各リージョン内 で使用されるかの決定を行う（各リージョンに対し、数種の符号化技術が決定す べく提案されている）。 決定処理は、レートひずみ基準に従っての最適化をベースとし、図21に示され るが、決定ツリーDTの概念に依存している。該DTツリーは小さくまとまった階層 構造に全ての可能な符号化方法の選択をリストにしている。メッシュツリーMTは リージョン（ここでは、多角形）の項目により選択を定義する。一方、符号化技 術のリストはこれらの多角形の実際の符号化を（次節に述べるように）取り扱う 。 既に引用した PCT特許出願に示したように、この決定処理は第１段の決定ツリ ー定義操作とそれに続く第２段の最適化操作からなる２つの操作を含む。最初の 操作は決定ツリー構築である。また図22に示すように、リージョン（多角形）の 項目で選択を定義していたメッシュツリーMTから階層構造に全ての可能な符号化 方法の選択を集中している決定ツリーDTは次のようにして導き出される。決定ツ リーの各ノードは、メッシュツリーによっても与えられるノード間（父親ノード と子供ノードの間）の関係により、メッシュツリーの多角形に対応する。これら の関係は、いかにして或る与えられたレベル（図22で、元の投射メッシュOPM の レベルを含む５つのレベルを示す）の１つのリージョンが各種のリージョン（ま たは子供のリージョン）に分割するか、または一層大きいリージョン（または父 親リージョン）を作るため併合するかを定義する。更に（レート・ひずみの意味 での）符号化手法の定義のため、決定ツリーはｎ個の可能なテクスチャ符号化技 術の符号化コストと品質（または、ひずみ）に関する情報を伝達する。レートの リスト（レート・リストR₁,R₂,…,R_n）とひずみのリスト（ひずみリストD₁,D₂, …,D_n）が、該ノードのそれぞれに割り当てられる。両者のリストはテクスチャ 符号化技術TCT のリストと同一の長さを持ち、これらｎ個の技術は、図21と図22 では、Ｃ1,Ｃ2,…，Ｃnのように略記されている。実際には、メッシュツリーの 各多角形リージョンは、全ての提案された技術により（各リージョンの動きはメ ッシュツリーの創造中に評価されるので、モード内またはモード間において）符 号化され、それに対応するレートとひずみは決定ツリーに蓄積される。 決定ツリーを構築するこのステップは、各技術の特長を評価する操作であり、 この段階ではまだ決定はされない。決定ツリーの全ノードに計算したレートとひ ずみのリストが入力されると、直ちに実際の最適化操作が開始される。この最適 化問題は、全体のコストR₁が各フレームに定義された与えられた予算以下でなけ ればならないという制限下で画像のひずみＤの最小化を求める形で作られる。こ れは、Ｌがいわゆるラグランジュ(Lagrange)パラメターであるときのラグランジ ュの式 D＋LR_t を最小化する形に作り直すことの出来る（数式化された問題はど ちらも、もしR_tが予算(budget)と等しいか予算に非常に近いときのL₀を見い出せ れば同一の解が得られる）。本問題は、一連の多角形リージョン（パーチション の創造）および D＋L₀R_t を最小化する一連のテクスチャ符号化技術の発見のた めに決定ツリーを使用することに最終的に決着する。この目的のため、最適化の 操作は次記サブステップから構成される： ─ 最初のサブステップでは局部的分析を行わせ、決定ツリーの各テクスチャ符 号化技術についてラグランジュの式を計算する。最低値を与える技術がこのノー ドに最適であると考え、このラングランジュ値を蓄積させる； ─ 第２のサブステップでは、決定ツリーのボトムアップ分析により最善のパー チションを定義することを許す；該決定ツリーは図23に示すように、最低レベル から開始して符号化手法に関し１組の局地的決定に導く：上記低い方のレベル上 の２個のノードは活性化されている（これは最終パーチションの一部であると考 えられることを意味する：そのようなノードは黒丸で表される）と想定すれば、 ２個のリージョンで表されているエリアを、上の方のレベルに存在する１個のノ ードで表される１個のリージョンとして符号化するのは良くないのではないか、 ということを知りたいと思うときは、次の２種類の状況が生じるであろう： (a) もし上方ノードのラグランジェ値(D₀＋LR₀)が、下方レベルのラグランジ ュ値の合計値より小さければ、そのエリアを１個のエリアとして符号化するのが 実際的に良く、非活性化される２個の下方ノード（図23の左側）に代わって、上 方ノードが活性化される； (b) もし上方ノードのラグランジュ値が該合計値より大きければ、そのエリア を２個のリージョンとして符号化するほうが良く、上方ノードは非活性化（図23 の右側）のまま残し、新しいラグランジュ値は下方レベルのノードのラグランジ ュ値の合計とする（レートとひずみの活性値は全最適化操作中に評価されること を想起するべきであろう）。 この手順は決定ツリーの最高レベルに達するまで反復される。次いで一連の活 性化されたノードは最適パーチションを定義する多角形リージョンの最終組み合 わせを与える。もし全活性化ノードに適応する最善技術のレートを加算した符号 化コストが、予算と等しいか予算に非常に近似していれば、最適化手順は終了し 、この最適パーチションは符号化される。もし符号化コストが予算に対し非常に 低いか、又はそれを超過していれば、ラグランジュのパラメーターは変更されね ばならず、最適化は再度なされなければならない。Ｌの便利な定義は、非常に高 いL_H値と非常に低いL_L値から出発する傾度探査(gradient search)アルゴリズム によってなされる。これにより、レートR_HとR_Lにそれぞれ予算の上と下の値を生 じる２種の対応する符号化方法へと導かれる。この結果のレートが、すでに予算 に十分近い場合以外は、新規のラグランジュのパラメーターは Ｌ＝(D_H−D_L)／(R_H−D_L) によって定義され、レートが予算に近い（例えば予算との差５％以内）手法が発 見されるまで手順は反復される。 サブアセンブリ192 に実現された全決定処理の図を図21に示す。メッシュツリ ーMTから、全リージョンが決定ツリーDTを形成するため抽出（分析ステップAS） され、参照符号C₁,C₂,…,C_nによって示される数種類のテクスチャ符号化技術が 各リージョンに考慮されている。次いでメッシュツリーの各種レベルからの多角 形リージョンP_sが選択（選択ステップCS）され、各多角形リージョン(C₁,C₃,…) に１個づつ最善の符号化技術と共に、最善の最終パーチション(best final part ition)BFP（すなわち最適のパーチション）が定義される。 メッシュツリーに含まれる提案から創り出されたこの最適パーチションおよび 各多面体リージョンに対する符号化手法が定義されれば、直ちに画像シーケンス の復号に必要な情報が受信機（または蓄積媒体、そのときには復号過程は後で行 われる）へ送られる。符号化サブアセンブリ193 で処理された本情報は、図19に 示すように下記要素から構成される： (a) 符号化手法そのもの：決定符号化デバイス1931により符号化された本情報 は、各リージョンに適用すべき符号化技術について受信側（受信機または蓄積媒 体）に知らせる； (b) パーチション：メッシュ符号化デバイス1933は、現在のパーチションを受 信側が蓄積するのに必要とする全情報を発生させる。すなわち各多角形リージョ ンとその輪郭であり、識別番号（またはラベル）も各多角形リージョンのために 、それを遅れずに追尾でき、動き補償では覆えないエリアを取り扱うために伝送 される； (c) 各多角形リージョンのテクスチャ・パラメータ：テクスチャはテクスチャ 符号化デバイス1934において、非常に多数の従来からのリージョンに基づく符号 化方法（リージョンに基づく小波分解<wavelets decomposition>、形状適合直接 余弦変換<shape-adaptive direct cosine transform>、等々）により符号化され る。 最後に、サブアセンブリ193 のデバイス1931から1933への信号は多重化デバイ ス1935に送られる。本デバイスからの出力は、蓄積されるか、もしくは（図では 示されていない）受信システムへ送られる多重符号化出力ビットの流れを構成す る。満足すべき符号化の結果は10ないし30 kbits/sの間で得られた。 上記受信システムにおいて、符号化された画像の再構築を行う復号処理が実施 される。これに対応するデバイスを図24ないし図26に示す。受信多重符号化ビッ トの流れRMCB（伝送チャンネルを経て、或いは、受信側及び／又は蓄積媒体に向 かって、のいずれか一方又は双方によって送られたビットの流れに相当する）は 先ず入力バッファ250 で受信され、次いで決定復号デバイス241 へ送られ、次い で順次、動き復号デバイス242,パーチション復号デバイス243,およびテクスチャ 復号デバイス244 を経由する。この出力は復号システム（これらの主要復号デバ イスは図19の符号化サブアセンブリ193 に備えられた符号化機能に対応する）の 出力復号信号を構成する。先ず、符号化手法情報と動きはデバイス241 とデバイ ス242 で復号される。次いでメッシュおよびテクスチャ情報はデバイス243 とデ バイス244 でそれぞれ逐次復号される。なお、図25は復号過程の理解を助けるル ープを表示し、図26はメッシュ復号デバイス243 を一層詳細に示す。 メッシュ復号デバイス243(図25に示され、さらに図26に非常に詳細に示されて いる)に関して、それは一方では、送信された符号化信号を蓄積するバッファ250 の出力信号を受信し、他方、REC(t-1)と呼ばれテクスチャ復号デバイス244 の出 力にラベルのリストの形で利用できるすでに復号され再構築されたパーチション を受信する。該デバイス243 は図26に示すように、次の連続的なステップを実行 する。 再ラベル付与回路261 に実現され、図25に示される第１ステップでは、前に再 構築されたパーチションのラベルを変更する。そのような回生(refresh)ステッ プは次の理由で用意される：幾つかのリージョンは符号化する側で創造されてい るか又は除去されているので、ラベルの最高値は増加する。そのときにはラベル 番号の値を限定するために、リージョンには出来るだけ再ラベル付与がなされる 。また技術的理由として、もしＮ個のリージョンが存在すれば１からＮまでのラ ベルのみを使用するように、各復号ループの始めにラベル値を再付与すれば、単 純で一層便利である。このため、ラベル再付与は、最初に遭遇したリージョンに ラベル"1"を、第２のものにラベル"2"を、というように逐次付与する。 第２ステップでは、併合回路262 において実現され、バッファ250 に入れられ ている併合命令を実行する。第３ステップの間に、イントラ・フレーム・モード で送信されたリージョンが復号される(イントラ・リージョン復号回路263)。第 ４ステップの間に、前に符号化されたパーチションは動きが補償され(動き補償 回路264)、補償誤りが復号される(リージョン間の復号回路265)。最後の第５ス テップでは、復号誤りラベル付加回路266において実行される復号補償誤りパー チションに対するラベル付与を取り扱う。補償は符号化側で実施されたのと全く 同じように実施されるのが好適である。補償は各リージョンに対し定義された動 きパラメターに依存し、２個のラベル間に衝突があれば、何れのラベルを残すべ きかを判断させる決定のため命令情報が使用される。デバイス243 の出力パーチ ションは現在の再構築されたパーチションで、REC(t)と呼ばれる。 この現在の出力パーチションはテクスチャ復号デバイス244 によって受信され る。ここで先ずテクスチャ補償244-1 が実行され（図25）、テクスチャ復号ステ ップ244-2 がこれに続く。数種の符号化技術が提案されている符号化する側にと って、復号過程も符号化過程と類似であるので、同種の技術が適用できる。各多 角形リージョンが同じように処理されれば、デバイス244 の出力情報は複合化さ れた画像を発生する。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アユソ フランシスコ ザビエル オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 マルチ エバ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６

Claims (1)

1. 【特許請求の範囲】 １．一連の画像シーケンスを符号化する方法であって、それら各画像を分割する 操作に続きそれにより得られる継起的なパーチションを符号化する操作に依存し 、また、各現在のパーチションがその前のパーチションと関連して考察される符 号化方法において、該方法は： (1) 現在の画像パーチションをブロックのメッシュに再分割し、そのノードは 高傾度点に存在するようにし、また、上記メッシュのブロックを２個の三角形に 再分割する初期化ステップ； (2) 変位ベクトルを各三角形のノードに関連付けるために動き評価操作により 、シーケンスの時間的展開に従うことを許容し、それに続いて上記ノードのこの 動きに基づき新メッシュを定義するための投影ステップ； (3) 次のパーチションを創り出し、テクスチャ情報を補償することを許容する 動きの場を定義するために、該補償はノードの動きの知識に基づき現在の画像を 予測する合成ステップを実行することを許容するところのメッシュの動きの符号 化ステップ； (4) シーンの展開にメッシュのトポロジーを適用するための分割及び併合ステ ップであって、その分割サブステップはメッシュに新しい三角形の導入を許容し 、その併合サブステップは小形の三角形又は退化変形した三角形の除去を許容す るところの分割および併合ステップ； (5) メッシュ更新符号化ステップ； (6) テクスチャの誤り検出及び符号化ステップ； の諸ステップを有して成ることを特徴とする符号化方法。 ２．継起的なパーチションを定義する一連の分割された画像のシーケンスを符号 化するシステムであって、現在の各画像は元来はブロックのメッシュの形で得ら れ、そのノードは高傾度点に位置し、各ブロックは２個の三角形に再分割されて いるところの符号化システムにおいて、該システムは： (A) 前の画像(T−1)に対して定義されたメッシュに基づいて、多角形で作られ て現在の画像Ｔに対応する投影されたメッシュを推定するための投影回路； (B) 上記投影されたメッシュに関連する動きとテクスチャを符号化するための メッシュ符号化回路； (C) テクスチャ誤り検出及び符号化回路； を有して成ることを特徴とする符号化システム。 ３．請求項２に記載の符号化システムにおいて、上記メッシュ符号化回路は： (a) メッシュの各ノードに対して定義された翻訳ベクトルを符号化するための メッシュの動き符号化回路； (b) ノードの動きの場についての知識とテクスチャ情報の逐次補償とに基づい て現在の画像を予測するための合成回路； (c) 三角形の分割又は併合によるメッシュのトポロジーの修正のためのメッシ ュ更新回路； (d) メッシュのトポロジーに関する修正情報を符号化するためのメッシュ更新 符号化回路； を有して成ることを特徴とする符号化システム。 ４．請求項３に記載の符号化システムにおいて、上記テクスチャ誤り検出及び符 号化回路は： (a) 最終画像と原始画像との間の差異を計算し、テクスチャ改善のためのマス クを定義するための検出回路； (b) 上記の差異に対応するテクスチャの符号化のためのテクスチャ誤り符号化 回路； を有して成ることを特徴とする符号化システム。 ５．請求項２に記載の符号化システムにおいて、上記メッシュ符号化回路は： (a) 併合により得られた目の粗いメッシュで且つ上記ツリーより更に上のレベ ルを定義するメッシュ、及び再分割により得られた目の細かいメッシュで且つ上 記ツリーより更に下のレベルを定義するメッシュを、上記投影されたメッシュに 関連付けるためのメッシュ・ツリー定義デバイス； (b) 上記定義されたメッシュ・ツリーのメッシュ提案を取り入れ、いわゆる最 終投影されたメッシュにどの多角形が属するかについて、及び、予め定められた リスト中からどの符号化技術を上記多角形の各々の内部で使用することにな るかについて決定するための決定サブアセンブリ； (c) 上記決定と、上記最終投影されたメッシュと、上記最終選択された多角形 の各々のテクスチャとを符号化するための符号化サブアセンブリ； を有して成ることを特徴とする符号化システム。 ６．請求項５に記載の符号化システムにおいて、上記決定サブアセンブリは：上 記符号化技術のコストと品質に関する情報を伝達するために設けられている決定 ツリーを構築する決定ツリー構築デバイスと；上記最終投影パーチションを最高 の符号化効率と最低の関連コストで定義する１組の多角形を見つけ出すための最 適化デバイスと；を有して成ることを特徴とする符号化システム。 ７．請求項２に記載の符号化システムを用いて符号化された信号の復号システム であって、上記符号化された信号は、前のパーチションの動きの評価及び補償に より定まる主パーチションのリージョンから成るか、又は主パーチションのリー ジョンを併合又はは再分割することにより創り出された追加パーチションのリー ジョンから成るか、のどちらかである最適パーチシヨンに対応する符号化された 情報を、現在の各パーチションとして構成している信号であるところの、復号シ ステムにおいて、 該復号システムは：上記最適パーチションを符号化するのに用いられた方策 に対応して情報を復号するために設けられた決定復号デバイスと；動きを復号す るデバイスと；パーチションを復号するデバイスと；テクスチャを復号するデバ イスと；を有して成ることを特徴とする復号システム。