JP4922536B2

JP4922536B2 - ビデオ・シーケンスの２つのイメージの間に補間される少なくとも一つのイメージを計算するための方法

Info

Publication number: JP4922536B2
Application number: JP2002522207A
Authority: JP
Inventors: ローラン‐シャトネ，ナタリー; ビュイッソン，アレクサンドル
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2000-08-24
Filing date: 2001-08-07
Publication date: 2012-04-25
Anticipated expiration: 2021-08-07
Also published as: US7342963B2; JP2004507943A; WO2002017645A1; FR2813485B1; FR2813485A1; US20040037471A1; EP1312221A1

Description

【０００１】
本発明は、動画シーケンス（moving image sequences）の符号化及び／または復号化の分野に関する。特に、本発明は動画シーケンスの２つの与えられたイメージの間に補間される少なくとも一つのイメージを構成する技術に関する。
【０００２】
本発明は、イメージング（imaging）及び画像処理（image processing）の全ての分野に適用することが可能である。以下のものが非制限的な例として挙げられる。
・特に、ＭＰＥＧ−４またはＨ２６３＋型符号器（encoder）／復号器（decoder）またはその他のビデオ符号器／復号器の性能を改善するための、ビデオ符号化及び／または復号化、
・医学画像（medical imaging）、
・例えばＰＡＬ／ＮＴＳＣ変換といった規格変換。
【０００３】
本発明は、特に帯域幅の飽和と様々なタイプの端末との適合性の問題の克服を目的として、フレームの時間的補間（temporal interpolation）及び／またはビデオ・シーケンスの双方向符号化に、それとは限定はされないが、適用可能である。
【０００４】
実際、主な目的の一つは満足できるクォリティの動画シーケンス、特に連続するイメージが流れるように次々と互いの後に続くシーケンスをユーザが視聴できるようにすることである。今では、ビデオ・シーケンスの流動性の問題は伝送ネットワークの飽和とユーザに利用可能な表示端末の能力（特に記憶容量）の問題と大きく関連している。
【０００５】
ユーザのリクエストに応え、帯域幅の飽和の問題を克服するには、広範囲のビットレートでビデオ・ストリームを作り出すことが必要である。しかしながら、低いまたは中間のビットレートで伝送されたビデオ・シーケンスは、それを見た場合、一般的にガタガタ動いて見える。
【０００６】
それ故に考えられた方法は、より流動性の高いビデオ・シーケンスを表示端末、伝送ネットワーク及び／またはユーザからのリクエストに応じて生成するために、伝送されたビットストリームを復号化する間にフレーム周波数補間（frame frequency interpolation）を実行し、そして／または双方向方式で符号化する間に追加情報を格納することであった。
【０００７】
モーション・フィールド（motion field）（動きの場）の推定に基づく周波数補間の様々なテクニックが考えられてきたが、しかし現在までのところ、そのどれもが満足に機能しない。
【０００８】
或るシーケンスの２つのイメージ間のモーション（motion）は、一方のイメージのピクセルと他方のイメージの相同（homologous）ピクセルの位置の違いを特徴付ける二次元ベクトルとして定義することが可能であることが思い起こされかもしれない。ここで、これらのピクセルはその２つのイメージのそれぞれにおける同一の物理的ポイントに対応すると仮定される。従って、変位ベクトルをイメージの各ピクセルに割り当てることにより、そのイメージでの稠密なモーション・フィールド（dense motion field）が定義される。このモーション・フィールドは、オプティカル・フロー（optical flow）とも称される。
【０００９】
フレーム周波数の補間に使用されるモーション・フィールド推定の方法は以下の２つのタイプがある。
・マッチング法（matching method）とも称される列挙法（enumerative method）と、
・差動法（differential method）。
【００１０】
列挙法は、規則的または整合的な分割（regular or matched partitioning）によりイメージのドメインを有限サイズの領域に再分割することに基づく。その結果、モーションモデルが定義される。このモーションモデルは例えば擬似的（affine）、並進的（translational）、多項式的（polynomial）等である場合があり、その手続きは所定の区間に含まれる１セットの離散値がこのモデルのパラメータに適用される連続的逐次代入を含む。
【００１１】
差動法は、議論されるイメージの各ピクセルにモーション・ベクトルを割り当てることにより稠密なモーション・フィールドを推定することにある。それらの方法は、第一に差分計算を実行し、第二に例えば勾配降下法（gradient descents）に基づく最適化テクニックを実行する。これらの方法は特に例えば、オプティカル・フローの方程式に基づく方法、ｐｅｌ再帰的方法（pel-recursive method）（ｐｅｌは「物理的画像要素（physical picture element）を表す」）、パラメトリック法（parametric method）またはロバストな推定量（robust estimators）を含む。
【００１２】
イメージ補間に関する既存のテクニックを改良するために多くの研究が成されてきた。この仕事については、チロ・カッフォリオ（Ciro CAFFORIO）とファビオ・ロッカ（Fabio ROCCA）によって提案された方法（１９９０年２月発行の通信に関するＩＥＥＥトランザクション（IEEE Trandactions on communications）第３８巻第２号「モーション補正イメージ補間（Motion Compensation Interpolation）」）が参考になる。この方法ではモーション補正にｐｅｌ再帰的推定量（pel-recursive estimator）が使用される。
【００１３】
ｐｅｌ再帰的方法は所定の経路方向にあるイメージの選ばれたピクセルのそれぞれに付随するモーション・ベクトルの予測補正（prediction-correction）によって進行することが思い起こされるであろう。この予測補正は、前のピクセルのモーション・ベクトルの値、または議論されるピクセルに隣接するピクセルのモーション・ベクトルの線形結合に基づいてよい。そのとき補正は勾配降下法によるＤＦＤ（Displacement Frame Diifference）の最小化に基づく。
【００１４】
この従来技術の欠点は、カッフォリオ（CAFFORIO）とロッカ（ROCCA）により実施されたアルゴリズムは再帰的方向（recursive direcition）と推定されるべき変位の方向とが大きく相互作用することに悩まされることである。
【００１５】
この効果を克服するため、４つの別個の再帰的方向を使用することが考えられた。結果、擾乱効果は最小化された。しかしながら、このテックニックの性能は不十分のままである。
【００１６】
ジャック・ニエグロフスキ（Jack NIEWEGLOWSKI）は（ＩＥＥＥ・ＩＣＡＳＳＰ’９４での「デジタルイメージワーピングを使用するモーション補正されたビデオ補間（MOTION Compensated Video Interpolation Using Digital Image Warping）」において）「ブロック・マッチング（block matching）」として知られている改良されたテクニックと組み合わせた、幾何学的変換の使用に基づく方法を提案している。
【００１７】
この種の方法は、スケールの変更を考慮するために使用することができるが、しかし幾何学的変換とブロック・マッチングの間の無相関（decorrelation）のために頑健性（robustness）が低いという欠点がある。
【００１８】
その後、Ｑ．ワン（Q.WANG）とＬ．Ｊ．クラーク（L.J.CLARK）（１９９２年４月発行の画像通信（Image Communication）第４巻第２号１６１−１７４ページに記載された「イメージ・シーケンス符号化のためのモーション推定と補正（Motion and Compensation for Image Sequence Coding）」において）は先験的定義モデル（a priori defined model）によりイメージのどの領域のモーションもモデリングすることに基づいたパラメトリカル・アルゴリズムを実行することを考えた。
【００１９】
この従来技術の欠点は、モーションが重い領域の推定に適さないということである。
【００２０】
これらのモーション推定テクニックが遭遇する異なった問題を克服するために、Ｌ．ボロクスキ（L.Borocsky）とＰ．シラグ（P.Csillag）により（１９９４年１０月にスペインのヴィーゴ（Vigo）で開催された最終ワークショップ１６３−１６６ページに記載された「ウェーブレット・ビデオ符号化とフレーム補間のための多重解像度モーションフィールド推定（Multiresolution mition estimtion for Wavelet Video Coding and Frame Interporlation）」において）記述されたような階層的モーションの推定ためのアルゴリズムを実行することが提案されている。
【００２１】
既に述べた従来技術のモーション推定方法のような、この種の階層的モーション推定アルゴリズムは、議論されるビデオシーケンスのイメージ内にあるオクルージョン（occlusion）ゾーン（メッシュのクラウディング（crowding）、コンシールメント（concealment）またはアンカバリング（uncovering）ゾーン）の検出の問題が伴う。実際、異なった面や対象が場面において重なると、オクルージョン・ゾーンが現れ、そのイメージに付随するメッシュ内に不連続なラインが生成される。
【００２２】
イメージ内におけるオクルージョン・ゾーンの発生と／または消滅を管理するために最も一般的に使用されるテクニックでは、レイトレーシング（raytracing）が使用される。こうしたテクニックでは、イメージを構成するピクセル（構成ピクセル）のそれぞれにこのピクセルに付随するモーション・ベクトルに関係するラベルが結びつけられる。
【００２３】
こうして、少なくとも二つのモーション・ベクトルを受け取るピクセルは、それがシーケンスの前のイメージに存在する少なくとも二つのピクセルをカバーすることを意味するラベル「オクルージョン（occlusion）」を持ち運ぶ。唯一つのモーション・ベクトルを受け取るピクセルは、それが前のイメージと現在のイメージに存在することを示すラベル「正常（normal）」を持ち運ぶ。最後に、全くモーション・ベクトルを受け取らないピクセルは、それがイメージのアンカバリング・ゾーン（uncovering zone）に属することを示すために、ラベル「ギャップ（gap）」を持ち運ぶ。
【００２４】
この種のテクニックは１９９３年１２月発行のジャーナル「ビジュアル通信と画像表現」（Journal of visual Communications and Image Representation）第４巻第４号３９２−４０６ページに記載されたＪ．リアバス・コーベラ（J.Ribas-Corbera）とＪ．スクランスキ（J.Sklansky）の「フレーム間補間（Interframe Interporation）」と仏国レンヌ（rene）に所在するトムソンＣＳＦ／研究所エレクトロニクス社（Thomson-CSF／Laboratoires electronique）のＢ．シュポー（B.Chupeau）とＰ．サルモン（P.Salmon）による「改良されたスローモーションのためのモーション補正補間（Motion Compensating Interporlation for Improved Slow Motion）」に記述されている。
【００２５】
しかしながら、この従来のテクニックはこのラベル情報を補間イメージ（interpolated image）を帰納的補正するためだけに利用するが、しかし、そうしたイメージを構築することを可能にするモーション推定の間にそれらを考慮することはしない。
【００２６】
本発明は、特に従来技術のこれらの欠点を克服することを目的とする。
【００２７】
特に、本発明の目的は、動画シーケンスにおける前のイメージと後のイメージとの間に補間されるイメージを構築して、そのシーケンスが表示されている間の流れの印象を改善するためのテクニックを提供することにある。
【００２８】
本発明の別の目的は、補間イメージを構築するための実施が単純でかつコストが低いテクニックを提供することにある。
【００２９】
本発明の更に別の目的は、ロバストな補間イメージを構築するための動きが重い領域に適合したテクニックを提供することにある。
【００３０】
本発明の目的は、ビデオ・シーケンス内に補間されるイメージを構築して、そのシーケンスのイメージに付随するメッシュ内のオクルージョン・ゾーン（リバーサル・ゾーン（reversal zone）、アンカバリング・ゾーン（uncovering zone）、クラウディング・ゾーン（crowding zone））に対応するオブジェクトの発生及び／または消滅の管理を可能にするテクニックを提供することにもある。
【００３１】
本発明の別の目的は、補間イメージを構築して、記憶容量が限られた端末を持つユーザが流動的なビデオ・シーケンスを見ることができるようにするためのテクニックを提供することにある。
【００３２】
本発明の更に別の目的は、補間イメージを構築して、ユーザが流動的なビデオ・シーケンスを、それが伝送されるネットワークの帯域幅が飽和状態にあるにも関わらず、見ることができるようにするためのテクニックを提供することにある。
【００３３】
本発明の目的は、任意の符号器及び／または復号器と一体化されて、特に流動性の点でその性能を改善する補間イメージを構築するためのテクニックを提供することにある。
【００３４】
これらの目的並びに以下ここに現れる他の目的は、動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つイメージを構築するための方法によって達せられる。
【００３５】
本発明によれば、この種の方法は、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮する。
【００３６】
従って、本発明は動画シーケンス内にイメージを補間するとういう全体的に新規かつ創意あるアプローチに基づくものである。実際、本発明は特に、シーケンスのイメージに付随するメッシュ内に現れるオクルージョン・ゾーン（すなわちリバーサル・ゾーンまたはアンカバリング・ゾーン（reversal or uncovering zones））の管理に基づく。
【００３７】
それ故に本発明によれば、シーケンスの２つの与えられたイメージの間に補間される中間イメージを生成して、そうしたイメージ内にある一つ以上のオクルージョン・ゾーンの存在により持ち込まれる偽物（artifacts）または不連続なラインを抑えることによって、動画シーケンスのビジュアル的な流動性を大きく改善することが可能となる。
【００３８】
有利には、前記シーケンスのイメージはメッシュ（mesh）に付随する。
【００３９】
実際、メッシュは、特にビジュアル的な現実の場面において、オブジェクトの表現媒体をだんだんと構成する。つまり、それらはこの種の場面を記述する情報のクォリティの主な部分を表現する。従来的に、メッシュは位相を決める１セットの頂点及び面（または１セットの頂点、辺と向き）で構成される。
【００４０】
この種のメッシュは、それに関連するイメージからモーション推定することを可能にする、例えばフラットなメッシュまたは他のタイプのメッシュであってよい。
【００４１】
本発明の有利な特性によれば、前記メッシュはメッシュ・ピラミッド（mesh pyramid）内に少なくとも二つの入れ子状メッシュ・レベル（nested mesh levels）を有する階層型メッシュ（hierarchical mesh）である。
【００４２】
このことを図１を参照して説明すると、入れ子状階層型メッシュ１１を使用することにより、ロバストな符号化を得ることが可能になり、かつ情報の伝送及び／または記憶にかかるコストが減る。実際、メッシュ内の親ノード（parent node）によって運ばれる情報と子ノード（daughter nodes）によって運ばれる情報との間の高い相関が存在する。従来的に、メッシュ・ピラミッドの最高レベル（イメージの粗いメッシュに対応する）に属するノード１２、１３の値は、例えば符号器への伝送及び／またはデータ・キャリア１５への記憶を目的として、定量化される。それとは対照的に、メッシュ・ピラミッドの下位レベル（イメージの細かいメッシュに対応する）について、図１に示されているように、子ノード１４の差分値だけが伝送及び／または記憶を目的として定量化される。
【００４３】
有利なテクニックによれば、前記オクルージョン情報は前記前のイメージと前記後のイメージとの間のモーションの前方推定及び／または後方推定のステップを実行することにより決定される。
【００４４】
前方モーション推定ステップの実行は、瞬間ｔ₁における第１のイメージを代表するメッシュの頂点に付随する１セットのモーション・ベクトルを決定して、次の瞬間ｔ₂における第２のイメージに付随するメッシュの構築を可能とする。こうしたステップにより特に、瞬間ｔ₁と瞬間ｔ₂におけるイメージの間でオブジェクトの少なくとも部分な消滅を検出することが可能となる。
【００４５】
同様に、先行推定（ealier estimation）ステップの実行により、前の瞬間ｔ₁におけるイメージを得るために瞬間ｔ₂におけるイメージに付随するメッシュの頂点にあてがわれるべきモーション・ベクトルを決めることが可能となり、瞬間ｔ₁と瞬間ｔ₂におけるイメージの間のオブジェクトの起こりうる出現を検出することもできるようになる。
【００４６】
それ故に、オブジェクトの消滅をもしあれば検出するために前方推定ステップを、または、オブジェクトの出現をもしあれば検出するために後方推定ステップを、実行することを考えることは可能である。前方推定ステップと後方推定ステップをジョイントできる能力によって、オブジェクトの消滅または出現に関連するメッシュのリバーサル（reversal）またはアンカバリング（uncovering）に対応するどんなオクルージョン・ゾーンの存在も検出することが可能となる。
【００４７】
好ましくは、前記前のイメージ内（または前記後のイメージ内）に少なくとも一つのオクルージョン情報が存在するとき、この種の方法は、
各オクルージョン・ゾーンについて、前記前のイメージ（または前記後のイメージ）において、前記オクルージョン・ゾーンに対応する少なくとも一つのメッシュポイントを包含する、包含領域と称される前記メッシュの一領域を除外して近似的な前のイメージ（または近似的な後のイメージ）を取得するステップと、
前記近似的な前のイメージ（前記近似的な後のイメージ）から近似的な後のイメージ（近似的な前のイメージ）を取得することを可能にする前方モーション・ベクトル（後方モーション・ベクトル）と称されるモーション・ベクトルを決定するための前方推定（または後方推定）ステップと、
【００４８】
前記近似的な前のイメージ（前記近似的な後のイメージ）と前記前方モーション・ベクトル（前記後方モーション・ベクトル）とから中間的なイメージを構築するためのステップと、を含む。
【００４９】
実際、オクルージョン・ゾーンの存在により、シーケンスの２つの与えられたイメージの間のモーション推定の計算に誤差（エラー）が導入されることがある。近似的なイメージはしかして構築される。この近似的なイメージは、或る与えられたイメージから、少なくとも一つのオクルージョン・ゾーンに対応するメッシュの少なくとも一つの領域を除外することによって得られる。
【００５０】
この方法ではそれ故に、議論される瞬間ｔ₁とｔ₂に対応する２つのイメージの間の予測誤差を最小化するために、不完全なゾーン（すなわち少なくとも一つメッシュを逆に含むゾーン）を除外した後に瞬間ｔ₁と瞬間ｔ₂との間のモーションの新たな推定が実行される。
【００５１】
近似的なイメージから作られるこの新たな推定はイメージの連続ゾーンに対する最適なモーション・ベクトルを決定するために使用され（すなわち瞬間ｔ₁と瞬間ｔ₂との間の一対一対応を仮定）、従ってモーション推定の間に得られるモーション・ベクトルの値が不連続なゾーンの存在によって擾乱されることが防止される。
【００５２】
本発明の有利な特性によれば、前記包含領域は前記オクルージョン・ゾーンに関して半径ｋ（ｋ≧１）の円盤（ｋ円盤）である。
【００５３】
オクルージョン・ゾーンに関する半径ｋの円盤の定義が思い起こされるかもしれない。オクルージョン・ゾーンの半径１の円盤はオクルージョン・ゾーンそれ自体である。ｋ＞１の任意の値について、オクルージョン・ゾーンの半径ｋの円盤は、そのオクルージョン・ゾーンを含んでおりかつ議論されるオクルージョン・ゾーンの縁（border）からｋ−１個の辺（k-1 edges）から成る最大距離に位置する境界を有する領域に対応する。
【００５４】
好ましくは、前記構築ステップは、１未満のスカラー値の重みが掛けられた前記前方モーション・ベクトル（または前記後方モーション・ベクトル）を前記近似的な前のイメージ（前記近似的な後のイメージ）に適用する。
【００５５】
実際、モーションの前方及び／または後方推定のステップにより、前のイメージから後のイメージまでパスするために使用される全てのモーション・ベクトルを決定することが可能となる。前のイメージと後のイメージとの間で構築されるべき中間イメージの時間的ポジションに応じて、これらのベクトルは０乃至１の範囲のスカラー値で重み付けされる。
【００５６】
本発明の第１の有利な代替的な態様によれば、このタイプの方法は前記中間イメージに付随するメッシュを再構築するステップを具備し、この再構築ステップでは、各オクルージョン・ゾーンについて、前記補間イメージを取得するため、前記包含領域に対応する前記メッシュの一部に付随する比色（colorimetric）情報及び／または光度（photometric）情報を決定するためのステップを実行する。
【００５７】
つまり補間イメージは先に得られた中間イメージから、包含領域に付随する光度及び／または比色情報を決定することにより再構築される。
【００５８】
この種の決定ステップは、仏国特許文書FR-98 12525「Procede de codage d'image fixes ou animees avec reduction et adaption du debit」（「ビットレートが減少かつ適合した動画符号化方法」）に提案されたアプローチに従って実施されてよい。
【００５９】
この特許文書の目的は、デジタルイメージを符号化するための方法であって、このイメージを表すその長さが望ましい表現の関数であるビットストリームを生成することを目的とする。この方法は、
符号化されるべきイメージの或るドメイン上において複数の入れ子状メッシュから構成され、そのメッシュポイントの頂点が前記イメージのピクセルであってよい、階層型メッシュを定義するステップと、
各メッシュレベルで、輝度（luminance）、比色（chrominance）、位置（positions）を最適化するステップと、
前記階層型メッシュの各メッシュポイントについて、符号化されるイメージと議論されるメッシュポイントが属する入れ子状メッシュの頂点から得られる補間イメージとの間の輝度の差を決定摺るステップと、
ビットストリームに、輝度の差が或る閾差を超えたメッシュポイントの頂点の位置、輝度と比色(crominance)の値（有利には前の階層レベルに関して区別をつけて符合化される）を導入するステップと、を含む。
【００６０】
このテクニックによれば、メッシュステップの最後に、４点ツリー構造（quaternary tree structure）が構築される。階層型メッシュに付随するこのツリー構造はメッシュポイントの頂点の値（色と位置）を操作するために構築される。このツリーは対応するメッシュレベルの三角形の数に等しいノード数を有する。ツリーの各ノードは階層型メッシュのただ一つの三角形に関係する。
【００６１】
このツリーが構築されるとすぐに、伝送かつ／または記憶されるイメージを表すビットストリームに導入するためのツリーのデータが選択される。この選択は望みのクォリティに依存する。
【００６２】
この選択をするために、各三角形について、符号化されるべきイメージと議論されるメッシュポイントが属する入れ子状メッシュの頂点からの補間イメージとの間の輝度の差が計算される。次にこの差は各三角形に対する閾差と比較される。この閾差の値は表現の望ましいクォリティの関数である。
【００６３】
次に、その輝度の差が閾差より大きい三角形に関係するツリーの部分がビットストリームに導入される。これにより、そのイメージに関するデータをこれらの異なった三角形部分の局部的なクォリティに応じて伝送することが可能となる。
【００６４】
有利には、前記決定ステップにおいて、第一に有限要素を使用する符号化モデルを実施し、第二に代替的な符号化モデルを実施する。
【００６５】
実際、階層的符号化、例えば仏国特許出願FR98 12525に記述されたこの種の符号化が実施され、イメージの一部がかなりざらつきがあるときは、十分なクォリティの輝度及び／比色情報を取得するために多数のメッシュレベルが用意されることが必要である。この場合、階層的符号化の効率は低い。言い換えると、階層的符号化は比較的滑らかなイメージに良く適合するが、しかし、かなりざらつきのある（highly textered）部分を持つイメージには適合しない。
【００６６】
それ故に新規なアプローチが考えられた。このアプローチは、例えばFR99 06815（Procede de codage hierarchique et mise en oauvre selective d'un codage a bsae de transformation reversible, et procede de decodage correspondant）の「階層的符号化の方法と可逆変換に基づく符号化の選択的実施、及び対応する復号化の方法（Method of hierachical encoding and selective implementation of an encoding based on reversible transformation, and corresponding decoding method）」に記述されている。符号化されるべきイメージを符号化するためのこうした方法は、
少なくとも２つの入れ子状メッシュ・レベルが頂点（符号化されるべきイメージのピクセルであってよい）によって定められたメッシュポイントによって形成された階層型メッシュ（hierarchical mesh）を定義するステップと、
前記メッシュポイントのそれぞれについて、符号化されるべきイメージと議論されるメッシュポイントのメッシュレベルに属するメッシュポイントの頂点から得られる補間イメージとの間の誤差についての一片の情報を決定するステップと、
第１の所定の閾値を下回る一片の誤差情報を有するメッシュポイントの細分を停止するステップと、
第２の所定の閾値を上回る一片の誤差情報を有するメッシュポイントに対して特定の符号化を実施するステップと、
前記第１の所定の閾値を上回りかつ前記第２の所定の閾値を下回る一片の誤差情報を有するメッシュポイントの細分を継続するステップと、
を含む。
【００６７】
こうして、本発明の文脈において有利であることが判明したこの方法によれば、２つの別個の符号化方式が選択的に使用される。階層的符号化または入れ子状メッシュ符号化、は、主要な符号化または基本的な符号化であるが、しかし順序立てて使用されない。つまり、それを必要とするイメージ部分に対して別のより効果的な符号化が使用される。
【００６８】
この特定の符号化を使用する決定は閾値との比較により成される。より具体的には、階層型メッシュを表すツリーの議論される各ノードにおいて、３つの可能性が与えられる。つまり、メッシュポイント（対応するイメージ部分または対応する包含部分について達せられたクォリティが十分である場合）の細分または再分割の停止すること、同じ階層的符号化を維持して次の階層レベルへ進むこと、あるいは別の符号化（特にざらつきの大きな部分により適した符号化）を使用することが挙げられる。
【００６９】
イメージ部分または包含領域の部分の特性に対して符号化の選択をより正確に適合させるためにいくつかの異なるタイプの特定形式の符号化を使用することが可能であることに注意したい。
【００７０】
本発明の第２の有利な代替的な態様によれば、この種の方法は、前記補間イメージを取得するため、前記中間イメージに付随するメッシュを再構築するステップを具備し、該再構築ステップにおいて、各オクルージョン・ゾーンについて、前記包含領域に対応する前記後のイメージに付随するメッシュの一部または前記前のイメージに付随するメッシュの一部を前記中間イメージに付随するメッシュに挿入する。
【００７１】
その結果、中間イメージにおいて、オクルージョン・ゾーンのコンテンツは前のイメージまたは後のイメージの対応するゾーンによって置換される。こうして得られる補間イメージは、前のイメージ（または後のイメージ）に付随するメッシュの変位に対応する補間によって得られる部分と、オクルージョン・ゾーンに対応し後のイメージまたは前のイメージについての情報を含むゾーンによって、構成される。
【００７２】
有利な特性によれば、この種の方法は、各オクルージョン・ゾーンについて、第１の改善された補間イメージを生成するため、前記補間イメージ内の前記包含領域に対応する前記メッシュの一部の少なくとも一つのノードのポジションを最適化して、前記補間イメージと対応する正確なイメージとの間のローカルなモーションを推定するステップを更に具備する。
【００７３】
符号化レベルにおいて、この種のモーションが考慮され、そのモーション推定によって補間イメージとそれに対応する正確なイメージとの間に不連続なゾーンが存在しないこと、特に反転したメッシュが存在しないこと、が決定される場合にのみ符号化される。
【００７４】
有利には、この種のステップは、前記改善された第１の補間イメージと前記対応する正確なイメージとの間の誤差を評価するために誤差イメージを計算するステップを更に具備する。
【００７５】
こうして、補間イメージと対応する正確なイメージとの間のモーション推定によってオクルージョン・ゾーンが存在することが決定されると、誤差計算が実行される。
【００７６】
有利なテクニックによれば、前記誤差は前記誤差イメージの少なくとも一つの領域に対して所定の閾値よりも大きいと、この種の方法では、第２の改善された補間イメージを生成するために前記領域のそれぞれに付随する比色情報及び／または光度情報を決定するステップが実行される。
【００７７】
有利には、前記決定ステップにおいては、第一に有限要素を使用する符号化モデルを実施し、第二に代わりの符号化モデルを実施する。
【００７８】
すでに述べたように、この種の決定ステップは、仏国特許出願FR99 06815（Procede de codage hierarchique et mise en oauvre selective d'un codage a bsae de tra sforenmation reversible et procede de codage correspondant）の「階層的符号化の方法と可逆変換に基づく符号化の選択的実施、及び対応する復号化の方法（Methods of hierachical encoding and selective implementation of an encoding based on reversible transformation, and corresponding decoding method）」に説明されている。
【００７９】
本発明の有利な特性によれば、前記決定ステップは、前記誤差イメージからまたは前記対応する正確なイメージから、所定のコスト基準に応じて実行される。
【００８０】
実際、比色及び／または光度情報を決定するステップに先立って、こうしたステップのコストが、第一に誤差イメージから、第二に補間イメージに対応する正確なイメージから、評価される。その後に最もコストのかからない解決法が実行される。
【００８１】
好ましくは、前記メッシュはそれが代表する前記イメージよりも大きなサイズを有する。
【００８２】
この種のテクニックは例えば２０００年６月１３日に本願出願人名義で出願された仏国特許出願FR00 09273「イメージ・シーケンスの符号化及び復号化のためのモーション推定量（Eatimateur de mouvement pour le codage et le decodage de sequences d'images（Motion estimator for the encoding and decoding of image sequences））」に記述されている。この特許出願で説明されているテクニックによれば、それに付随するイメージよりも大きなサイズを有するメッシュを使用することにより、モーション推定とイメージ・シーケンスの符号化及び復号化の補償のテクニックを実施することが可能で、オブジェクトが動いている間にメッシュのアンカバリング（uncovering）とクラウディング（crowding）の管理が可能となる。
【００８３】
本発明によれば、イメージのサイズよりも大きなサイズのメッシュを使用することにより、復号化時のフレームの時間的補間を改良することが可能となる。
【００８４】
本発明は、前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを補間するステップを実行するタイプの、動画シーケンスを符号化するための方法と復号化するための方法にも関係する。
【００８５】
この種の符号化及び復号化の方法において、前記補間ステップは、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮する。
【００８６】
本発明は、前のイメージと後のイメージとの間に少なくとも一つの補間イメージを補間するための手段を備えるタイプの動画シーケンスを表示するための端末において、前記補間手段は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮することを特徴とする端末にも関係する。
【００８７】
本発明は、動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを再構築することを可能にする情報を具備し、前記情報は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮している、ことを特徴とするビデオ信号とデータ・キャリアにも関係している。
【００８８】
本発明の他の特徴と利点は、例示的かつ非限定的な例として以下提供される本発明の好ましい実施態様を添付図面を参照しながら説明することにより、より明らかとなる。
【００８９】
本発明の一般原理は、双方向符号化（bi-directional encoding）及び／または復号化の間のフレームの時間的補間の目的で、動画シーケンス内の補間イメージを構築する際にオクルージョン領域を管理することに基づく。
【００９０】
まず図２を参照して説明する。この図は、動画シーケンスの前のイメージと後のイメージとの間に補間されるイメージを構築するための本発明の実施態様における全てのステップを示したブロック図である。
【００９１】
動画シーケンスの２つのイメージが議論される。それらのイメージは２つの連続する瞬間ｔ₁とｔ₂にあり、それぞれＩ₁とＩ₂と称される。Ｉ₁とＩ₂との間の補間イメージＩ’をｔ₁とｔ₂の間の中間的な瞬間ｔ’において構築することが求められる。
【００９２】
ステップ２１において、イメージＩ₂を得るためにＩ₁に付随するメッシュ（例えば図１に示されたような階層型メッシュ）のピークにあてがわれるべきモーション・ベクトルを決定するために、イメージＩ₁からモーションの前方推定が実行される。もちろんこの種のステップ２１ではイメージＩ₂からモーションの後方推定を実行してもよいが、説明を簡単にするために、ステップ２１の間に前方推定を実行する態様のみを説明することに努める。
【００９３】
この種のステップ２１によって、ここではイメージＩ₁における一つ以上のオブジェクトの少なくとも部分的な消滅に対応する起こりうるクラウディング（crowding）ゾーンの存在を検出することができる。Ｉ₂を得るためにＩ₁に付随するメッシュにあてがわれるべきモーションｄを決定することも可能となる。
【００９４】
クラウディング領域が全く存在しないとき、ステップ２２の間に変位ｄ’がＩ₁に付随するメッシュにあてがわれる。この変位ｄ’は以下の様に定義される。
【数１】

【００９５】
Ｉ₂を得るためにＩ₁に付随するメッシュにあてがわれるべき変位ｄは、このように０乃至１の範囲にあるスカラー値で重み付けされる。このスカラー値はイメージＩ₁とＩ₂に関するイメージＩ’の位置に依存する。つまり、イメージＩ₁に近い補間イメージを得たい場合は、変位ｄは０に近いスカラー値で重み付けされる。一方、時間的にＩ₂に近い補間イメージを得たいなら、変位ｄは１に近いスカラー値で重み付けされる。
【００９６】
ステップ２２の後、望ましい補間イメージＩ’がステップ２３で得られる。
【００９７】
ステップ２１の間に少なくとも一つのクラウディング・ゾーンの存在が検出される場合、ステップ２４において、検出されたクラウディング・ゾーンに対応する包含領域（emcopassing region）が、このオクルージョン・ゾーンが存在ことによって導入されるであろうモーションの誤差を防止するために、Ｉ₁から除外される。結果、近似的なイメージＩ₁が得られる。このイメージは少なくとも一つのオクルージョン・ゾーンが除外されたイメージＩ₁に対応する。
【００９８】
次にステップ２５の間、イメージの連続ゾーンに対する最適モーション（すなわちｔ₁とｔ₂の間の一対一対応ベクトル）を決定するためにＩ₁の近似値から前方モーション推定が実行される。
【００９９】
次にステップ２１、２４と２５について図３を参照しながらより詳細に説明する。
【０１００】
イメージＩ₁からのモーションの前方推定のためのステップ２１の間に、リバーサル・ゾーン（reversal zone）３１の存在が検出される。ステップ２４の間に、近似的なイメージＩ₁を得るために、このリバーサル・ゾーン３１はＩ₁から除外される。次いで、Ｉ₂を得るためにＩ₁に付随するメッシュの頂点にあてがわれるべき最適なモーション・ベクトルを得るために、前方モーション推定２５がこの近似的なイメージＩ₁から実行される。
【０１０１】
ステップ２６の間、変位ｄ’が近似的なイメージＩ₁に付随するメッシュにあてがわれ、その結果、中間ステップ２７において中間イメージＩ中間が得られる。この種の変位ｄ’はステップ２５で決定される最適変位ｄに０乃至１の範囲にあるスカラー値で重み付けすることによって得られる。これはステップ２２の間に実行されるものに似たテクニックによって成される。
【０１０２】
本発明がフレーム周波数の補間に適用される場合には、ステップ２９１が実行される。このステップでは、ステップ２４の間にＩ₁から除外された包含領域に対応する、Ｉ₁またはＩ₂のゾーンがＩ中間に挿入される。つまり、クラウディング・ゾーンのコンテンツは瞬間ｔ₁または瞬間ｔ₂の対応するゾーンによって置換される。
【０１０３】
結果、ステップ２９２の間にイメージＩ’が得られる。このイメージは、第一にＩ₁に付随するメッシュの変位ｄ’に対応する補間部分によって、第二にオクルージョン・ゾーンに対応しておりイメージＩ₁またはイメージＩ₂についての情報を含むゾーンの変位によって、構築される。
【０１０４】
本発明が双方向符号化（bi-directional encoding）に適用される場合には、補間イメージＩ’がＩ中間から得れることを可能にする２つの代替的な実施態様を考えることができる。
【０１０５】
第１の実施態様では、ステップ２８１の間に、ステップ２４においてＩ₁から除外された包含領域に対応するＩ中間の領域に付随する比色（colorimetric）／光度（photometric）情報が決定される。次いでステップ２８２の間に補間イメージＩ’を得るために、Ｉ中間に付随するメッシュ全体が再構築される。この種のステップ２８１は、例えば仏国特許文書FR-98 12525「ビットレートが減少かつ適合した動画符号化方法（Procede de codage d'image fixes ou animees avec reduction et adaption du debit（Method for the encoding of still or moving images with reduction and adaption of the bit rate））」に提案されたアプローチに従って実施されてよい。
第２の代替的な実施態様では、ステップ２９１の間に、ステップ２４においてＩ₁から除外された一つ以上の包含ゾーンに対応するＩ₁またはＩ₂のゾーンがＩ中間に挿入される。つまり、クラウディング・ゾーンのコンテンツは瞬間ｔ₁または瞬間ｔ₂の対応するゾーンによって置換される。
【０１０６】
一般に、イメージＩ’は、補間イメージＩ’が全体的にオーバラップすることができるように、前方モーション推定を実行する際にはイメージＩ₂のコンテンツを挿入して、そして後方モーション推定を実行する際にはイメージＩ₁のコンテンツを挿入することによって得られる。しかしながら特定の場合には、例えばよりクォリティの高いイメージＩ’を得るために、かつ／またはビデオ・シーケンスにより高いビジュアル的流動性を与えるために、後方モーション推定（または前方モーション推定）を行う際にはイメージＩ₂（または前方モーション推定に対応してＩ₁）のコンテンツを挿入することによりイメージＩ’を構築することが好ましい。
【０１０７】
こうしてステップ２９２においてイメージＩ’が得られる。このイメージＩ’は、第一にＩ₁に付随する変位ｄ’に対応する補間部分によって、第二にオクルージョン・ゾーンに対応しておりイメージＩ₁またはイメージＩ₂についての情報を含むゾーンによって、構築される。
【０１０８】
イメージＩ’の改善された近似を得るために、Ｉ’と対応する正確な補間イメージとの間でモーション推定２９３が行われる。
【０１０９】
結果、ステップ２９４の間に第１の改善された補間イメージＩ’₁が得られる。ステップ２９５の間に、改善されたイメージＩ’₁と対応する正確な補間イメージとの間の誤差イメージが計算される。
【０１１０】
誤差が小さい場合（例えば所定の誤差閾値を下回る場合）、ステップ２９８においてイメージＩ’₁が動画シーケンスのイメージＩ₁とＩ₂との間に挿入される。
【０１１１】
一方、誤差が大きい場合で、その誤差が誤差イメージの少なくとも特定の部分について所定の閾値を上回る場合、ステップ２９６において誤差が大きいイメージの部分に付随する比色／光度情報が決定される。
【０１１２】
再び、このようなステップ２９６は、例えば仏国特許文書FR-98 12525「ビットレートが減少かつ適合した動画符号化方法（Procede de codage d'image fixes ou animees avec reduction et adaption du debit（Method for the encoding of still or moving images with reduction and adaption of the bit rate））」に記述されたテクニックに従って実行されてよい。
【０１１３】
次いでステップ２９７の間に、イメージ・シーケンスのイメージＩ₁とイメージＩ₂との間に補間されるべき第２の改善された補間イメージＩ’₂が得られる。
【０１１４】
符号化レベルにおいて、符号器によって必要とされる情報は、Ｉ’と対応する正確なイメージとの間のモーション推定と、必要ならば局部的な誤差補正に付随する比色／光度情報とに対応するモーション・ベクトルｄ^*に対応する。
【０１１５】
ステップ２３、２８２、２９４または２９７のいずれかの最後に得られる改善された補間イメージＩ’、Ｉ’₁または改善されたイメージＩ’₂は、図４に示されているように、動画シーケンスの２つの連続するイメージの間に挿入することができる。
【０１１６】
こうして、例えばシーケンス４０の復号化において、復号器はできる限り符号器によって伝送された情報から補間イメージ４３を構築して、それをシーケンス４０のビジュアル的流動性を高めるために２つのイメージ４１と４２との間に挿入する。
【図面の簡単な説明】
【図１】入れ子状三角形階層型メッシュの一例を示した図である。
【図２】動画シーケンスにおける前のイメージと後のイメージとの間の補間イメージを構築するために実行される本発明における全てのステップを示したブロック図である。
【図３】図２に示されたステップ１１、１４と１５をより詳細に説明するための図である。
【図４】本発明をフレームの時間的補間に適用した場合の一例を示した図である。

Claims

動画シーケンスの前のイメージと後のイメージとの間に少なくとも１つの補間イメージを構築するための方法において、
オクルージョン情報と称される、前記前のイメージ内および／または前記後のイメージ内における少なくとも１つのオクルージョン・ゾーンの存在に関する情報を考慮する少なくとも１つのモーション推定ステップを含み、
更に、前記前のイメージ内または前記後のイメージ内に少なくとも１つのオクルージョン・ゾーンが存在する場合に、
前記前のイメージ内または前記後のイメージ内の前記オクルージョン・ゾーン毎に、前記オクルージョン・ゾーンに対応する少なくとも１つのメッシュ・ポイントを包含する、包含領域と称される、前記前のイメージまたは前記後のイメージのメッシュの領域を除外し、近似的な前のイメージまたは近似的な後のイメージを取得するステップと、
前記近似的な前のイメージから前記近似的な後のイメージを決定できるようにする前方推定、または、前記近似的な後のイメージから前記近似的な前のイメージを決定できるようにする後方推定、を用いて、前方モーション・ベクトルまたは後方モーション・ベクトルと称されるモーションベクトルを決定するステップと、
前記近似的な前のイメージおよび前記前方モーションベクトル、または前記近似的な後のイメージおよび前記後方モーションベクトルから、中間的なイメージを構築するステップと、
を含む、ことを特徴とする方法。
前記メッシュはメッシュ・ピラミッド内に少なくとも二つの入れ子状メッシュ・レベルを有する階層型メッシュである、ことを特徴とする請求項１に記載の方法。
前記オクルージョン情報は前記前のイメージと前記後のイメージとの間のモーションの前方及び／または後方の推定ステップを実行することにより決定される、ことを特徴とする請求項１または２に記載の方法。
前記包含領域は、前記オクルージョン・ゾーンに関して半径ｋ（ｋ≧１）の円盤（ｋ円盤）である、ことを特徴とする請求項１に記載の方法。
前記構築ステップにおいて、１未満のスカラー値の重みが掛けられた前記前方モーション・ベクトル（または前記後方モーション・ベクトル）を前記近似的な前のイメージ（または前記近似的な後のイメージ）に適用する、ことを特徴とする請求項１または４に記載の方法。
前記補間イメージを取得するため、前記中間イメージに付随するメッシュを再構築するステップを具備し、該再構築ステップにおいて、各オクルージョン・ゾーンについて、前記包含領域に対応する前記中間イメージに付随するメッシュの一部に付随する比色情報及び／または光度情報を決定するためのステップを実行する、ことを特徴とする請求項１、４、５のいずれかに記載の方法。
前記決定ステップにおいて、第一に有限要素を使用する符号化モデルを実施し、第二に代わりの符号化モデルを実施する、ことを特徴とする請求項６に記載の方法。
前記補間イメージを取得するため、前記中間イメージに付随するメッシュを再構築するステップを具備し、該再構築ステップにおいて、各オクルージョン・ゾーンについて、前記包含領域に対応する前記後のイメージに付随するメッシュの一部または前記前のイメージに付随するメッシュの一部を前記中間イメージに付随するメッシュに挿入する、ことを特徴とする請求項１、４、５のいずれかに記載の方法。
第１の改善された補間イメージを生成するため、各オクルージョン・ゾーンについて、前記補間イメージ内の前記包含領域に対応する前記メッシュの一部の少なくとも一つのノードのポジションを最適化して、前記補間イメージと対応する正確なイメージとの間の局部的なモーションを推定するステップを更に具備する、ことを特徴とする請求項８に記載の方法。
前記改善された第１の補間イメージと前記対応する正確なイメージとの間の誤差を評価するために、誤差イメージを計算するステップを更に具備する、ことを特徴とする請求項９に記載の方法。
前記誤差が前記誤差イメージの少なくとも一つの領域に対して所定の閾値よりも大きい場合には、第２の改善された補間イメージを生成するために前記領域のそれぞれに付随する比色情報及び／または光度情報を決定するステップを実行する、ことを特徴とする請求項１０に記載の方法。
前記決定ステップにおいて、第一に有限要素を使用する符号化モデルを実施し、第二に代わりの符号化モデルを実施する、ことを特徴とする請求項１１に記載の方法。
前記決定ステップは、前記誤差イメージからまたは前記対応する正確なイメージから所定のコスト基準に応じて実行される、ことを特徴とする請求項１１または１２に記載の方法。
前記メッシュは該メッシュに付随する前記イメージよりも大きなサイズを有する、ことを特徴とする請求項１乃至１３のいずれかに記載の方法。
前のイメージと後のイメージとの間に少なくとも一つの補間イメージを補間するためのステップを実行するタイプの、動画シーケンスを符号化するための方法において、
前記補間ステップは、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮するモーション推定サブステップを含み、
更に、前記前のイメージ内または前記後のイメージ内に少なくとも１つのオクルージョン・ゾーンが存在する場合に、
前記前のイメージ内または前記後のイメージ内の前記オクルージョン・ゾーン毎に、前記オクルージョン・ゾーンに対応する少なくとも１つのメッシュ・ポイントを包含する、包含領域と称される、前記前のイメージまたは前記後のイメージのメッシュの領域を除外し、近似的な前のイメージまたは近似的な後のイメージを取得するステップと、
前記近似的な前のイメージから前記近似的な後のイメージを決定できるようにする前方推定、または、前記近似的な後のイメージから前記近似的な前のイメージを決定できるようにする後方推定、を用いて、前方モーション・ベクトルまたは後方モーション・ベクトルと称されるモーションベクトルを決定するステップと、
前記近似的な前のイメージおよび前記前方モーションベクトル、または前記近似的な後のイメージおよび前記後方モーションベクトルから、中間的なイメージを構築するステップと、
を含む、ことを特徴とする方法。
前のイメージと後のイメージとの間に少なくとも一つの補間イメージを補間するためのステップを実行するタイプの、動画シーケンスを復号化するための方法において、
前記補間ステップは、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮するモーション推定サブステップを含み、
更に、前記前のイメージ内または前記後のイメージ内に少なくとも１つのオクルージョン・ゾーンが存在する場合に、
前記前のイメージ内または前記後のイメージ内の前記オクルージョン・ゾーン毎に、前記オクルージョン・ゾーンに対応する少なくとも１つのメッシュ・ポイントを包含する、包含領域と称される、前記前のイメージまたは前記後のイメージのメッシュの領域を除外し、近似的な前のイメージまたは近似的な後のイメージを取得するステップと、
前記近似的な前のイメージから前記近似的な後のイメージを決定できるようにする前方推定、または、前記近似的な後のイメージから前記近似的な前のイメージを決定できるようにする後方推定、を用いて、前方モーション・ベクトルまたは後方モーション・ベクトルと称されるモーションベクトルを決定するステップと、
前記近似的な前のイメージおよび前記前方モーションベクトル、または前記近似的な後のイメージおよび前記後方モーションベクトルから、中間的なイメージを構築するステップと、
を含む、ことを特徴とする方法。
前のイメージと後のイメージとの間に少なくとも一つの補間イメージを補間するための手段を備えるタイプの、動画シーケンスを表示するための端末において、
前記補間手段は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮するモーション推定手段を具備し、
更に、前記前のイメージ内または前記後のイメージ内に少なくとも１つのオクルージョン・ゾーンが存在する場合に、
前記前のイメージ内または前記後のイメージ内の前記オクルージョン・ゾーン毎に、前記オクルージョン・ゾーンに対応する少なくとも１つのメッシュ・ポイントを包含する、包含領域と称される、前記前のイメージまたは前記後のイメージのメッシュの領域を除外し、近似的な前のイメージまたは近似的な後のイメージを取得する手段と、
前記近似的な前のイメージから前記近似的な後のイメージを決定できるようにする前方推定、または、前記近似的な後のイメージから前記近似的な前のイメージを決定できるようにする後方推定、を用いて、前方モーション・ベクトルまたは後方モーション・ベクトルと称されるモーションベクトルを決定する手段と、
前記近似的な前のイメージおよび前記前方モーションベクトル、または前記近似的な後のイメージおよび前記後方モーションベクトルから、中間的なイメージを構築する手段と、
を備えることを特徴とする端末。