JP5872896B2 - パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置 - Google Patents

Description

本発明は、全体としてビデオコーディング及びデコーディングに関し、特に、テクスチャ圧縮の方法及び装置に関する。

多くのイメージ及びビデオコーディング規格、勧告、及びそれらの拡張（本明細書においては、以下まとめてビデオコーディング規格と称する）が存在しているが、テクスチャ圧縮は、十分に開発されていない技術である。第一に、現在のビデオコーディング規格のほとんどは、変換ベースの方法を使用して、ビデオピクチャをエンコーディングする。特定のビデオピクチャのテクスチャの詳細を保存するために、このような方法は、非常に多くのビットを必要とする。特に、イメージが大きなテクスチャ背景を含んでいる場合にそうである。

一般的に、イメージエリアは、フラットリージョン、エッジリージョン、またはテクスチャリージョンに分類可能である。現在のビデオコーディング規格の多くは、このようなピクチャ内に含まれるリージョンのタイプに関わらず、一般的にビデオピクチャに適用される変換ベースの方法を採用する。このような変換ベースの方法が、ビデオピクチャのテクスチャリージョンに適用される場合、フィルタリング等の操作を通して後に処分される一連の高周波成分が生成される。従って、圧縮の間にテクスチャの詳細を保存するのは非常に難しい。なぜならば、このようなリージョンは、通常はこのような高周波成分に関連し、このようなテクスチャリージョンを反映しているからである。

テクスチャ合成は、コンピュータビジョン（computer vision）及びコンピュータグラフィクスアプリケーションの両方において使用され、その高い複雑性故に、テクスチャ合成は、イメージ及びビデオ圧縮操作に頻繁には使用されない。テクスチャ合成に関する方法によれば、テクスチャは、ある程度の固定した分布を有する有限二次元（２Ｄ）平面上のいくつかの視覚的パターンとして定義され得る。テクスチャ合成の目的は、以下に説明される：特定のテクスチャサンプルが与えられた場合、人間の監視者によって受け取られた場合に、当該テクスチャサンプルと同じ潜在する確率論的な処理によって生成されるようにみえる新しいテクスチャが合成される。

テクスチャ合成操作を実行する１つの方法は、特徴空間内の全体統計及びテクスチャアンサンブル（ensemble）からのサンプルイメージを直接的に決定する。このテクスチャ合成操作は、モデルベースのコーディングの一形式である。エンコーダにおいて、このようなテクスチャ合成操作を実行するために、イメージは、最初にテクスチャに関して解析され、当該テクスチャのパラメータが評価されてコーディングされる。デコーダにおいて、これらのパラメータは、データビットストリームから抽出され、モデル化されたテクスチャを再構築するために使用される。特に、テクスチャは、抽出されたパラメータからの確率分布を判定することによってデコーダにおいて再構築される。テクスチャ合成のこの方法の欠点は、エンコーダ及びデコーダの両方において、テクスチャを解析及び再構築するために要求される高い複雑性である。

従来技術のこれらの及び他の欠点及び短所は、パッチベースのサンプリングテクスチャ合成を使用したテクスチャ圧縮の方法及び装置に関する本発明の原理によって解決される。

本発明の原理の態様によれば、装置が提供される。当該装置は、テクスチャを合成することによってピクチャに関するテクスチャをエンコーディングするエンコーダを含む。当該エンコーダは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移行させるための情報を使用する。

本発明の原理の他の態様によれば、方法が提供される。当該方法は、テクスチャを合成することによってピクチャに関するテクスチャをエンコーディングするステップを含む。当該エンコーディングステップは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移行させるための情報を使用する。

本発明の原理のさらに他の態様によれば、装置が提供される。当該装置は、テクスチャを合成することによってピクチャに関するテクスチャをデコーディングするデコーダを含む。当該デコーダは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移行させるように構成された情報を使用する。

本発明の原理のさらなる態様によれば、方法が提供される。当該方法は、テクスチャを合成することによってピクチャに関するテクスチャをデコーディングするステップを含む。当該デコーディングステップは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移行させるための情報を使用する。

本発明の原理のこれらの及び他の態様、特徴及び利点は、添付の図面とともに読まれる以下の例示の実施形態の詳細な説明から明らかになるであろう。

本発明の原理は、以下の例示の図によってさらに良く理解されるだろう。
一般的なパッチベースサンプリング法の図である。 本発明の原理の実施形態によるパッチベースサンプリング法の図である。 本発明の原理の実施形態に従った、本発明の原理が適用される例示のビデオエンコーダのブロック図である。 本発明の原理の実施形態に従った、本発明の原理が適用される例示のビデオデコーダのブロック図である。 本発明の原理の実施形態に従った、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャエンコーディング法のフロー図である。 本発明の原理の実施形態に従った、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャデコーディング法のフロー図である。

本発明の原理は、サンプリングテクスチャ合成を使用したテクスチャ圧縮の方法及び装置に関する。

本説明は、本発明の原理を示す。従って、この発明の発明を実施するための形態を読んだ本技術分野の当業者が、本明細書内に明示的に説明及び図示されていなくとも、本発明の原理を包含する様々な構成を考案可能であることが理解される。
原理、態様及び本発明の原理の実施形態、並びに本発明の原理の特定の例を列挙している本明細書内の全ての記述は、それらの構造的及び機能的均等物の両方を包含することが意図されている。さらに、このような均等物は、現在知られている均等物及び将来開発される均等物、すなわち構造にかかわらず同一の機能を実行する開発された全ての要素を含むと意図される。

従って、例えば、本明細書において表されているブロック図が、本発明の原理を含む例示の回路の概念的視点を示していることが、本技術分野の当業者によって理解されるだろう。同様に、フローチャート、フロー図、状態遷移図、擬似コード等が、実質的にコンピュータ可読媒体内に表現されてコンピュータまたはプロセッサによって実行され得る様々なプロセスを示し、本技術分野の当業者が本明細書の様々な開示からコンピュータコードを開発可能であることが理解されるだろう。

図面内に示されている様々な要素の機能は、専用のハードウェア及び適切なソフトウェアに関連しているソフトウェアを実行可能なハードウェアの使用によってもたらされ得る。プロセッサによってもたらされる場合、当該機能は、単一の専用プロセッサによってか、単一の共有プロセッサによってか、またはいくつかが共有されていてもよい複数の別個のプロセッサによってもたらされ得る。さらに、「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアだけをいうと理解されるべきではなく、限定無しに、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ（read only memory）、ＲＡＭ（random access memory）、グラフィックプロセッサ（ＧＰＵ）、及び不揮発性記憶装置を非明示的に含み得る。

他のハードウェア、従来の及び／またはカスタムのもの、も含まれ得る。同様に、図面内に示されているスイッチは、単に概念的なものである。これらの機能は、プログラムロジックの動作を介して、専用のロジックを介して、プログラム制御の命令及び専用のロジックを介して、または手動で実行され得、特定の技術が、文脈からさらによく理解されるように、実装者によって選択されることが可能である。

本願の特許請求の範囲において、特定の機能を実行するための手段として表されている任意の要素は、例えば、ａ）その機能を実行する回路要素の組み合わせ、またはｂ）ソフトウェアを実行して当該機能をなすための適切な回路と組み合わされたファームウェア、マイクロコード等を含む任意の形式のソフトウェア、を含む当該機能を実行する任意の方法を含むと意図されている。当該特許請求の範囲によって画定される本発明の原理は、開示されている様々な手段によって提供される機能が、特許請求の範囲に記載の態様にて組み合わされかつ共に編成されるという事実の中に存在する。従って、これらの機能を提供可能な全ての手段は、本明細書において示されているものと均等であるとされる。

明細書における本発明の原理の「１つの実施形態」または「実施形態」という記載は、実施形態と共に説明されている特定の特徴、構造、特性等が、本発明の原理の少なくとも１つの実施形態に含まれていることを意味する。従って、明細書全体の様々な箇所に出現する「１つの実施形態において」または「実施形態において」というフレーズの登場は、必ずしも全てが同一の実施形態を参照しているわけではない。

例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」及び「Ａ及びＢのうちの少なくとも１つ」における「／」、「及び／または」及び「〜のうちの少なくとも１つ」の使用は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていると理解されるべきである。他の例として、「Ａ、Ｂ及び／またはＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」という場合は、当該表現は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、３番目に挙げられた選択肢（Ｃ）のみの選択、最初及び２番目に挙げられた選択肢（Ａ及びＢ）のみの選択、最初及び３番目に挙げられた選択肢（Ａ及びＣ）のみの選択、２番目及び３番目に挙げられた選択肢（Ｂ及びＣ）のみの選択、または３つの全ての選択肢（Ａ、Ｂ及びＣ）の選択を包含することが意図されている。このことは、本技術分野及び関連技術分野の当業者によって容易に理解されるように、多数のアイテムが挙げられる場合に拡張され得る。

さらに、本発明の原理の１または複数の実施形態及び／または実装例が本明細書においてＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）規格に関連して説明されているが、本発明の原理は、この規格のみに限定されず、本発明の原理の精神を維持しつつ、他のビデオコーディング規格、勧告、及びそれらの拡張（ＭＰＥＧ−４ＡＶＣ規格、ＶＣ−１（ＳＭＰＴＥ）の拡張を含む）に関連して使用され得る。

本明細書において、「ハイレベルシンタックス」は、ビットストリーム内にて階層的にマクロブロックレイヤの上に存在するシンタックスをいう。例えば、本明細書におけるハイレベルシンタックスは、限定するわけではないが、スライスヘッダレベル、付加拡張情報（ＳＥＩ）レベル、ピクチャパラメータセット（ＰＰＳ）レベル、シーケンスパラメータセット（ＳＰＳ）レベル及びネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダレベルのシンタックスをいい得る。

本願は、従来技術の統計的モデリング方法とは異なる「パッチベースのサンプリング」と称されるテクスチャモデリングを実行する代替の方法を開示してこれを改良する。このテクスチャビデオコーディング方法は、合成されたテクスチャの構成のための構成要素として入力サンプルテクスチャのテクスチャパッチの使用を含む。図１を参照すると、従来技術によるパッチベースサンプリング方法の概略が、全体として参照符号１００で示されている。

図１のパッチベースのサンプリング方法に含まれているステップの各々において、入力サンプルテクスチャＩ_ｉｎのパッチは、合成テクスチャＩ_ｏｕｔ内に貼り付けられる。パッチ境界に亘るミスマッチング特性を避けるために、新しいパッチＢ_ｋが、すでに貼り付けられたパッチ｛Ｂ_０，．．．Ｂ_ｋ−１｝に基づいて選択される。簡略化のために、所定のサイズω_Ｂ×ω_Ｂの正方形パッチのみが使用されている。テクスチャパッチの境界ゾーンは、パッチの境界に沿った幅ω_Ｅの帯として定められている。新しいパッチは、境界ゾーンにおいて古いパッチにオーバーラップしている。新しいパッチは、所定の条件を使用して、境界ゾーンが古いパッチとマッチングしている全てのパッチΨ_Ｂに関して入力サンプルテクスチャＩ_ｉｎを検索することによって選択される。合成器は、Ψ_Ｂから１つのパッチをランダムに選択し、当該選択されたパッチを合成テクスチャＩ_ｏｕｔ内に入れる。イメージに対するパッチ生成の順序は、底部から頂部、左から右の順である。テクスチャのランダム性の故に、パッチベースのサンプリング方法１００は、通常の走査順序である限り、どの順序が使用されているかには構わないことに留意する。しかし、エンコーダ及びデコーダは、同一の順序を使用すべきである。

図１のパッチベースのサンプリング方法は、以下の様にも記述され得る。

（ａ）入力サンプルテクスチャＩ_ｉｎからテクスチャパッチＢ_０をランダムに選択する。I_ｏｕｔの左下角内にＢ_０を貼り付ける。ｋ＝１に設定する。

（ｂ）Ψ_Ｂのテクスチャパッチの各々に関してその境界ゾーンが古い隣接パッチの境界ゾーンにマッチングするように、Ｉ_ｉｎからの全てのテクスチャパッチから決められたΨ_Ｂを生成する。

（ｃ）ｋ番目のテクスチャパッチＢ_ｋとしてΨ_Ｂから要素をランダムに選択する。Ｉ_ｏｕｔ上にＢ_ｋを張り付ける。ｋ＝ｋ＋１に設定する。

（ｄ）Ｉ_ｏｕｔが完全に覆われるまでステップ（ｂ）及び（ｃ）を繰り返す。

（ｅ）境界ゾーンにおいてブレンディングを実行する。

（ｅ）におけるブレンディングステップは、Ｉ_ｏｕｔがテクスチャパッチで完全に覆われた後に、隣接テクスチャパッチ間の滑らかな遷移をもたらす。

上述のアルゴリズムが強制テクスチャ合成のためのものであることに留意する。境界を伴うテクスチャを合成するために、テクスチャに隣接する境界エリアは、Ψ_Bを検索する際に境界ゾーンとして考えられる。

パッチベースのサンプリング方法がテクスチャ圧縮に使用される場合、入力テクスチャサンプルのみがエンコーダにおいてコーディングされる。デコーダにおいて、テクスチャは、図１のパッチベースのサンプリング方法に関連する上述のアルゴリズムに従って再構築される。パッチベースのサンプリング方法は、速度及び品質において統計的なモデルベースの方法よりも効率が良い。それでもなお、パッチベースのサンプリング方法は、限定するわけではないが：（１）デコーダがエンコーダよりも複雑であること；（２）デコーダの速度が、時間を浪費する走査であるΨBの検索によって制約を受けること；及び（３）コーデックのパフォーマンスが、エンコーダに対するデコーダの構成に依存している検索アルゴリズムに依存していること、を含むいくつかの欠点を有している。

本発明の原理は、図１とともに理解されるパッチベースの方法よりも良好なパッチベースのサンプリングテクスチャ合成を使用するテクスチャ圧縮の方法及び装置に関する。多くのイメージ及びビデオコーディング規格と対照的に、本発明は、パッチベースのサンプリングによるテクスチャ合成を使用してテクスチャをコーディング可能である。有利に、かつ従来技術とは対照的に、本発明の原理は、デコーダにおけるリアルタイムテクスチャ合成を実装するための情報を使用する。

本発明によれば、複雑性は、デコーダからエンコーダに移行される。このような方針によって、デコーダにおいては検索が不要になり、エンコーダが実質的にパフォーマンス（例えば、圧縮効率）を決することとなる。

図２をみると、例示のパッチベースのサンプリング方法の概略図が、全体として参照符号２００で示されている。図２の方法が、当該方法のパッチベースのサンプリング方法に関する情報を使用することに留意する。

１つの実施形態において、使用される情報は、入力サンプルテクスチャＩ_in内の新しいパッチの配置を記述する「変位ベクトル」である。この変位ベクトルは、図２に示されているように、ｄｖとして定義されている。図２の実施形態において、ｄｖは、Ｂ_kの左上点からＩ_inの左上点までの距離である。本発明の原理に従った、この「変位ベクトル」は、基準ピクチャが入力テクスチャＩ_inであるという点、及び一般的に時間的変位をいう従来の「モーションベクトル」と異なり変位ベクトルが空間的変位であるという点において、現在のビデオ圧縮規格及び勧告おけるモーション補間において使用されているモーションベクトルとは異なる。従って、本発明の原理に従って本明細書に記載されている空間変位ベクトルは、本明細書内で「入力テクスチャ空間変位ベクトル」と同じ意味で使用される。エンコーダにおいて、入力サンプルテクスチャ及び空間変位ベクトルｄｖを示す情報の両方がコーディングされる。デコーダにおいて、「変位ベクトル」が直接的に使用されて新しいパッチが生成される。

入力サンプルテクスチャ及び空間変位ベクトルを示す情報は、損失が多いかまたは損失が少ない任意の方法でコーディングされ得る。１つの実施形態において、入力サンプルテクスチャは、ベクトル量子化及びエントロピーコーディングを用いて損失の多い態様でコーディングされ、差分パルス符号変調（ＤＰＣＭ）及びエントロピーコーディングを用いて損失の少ない態様で変位ベクトルをコーディングする。有利には、本発明の原理の実施形態は、限定するわけではないが、解像の各々において変位ベクトルが生成され得る多重解像度パッチベースサンプリングテクスチャ合成を含むパッチベースサンプリングに基づく任意の方法に適用され得る。

図３を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ってビデオエンコーディングを実行可能なビデオエンコーダが全体として参照符号３００で示されている。

ビデオエンコーダ３００は、結合器３８５の非反転入力に接続されている出力を有するフレームオーダリングバッファ（frame ordering buffer）３１０を含む。結合器３８５の出力は、変換器及び量子化器３２５の第１の入力に接続されている。変換器及び量子化器３２５の出力は、エントロピーコーダ３４５の第１の入力、並びに逆変換器及び逆量子化器３５０の第１の入力に接続されている。エントロピーコーダ３４５の出力は、結合器３９０の第１の非反転入力に接続されている。結合器３９０の出力は、出力バッファ３３５の第１の入力に接続されている。

エンコーダコントローラ３０５の第１の出力は、フレームオーダリングバッファ３１０の第２の入力、逆変換器及び逆量子化器３５０の第２の入力、ピクチャタイプ判定モジュール３１５の入力、マクロブロックタイプ（ＭＢタイプ）判定モジュール３２０の入力、イントラ予測モジュール３６０の第２の入力、デブロッキングフィルタ３６５の第２の入力、モーション補償器３７０の第１の入力、モーション評価器３７５の第１の入力、基準ピクチャバッファ３８０の第２の入力、テクスチャ合成器３３３の第１の入力、並びに変位ベクトル抽出器３３４の第１の入力に接続されている。

エンコーダコントローラ３０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器３３０の第１の入力、変換器及び量子化器３２５の第２の入力、エントロピーコーダ３４５の第２の入力、出力バッファ３３５の第２の入力、並びにシーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器３４０の入力に接続されている。

ピクチャタイプ判定モジュール３１５の第１の出力は、フレームオーダリングバッファ３１０の第３の入力に接続されている。ピクチャタイプ判定モジュール３１５の第２の出力は、マクロブロックタイプ判定モジュール３２０の第２の入力に接続されている。

シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器３４０の出力は、結合器３９０の第３の非反転入力に接続されている。

逆量子化器及び逆変換器３５０の出力は、結合器３１９の第１の非反転入力に接続されている。結合器３１９の出力は、イントラ予測モジュール３６０の第１の入力及びデブロッキングフィルタ３６５の第１の入力に接続されている。デブロッキングフィルタ３６５の出力は、基準ピクチャバッファ３８０の第１の入力に接続されている。基準ピクチャバッファ３８０の第１の出力は、モーション評価器３７５の第２の入力及びモーション補償器３７０の第３の入力に接続されている。基準ピクチャバッファ３８０の第２の出力は、テクスチャ合成器３３３の第２の入力に接続されている。テクスチャ合成器３３３の第１の出力は、デブロッキングフィルタ３６５の第３の入力に接続されている。テクスチャ合成器３３３の第２の出力は、変位ベクトル抽出器３３４の第２の入力に接続されている。変位ベクトル抽出器３３４の出力は、エントロピーコーダ３４５の第３の入力に、モーションベクトルを提供するために接続されている。モーション評価器３７５の第１の出力は、モーション補償器３７０の第２の入力に接続されている。モーション評価器３７５の第２の出力は、エントロピーコーダ３４５の第４の入力に、変位ベクトルを提供するために接続されている。１つの実施形態において、モーションベクトル及び変位ベクトルは、大きさ及び方向の両方を含み得るように、同様にコーディングされ得ることに留意する。

モーション補償器３７０の出力は、スイッチ３９７の第１の入力に接続されている。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力に接続されている。マクロブロックタイプ判定モジュール３２０の出力は、スイッチ３９７の第３の入力に接続されている。スイッチ３９７の第３の入力は、スイッチの「データ」入力が（制御入力すなわち第３の入力と比較して）モーション補償器３７０またはイントラ予測モジュール３６０によって提供されるべきか否かを判定する。スイッチ３９７の出力は、結合器３１９の第２の非反転入力及び結合器３８５の反転入力に接続されている。

フレームオーダリングバッファ３１０及びエンコーダコントローラ３０５の入力は、入力ピクチャ３０１を受信するための、エンコーダ３００の入力として利用可能である。さらに、付加拡張情報（ＳＥＩ）挿入器３３０の入力は、メタデータを受信するための、エンコーダ３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するための、エンコーダ３００の出力として利用可能である。

図４を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ってビデオデコーディングを実行可能なビデオデコーダが全体として参照符号４００で示されている。

ビデオデコーダ４００は、エントロピーデコーダ４４５の第１の入力に接続されている出力を有する入力バッファ４１０を含む。エントロピーデコーダ４４５の第１の出力は、逆変換器及び逆量子化器４５０の第１の入力に接続されている。逆変換器及び逆量子化器４５０の出力は、結合器４２５の第２の非反転入力に接続されている。結合器４２５の出力は、デブロッキングフィルタ４６５の第２の入力及びイントラ予測モジュール４６０の第１の入力に接続されている。デブロッキングフィルタ４６５の第２の出力は、基準ピクチャバッファ４８０の第１の入力に接続されている。基準ピクチャバッファ４８０の第１の出力は、モーション補償器４７０の第２の入力に接続されている。基準ピクチャバッファ４８０の第２の出力は、テクスチャ合成器４３３の第１の入力に接続されている。変位ベクトルデコーダ４３４の出力は、テクスチャ合成器４３３の第２の入力に接続されている。

エントロピーデコーダ４４５の第２の出力は、モーション補償器４７０の第３の入力、デブロッキングフィルタ４６５の第１の入力、及びイントラ予測モジュール４６０の第２の入力に接続されている。エントロピーデコーダ４４５の第３の出力は、デコーダコントローラ４０５の入力に接続されている。エントロピーデコーダ４４５の第４の出力は、変位ベクトルデコーダ４３４の第２の入力に接続されている。デコーダコントローラ４０５の第１の出力は、エントロピーデコーダ４４５も第２の入力に接続されている。デコーダコントローラ４０５の第２の出力は、逆変換器及び逆量子化器４５０の第２の入力に接続されている。デコーダコントローラ４０５の第３の出力は、イントラ予測モジュール４６０の第３の入力、モーション補償器４７０の第１の入力、基準ピクチャバッファ４８０の第２の入力、テクスチャ合成器４３３の第３の入力、及び変位ベクトルデコーダ４３４の第１の入力に接続されている。デコーダコントローラ４０５の第４の出力は、デブロッキングフィルタ４６５の第３の入力に接続されている。

モーション補償器４７０の出力は、スイッチ４９７の第１の入力に接続されている。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に接続されている。スイッチ４９７の出力は、結合器４２５の第１の非反転入力に接続されている。

入力バッファ４１０の入力は、入力ビットストリームを受信するための、デコーダ４００の入力として利用可能である。デブロッキングフィルタ４６５の第１の出力は、出力ピクチャを出力するための、デコーダ４００の出力として利用可能である。

図５を参照すると、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャエンコーディング方法が、全体として参照符号５００で示されている。

方法５００は、機能５１０に制御を渡す開始ブロック５０５を含む。機能ブロック５１０は、入力イメージにおいてイメージセグメンテーション（image segmentation）を実行し、制御を判定ブロック５１５に渡す。判定ブロック５１５は、現在のイメージセグメンテーションユニット（例えば、イメージブロックまたはイメージリージョン）が、テクスチャリージョンであるか否かを判定する。もし、そうであるならば、制御は機能ブロック５２０に渡される。そうでない場合、制御は機能ブロック５４５に渡される。

機能ブロック５２０は、テクスチャリージョンを（例えば、１または複数のハイレベルシンタックス要素を使用して）信号伝達し、テクスチャリージョンから入力サンプルテクスチャＩ_ｉｎを選択し、当該入力サンプルテクスチャをコーディングかつデコーディングし、機能ブロック５２５に制御を渡す。機能ブロック５２５は、デコーディングされたサンプルテクスチャからのパッチベースのサンプリングを使用してテクスチャリージョンＢ_ｋを再構築することによってテクスチャ合成を実行し、機能ブロック５３０及び機能ブロック５５０に制御を渡す。パッチベースのサンプリングが、限定するわけではないが、ステップ（ａ）から（ｄ）に関して上述された従来技術のパッチベースサンプリングを含む任意のパッチベースサンプリング法を使用して実行され得ることが理解されるべきである。

機能ブロック５３０は、出力テクスチャ内のパッチの各々に関して、対応する情報空間変位ベクトルｄｖを計算し、制御を機能ブロック５３５に渡す。機能ブロック５３５は、全ての空間変位ベクトルｄｖをコーディングして、機能ブロック５４０に制御を渡す。

機能ブロック５４０は、対応するデータ（例えば、コーディングされた変位ベクトル）を出力し、終了ブロック５９９に制御を渡す。

機能ブロック５４５は、他のコーディング方法（ブロック５２０から５３５に関連して特定された方法ではなく）を使用して、非テクスチャ領域をコーディングし、機能ブロック５４０に制御を渡す。

エンコーディングの間にデコーディング操作を実行する機能ブロック５５０は、境界ゾーン間でのブレンディングを実行し、機能ブロック５４５に制御を渡す。

図６を参照すると、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャデコーディング方法が、全体として参照符号６００で示されている。

方法６００は、機能ブロック６１０に制御を渡す開始ブロック６０５を含む。機能ブロック６１０は、現在のビットストリームのヘッダ及び／または当該ビットストリームに関連するパケット（単数または複数）のヘッダを（テクスチャリージョンが当該ビットストリームに関連して信号伝達されているかを判定するために）抽出し、判定ブロック６１５に制御を渡す。判定ブロック６１５は、現在のイメージセグメンテーションユニット（例えば、イメージブロックまたはイメージリージョン）がテクスチャリージョンか否かを判定する。そうであるならば、その後、機能ブロック６２０に制御が渡される。そうでない場合、機能ブロック６４５に制御が渡される。

機能ブロック６２０は、入力サンプルテクスチャＩ_ｉｎ及び空間変位ベクトルｄｖの全てをデコーディングし、機能ブロック６２５に制御を渡す。機能ブロック６２５は、空間変位ベクトルｄｖに対応する情報を使用して入力サンプルテクスチャから得られたパッチＢ_ｋを貼り付けることによって、出力テクスチャ領域を再構築し、機能ブロック６３０に制御を渡す。機能ブロック６３０は、全てのパッチまでの境界ゾーン内でブレンディングを実行し、機能ブロック６３５に制御を渡す。

機能ブロック６３５は、テクスチャリージョンを結合し、機能ブロック６４０に制御を渡す。機能ブロック６４０は、対応するデータ（デコーディングされたテクスチャリージョン）を出力し、終了ブロック６９９に制御を渡す。

機能ブロック６４５は、他のデコーディング方法（ブロック６２０から６３０に関して特定される方法ではない）を使用して、非テクスチャリージョンをデコーディングし、機能ブロック６３５に制御を渡す。

本発明の原理によるテクスチャモードの信号伝達が、任意の信号伝達技術を使用して実行され得ることが理解されるべきである。例えば、図５の機能ブロック５２０に関して上述されたように、このような信号伝達は、１または複数のハイレベルシンタックス要素を使用して実行されることが可能である。このようなシンタックス要素または他の技術は、テクスチャモードのような関連モードを単に示し得かつ／または他の方法で特定し得る。当然ながら、本発明の原理は、テクスチャを信号伝達するための前述の方法だけに限定されず、本発明の原理の精神を維持しつつ、本発明の原理に従って他の方法も使用され得る。

機能ブロック６３０に関連して上述されたブレンディングが、任意のブレンディング技術を使用して実行され得ることが更に理解されるべきである。例えば、１つの実施形態において、いくつかのブレンディング方法が適用されて、境界ゾーン内の異なったパッチ間の遷移がスムージングされ得る。さらなる例として、１つの実施形態において、デブロッキングフィルタの概念を、ＭＰＥＧ−４ ＡＶＣ規格及び／またはぼかし方法と関連させて使用することが可能である。１つの実施形態において、ぼかし方法は、２つの最も近い境界または現在の境界及び／もしくは処理された境界群からの双一次補間（重み付け双一次補間）の使用を含む。同一のブレンディング方法がエンコーダのデコーディング部及びデコーダの両方に適用されて、ミスマッチングを回避するのが望ましい。当然ながら、本発明の原理は、上述のブレンディング方法だけに限定されず、本発明の原理の精神を維持しつつ、本発明の原理に従って他の方法も使用され得る。

いくつかが上述されている、本発明の多くの付随する利点／特徴のいくつかの説明がここでなされる。例えば、１つの利点／特徴は、テクスチャの合成によってピクチャのテクスチャをエンコーディングするエンコーダを含む装置である。当該エンコーダは、パッチベースのサンプリング方法を使用してテクスチャを合成する場合、通常のデコーディング複雑性をエンコーダに移行する情報を使用する。

他の利点／特徴は、上述のエンコーダを有する装置であって、当該情報が、ピクチャのテクスチャを後にデコーディングする対応するデコーダにおける対応するテクスチャリージョン検索を除去する少なくとも１つの入力テクスチャ空間変位ベクトルを含む装置である。

更に他の利点／特徴は、上述のエンコーダを有する装置であって、当該ピクチャが複数のリージョンを含み、当該エンコーダが複数のリージョンのどれがテクスチャとしてコーディングされるかを信号伝達する装置である。

さらにもう１つの利点／特徴は、上述のエンコーダを有する装置であって、当該テクスチャが当該ピクチャから取得される入力サンプルテクスチャであり、当該エンコーダが対応する情報及び当該入力サンプルテクスチャをエンコーディングする装置である。

さらに、他の利点／特徴は、上述のエンコーダを有する装置であって、当該情報が、対応するデコーダにおいてピクチャのテクスチャリージョンへの直接的なテクスチャパッチの貼り付けをサポートするように構成されている装置である。

さらなる、他の利点／特徴は、上述のエンコーダを有する装置であって、当該テクスチャが当該ピクチャから取得された入力サンプルテクスチャであり、当該エンコーダが当該入力サンプルテクスチャから複数のテクスチャパッチを選択し、当該エンコーダがデブロッキングフィルタリング及びぼかしの少なくとも１つを使用して複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする装置である。

本発明の原理のこれら及び他の特徴及び利点は、本明細書内の教示に基づいて、関連技術分野の当業者に容易に確認可能である。本発明の原理の教示が、様々な形式のハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、またはこれらの組み合わせにおいて実装され得ることが理解されるべきである。

最も好ましくは、本発明の原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット内に明白に含まれているアプリケーションプログラムとして実装され得る。このアプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードされて当該マシンによって実行され得る。現在好ましい実施形態において、マシンは、１または複数のＣＰＵ（central processing units）、ＲＡＭ（random access memory）、入力／出力（Ｉ／Ｏ）インタフェース等のハードウェアを有するコンピュータプラットフォームにおいて実装され得る。このコンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードも含み得る。本明細書内に記載されている様々な処理及び機能は、マイクロ命令コードの一部であるかもしくはアプリケーションプログラムの一部であるか、またはこれらの任意の組み合わせであって、ＣＰＵによって実行可能なものであり得る。さらに、追加データ記憶ユニット及び印刷ユニット等の様々な他の周辺機器ユニットが、当該コンピュータプラットフォームに接続され得る。

添付の図面に示されている構成システム要素及び方法のいくつかがソフトウェア内に実装されるのが好ましい故に、複数のシステムコンポーネントまたは複数の処理機能ブロックの間の実際の接続は、本発明の原理がプログラミングされる態様に応じて変わり得ると更に理解されるべきである。本明細書内の教示に鑑みて、関連技術の当業者は、本発明の原理のこれらの及び同様な実装または構成を予期することが出来るだろう。

例示の実施形態が添付の図面を参照して本明細書において説明されているが、本発明の原理は、これらの実施形態そのものに限定されず、様々な変形及び変更が、本発明の原理の範囲または精神から逸脱すること無く、関連技術の当業者によってこれらの実施形態にもたらされ得る。これらの変形及び変更の全ては、添付の特許請求の範囲に記載されている本発明の原理の範囲内に含まれることが意図されている。
本発明は以下の態様を含む。
（付記１）
テクスチャを合成することによってピクチャのテクスチャをエンコーディングするエンコーダ（３００）を含む装置であって、前記エンコーダは、パッチベースのサンプリング方法を使用して前記テクスチャを合成する場合に、デコーディング操作を前記エンコーダに移動させる情報を使用することを特徴とする装置。
（付記２）
前記情報が、前記ピクチャの前記テクスチャをデコーディング可能なデコーダにおいて、対応するテクスチャリージョン検索を実行するデコーディング操作を除去する、少なくとも１つの入力テクスチャ空間変位ベクトルを含むことを特徴とする付記１に記載の装置。
（付記３）
前記ピクチャが複数のリージョンを含み、
前記エンコーダが、前記複数のリージョンのどれがテクスチャリージョンとしてコーディングされるかを信号伝達する、
ことを特徴とする付記１に記載の装置。
（付記４）
前記テクスチャは、前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーダ（３００）は、前記情報及び前記入力サンプルテクスチャをエンコーディングする、
ことを特徴とする付記１に記載の装置。
（付記５）
前記情報は、対応するデコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付けをサポートするように構成されていることを特徴とする付記１に記載の装置。
（付記６）
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーダ（３００）は、前記入力サンプルテクスチャから複数のテクスチャパッチを選択し、デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする
ことを特徴とする付記１に記載の装置。
（付記７）
テクスチャを合成することによってピクチャのテクスチャをエンコーディングするステップを含む方法であって、前記エンコーディングステップが、パッチベースのサンプリング方法を使用して前記テクスチャの合成をする場合に、デコーディング操作をエンコーダに移動させる情報を使用することを特徴とする方法（５００）。
（付記８）
前記情報が、前記エンコーダにテクスチャリージョン検索を実行させる少なくとも１つの入力テクスチャ空間変位ベクトル（５３０）を含むことを特徴とする付記７に記載の方法。
（付記９）
前記ピクチャが複数のリージョンを含み、
前記方法が、前記複数のリージョンのどれがテクスチャとしてコーディングされるかを信号伝達するステップ（５２０）を更に含む
ことを特徴とする付記７に記載の方法。
（付記１０）
前記テクスチャが、前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーディングステップが、前記情報及び前記入力サンプルテクスチャをエンコーディングするステップ（５２０、５３５）を含む
ことを特徴する付記７に記載の方法。
（付記１１）
前記情報が、対応するデコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付け（５３０）をサポートするように構成されていることを特徴とする付記７に記載の方法。
（付記１２）
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーディングステップが、さらに、
前記入力サンプルテクスチャから複数のテクスチャパッチを選択するステップ（５２５）と、
デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングするステップ（５５０）と、
を含む
ことを特徴とする付記７に記載の方法。
（付記１３）
テクスチャを合成することによってピクチャのテクスチャをデコーディングするデコーダ（４００）を含む装置であって、
前記デコーダが、パッチベースのサンプリング方法を使用して前記テクスチャを合成する場合にデコーディング操作を前記デコーダからエンコーダに移動させる情報を使用することを特徴とする装置。
（付記１４）
前記情報が、前記デコーダにおける対応するテクスチャリージョン検索を除去する少なくとも１つの入力テクスチャ空間変位ベクトルを含むことを特徴とする付記１３に記載の装置。
（付記１５）
前記ピクチャが複数のリージョンを含み、
前記デコーダ（４００）が、受信した信号に基づいて、前記複数のリージョンのどれが前記テクスチャとしてコーディングされるかを判定する
ことを特徴とする付記１３に記載の装置。
（付記１６）
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記デコーダ（４００）が、前記情報及び前記入力サンプルテクスチャをデコーディングする
ことを特徴とする付記１３に記載の装置。
（付記１７）
前記情報が、前記デコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付けをサポートするように構成されていることを特徴とする付記１３に記載の装置。
（付記１８）
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記デコーダ（４００）は、前記入力サンプルテクスチャから複数のテクスチャパッチを選択し、デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする
ことを特徴とする付記１３に記載の装置。
（付記１９）
テクスチャを合成することによってピクチャのテクスチャをデコーディングするステップを含む方法であって、
前記デコーディングステップは、パッチベースのサンプリング方法を使用して前記テクスチャを合成する場合に、デコーディング操作がエンコーダに移動された操作から生成された情報を使用する
ことを特徴とする方法（６００）。
（付記２０）
前記情報は、対応するテクスチャリージョン検索を除去する少なくとも１つの入力テクスチャ空間変位ベクトル（６２０）を含むことを特徴とする付記１９に記載の方法。
（付記２１）
前記ピクチャが複数のリージョンを含み、
前記方法が、前記情報に基づいて、前記複数のリージョンのどれがテクスチャリージョンとしてコーディングされるかを判定するステップ（６１０）を更に含む
ことを特徴とする付記１９に記載の方法。
（付記２２）
前記情報が、前記デコーディングステップの間に前記ピクチャのテクスチャリージョン内にテクスチャパッチを直接的に貼り付ける（６２５）ことをサポートするように構成されていることを特徴とする付記１９に記載の方法。
（付記２３）
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記デコーディング方法が、さらに、
前記入力サンプルテクスチャから複数のテクスチャパッチを選択するステップ（６２５）と、
デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングするステップ（６３０）と、
を含む
ことを特徴とする付記１９に記載の方法。

Claims (10)

1. テクスチャを合成することによってピクチャのテクスチャをエンコーディングするエンコーダを含む装置であって、
   前記テクスチャは、前記ピクチャから取得された入力サンプルテクスチャであり、
   前記エンコーダは、パッチベースのサンプリング方法を使用して前記テクスチャを合成する際に、入力テクスチャ空間変位ベクトルを表す情報を使用してデコーディング操作を前記エンコーダに移行し、前記入力テクスチャ空間変位ベクトルはその基準ピクチャに対するテクスチャパッチの変位を表し、前記基準ピクチャは前記入力サンプルテクスチャであり、前記エンコーダは、前記入力サンプルテクスチャから複数のテクスチャパッチをランダムに選択し、デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする、前記装置。
2. 前記入力テクスチャ空間変位ベクトルにより、前記ピクチャの前記テクスチャをデコーディング可能なデコーダにおいて、対応するテクスチャリージョン検索を実行するデコーディング操作を除去する、請求項１に記載の装置。
3. 前記ピクチャが複数のリージョンを含み、
   前記エンコーダが、前記複数のリージョンのどれがテクスチャリージョンとしてコーディングされるかを信号伝達する、請求項１に記載の装置。
4. 前記エンコーダは、前記入力テクスチャ空間変位ベクトル及び前記入力サンプルテクスチャをエンコーディングする、請求項１に記載の装置。
5. 前記入力テクスチャ空間変位ベクトルは、対応するデコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付けをサポートするように構成されている、請求項１に記載の装置。
6. エンコーダが実行する方法であって、
   テクスチャを合成することによってピクチャのテクスチャをエンコーディングするステップを含み、前記テクスチャは、前記ピクチャから取得された入力サンプルテクスチャであり、前記エンコーディングするステップは、パッチベースのサンプリング方法を使用して前記テクスチャを合成する際に、入力テクスチャ空間変位ベクトルを表す情報を使用してデコーディング操作を前記エンコーダに移行し、前記入力テクスチャ空間変位ベクトルはその基準ピクチャに対するテクスチャパッチの変位を表し、前記基準ピクチャは前記入力サンプルテクスチャであり、前記エンコーディングするステップは、
   前記入力サンプルテクスチャから複数のテクスチャパッチをランダムに選択するステップと、
   デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングするステップと、
   を含む、前記方法。
7. 前記入力テクスチャ空間変位ベクトルは、テクスチャリージョン検索を実行する前記エンコーダが計算する、請求項６に記載の方法。
8. 前記ピクチャが複数のリージョンを含み、
   前記方法は、前記複数のリージョンのどれがテクスチャとしてコーディングされるかを信号伝達するステップを更に含む、請求項６に記載の方法。
9. 前記エンコーディングするステップが、前記入力テクスチャ空間変位ベクトル及び前記入力サンプルテクスチャをエンコーディングするステップを含む、請求項６に記載の方法。
10. 前記入力テクスチャ空間変位ベクトルが、対応するデコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付けをサポートするように構成されている、請求項６に記載の方法。

Images