JP5456907B2 - テクスチャー・パターン適応式の分割ブロック変換 - Google Patents

Description

本発明は画像のエンコードの技術分野でなされるものである。より詳細には、本発明は分割ブロック変換（partitioned block transform）を使って画像の画像ブロックをエンコードすることに関する。

画像をエンコードするためには、離散コサイン変換（DCT: discrete cosine transforms）または離散ウェーブレット変換（DWT: discrete wavelet transform）を使って画像の画像ブロックを変換することが当技術分野においてよく知られている。

たとえば、ハイブリッド・ビデオ符号化において一般的に使われるDCTは、空間領域における冗長性を活用し、相関の高い信号について優れたエネルギー圧縮を示すとともに、分離可能（separable）、対称的（symmetric）かつ直交（orthogonal）という属性を示す。

現行の画像／ビデオ符号化規格は通例二次元の分離可能なDCTまたはDWTを符号化に使い、その基底関数は水平配向の1D基底関数に垂直配向の同じ関数の集合をかけることによって生成できる。

たとえば、例示的なN×Nブロックについて、第一に、N個のN点1D DCT演算（第一の1D変換）がもとのピクセルに対して縦方向に実行されてN×Nの中間係数を生成し；第二に、N個のN点1D DCT演算（第二の1D変換）が中間係数に対して横方向に実行されて、さらに変換された係数を生成する。この種の方式は厳密に水平方向または垂直方向に配向された画像テクスチャー詳細についてはよく機能する傾向がある一方、他のエッジ配向のまわりにはリンギング・アーチファクトが現れる傾向がある。これは視覚的な品質を有意に劣化させる。

この問題は、非特許文献１によって識別され、対処されている。この論文において、著者らは方向適応式の分割ブロック変換（DA-PBT: direction-adaptive partitioned block transform）を提案している。それによれば、画像ブロックは方向性のパーティションに分割される。パーティション境界は第一の1D変換の方向に揃えられ、第二の1D変換の長さはパーティション境界をまたいで延在しないよう制限される。これにより、1D変換の必要とされる最大長さはNに等しくなることが保証される。

C. L. Chang and B. Girod, "Directional-Adaptive Partitioned Block Transform for Image Coding", ICIP 2008

1D変換の必要とされる最大長さを制限するものの、非特許文献１によって提案されるDA-PBTは、N個より多くの第一の1D変換またはN個より多くの第二の1D変換を必要とすることがある。さらに、DA-PBTの適用のためには、画像ブロック中に方向が存在する必要がある。

本発明の発明者は、第一のパーティションのピクセルにテクスチャー・パターンに関連した反転可能な（invertible）マッピングを適用することによって画像ブロックの少なくとも一部分の前記第一のパーティションのピクセルを累積し、前記第一のパーティションは前記画像ブロックを、前記テクスチャー・パターンに関連した反転可能なマッピングが関連している現在テクスチャー・パターンに従って分割することから帰結するものとすることによって、必要とされる第一の1D変換の最大数をNに制限するとともに、必要とされる第二の1D変換の最大数もNに制限することができることを認識した。

この最大の必要とされる1D変換の限定はハードウェア上でのより効率的な実装および改善されたエンコード・パフォーマンスを可能にするが、ピクセルの累積はこの限定を達成するのみならず、複数ストリップ、高度に非対称的なピクセル分布をもつテクスチャー・パターンおよび非方向性のテクスチャー・パターンのうちの少なくとも一つを有するテクスチャー・パターンに基づくさらなるパーティションをも許容する。

したがって、画像の画像ブロックをエンコードする方法および装置が提案される。本方法は、第一のパーティションのピクセルにテクスチャー・パターンに関連した反転可能なマッピングを適用することによって画像ブロックの少なくとも一部分の前記第一のパーティションのピクセルを累積し、前記第一のパーティションは前記画像ブロックを、前記テクスチャー・パターンに関連した反転可能なマッピングが関連している現在テクスチャー・パターンに従って分割することから帰結するものであり、前記現在テクスチャー・パターンの再構成または取得を許容するデータのエントロピー・エンコードを行う段階を含む。

前記画像ブロックがNかけるMのピクセルを含み、NはM以上である実施形態では、提案されるエンコード方法は、前記画像ブロックの前記少なくとも一部分を、現在テクスチャー・パターンに関連する現在テクスチャー・パターン適応パーティションに従って、第一の部分集合のピクセルおよび少なくとも第二の部分集合のピクセルにパーティション分割する段階と、テクスチャー・パターンに関連するスキャン順を使って前記第一の部分集合のピクセルを、ピクセル・シーケンスのメタシーケンスに配列する段階であって、前記テクスチャー・パターンに関連するスキャン順は前記現在テクスチャー・パターンに関連し、前記ピクセル・シーケンスのそれぞれは高々N個のピクセルを含む、段階と、高々M個のさらなるピクセル・シーケンスのさらなるメタシーケンスを生成する段階であって、前記さらなるピクセル・シーケンスのそれぞれは前記ピクセル・シーケンスの一つまたは前記メタシーケンスのサブシーケンスのピクセル・シーケンスを連結したもののいずれかを含み、前記さらなるピクセル・シーケンスのそれぞれは高々N個のピクセルを含む、段階と、前記さらなるピクセル・シーケンスを変換することによって係数シーケンスを生成する段階と、前記係数シーケンスを横断する一次元変換によりさらなる係数シーケンスを生成する段階と、前記さらなる係数シーケンスに含まれる係数を量子化およびスキャンすることによって一層さらなる係数シーケンスを生成する段階であって、スキャンはエンコード・スキャン順に従って行われる、段階と前記一層さらなる係数シーケンスをエントロピー・エンコードする段階と、前記現在テクスチャー・パターンに関連する指標をエントロピー・エンコードする段階であって、前記指標は前記現在テクスチャー・パターンの取得または再構成を許容する参照である、段階とを含む。

前記例示的な実施形態において、本方法は、前記現在テクスチャー・パターン適応パーティションが複数ストリップ、非対称的なテクスチャー・パターンまたは非方向性のテクスチャーを含むテクスチャー・パターンに関連していてもよいよう適応される。

前記少なくとも第二の部分集合のピクセルは、前記第一の部分集合のピクセルと同様に扱われてもよいが、エンコード・スキャン順は異なっていてもよい。さらに、前記第一の部分集合と前記少なくとも第二の部分集合の間の係数予測が適用されてもよい。

前記パーティション分割が行われる前記少なくとも一部分は、エッジ検出、セグメンテーションまたは強度分布分類の結果であってもよい。

本発明はさらに、画像のエンコードされた画像ブロックをデコードする方法を提案する。前記画像ブロックはNかけるMのピクセルを含み、NはM以上である。本方法は、前記画像ブロックの少なくとも一部分の第一の部分集合をデコードすることを、（ａ）第一の係数のエンコードされたシーケンスをエントロピー・デコードし、（ｂ）現在テクスチャー・パターンに関連するエンコードされた指標をエントロピー・デコードし、該指標を使って、該指標に基づくメモリからの取得または再構成のいずれかによって前記現在テクスチャー・パターンを生成し、（ｃ）デコード・スキャン順を使って前記第一の係数を、高々M個の係数シーケンスのメタシーケンスに配列し、前記高々M個の係数シーケンスのそれぞれは高々N個の第一の係数を含み、（ｄ）ステップ（ｃ）において前記第一の係数を配列する前、配列している間または配列したあとに、前記第一の係数を逆量子化し、（ｅ）前記高々M個の逆量子化された係数シーケンスを横断する一次元変換によって高々M個のさらなる係数シーケンスを生成し、（ｆ）前記高々M個のさらなる係数シーケンスを変換することによって高々M個の第一のピクセル・シーケンスを生成し、（ｇ）前記現在テクスチャー・パターンに関連する分布パターンを使って前記画像ブロックに前記生成されたピクセルを分布させるステップを実行することによって行う。

ある実施形態では、前記デコード方法はさらに、第二の係数のシーケンスにステップ（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）および（ｆ）を適用することを通じて高々M個の第二のピクセル・シーケンスを生成することによって、前記エンコードされた画像ブロックの前記少なくとも一部分の第二の部分集合をデコードし、前記分布パターンを使って、前記画像ブロックの前記少なくとも一部分の残りを、前記高々M個の生成された第二のピクセル・シーケンスのピクセルで充填することを含む。前記残りは、前記第一の部分集合の生成後に、前記画像ブロックの前記少なくとも一部分の、空の残っている部分である。

そして、画像のエンコードされた画像ブロックの少なくとも一部分の第一の部分集合をデコードする対応する装置が提案される。前記少なくとも一部分は、テクスチャー・パターン適応式分割ブロック変換を使ってエンコードされており、前記画像ブロックはNかけるMのピクセルを含み、NはM以上である。本デコード装置は、第一の係数のエンコードされたシーケンスをエントロピー・デコードするデコード手段であって、前記デコード手段は、現在テクスチャー・パターンに関連するエンコードされた指標をエントロピー・デコードし、該指標を使って、該指標に基づくメモリからの取得または再構成のいずれかによって前記現在テクスチャー・パターンを生成するよう適応されている、手段と、デコード・スキャン順を使って前記第一の係数を、高々M個の係数シーケンスのメタシーケンスに配列するよう適応された第一配列手段であって、前記高々M個の係数シーケンスのそれぞれは高々N個の第一の係数を含む、手段と、前記第一の係数を逆量子化する逆量子化手段と、前記高々M個の逆量子化された係数シーケンスを通じて一次元変換によって高々M個のさらなる係数シーケンスを生成する手段と、前記高々M個のさらなる係数シーケンスを変換することによって高々M個の第一のピクセル・シーケンスを生成する手段と、前記現在テクスチャー・パターンに関連する分布パターンを使って前記画像ブロックに前記生成された第一のピクセル・シーケンスのピクセルを分布させることによって、前記画像ブロックの前記少なくとも一部分に含まれるピクセルの部分集合を生成する第二配列手段とを有する。

本発明はさらに、エンコードされた係数およびエンコードされたマスク情報を含むビットストリームを担持する、光ディスク、半導体メモリまたはハードディスクのような物理的な記憶媒体であって、前記エンコードされた係数からは、デコードおよび逆変換によってピクセル・シーケンスが生成でき、前記マスク情報は画像ブロックのピクセルを選択するために使われるマスクを再構成することおよび該マスクに関連する分布パターンを決定することを許容し、前記分布パターンは前記画像ブロック上にピクセル・シーケンスのピクセルを分配することを許容する、記憶媒体を提案する。

さらなる有利な実施形態の特徴は従属請求項において特定される。

本発明の例示的な実施形態は、図面に示され、以下の記述においてより詳細に説明される。例示的な実施形態は本発明を解き明かすために説明されるのみであって、請求項において定義される本発明の開示、範囲または精神を限定するためではない。
テクスチャー・パターンを示す例示的な画像ブロックを示す図である。 例示的な二値パーティション・マスクを示す図である。 ブロックのサブブロックへのパーティション分割および該サブブロックのピクセルを累積する（accumulating）ことによる該サブブロックの修正の第一の例を示す図である。 ブロックのサブブロックへのパーティション分割および該サブブロックのピクセルを累積することによる該サブブロックの修正の異なる第二の例を示す図である。 ４ａ〜４ｃは、反転可能な二段階のテクスチャー・パターン依存のマッピングを使った、ブロックの部分集合のピクセルの累積の第一の例を示す図である。 ５ａ〜５ｃは、反転可能な二段階のテクスチャー・パターン依存のマッピングを使った、ブロックの部分集合のピクセルの累積の異なる第二の例を示す図である。 テクスチャー・パターンに関連するスキャン原理の例示的な実施形態を示す図である。 第一および第二の変換後のDC係数（単数または複数）が四角によって示される、変換手順の例を示す図である。 エンコードおよびデコード・プロセスにおける情報の流れの例を、両プロセスにおける対応マッピングを示しつつ、示す図である。 例示的な二値マスクを使って例示的な画像ブロックが分割された例示的な二つのパーティションについて異なっている、例示的なエンコード・スキャン順を示す図である。 エンコーダ側でのエンコードのための例示的なテクスチャー・パターン適応式分割ブロック変換を使ったエンコードを示す図である。 デコーダ側での対応する画像ブロック・デコードの例示的なフローチャートである。

本発明は、相応して適応された処理装置を有する任意の電子装置で実現されうる。たとえば、本発明は、テレビジョン、携帯電話、パーソナル・コンピュータ、デジタル・スチール・カメラまたはデジタル・ビデオ・カメラにおいて実現されてもよい。

画像の画像ブロックをエンコードする方法の例示的な実施形態において、画像ブロックはある数の行とある数の列を有し、当該方法は、前記画像ブロックの少なくとも一部分を、現在テクスチャー・パターンに関連する現在テクスチャー・パターン適応式パーティションに従って第一の部分集合のピクセルおよび少なくとも第二の部分集合のピクセルに分割した結果として生じる前記第一の部分集合のピクセルをエンコードするステップを含む。前記例示的な実施形態では、前記第一の部分集合をエンコードするステップは、第一および第二の、テクスチャー・パターンに関連する反転可能なマッピングを使って、複数のピクセル・シーケンスからなるメタシーケンスを生成することを含む。ここで、前記メタシーケンス中のピクセル・シーケンスの数は前記行の数を超えず、各ピクセル・シーケンスにおいてピクセルの数は前記列の数を超えない、あるいは、前記メタシーケンス中のピクセル・シーケンスの数は前記列の数を超えず、各ピクセル・シーケンスにおいてピクセルの数は前記行の数を超えない。前記第一の部分集合をエンコードするステップはまた、第一のおよび第二の一次元変換を生成されたピクセル・シーケンスに適用して、係数のシーケンスを生成し、係数のシーケンスに含まれる係数を量子化およびスキャンし、スキャンはエントロピー・スキャン順に行われ、量子化およびスキャンされた係数をエントロピー・エンコードし、現在テクスチャー・パターンの再構成または取得を許容するデータをエントロピー・エンコードすることを含む。前記第一のテクスチャー・パターンに関連する反転可能なマッピングおよび第二のテクスチャー・パターンに関連する反転可能なマッピングは、前記現在テクスチャー・パターンに関連付けられている。

より詳細には、ピクチャ中の例示的な長方形のブロックは、いくつかのビデオ・オブジェクトまたは何らかのテクスチャーを含んでいてもよい。この現象は、特に垂直／水平以外の方向に沿って複数のストリップまたはエッジをもって現れるとき、伝統的なDCT変換後に多数の0でない係数を生じさせる。よって、符号化効率は低い。複数のストリップをもつ方向性のテクスチャーの典型例が図１に示されている。

パーティション規則が与えられると、例示的な画像ブロックにおける各ピクセルは二つ以上のサブグループのうちの一つに割り当てられる。以下では、サブグループの数は例示的に2に設定されるが、当業者は、パーティションが二つより多くのサブグループを許容する場合にパーティションおよび累積の原理をいかにして拡張するかをすぐ理解するであろう。

パーティション分割手順は、ブロックと同じサイズをもつ一つまたは複数の二値マスクによって実現されてもよい。たとえば、図２におけるマスクは、ブロックの上半分の部分のピクセルが一方のパーティションに属し、下半分のピクセルが他のパーティションに属することを意味する。すると、したがって、n個のサブグループを許容するパーティション規則は、n値マスクと一対一のマッピング関係をもつ。よって、以下で論じる例示的な二値パーティション規則は二値マスクと一対一のマッピング関係をもつ。2より大きなnについて、n値マスクは一組の二値マスクによって表現されてもよい。

各パーティション（サブブロック）におけるピクセルの数は等しくなくてもよい。これは、非対称的なパーティション分割が許容されることを意味する。そうすることによって、ブロック内のパーティション境界がより正確に検出でき、各パーティション（サブブロック）内でのエネルギー集中（concentration）を改善できる。

ある例示的な実施形態では、マスクはエンコーダにおいておよびデコーダ側においてあらかじめ定義されている。たとえば、本稿末尾の表に含まれる例示的な二値マスクは、一つまたは複数のストリップをもつ、水平方向、垂直方向、対角線方向および他のパターン配向の考慮を表現しており、エンコードから帰結するエンコードされたデータにおいて、たとえばエンコードされたマスク番号によって参照されてもよい。

さらに、ブロック内のパターンを解析することによって新しいマスクが導出されてもよい。可能な方法は、これに限られないが、エッジ検出、統計解析、変換領域解析などを含む。次いで、そのようにして導出された新しいマスクが、初めて使われるときにエンコードされ、その後、該新しいマスクに割り当てられた新しい参照符号または参照番号によって指定されうる。

あらかじめ定義されたパターンのリストからのインデックス指定によるか、画像属性の局所的な解析から得られるマスク情報は、記憶され、正しいデコードのためにデコーダに伝送されるべきである。前者のアプローチについては、マスクのインデックスを送るだけでよい。後者については、少なくとも初めて使われる場合には、採用されるマスクの形自身も伝送されるべきである。これら二つのアプローチは図８において簡単に説明される。

パーティション分割後、各サブグループ中のピクセルは、シフトされて、それにより累積される。それにより、その後の変換は、0でない係数の数が減る点で恩恵を受ける。シフトは、適用されるパーティション規則に固有であってもよいし、あるいは適用されるパーティション規則とは独立なデフォルトの反転可能なマッピングであってもよい反転可能なマッピングによって達成される。たとえば、各サブパーティション（サブグループ）内のピクセルはブロックの上限に向けてシフトされる（空の列はスキップされる）。これを行うことにより、ブロック内のパターンはある程度除去され、同様の強度をもつピクセルが一緒にマージされる。これは、エネルギー集中のためによい。ブロック・マージの例が図３ａおよび図３ｂに示されている。

ここで例示的に記載されるパーティション分割およびマージ動作は、より一般的な枠組みであり、実際に単一のブロックから二つ以上の補助（adjuvant）ブロックを生成し、各補助ブロック内部ではピクセル強度分布がより均一になる。

以下では、パーティション規則固有の反転可能なマッピングの例が記載される。この例は、二つのステップを含み、ある配向または方向（垂直、水平、対角線、曲がった、など）を示すテクスチャー・パターンに関係するすべてのパーティションまたはマスクに適用可能である。

例示的な、非デフォルト反転可能マッピングの第一ステップでは、サブブロック中のピクセルが、マスクのパターン配向によって示される方向に沿ってシフトされる。このステップの例は、図４のａおよび図５のａにおいて与えられる。マスクの方向は垂直方向、水平方向、対角線方向またはその他であってもよい。

前記第一ステップ後、一連のパターン・ストリップ（互いに長さが異なっていてもよい）の系列が取得され、図４のｂおよび図５のｂに示されるように、中間アレイにおいて組織化される。所与のマスクについて、中間アレイの列におけるそれらのストリップの順序（左から右）は、固定パターン・スキャン原理によって決定される（たとえば、平均で最小のx座標によって示されるパターンの最も左側のストリップから最も右側のストリップへ；加えて、平均で最も小さなy座標によって示されるパターンの最も上のストリップから最も下のストリップへ）。スキャン原理の例は図６に示される。

例示的な非デフォルト反転可能マッピングのこの第一ステップの結果として、一連の中間ピクセル・シーケンス（ストリップの中間アレイとも呼ばれる）が生じる。各中間ピクセル・シーケンスまたはストリップは――画像ブロックがN×Nのピクセルを含む場合――高々N個のピクセルを含むが、上記系列（中間アレイ）に含まれる中間ピクセル・シーケンス（ストリップ）の数は必ずしも高々Nには制限されない。

したがって、例示的な非デフォルト反転可能マッピングは、第二のステップを含み、該第二のステップ後に、前記第二のステップの結果として生じるさらなる系列に含まれるピクセル・シーケンスの数がNより大きくないことが保証される。

前記第二のステップ内では、前記系列に含まれる中間ピクセル・シーケンスの部分系列が、前記部分系列に含まれる中間ピクセル・シーケンスの連結によって一緒にマージされる。連結は、該連結の結果として生じる各ピクセル・シーケンスが相変わらずN個より多くのピクセルを含まないという制約のもとで行われる。換言すれば、前記第二のステップでは、前記中間アレイの一方の側から他の側へ、前記中間アレイにおける各ストリップが、一つの列中に逐次的に挿入される。次のストリップを現在の列のシーケンスの末尾に加えたらのシーケンスの長さがNより大きくなる場合には、このストリップは新しい列を開始するために使われる。次いで、その後のストリップは再びこの新しい列の末尾に逐次的に追加されることが、さらなるその後のストリップを追加すればこの新しい列に含まれるピクセルの数がNより大きくなってしまうようになるまで行われる。この動作は、中間アレイにおけるすべてのストリップが充填されるまで継続する。この動作の出力は、高々Nの列長をもつ2Dブロックである。第二ステップの結果の例が図４のｃおよび図５のｃに示されている。

パーティション分割の結果生じるすべてのサブブロックが少なくともN×N/4個のピクセルを含むことを保証するパーティション規則については、第二ステップの結果として高々N個のピクセル・シーケンスを含むさらなる系列が生じ、前記N個のピクセル・シーケンスのそれぞれが高々N個の再配列されたピクセルを含むことを保証できる。

マスク中に明瞭な方向がない場合には、デフォルトのシフト動作（上限に向かうシフト）が実行される。

ブロック集積（block assembling）動作後、2D変換、たとえば2D DCT変換が集積された諸サブブロックに別個に適用される。2D変換の第一の1D変換は垂直方向に実行される。これは、第一の1D変換がパターン方向に沿って実行されることに対応する。ピクセル集積（pixel assembling）の第一ステップのシフト動作がパターン方向に従って行われるからである。第一の1D変換後、結果として得られる中間係数がブロックの左側に向けてシフトされ、次いで第二の1D変換が水平方向に実行される。変換手順の例が図７に示されている。図７では、第一および第二の変換後のDC係数（単数または複数）が、別個に、四角によって示されている。

二段階変換後のこれら二つのサブブロック間の相関をさらに探求するため、該サブブロック間のDC（AC）係数予測が使用されてもよい。すなわち、第一のパーティションの係数値が第二のパーティションにおける同様の位置における係数値のための予測として使われてもよく、第一のパーティションの前記予測に対する第二のパーティションの残差がさらに処理される、たとえば量子化され、ジグザグ・スキャンされ、エントロピー・エンコードされる。

ジグザグ・スキャンおよびエントロピー符号化は、別個に、諸サブブロック――または諸残差――において処理される。たとえば、図９におけるマスクが使用される場合、パーティション１および２における変換された係数のためのスキャン順は、図９に示されるように異なる仕方で設計されることができる。これら二つのパーティションに対するエントロピー符号化方法は、これに限られないが、たとえばハフマン符号化、CAVLC、CABACなどの任意のエントロピー符号化方式を含み、結果として出力ビットストリームを与え、それが物理的な記憶媒体、たとえばDVDもしくはBDのような光ディスク、フラッシュのような半導体記憶媒体またはハードディスク・ドライブに記録され、無線または有線で送信もしくは放送される。出力ビットストリームは、あらかじめ定義されたパーティション規則もしくはパーティション・マスクの再構成を許容するデータと、集積ステップにおける累積のために使われた反転可能なマッピングの対応する逆マッピングを参照するデータのコードを含む。

集積動作および変換およびそれらの逆動作のフローチャートが図１１に示されている。デコード・プロセスは次のセクションにおいて述べる。

このステップへの入力は圧縮されたビットストリームである。このステップからの出力はスキャンされ、量子化された係数、マスク・インデックス（あらかじめ定義されたパターンを使う場合）／マスク（局所的解析を使う場合）および他の副情報を含む。

デコードのために、デコード装置は、入力ビットストリームを、光記憶媒体から読むことによって、あるいは無線もしくは有線で受信することによって、受け取る。受け取られた入力ビットストリームから、パーティション・マスクおよび反転可能なマッピングの対応する逆マッピングの再構成もしくは取得を許容するデータのコードが分離され、デコードされる。受け取られたビットストリームの残りは逆スキャンされ（reverse scanned）、逆量子化されて、逆変換の準備ができた累積された係数サブブロックを達成する。逆1D変換が水平方向に適用され、結果として得られる中間係数が次いで右にシフトされてもよい。ここで、直接係数のどれがどのくらいシフトされるかは、パーティション・マスク情報を使って決定される。

次いで、前記直接係数が垂直方向に逆1D変換され、結果として、サブブロックの一つのエッジにおいて累積されたピクセルのサブブロックを生じる。

マスク情報を使って、累積されたピクセルのそれぞれのもとの位置が決定できる。すなわち、第一ステップの集積に関連する固定したパターンのスキャン原理を使って、サブブロックにおいて累積されているピクセルを、ブロック中に再分配することができ、その後、それぞれのパーティションが復元される。同様にして、他のパーティション（一つまたは複数）を復元することができ、すべてのパーティションを組み合わせて画像ブロック全体を再現することができる。

マスク情報に従って、もとのピクセルと第一の変換のためのピクセルの一対一マッピングが確立されることができる（マッピング１と称される）。第一の変換後の中間係数は、第二の変換のために左側にシフトされる。次いで、第一の変換後の中間係数から第二の変換のための中間係数へのもう一つの一対一マッピングが確立されることができる（マッピング２と称される）。これら二つのマッピング関係は、ひとたびデコーダがマスク情報を知れば、取得できる。二つのマッピング動作は反転可能なので、デコーダは逆マッピング・プロセスを実装して再構成されたピクセルと変換された係数の間の位置関係を確立することができる。デコーダにおける逆マッピング動作のフローチャートは図８に示されている。

本発明のテクスチャー・パターン適応式分割ブロック変換の図およびエンコード・フレームワークが図１０に示されている。「マスク生成」モジュールにおいて、マスクが、付録が記載するようなあらかじめ定義されたパターンによって生成されることができる。マスクは局所的な内容解析結果によって生成されることもできる。たとえば、あるブロック内のピクセルは、強度分布に従って二つ（またはそれ以上）のクラスに分類されることができ、あるいはエッジまたはセグメンテーション検出結果に基づいて分類されることができる。

Claims (9)

1. テクスチャー・パターン適応式の分割ブロック変換を使って画像の画像ブロックをエンコードする方法であって、前記画像ブロックがNかけるMのピクセルを含み、NはM以上であり、当該方法は、
   ａ）前記画像ブロックを、現在テクスチャー・パターンに関連する現在テクスチャー・パターン適応パーティションに従って、第一の部分集合のピクセルおよび少なくとも第二の部分集合のピクセルにパーティション分割する段階と、
   ｂ）テクスチャー・パターンに関連するスキャン順を使って前記第一の部分集合のピクセルを、ピクセル・シーケンスのメタシーケンスに配列する段階であって、前記テクスチャー・パターンに関連するスキャン順は前記現在テクスチャー・パターンに関連し、前記ピクセル・シーケンスのそれぞれは高々N個のピクセルを含む、段階と、
   ｃ）高々M個のさらなるピクセル・シーケンスのさらなるメタシーケンスを生成する段階であって、前記さらなるピクセル・シーケンスのそれぞれは前記ピクセル・シーケンスの一つまたは前記メタシーケンスのサブシーケンスのピクセル・シーケンスを連結したもののいずれかを含み、前記さらなるピクセル・シーケンスのそれぞれは高々N個のピクセルを含む、段階と、
   ｄ）前記さらなるピクセル・シーケンスを変換することによって係数シーケンスを生成する段階と、
   ｅ）前記係数シーケンスを横断する一次元変換によりさらなる係数シーケンスを生成する段階と、
   ｆ）前記さらなる係数シーケンスに含まれる係数を量子化およびスキャンすることによって一層さらなる係数シーケンスを生成する段階であって、スキャンはエンコード・スキャン順に従って行われる、段階と、
   ｇ）前記一層さらなる係数シーケンスをエントロピー・エンコードする段階と、
   ｈ）前記現在テクスチャー・パターンに関連する指標をエントロピー・エンコードする段階とを含む、
   方法。
2. 前記現在テクスチャー・パターン適応パーティションが、
   ・複数ストリップを含むテクスチャー・パターン、
   ・非対称的なテクスチャー・パターンおよび
   ・非方向性のテクスチャーを含むテクスチャーのあるパターン
   のうちの一つに関連する、請求項１記載の方法。
3. 段階ｂ）、ｃ）、ｄ）、ｅ）、ｆ）およびｇ）を前記少なくとも第二の部分集合のピクセルに適用することをさらに含む、請求項１または２記載の方法。
4. 前記少なくとも第二の部分集合について、段階ｆ）において、異なるさらなるエンコード・スキャン順が使われる、請求項３記載の方法。
5. 前記第一の部分集合と前記少なくとも第二の部分集合との間の係数予測をさらに含む、請求項３または４記載の方法。
6. テクスチャー・パターン適応式の分割ブロック変換を使って画像の画像ブロックをエンコードする装置であって、前記画像ブロックがNかけるMのピクセルを含み、NはM以上であり、当該装置は、
   前記画像ブロックを、現在テクスチャー・パターンに関連する現在テクスチャー・パターン適応パーティションに従って、第一の部分集合のピクセルおよび少なくとも第二の部分集合のピクセルにパーティション分割する手段と、
   テクスチャー・パターンに関連するスキャン順を使って前記第一の部分集合のピクセルを、ピクセル・シーケンスのメタシーケンスに配列する段階であって、前記テクスチャー・パターンに関連するスキャン順は前記現在テクスチャー・パターンに関連し、前記ピクセル・シーケンスのそれぞれは高々N個のピクセルを含む、段階と、
   高々M個のさらなるピクセル・シーケンスのさらなるメタシーケンスを生成する手段であって、前記さらなるピクセル・シーケンスのそれぞれは前記ピクセル・シーケンスの一つまたは前記メタシーケンスのサブシーケンスのピクセル・シーケンスを連結したもののいずれかを含み、前記さらなるピクセル・シーケンスのそれぞれは高々N個のピクセルを含む、手段と、
   前記さらなるピクセル・シーケンスを変換することによって係数シーケンスを生成する手段と、
   前記係数シーケンスを横断する一次元変換によりさらなる係数シーケンスを生成する手段と、
   前記さらなる係数シーケンスに含まれる係数を量子化およびスキャンすることによって一層さらなる係数シーケンスを生成する手段であって、スキャンはエンコード・スキャン順に従って行われる、手段と、
   前記一層さらなる係数シーケンスをエントロピー・エンコードする手段と、
   前記現在テクスチャー・パターンに関連する指標をエントロピー・エンコードする手段とを有する、
   装置。
7. 画像のエンコードされた画像ブロックを表すビットストリームをデコードする方法であって、前記画像ブロックは、テクスチャー・パターン適応式の分割ブロック変換を使ってエンコードされており、NかけるMのピクセルを含み、NはM以上であり、当該方法は、
   ａ）前記ビットストリームに含まれる第一の係数シーケンスをエントロピー・デコードし、
   ｂ）現在テクスチャー・パターンに関連する、前記ビットストリームに含まれる指標をエントロピー・デコードし、前記現在テキスト・パターンに関連する逆テクスチャー・パターン適応スキャン順を決定し、
   ｃ）前記第一の係数シーケンスの係数を逆量子化し、
   ｄ）逆エンコード・スキャン順を使って、逆量子化された第一の係数を、二つ以上のさらなる第一の係数シーケンスに配列し、
   ｅ）前記さらなる第一の係数シーケンスを横断する逆一次元変換によって一層さらなる第一の係数シーケンスを生成し、
   ｆ）前記一層さらなる第一の係数シーケンスの逆変換によってピクセル・シーケンスを生成し、
   ｇ）前記決定された逆テクスチャー・パターン適応スキャン順を使って、前記画像ブロックにわたって前記ピクセル・シーケンスのピクセルを分配する段階を含む、
   方法。
8. 前記ビットストリームに含まれる第二の係数シーケンスをエントロピー・デコードし、前記第二の係数シーケンスに段階ｃ）、ｄ）、ｅ）、ｆ）およびｇ）を適用することをさらに含む、請求項７記載の方法。
9. 画像のエンコードされた画像ブロックを表すビットストリームをデコードする装置であって、前記画像ブロックは、テクスチャー・パターン適応式の分割ブロック変換を使ってエンコードされており、NかけるMのピクセルを含み、NはM以上であり、当該装置は、
   前記ビットストリームに含まれる係数シーケンスをエントロピー・デコードする手段と、
   現在テクスチャー・パターンに関連する、前記ビットストリームに含まれる指標をエントロピー・デコードし、前記現在テキスト・パターンに関連する逆テクスチャー・パターン適応スキャン順を決定する手段と、
   前記第一の係数シーケンスの係数を逆量子化する手段と、
   逆エンコード・スキャン順を使って、逆量子化された第一の係数を、二つ以上のさらなる係数シーケンスに配列する手段と、
   前記さらなる第一の係数シーケンスを横断する逆一次元変換によって一層さらなる第一の係数シーケンスを生成する手段と、
   前記一層さらなる第一の係数シーケンスの逆変換によってピクセル・シーケンスを生成する手段と、
   前記決定された逆テクスチャー・パターン適応スキャン順を使って、前記画像ブロックにわたって前記ピクセル・シーケンスのピクセルを分配する手段とを有する、
   装置。

Images