JP5894184B2 - 画像の自己相似テクスチャ領域の再構成方法及び装置 - Google Patents

Description

本発明は、自己相似テクスチャ画像領域の再構成の分野に関する。

画像内の自己相似テクスチャ領域は、符号化で高いビットレートを生じさせ、特に、高精細の符号化だけでなく、同時に観察者によって限られた関心を高める。観察者の関心は、領域が構造又は輝度の不連続性を示す場合にそのような領域だけに集められる。

原則として、テクスチャの自己相似性は、テクスチャ領域のサンプル部分だけの符号化によってビットレートを低減すること、また、サンプル部分の画素をコピーすることによってテクスチャ領域の非符号化部分の画素の再構成を可能にする。また、再構成は合成として知られている。

例えば、テクスチャ領域の一部が画素単位選択処理に基づいて再構成される画素ベースの再構成スキームを提案した、リーイー・ウェイ(Li-Yi Wei)とマルク・レボイ(Marc Levoy)の「ツリー構造のベクトル量子化を用いた高速テクスチャ合成(Fast texture synthesis using tree-structured vector quantization)」２０００年、コンピュータグラフィックスとインタラクティブテクニック（SIGGRAPH '00）についての第２７回年次会議の議事記録４７９−４８８頁、ＡＣＭプレス／アディソン− ウエズリー(Press/Addison-Wesley)出版社、ニューヨーク、ＮＹ、アメリカがある。

特定の非符号化の画素の再構成に使用するためのサンプル画素の選択は、サンプル画素候補のうちのサンプル画素の近傍と特定の非符号化画素の近傍の最大類似度に基づくことができる。

サンプル画素の選択は選択のために使用される近傍のサイズに依存している。異なる近傍のサイズは同一の非符号化画素の再構成で異なるサンプル画素になることがある。原則としてテクスチャの特徴サイズより大きい近傍はテクスチャを再生するために適しているが、良好な画質でテクスチャを実際に再生するための大きなサンプル部分を必要とする。テクスチャの特徴サイズより小さい近傍は質が悪い再生の結果となる。従って、テクスチャの特徴サイズに近い近傍サイズを適応的に選択する画像の自己相似テクスチャ領域の再構成のための方法及び装置を提供することが望まれている。

よって、本発明者は請求項１の方法及び請求項３の装置を提案する。

本発明の方法は、自己相似テクスチャ領域のサンプル部分からサンプル画素をコピー（複製）することによって自己相似テクスチャ領域の一部の画素を決定するステップを含み、マッチングのために使用される近傍のサイズはサンプル部分の異なるサイズのブロックのＤＣＴ変換係数から計算されたディスクリプタ（記述子）の分析に基づいて選択される。

実施形態では、方法は、自己相似テクスチャ領域のサンプル部分が符号化されるビットストリームを受信するステップと、サンプル部分を復号化するステップとを更に含む。

本発明の方法の更なる実施形態では、マッチングのために使用される近傍のサイズは、異なるサイズのブロックの各々についてＤＣＴ変換を適用することによって係数を決定し、異なるサイズのブロック毎に、ディスクリプタの関連付けられたシーケンス（配列）を決定し、単調減少でないシーケンスのうちの最も小さいブロックと関連付けられたシーケンスであるディスクリプタのシーケンスを選択し、決定したシーケンスと関連付けられた異なるサイズのブロックのサイズを用いて上記の近傍のサイズを決定することによって適応的に選択される。各ディスクリプタはパラレルパス（平行経路）に沿って合計された係数の合計を用いて決定される。

本発明の装置は処理装置を備える。処理装置は、自己相似テクスチャ領域のサンプル部分からサンプル画素をコピーすることによって自己相似テクスチャ領域の更なる部分の画素を決定するように構成され、サンプル画素は近傍のマッチングを用いて選択され、処理装置はサンプル部分の異なるサイズのブロックのＤＣＴ変換係数から計算されたディスクリプタのシーケンスの分析を用いてマッチングするために使用される近傍のサイズを選択するように構成されている。

実施形態では、前記装置は、受信機及びデコーダを更に備える。受信機は自己相似テクスチャ領域のサンプル部分が符号化されているビットストリームを受信するように構成され、デコーダはサンプル部分を復号化するように構成されている。

また、本発明の概念は、適切なサンプル部分のサイズを決定する及び／又は非符号化部分のサイズ又はその両方を決定する符号化装置に適用され得る。

エンコーダ側に適用された場合には、更に、選択された近傍のサイズをデコーダに送信することができる。

本発明の例示的な実施形態は図面に示され、以下の説明においてより詳細に説明される。例示的な実施形態は、本発明を明らかにするためにだけ説明されるが、特許請求の範囲に記載の発明の開示、範囲又は精神に限定されない。
図１は、例示的なパラレルパスのオーバレイを有する８×８ブロックの例示的なＤＣＴ変換を示している。 図２は、ウェイとレボイによって提案されたような基本的な従来技術の画素ベースの再構成スキームを示している。 図３は、異なるサイズのブロックの例示的なディスクリプタ曲線を示している。 図４は、異なるサイズのブロックの例示的なディスクリプタ曲線を更に示している。 図５は、例示的なテクスチャ再構成ベースの符号化−復号化ネットワークを示している。 図６は、例示的なパラレルパスを更に示している。

定常領域として定義されているテクスチャは、パターンが複数の異なる場所に複製されている（レンガの壁）、規則的又はほぼ規則的なテクスチャから確率的にノイズの多いテクスチャ（砂、草...）へ変えることができる。

本発明は、新しい特徴を提案し、それは自動適応アルゴリズムと画像／ビデオ圧縮スキームのためにコンピュータグラフィックスの分野に適用することができる。本発明は、８×８ブロックのために図１に示されている２次元離散コサイン変換（ＤＣＴ）係数から計算されたディスクリプタの学習に基づいている。自己相似テクスチャ画像領域のブロックのＤＣＴ係数を計算した後、ディスクリプタベクトルの成分は、ＤＣ係数を中心としたパラレルパスと交差されたＡＣ係数から計算され、例えば、図１に例示的に示されたようにＤＣ係数を中心にした円形である。ディスクリプタベクトル成分は、これらのパラレルパスを交差している係数の合計に対応している。その合計は等価パラレルパスに亘って計算することができる。更に、その合計は、合計された係数に対して重み付けファクタを含むことができ、重み付けファクタは、それぞれの係数を横切るパス部分の長さに依存している。そして、ディスクリプタベクトルの変化を学習することによってより良く選択するために少なくとも２つのサイズをテストする必要がある。

ＤＣＴ係数は次式によって計算される。

この式で、Ｉ(ｘ,ｙ)は、位置(ｘ,ｙ)における輝度値に対応し、Ｎはサポートブロックのサイズであり、α_ｋは次の如くである。

図１は、ＤＣ値が平均輝度不変のために保持されていないので、ディスクリプタベクトルの第１の２つの成分を表す第１の円Ｃ１，Ｃ２を示している。ディスクリプタは、次のように計算することができる。

ここで、Ｃは、変換ドメイン内の位置（λcosθ,λsinθ）でのＤＣＴ係数に対応する。

ディスクリプタベクトルの成分は、変換されたブロックのテクスチャの特徴を示している。第１の情報は、テクスチャ領域内のパターンの特徴サイズにある。合成アルゴリズム、特に、画素ベースの技術は、画素グループ間の比較に基づいている。図２は、ウェイとレボイによって提案されたような基本的な従来技術の画素ベースの再構成スキームを示している。合成する現在の画素の因果的近傍は、パッチ内の全ての位置で同じ形状の窓と比較され、Ｌ２ノルムの比較を最小化するいずれか１つが選択され、パッチから候補サンプル画素が現在の位置にコピーされる。

発明者は、蛇皮（スネークスキン）の特徴サイズより大きいサイズが良好な結果を視覚的に生成することができ、小さいサイズではそうではないことを近傍の異なるサイズで計算されたテクスチャ結果から気付いた。更に、パッチのサイズに応じて画素の候補セットを減少させるので、このサイズも大きくなり過ぎないようにしなければならない。

ディスクリプタベクトルの第１の成分は、図１に示されたように、円Ｃ１が交差した係数から計算される。それにより、Ｃ１はあらゆる方向におけるブロック上の輝度の１つの変動を表している。Ｃ２はブロック上の１つの周期的変動を表し、他の係数はより高い周波数から計算され、より詳細なパターンとなる。第１の成分がディスクリプタベクトルの最大値である場合には、メインパターンはブロック上に主たる均一変動を有している。よって、その特徴サイズは、ＤＣＴディスクリプタを計算するためのブロックサイズよりも大きい。

よって、第１の成分が最大値を有する場合には、ディスクリプタベクトルは単調で減少し、ブロックサイズはテクスチャ合成アルゴリズムにおいて近傍として使用されることに十分ではない。逆に、他の成分が優勢（非単調曲線）である場合には、メインパターンは、そのブロックに含まれるように見える。よって、再構成は相応に選択されたサイズを有する近傍の比較に基づくことができる。

図３は、ディスクリプタ曲線学習をより良く理解するために例示的な適切な場合を示している。この例では、１２×１２画素のサイズ（２つの隣接する図形中心間の距離）のメインパターンから構成されている「マトリックス」からのテクスチャパッチが選択されている。曲線は、左のパッチ上で異なるサイズの平均ディスクリプタを表している。

以前の推論によれば、８×８のサイズは十分ではなく、一方、サイズ１６×１６では、高い周波数が支配的であり、そのためメインパターンを１６×１６のブロックに含むことができる。３２×３２の近傍を使用することも可能であるが、それは、セグメント化されたテクスチャ領域が十分に大きくない、例えば、ビデオ圧縮ドメインにおいて常に不可能である３２×３２ブロックの大きなセットをパッチが含むために十分に大きくなければならないことを意味する。図４は、砂利を有する別の例を示している。実用的な目的のために小さな砂利を８×８の近傍により合成することができる。

テクスチャ合成は、テクスチャ領域の符号化のために効率的な圧縮技術として用いることができる。実際には、詳細なテクスチャ領域では古典的な変換ベースの圧縮スキームを使用して対処することが困難である。図４は、例示的な合成ベースのフレームワークを示している。テクスチャアナライザによりエンコーダ側でテクスチャをセグメント化した後、大きなテクスチャ領域は送信されたビットストリームから除去され、例えば、除去された領域を取り囲むサンプルテクスチャブロックのセットだけがデコーダ側ではパッチとして使用されるために保持される。デコーダは先ず、エッジブロック及びパッチで画像を構築し、そして、テクスチャシンセサイザは完全な画像を出力するために不足しているテクスチャを埋める。

このコンテキストにおいて、ＤＣＴディスクリプタは異なる態様に有用であり得る。

先ず、エンコーダ側でテクスチャをセグメント化した後、デコーダ側のテクスチャシンセサイザがこの種類のテクスチャを再構成することができるか否かを決定するためにエンコーダ側でディスクリプタを使用することができる。更に、エンコーダは、テクスチャ領域のどれ位を符号化から省略することができるか、また、デコーダではサンプルとしてどれ位が必要であるかを決定することができる。そして、エンコーダは、サイド情報として、このテクスチャ領域についての近傍サイズを送ることができる。近傍サイズに関するサイド情報がデコーダによって受信されない場合には、デコーダは、受信されたサンプルからＤＣＴディスクリプタを決定し、再構成プロセスに適した近傍サイズを決定するためにそれらＤＣＴディスクリプタを使用することができる。

ディスクリプタベクトル成分を計算するために様々なパラレルパスを使用することができる。図６は、左側の４×４のＤＣＴブロックの上にパラレルで等間隔のパスから計算された右側のディスクリプタベクトルの他の例を示している。

係数は、例示的なパスを示す破線が交差したＤＣＴ係数の合計に対応する。ＤＣが保持されないので、例示的なディスクリプタベクトルは、矢印で示すように、３つの成分を得る。

本発明は、合成するテクスチャパターンの種類、形状及び特徴付けたサイズに応じて、テクスチャ合成アルゴリズムをパラメータ化することによりテクスチャ特徴を得ることを可能にする。
本発明は以下の態様を含む。
（付記１）
画像の自己相似テクスチャ領域を再構成する方法であって、
前記自己相似テクスチャ領域のサンプル部分からサンプル画素を複製することによって前記自己相似テクスチャ領域の一部の画素を決定するステップを含み、
前記サンプル画素は近傍のマッチングを用いて選択され、
マッチングのために使用される近傍のサイズは前記サンプル部分の異なるサイズのブロックのＤＣＴ変換の係数から計算されたディスクリプタの分析に基づいて選択される、方法。
（付記２）
前記サンプル部分が符号化されるビットストリームを受信するステップと、
前記サンプル部分を復号化するステップと、を更に含む、付記１記載の方法。
（付記３）
前記マッチングのために使用される近傍のサイズは、
前記異なるサイズのブロックの各々についてＤＣＴ変換を適用することによって前記係数を決定し、
前記異なるサイズのブロック毎に、ディスクリプタの関連付けられたシーケンスを決定し、
単調減少でないシーケンスのうちの最小ブロックサイズと関連付けられたシーケンスであるディスクリプタのシーケンスを選択し、
選択したシーケンスと関連付けられた前記異なるサイズのブロックのサイズを用いて前記近傍のサイズを決定することに
よって適応的に選択され、
各ディスクリプタはパラレルパスに沿って合計された係数の合計を用いて決定される、付記１又は２記載の方法。
（付記４）
画像の自己相似テクスチャ領域を再構成する装置であって、
前記自己相似テクスチャ領域のサンプル部分からサンプル画素を複製することによって前記自己相似テクスチャ領域の部分の画素を決定するように構成された処理装置を備え、
前記サンプル画素は近傍のマッチングを用いて選択され、
前記処理装置は、前記サンプル部分の異なるサイズのブロックのＤＣＴ変換の係数から計算されたディスクリプタのシーケンスの分析を用いてマッチングするために使用される近傍のサイズを選択するように構成されている、装置。
（付記５）
前記サンプル部分が符号化されているビットストリームを受信する受信機と、
前記サンプル部分を復号化するデコーダと、を更に備える、付記４記載の装置。

Claims (5)

1. 画像の自己相似テクスチャ領域を再構成する方法であって、
   前記自己相似テクスチャ領域のサンプル部分からサンプル画素を複製することによって前記自己相似テクスチャ領域の一部の画素を決定するステップを含み、
   前記サンプル画素は非符号化画素の近傍とサンプル画素の近傍との最大類似度に基づく近傍のマッチングを用いて選択され、
   マッチングのために使用される近傍のサイズは、前記サンプル部分の異なるサイズのブロックのＤＣＴ変換の係数からディスクリプタを計算し、該ディスクリプタの変化を分析することによって選択される、前記方法。
2. 前記サンプル部分が符号化されたビットストリームを受信するステップと、
   前記サンプル部分を復号化するステップと、を更に含む、請求項１記載の方法。
3. マッチングのために使用される前記近傍のサイズは、
   前記異なるサイズのブロックの各々についてＤＣＴ変換を適用することによって前記係数を決定し、
   前記異なるサイズのブロック毎に、ディスクリプタの関連付けられたシーケンスを決定し、
   各ディスクリプタはパラレルパスに沿って合計された係数の合計を用いて決定され、
   単調減少でない前記シーケンスのうちの最小ブロックサイズと関連付けられた前記シーケンスであるディスクリプタの前記シーケンスを選択し、
   選択したシーケンスと関連付けられた前記異なるサイズのブロックのサイズを用いて前記近傍のサイズを決定することによって適応的に選択される請求項１又は２記載の方法。
4. 画像の自己相似テクスチャ領域を再構成する装置であって、
   前記自己相似テクスチャ領域のサンプル部分からサンプル画素を複製することによって前記自己相似テクスチャ領域の一部の画素を決定するように構成された処理装置を備え、
   前記サンプル画素は非符号化画素の近傍とサンプル画素の近傍との最大類似度に基づく近傍のマッチングを用いて選択され、
   前記処理装置は、前記サンプル部分の異なるサイズのブロックのＤＣＴ変換の係数からディスクリプタを計算し、該ディスクリプタの変化を分析することによって、マッチングするために使用される近傍のサイズを選択するように構成されている、前記装置。
5. 前記サンプル部分が符号化されたビットストリームを受信する受信機と、
   前記サンプル部分を復号化するデコーダと、を更に備える、請求項４記載の装置。