JP4796072B2 - 画像セグメンテーションに基づく画像レンダリング - Google Patents

Description

本発明は概括的に、画像セグメントの境界によって導入される画像内の少なくとも一つのエッジを決定することをもつ、画像セグメンテーションに基づいてレンダリングされた画像を提供するための方法およびシステムに関する。

たとえば、シフトベースのレンダリングは、圧縮用途のほか、2.5次元（2.5-D）画像データのような「画像＋奥行き」データをマルチビュー・ディスプレイ上にレンダリングすることにおいて使用される。シフトベースのレンダリングは、既存の画像に基づいて新しい画像を生成しなければならないときに適用できる。たとえば、視点がわずかに変わるときまたは見る時刻がわずかにあとになるときである。たとえば画像を圧縮するために動き推定が使われるときは画像セグメンテーションも適用される。画像がセグメンテーションされ、セグメントがシフトされると、穴埋め（hole filling）およびエッジのぼけを扱う必要がある。シフトベースのレンダリングのためには、もとの画像データが利用可能である。さらに、変位場または等価な奥行きマップが与えられる。変位場または奥行きマップは各ピクセルについて、該ピクセルがどこまでシフトされなければならないかを決定する。しかしながら、ピクセルをシフトさせるとき、たいていの場合は全部が同じ値だけシフトされるのではないので、穴埋めの問題が生じる。さらに、エッジのぼけのため、セグメント境界は必ずしもピクセルレベルで決定できない。

典型的には、変位場は、画像内のすべてのピクセルについて同じではない。変位場におけるこの違いのため、二つのピクセルが出力画像の同じ位置にシフトされたところでは二重占有を生じ、出力画像においてある位置にピクセルが割り当てられないところでは穴が生じる。二重占有は比較的簡単に解決できるが、穴埋めはその穴のために使える新しいデータを計算することを必要とする。

R. P. Berrety and F. E. Ernst, “High-quality images from 2.5D video”, Proceedings Eurographics Conference, Granada, Spain, 2003から、新しい画像データを計算するために、2.5D画像データ内などの隠れた層情報を使うことを許容する方法が知られている。

画像セグメンテーションは、動き場の変化は典型的にはオブジェクト境界で起こり、オブジェクト境界は典型的にはたとえば色の境界と一致するという事実に基づいていることができる。一つの可能な画像セグメンテーション方法は、同様な色をもつピクセルをグループ化することができる。画像セグメンテーションのためのある可能な解決策が図１に示されている。図１内の実線はセグメント境界２を表し、点を打った領域は画像セグメント４である。画像セグメンテーションはよく知られており、いくつかの方法が利用可能である。たとえば、一つの可能なセグメンテーション方法はF. Ernst, P. Wilinski and K. van Overveld, “Dense structure-from-motion: an approach based on segment matching”, Proc. European Conference on Computer Vision 2002, Springer Lecture Notes on Computer Science vol. 2531, Copenhagen, pages II-217-22-231から知られている。

諸セグメントのピクセルを異なる仕方でシフトさせることは、穴埋めの問題につながる。セグメント境界は典型的には色の不連続性のような不連続性のところで生じる。よって、変動、たとえば色の変動の多い領域では穴埋めのための補間手順を実行する必要がある。さらに、補間はしばしば境界の一方の側から実行される必要があるので、穴埋めアルゴリズムは画像中で何が前景で何が背景かを知っていることが要求される。さらに、オブジェクト間の境界は、撮像（acquisition）システムに起因して複数ピクセルにわたってぼやける。ぼけは、よく定義されておらず鮮明でない、さえないエッジを生じる。レンダリング手順におけるこのぼけの扱いが不十分だと、ゴーストエッジを生じることがある。

これまでのところ、従来技術は変動の大きな画像境界、たとえば色の境界と一致するオブジェクト境界における穴埋めの問題を有している。さらに、オブジェクト境界におけるぼけも扱う必要がある。

これらの問題を克服するセグメント・シフトのための方法を提供することが本発明の一つの目的である。あるさらなる目的は、オブジェクト境界の奥行き順序を知らなくても良好な結果を与えるセグメント・シフトのための方法を提供することである。さらに、本発明のあるさらなる目的は、オブジェクト境界におけるぼけの量を推定する必要のないセグメント・シフトのための方法を提供することである。

これらのことを含むさまざまな目的は、画像セグメントの境界によって導入される画像内の少なくとも一つのエッジを決定する段階と、該エッジのまわりのエッジ領域を決定する段階と、前記セグメントについての第一の変位場を決定する段階と、前記エッジ領域についての第二の変位場を決定する段階と、前記第一および第二の変位場をマージして、前記セグメントについては前記第一の変位場の変位をもち、前記エッジ領域の少なくとも一部については前記第二の変位場の変位をもつような第三の変位場にして、前記エッジ領域が別個の変位をもつ別個のオブジェクトとして扱われるようにする段階と、前記画像ピクセルを前記第三の変位場に従ってシフトさせる段階とをもつ、画像セグメンテーションに基づいてレンダリングされた画像を提供するための方法によって解決される。

本発明の方法は、穴を変動がより少ない領域に変位させることによって、簡単な穴埋め手順を許容する。さらに、本発明の方法は、エッジのぼけをもつ領域がセグメントとは独立にシフトされるので、ぼけの効果を自動的に解決する。奥行き順序情報もエッジのぼけについての情報も必要とされない。残る穴は、エッジの内部ではなく、オブジェクトの内部に位置されることができる。よって、穴埋めが補間によってより簡単に解決できる。エッジ領域というものを考慮に入れることによって、ぼけたエッジを扱うことができるのである。

画像セグメンテーションは、同様のルミナンスまたは同様の色または他の任意の類似性といった同様なパラメータをもつピクセルをグループ化してセグメントにすることができる。二つの隣り合うセグメントを与えられれば、それらのセグメントの間にエッジ領域が定義できる。エッジ領域は、前記二つのセグメントの境界からある距離、たとえば５ピクセル未満にある全ピクセルからなるように定義されることができる。

変位場の推定は、いかなる既知の動き推定法によって行うこともできる。動き推定法は典型的にはいくつかの候補動き（変位）ベクトルを試み、最良一致を生じる一つを選択する。本発明の方法は、セグメンテーションによって定義される各セグメントのついての動きベクトルのほかエッジ領域の動きベクトルをも見出すことを提供し、少なくとも二つの異なる変位場を提供する。該エッジ領域の動きベクトルは、もとのセグメントの一つの動きベクトルと同じであってもよいし、同じでなくてもよい。

本発明の方法によれば、二つのセグメントおよびエッジ領域は三つの独立のオブジェクトとして扱われる。よって、一つだけの穴ではなく、第一のセグメントとエッジ領域との間およびエッジ領域と第二のセグメントとの間の二つの穴ができる。これら二つの穴のそれぞれは、単一の穴より小さいことがあり、よって補間がより簡単になる。エッジのぼけがあたかも一個のオブジェクトであるかのようにエッジ領域内で変位されるので、ぼけ解除（deblurring）／再ぼかし（reblurring）やぼけの量の推定を行う必要はない。セグメントおよびエッジ領域の間の前記二つの穴は、セグメントの均一部分内にあり、よって埋めるのも容易である。

既知のセグメント拡張とは対照的に、本発明の方法は、エッジがオブジェクトの一方と同じ変位をもつことは要求しない。よって、本発明の方法は変位場の推定誤差に対してより堅牢となる。奥行き順序は要求されない。しかしながら、エッジの動きベクトルは奥行き順序についての手がかりを与えることができる。

本発明の方法は、3Dディスプレイのために好適なデータをレンダリングするのに適用可能である。さらに、シフトベースのレンダリングに依存するビデオ圧縮方法は、本発明の方法により、より堅牢になりうる。

請求項２および３に基づく穴埋めが提供される。この穴埋めはエッジ領域の各側においての接するピクセルのピクセル値に依存することができる。穴埋めは、エッジに直接属さない領域内で実行できる。単に境界におけるセグメントのピクセル値を穴まで外挿することによって、穴を埋めることができる。

請求項４に基づいて、画像セグメント間の境界によってエッジが決定できる。

請求項５に基づく諸実施形態は、各エッジに、ある閾値ピクセル数より当該エッジに近いすべてのピクセルを割り当てることによってエッジ領域を決定することを提供する。エッジ領域の決定は、エッジの両側の十分な広がりが与えられるように、あるいはエッジ領域が当該エッジの両側に垂直に十分広く広がるようになされることも可能である。

エッジのぼけをエッジ領域内にもつために、請求項５または６の特徴が提供される。境界のまわりの領域を考慮に入れることが、ぼけたエッジを扱うために本質的となりうる。これまでのところ、エッジおよびそのぼけは別個のオブジェクトとして扱われて、そのようにシフトされる。

第一および第二の変位場を決定するために、請求項７または８に基づいて2.5-D奥行き情報を使うことができる。この情報は、第一の変位場を、そして可能性としては第二の変位場をも生成するために使用できる。さらに、画像セグメンテーションは画像そのものの代わりに奥行き情報についてなされることもできる。このようにして、変位場が、動き推定によって計算するのとは対照的に、外部ソースから計算できる。画像および奥行きを含む所与の2.5Dストリームについて、変位は奥行きから導出でき、画像セグメンテーションは奥行きに基づくことも、画像に基づくこともできる。

第一および第二の変位場の変位を決定するための動き推定が請求項９に基づいて与えられる。

エッジ領域とセグメントとの間の、それぞれ単一の穴よりも小さい複数の穴を与えるために、請求項１１に基づく方法が提供される。第二の変位場がもつことのできる変位値は、前記セグメントのうち一方の変位値と前記セグメントのうち他方の変位値の間である。変位はx変位とy変位をもつ2Dの量である。

ピクセルのシフトは、エッジ領域のピクセルの少なくとも一部については第二の変位場からの変位を、他のすべてのピクセルについては第一の変位場からの変位を取ることによって実行できる。

動き推定は、セグメントおよびエッジ領域に対して直接的に実行されることができ、したがって第三の変位場が請求項１３に従って直接的に計算できる。

主要セグメントの第一の諸ピクセルがシフトされ、その後エッジ領域のピクセルがシフトされる場合、隠蔽領域は、請求項１４に基づいて十分に対処されることができる。

これらのことを含むさまざまな利点は他の従属請求項からも帰結することができる。

本発明のもう一つの側面は、画像セグメントの境界によって導入される画像内のエッジを決定し、該エッジのまわりのエッジ領域を決定し、前記セグメントについての第一の変位場を決定し、前記エッジ領域についての第二の変位場を決定する決定手段と、前記第一および第二の変位場をマージして、前記セグメントについては前記第一の変位場の変位をもち、前記エッジ領域については前記第二の変位場の変位をもつような第三の変位場にして、前記エッジ領域が別個の変位をもつ別個のオブジェクトとして扱われるようにするマージ手段と、前記画像ピクセルを前記第三の変位場に従ってシフトさせるシフト手段とを有する、画像セグメンテーションに基づいてレンダリングされた画像を提供するよう構成されたシステムである。

本発明のさらなる側面は、プロセッサをして、画像セグメントの境界によって導入される画像内のエッジを決定し、該エッジのまわりのエッジ領域を決定し、前記セグメントについての第一の変位場を決定し、前記エッジ領域についての第二の変位場を決定し、前記第一および第二の変位場をマージして、前記セグメントについては前記第一の変位場の変位をもち、前記エッジ領域の少なくとも一部については前記第二の変位場の変位をもつような第三の変位場にして、前記エッジ領域が別個の変位をもつ別個のオブジェクトとして扱われるようにし、前記画像ピクセルを前記第三の変位場に従ってシフトさせることを行わしめるよう動作可能な、画像セグメンテーションに基づいてレンダリングされた画像を提供するためのコンピュータプログラムおよびコンピュータプログラムプロダクトである。

これらのことを含む本発明のさまざまな側面は、以下の図面を参照することから明らかとなり、明快にされるであろう。

図面を通じて、同じ参照符号は同様の要素を指す。本発明の方法は特に、たとえば圧縮アルゴリズムにおいて、あるいは「画像＋奥行き」データのマルチビュー・ディスプレイへのレンダリングにおいて使用される、シフトベースのレンダリングに関する。本発明の方法は特に、画像セグメンテーションに基づいて画像をレンダリングするための自動手法を提供する。

図１は、境界２によって決定されるセグメント４を有する画像を示している。境界２はエッジであり、これは画像の不連続性、たとえば色変動の不連続性あるいは利用可能であれば2.5-D画像の所与の変位または不均衡データの変位場における不連続性から決定できる。ルミナンス、コントラスト、明るさ、クロミナンスまたは他の任意の値などにおける他の不連続性も可能である。

図２ａは、画像を横切る断面の概略図を示している。横軸は走査線の座標として解釈でき、縦軸は各走査線上での画像のルミナンスの値として解釈できる。図２に描かれるように、走査線はルミナンスの値に不連続性を有しており、画像は、エッジ２によって分割される左セグメント４ａおよび右セグメント４ｂにセグメンテーションできる。エッジ２はぼけていることもある。

動きベクトル（図示せず）によってセグメントをシフトさせることを提供するため、セグメント４ａ、４ｂはエッジ２で二つの別個のセグメントに切断されることができる。エッジ２はセグメント４ａと４ｂの間の境界によって決定される。

図２ｂには、線形補間穴埋め方式が示されている。エッジ２から始まって、左セグメント４ａは左にシフトされ、右セグメント４ｂは右にシフトされる。穴埋め物８は、エッジ２における左セグメント４ａの値および右セグメント４ｂの値の間の線形補間である。この補間は、真ん中に一定値をもつエッジのある画像を生じる。これは視覚的には、ずっとぼけが大きいエッジおよび望まれないアーチファクトを生じることがある。

図２ｃは、右セグメント４ｂから穴へルミナンス値をコピーすることを提供する穴埋め方式を示している。これはゴーストエッジを与える。見て取れるように、右セグメント４ｂのルミナンス値が穴にコピーされ、穴埋め物８を与えている。これも視覚的なアーチファクトにつながることがある。

図３ａは、WO02/51124で記載される主題に基づく穴埋め方式を概略的に示している。この手法はまず、右セグメント４ｂを変位ベクトルによってシフトさせることを提供する。まず、セグメント４ａおよび４ｂがぼけ解除されて、ステップ状のエッジ２を与える。次いでセグメント４ｂが図３ｂに描かれるように変位ベクトルによってシフトされる。

最後に、図３ｃに示されるように、エッジ２は再ぼかしされ、再ぼかしされた穴埋め物８が適用される。この再ぼかしは推定されたぼけ半径を使って行われる。しかしながら、ぼけ半径の推定は込み入っており、誤った結果につながりうる。さらに、再ぼかしを正しく行うためにはオブジェクトの奥行き順序がどうであるかを知ることが要求される。

図４ａは、本発明のある実施形態に基づく画像セグメンテーションを描いている。エッジ２のまわりで、エッジ領域１２が決定される。これはエッジ２のまわりのぼかされた領域を含む。エッジ領域１２のほか、セグメント４ａおよび４ｂが決定される。エッジ領域１２は、別個の変位をもつ別個のオブジェクトと考えられる。

図４ｂでは、シフト後の画像が示されている。見て取れるように、セグメント４ａは第一の変位ベクトルに基づいて左にシフトされる。エッジ領域１２は第一の変位ベクトルより小さい第二の変位ベクトルに基づいて左にシフトされ、セグメント４ｂは第三の変位ベクトルに基づいて右にシフトされる。エッジ領域１２をセグメント４ａおよび４ｂと独立してシフトさせることによって、二つの別個の穴が与えられ、それらは穴埋め物１４ａ、１４ｂで埋めることができる。エッジのぼけそのものがシフトされるので、ぼけは自動的に解像され、奥行き順序情報は必要とされない。二つの穴はセグメント４ａ、４ｂの均一な部分にあり、よって埋めるのも簡単である。さらに、各穴は図２および図３に基づく方法での単一の穴より小さいことができる。これは補間をより簡単にする。エッジ領域は、セグメント４ａ、４ｂの一方と同じ変位ベクトルによって変位されるのではないので、提案される方法は変位場の推定誤差に対してより堅牢である。

図５ａは、画像のクローズアップを示している。ここで、二つのセグメント４ａ、４ｂがエッジ２によって隔てられている。さらに、それぞれのセグメント４ａ、４ｂについての変位ベクトル１０ａおよび１０ｂが図５ａに示されている。

図５ｂでは、エッジのぼけを考慮に入れて、エッジ２がエッジ領域１２によって囲まれているところが示されている。エッジ領域１２は、エッジのぼけがこの領域内となるように選ばれる。図５ｂにはさらに、図５ａと同様の変位ベクトル１０ａおよび１０ｂならびにエッジ領域１２の変位を示すさらなる変位ベクトル１０ｃが示されている。これらの変位ベクトル１０は変位場内で表現されることができ、当該画像内の各領域について特定の変位を示している。

図５ｃは、本発明の方法に基づいてシフトしたあとの画像を示している。セグメント４ａは変位ベクトル１０ａに基づいて左にシフトされる。エッジ領域１２は変位ベクトル１０ｃに基づいて右にシフトされ、セグメント４ｂは変位ベクトル１０ｂに基づいて右にシフトされる。これら三つの異なる変位ベクトル１０は、セグメント４ａとエッジ領域１２の間ならびにセグメント４ｂとエッジ領域１２との間で穴ができるように、エッジ領域１２をシフトさせることにつながる。これらの穴は穴埋め物１４ａ、１４ｂで埋めることができる。

本発明の方法は、画像をセグメンテーションおよびレンダリングし、結果として得られる穴を簡単に埋めることを、ぼけ解除や再ぼかしの必要なしに許容する。さらに、穴埋めに起因する誤差が最小化される。

セグメンテーションされた画像を示す図である。 画像セグメンテーションについての穴埋め方式を示す図である。 画像セグメンテーションについての穴埋め方式を示す図である。 画像セグメンテーションについての穴埋め方式を示す図である。 ぼけ解除による穴埋めを示す図である。 ぼけ解除による穴埋めを示す図である。 ぼけ解除による穴埋めを示す図である。 本発明の方法に基づく画像セグメンテーションおよびシフトを示す図である。 本発明の方法に基づく画像セグメンテーションおよびシフトを示す図である。 本発明の方法に基づく、セグメンテーションおよびシフトされるエッジ領域のクローズアップである。 本発明の方法に基づく、セグメンテーションおよびシフトされるエッジ領域のクローズアップである。 本発明の方法に基づく、セグメンテーションおよびシフトされるエッジ領域のクローズアップである。

Claims (16)

1. 画像セグメンテーションに基づいてレンダリングされた画像を提供する方法であって：
   ・画像セグメントの境界によって導入される画像内のエッジを決定する段階と、
   ・該エッジのまわりのエッジ領域を決定する段階と、
   ・前記セグメントについての変位値を含む前記セグメントについての第一の変位場を決定する段階と、
   ・前記エッジ領域が別個のオブジェクトとして扱われるよう、前記エッジ領域についての変位値を含む前記エッジ領域についての第二の変位場を決定する段階と、
   ・前記第一の変位場および前記第二の変位場に基づいて第三の変位場を決定する段階であって、前記第三の変位場は：
   前記セグメントについては前記第一の変位場に対応する変位値をもち、
   前記エッジ領域については前記第二の変位場に対応する変位値をもつ、段階と、
   ・前記画像のピクセルを前記第三の変位場に従ってシフトさせる段階、
   とをもつ、方法。
2. ピクセルをシフトさせたあとの穴をピクセル値で埋める段階をもつ、請求項１記載の方法。
3. 穴埋めのための前記ピクセル値を、前記セグメントの少なくとも一つからの、前記穴に接するピクセルのピクセル値から、あるいは前記エッジ領域からの、前記穴に接するピクセルのピクセル値から計算する段階をもつ、請求項２記載の方法。
4. 前記エッジを、画像セグメント間の境界を検出することによって決定する段階をもつ、請求項１ないし３のうちいずれか一項記載の方法。
5. 前記エッジ領域を、各エッジに、ある閾値ピクセル数より該エッジに近いすべてのピクセルを割り当てることによって決定する段階をもつ、請求項１ないし４のうちいずれか一項記載の方法。
6. 前記エッジ領域を、エッジのぼけがそのエッジ領域内になるように決定する段階をもつ、請求項１ないし５のうちいずれか一項記載の方法。
7. シフトベースのレンダリングのためにもとの画像情報およびもとの奥行き情報をもつ2.5次元画像信号を提供する段階をもつ、請求項１ないし６のうちいずれか一項記載の方法。
8. 前記第一の変位場および／または前記第二の変位場を決定するために前記2.5次元画像の奥行き情報における不連続性を検出する段階をもつ、請求項７記載の方法。
9. 前記第一の変位場および／または前記第二の変位場を、前記セグメントおよび／または前記エッジ領域の動き推定から決定する段階をもつ、請求項１ないし８のうちいずれか一項記載の方法。
10. 前記第二の変位場を、エッジ領域内のピクセルだけが関連する変位値をもつように決定する段階をもつ、請求項１ないし９のうちいずれか一項記載の方法。
11. 前記第二の変位場を、該第二の変位場内の変位値が、前記二つの対応するセグメントの変位値どうしの間になるように決定する段階をもつ、請求項１ないし１０のうちいずれか一項記載の方法。
12. 前記第三の変位場を、前記エッジ領域のピクセルの少なくとも一部については前記第二の変位場からの変位値を、他のすべてのピクセルについては前記第一の変位場からの変位値を取ることによって決定する段階をもつ、請求項１ないし１１のうちいずれか一項記載の方法。
13. 前記第三の変位場を、前記セグメントおよびエッジ領域の動き推定によって直接的に決定する段階をもつ、請求項１ないし１２のうちいずれか一項記載の方法。
14. 前記ピクセルを前記第三の変位場に従ってシフトさせるのが、前記セグメントが先にシフトされるように行われる、請求項１ないし１３のうちいずれか一項記載の方法。
15. 画像セグメンテーションに基づいてレンダリングされた画像を提供するよう構成されたシステムであって：
    ・画像セグメントの境界によって導入される画像内のエッジを決定し、
    ・該エッジのまわりのエッジ領域を決定し、
    ・前記セグメントについての変位値を含む前記セグメントについての第一の変位場を決定し、
    ・前記エッジ領域が別個のオブジェクトとして扱われるよう、前記エッジ領域についての変位値を含む前記エッジ領域についての第二の変位場を決定する、
    よう構成された決定手段と、
    ・前記第一の変位場および前記第二の変位場に基づいて第三の変位場を決定するよう構成された決定手段であって、前記第三の変位場は：
    前記セグメントについては前記第一の変位場に対応する変位値をもち、
    前記エッジ領域については前記第二の変位場に対応する変位値をもつ、
    決定手段と、
    ・前記画像ピクセルを前記第三の変位場に従ってシフトさせるよう構成されたシフト手段、
    とを有する、システム。
16. プロセッサをして：
    ・画像セグメントの境界によって導入される画像内のエッジを決定し、
    ・該エッジのまわりのエッジ領域を決定し、
    ・前記セグメントについての変位値を含む前記セグメントについての第一の変位場を決定し、
    ・前記エッジ領域が別個のオブジェクトとして扱われるよう、前記エッジ領域についての変位値を含む前記エッジ領域についての第二の変位場を決定し、
    ・前記第一の変位場および前記第二の変位場に基づいて第三の変位場を決定し、ここで、前記第三の変位場は：
    前記セグメントについては前記第一の変位場に対応する変位値をもち、
    前記エッジ領域については前記第二の変位場に対応する変位値をもち、
    ・前記画像ピクセルを前記第三の変位場に従ってシフトさせる、
    ことを行わしめるよう動作可能な、画像セグメンテーションに基づいてレンダリングされた画像を提供するためのコンピュータプログラム。

Images