JP5406269B2 - 奥行き検知装置及び方法 - Google Patents

Description

本発明は、入力画素を有する入力画像に基づいて、そしてそれぞれの入力画素に対応する奥行き関連データ要素に基づいて、出力画素を有する出力画像をレンダリングするためのレンダリングユニットであって：
− それぞれの奥行き関連データ要素に基づいて、入力画素に適用されるシフト値を演算するためのシフト演算ユニット；及び
− それぞれのシフト値により入力画素をシフトすることに基づいて、出力画素を演算するための補間ユニット
を有するレンダリングユニットに関する。

本発明は、画像処理装置であって：
− 入力画像に対応する信号を受信するための受信手段；
− 出力画像をレンダリングするためのレンダリングユニット；及び
− 出力画像を表示するための表示装置；
を有する画像処理装置に更に関する。

本発明は、コンピュータ装置によりロードされるコンピュータプログラムプロダクトであって、入力画素を有する入力画像に基づいてそしてそれぞれの入力画素に対応する奥行き関連データ要素に基づいて、出力画素を有する出力画像をレンダリングするための指令を有する、コンピュータプログラムプロダクトであり、コンピュータ装置は処理手段及びメモリを有し、コンピュータプログラムプロダクトは、ロードされた後に、
− それぞれの奥行き関連データ要素に基づいて、入力画素に適用されるシフト値を演算すること；及び
− それぞれのシフト値により入力画素をシフトさせることに基づいて出力画素を演算すること；
を実行する機能を前記処理手段に与える、コンピュータプログラムプロダクトに更に関する。

本発明は、入力画素を有する入力画像に基づいて、そしてそれぞれの入力画素に対応する奥行き関連データ要素に基づいて、出力画素を有する出力画像をレンダリングする方法であって：
− それぞれの奥行き関連データ要素に基づいて、入力画素に適用されるシフト値を演算する段階；及び
− それぞれのシフト値により入力画素をシフトさせることに基づいて出力画素を演算する段階
を有する、方法に関する。

表示装置が導入されて以来、現実的な三次元表示装置が大多数のひとにとっての夢となっている。そのような表示装置に繋がる多くの原理について研究がなされている。一部の原理は、特定のボリュームにおいてリアルな三次元のオブジェクトを生成するように試みるものである。例えば、文献"Ｓｏｌｉｄ−ｓｔａｔｅ Ｍｕｌｔｉ−ｐｌａｎａｒ Ｖｏｌｕｍｅｔｒｉｃ Ｄｉｓｐｌａｙ"，ｂｙ Ａ．Ｓｕｌｌｉｖａｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＤ７'０３，１５３１−１５３３，２００３に開示されている表示装置においては、視覚データが高速プロジェクタにより平面のアレイに表示される。各々の平面は切り換え可能なディフューザである。それらの平面の数が十分に多い場合、人間の脳は、ピクチャに統合し、リアルな三次元のオブジェクトを見ることができる。この原理は、ビューアがある範囲においてオブジェクトをぐるりと見ることを可能にする。この表示装置においては、全てのオブジェクトは（半）透過性である。

多くの他の場合は、両眼視差のみに基づく三次元表示装置を創ることを試みている。それらのシステムにおいては、ビューアの左右の目は別の画像を知覚し、その結果、ビューアは三次元画像を知覚する。それらの概念の概観については、文献"Ｓｔｅｒｅｏ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｏｔｈｅｒ Ｔｒｕｅ ３−Ｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ"，ｂｙ Ｄ．Ｆ．ＭｃＡｌｌｉｓｔｅｒ（Ｅｄ．），Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，１９９３に記載されている。最初の原理においては、例えば、ＣＲＴと組み合わされたシャッターガラスを用いている。奇数フレームが表示される場合、光は左目に対して遮断され、偶数フレームが表示される場合、光は右目に対して遮断される。

付加的器具を必要としないで三次元に見える表示装置は、自動立体表示装置と称せられている。

最初のメガネを必要としない表示装置は、ビューアの左右の目において支援する光のコーンを生成するバリアを有する。そのコーンは、例えば、奇数及び偶数の副画素列に対応している。適切な情報を有するそれらの列をアドレス指定することにより、ビューアは、適切な位置に位置している場合に、左右の目で異なる画像を得て、三次元ピクチャを知覚することができる。

２番目のメガネを必要としない表示装置は、ビューアの左右の目に対して奇数及び偶数の副画素列の光を画像化するためのレンズのアレイを有する。

上記のメガネを必要としない表示装置の不利点は、ビューアが固定された位置に居続ける必要があることである。ビューアをガイドするために、表示器は、ビューアが正しい位置にいることをビューアに示すように提案する。例えば、バリア板が赤色及び緑色ＬＥＤと組み合わされていることが記載されている米国特許第５９８６８０４号明細書を参照されたい。ビューアが適切に位置付けられている場合、ビューアには緑色の光が見えるが、そうでない場合、赤色の光が見える。

固定された位置に腰掛けているビューアを開放するために、マルチビューア自動立体表示装置が提案されている。例えば、米国特許第６００６４４２４号明細書及び米国特許第２００００９１２号明細書を参照されたい。米国特許第６００６４４２４号明細書及び米国特許第２００００９１２号明細書に記載されている表示装置においては、傾斜レンズが用いられ、それにより、レンズの幅は２つの副画素より大きくなっている。このようにして、互いに隣接する複数の画像が存在し、ビューアは、左右に移動するある自由度を有する。

マルチビュー表示装置において三次元の印象を得るように、異なる仮想視点からの画像がレンダリングされる必要がある。このことは、複数入力ビュー若しくはある三次元情報又は奥行き情報が存在する必要がある。この奥行き情報は、マルチビューカメラシステムにより記録され、生成され、又は従来の二次元ビデオ素材から生成されることが可能である。二次元ビデオから奥行き情報を生成するために、複数の種類の奥行きキュー、例えば、動きからの構造、焦点情報、幾何学的形状及び動的咬合等が適用されることが可能である。その目的は、高密度の奥行きマップ、即ち、画素毎の奥行き値を生成することである。この奥行きマップは、ビューアに奥行きの印象を与えるように、マルチビュー画像をレンダリングすることにおいて後に用いられる。文献"Ｓｙｎｔｈｅｓｉｓ ｏｆ ｍｕｌｔｉ ｖｉｅｗｐｏｉｎｔ ｉｍａｇｅｓ ａｔ ｎｏｎ−ｉｎｔｅｒｍｅｄｉａｔｅ ｐｏｓｉｔｉｏｎｓ"，ｂｙ Ｐ．Ａ．Ｒｅｄｅｒｔ，Ｅ．Ａ．Ｈｅｎｄｒｉｋｓ ａｎｄ Ｊ．Ｂｉｅｍｏｎｄ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＶ，ＩＳＢＮ０−８１８６−７９１９−０，ｐａｇｅｓ ２７４９−２７５２，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，Ｌｏｓ Ａｌａｍｉｔｏｓ，Ｃａｌｉｆｏｒｎｉａ，１９９７において、入力画像及び奥行きマップに基づいて、奥行き情報を抽出し、マルチビュー画像をレンダリングする方法について開示されている。マルチビュー画像は、三次元の印象を生成するようにマルチビュー表示装置により表示される画像の集合である。典型的には、その集合の画像は、入力画像に基づいて生成される。それらの画像の１つの生成は、それぞれのシフト量により入力画像の画素をシフトさせることにより行われる。それらのシフト量は視差と称せられる。それ故、典型的には、各々の画素について、共に視差マップを形成する対応する視差値が存在する。視差値及び奥行き値は、代表的には、反比例の関係にあり、即ち、次式のようであり、
Ｓ＝Ｃ／Ｄ （１）
ここで、Ｓは視差であり、Ｃは定数値であり、Ｄは奥行きである。奥行きマップを生成することは、視差マップを生成することと同じであると考えられる。本明細書においては、視差値及び奥行き値は両方共に、用語、奥行き関連データ要素によりカバーされる。

テレビ及び他のアプリケーションにおいては、テキストがシーンに対応する画像のオーバーレイを形成することは共通している。サブタイトル及びチャネルのロゴは、そのようなオーバーレイの典型的な例である。他の例は、ゲームのスコアのグラフィック表現である。それらのオーバーレイはときどき、別個のビデオストリームとして利用可能である。そのような場合、マルチビュー表示のためにビデオストリームを別個に複数ビューにレンダリングすること及び後の段階においてそれらのレンダリングされたストリームを結合させる、即ち、混ぜることは好ましい。しかしながら、多くの場合、オーバーレイは個別のビデオストリームとして利用可能ではないが、ビデオ、即ち、"焼き付け"に統合される。

そのような"焼き付け"オーバーレイを有するビデオシーケンスの簡単なレンダリングは、オーバーレイの比較的低い品質の出力画像をもたらす。

米国特許第６００６４４２４号明細書

米国特許第２００００９１２号明細書

"Ｓｏｌｉｄ−ｓｔａｔｅ Ｍｕｌｔｉ−ｐｌａｎａｒ Ｖｏｌｕｍｅｔｒｉｃ Ｄｉｓｐｌａｙ"，ｂｙ Ａ．Ｓｕｌｌｉｖａｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＤ７'０３，１５３１−１５３３，２００３

"Ｓｔｅｒｅｏ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｏｔｈｅｒ Ｔｒｕｅ ３−Ｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ"，ｂｙ Ｄ．Ｆ．ＭｃＡｌｌｉｓｔｅｒ（Ｅｄ．），Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，１９９３

"Ｓｙｎｔｈｅｓｉｓ ｏｆ ｍｕｌｔｉ ｖｉｅｗｐｏｉｎｔ ｉｍａｇｅｓ ａｔ ｎｏｎ−ｉｎｔｅｒｍｅｄｉａｔｅ ｐｏｓｉｔｉｏｎｓ"，ｂｙ Ｐ．Ａ．Ｒｅｄｅｒｔ，Ｅ．Ａ．Ｈｅｎｄｒｉｋｓ ａｎｄ Ｊ．Ｂｉｅｍｏｎｄ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＶ，ＩＳＢＮ０−８１８６−７９１９−０，ｐａｇｅｓ ２７４９−２７５２，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，Ｌｏｓ Ａｌａｍｉｔｏｓ，Ｃａｌｉｆｏｒｎｉａ，１９９７

本発明の目的は、比較的高品質を有するオーバーレイをレンダリングするように備えられている、冒頭の段落で説明した種類のレンダリングユニットを提供することである。

本発明のこの目的は、シフト演算ユニットが、シフト値のうちの第1シフト値として、入力画素のうちの対応する第１入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、実質的に０に等しい出力値を与えることにおいて達成される。この結果は、実質的に０に等しいシフト値は、シフトがない又は実質的にシフトがないことに対応するために、その表示装置のスクリーンの面に対応する奥行きに置かれることである。視認性及び、特に、読み出し可能性について、オーバーレイは、スクリーンの面に対応する奥行き以外の奥行きにおいてオーバーレイをレンダリングすることにより付加されるぼやけを回避して、できるだけ鮮明にレンダリングされる必要がある。複数ビュー間のクロストークのために、スクリーンの面の後方、比較的遠くにある、又はスクリーンの面の前方、比較的遠くにあるオブジェクトは、入力画像により表現されるオブジェクトの複数の変換されたバージョン、即ち、シフトされたバージョンのために、ぼやけて現れる。奥行きに関してスクリーンと同じ面にあるオブジェクトの表現は、異なる出力画像間においては変換されず、それ故、クロストークはぼやけをもたらさない。

本発明にしたがったレンダリングユニットの実施形態は、オーバーレイに対応する入力画素の第１画素群と、非オーバーレイに対応する入力画素の第２画素群とを表示するための入力インターフェースであって、第１画素群及び第２画素群は入力画像を形成する、入力インターフェースを有する。そのことは、本発明にしたがったレンダリングユニットの外部で、入力画像のどの画素がオーバーレイに対応するか、及び入力画像の画素のどれがオーバーレイに対応しないかを検出する又は決定することを意味する。オーバーレイ／非オーバーレイに関連する情報はレンダリングユニットに供給される。好適には、この情報はオーバーレイ表示マップにより供給され、そのオーバーレイ表示マップは、入力画像のそれぞれの入力画素についてのオーバーレイ表示を有する。

本発明にしたがったレンダリングユニットの他の実施形態は、オーバーレイに対応する入力画素の第１画素群と、非オーバーレイに対応する入力画素の第２画素群とを決定するための決定ユニットであって、第１画素群及び第２画素群は入力画像を形成する、決定ユニットを有する。そのことは、オーバーレイ／非オーバーレイに関連する情報は外部で決定されないが、レンダリングユニット自体により決定される。オーバーレイ表示器は、入力画素、例えば、輝度及び／又は色値に基づいて演算されることが可能である。付加的に又は代替として、奥行き関連データ要素が、それぞれの入力画素についてのオーバーレイ指標を演算するように適用される。

オーバーレイがスクリーンの面に現れるように、オーバーレイがレンダリングされることは、非オーバーレイ画素が、スクリーンの面の後方に現れるように全て、レンダリングされることを意味しない。実際には、本発明にしたがったレンダリングユニットは、それぞれの奥行き関連データ要素に基づいて、出力画素をレンダリングするように備えられている。入力画素がオーバーレイに属すことが決定された入力画素について、このルールの例外が行われ、即ち、対応する出力画素は、対応する奥行き関連データ要素に独立して演算される。このことは、付加手段がなければ、非オーバーレイ画素によるオーバーレイの遮蔽（occlusion）をもたらす可能性がある。それが起こらないようにするように、本発明にしたがったレンダリングユニットの実施形態は：
− 第１画素群のうちの第１画素がマッピングされ、第２画素群のうちの第１画素がシフトされるべきオーバーラップ領域が前記出力画像中に存在するかどうかを、前記奥行き関連データ要素の一部に基づいて定めるためのオーバーラップ確立ユニットと；
− オーバーラップ領域に位置する出力画素のうちの第２画素を演算するために第１画素群の第１画素を選択するための選択ユニットと；
を更に有する。

本発明のこの実施形態においては、レンダリングユニットは、オーバーラップ領域、即ち、遮蔽が存在することを定めるように備えられている。このことは、レンダリングユニットが、互いに異なる種類の複数画素、即ち、オーバーレイ及び非オーバーレイが、出力画像の同じ座標に対してマッピングされることを定めるように備えられていることを意味する。本発明にしたがったレンダリングユニットのこの実施形態は更に、オーバーラップの場合にオーバーレイタイプの画素が使用されるようにする。

本発明にしたがったレンダリングユニットの実施形態により好適に付加された手段が実行される遮蔽に加えて、好適には、非遮蔽化（ｄｅ−ｏｃｃｌｕｓｉｏｎ）がまた、適切に処理される。空き領域において、即ち、非遮蔽化領域において、アーティファクトが生じないように、本発明にしたがったレンダリングユニットの実施形態は：
− 第１画素群の何れの画素もマッピングされず、第２画素群の何れの画素もシフトされない空き領域が出力画像中に存在するかどうかを、奥行き関連データ要素の更なる一部に基づいて定めるための空き領域確立ユニット；及び
− 空き領域に位置する出力画素のうちの第３画素を演算するために第２画素群のうちの特定の画素を選択するための選択ユニット；
を更に有する。

好適には、選択ユニットは、空き領域の周囲における第２画素群のうちの特定の画素を選択する。そのことは、空き領域の場合に、オーバーレイの画素は使用されず、それに代えて、非オーバーレイの画素が使用されることを意味する。典型的には、ロゴ及びサブタイトルのテキスト等のオーバーレイは、非常に明確な形状を有する。それらのオーバーレイからの画素値に基づいて空き領域における画素についての画素値を演算することにより、オーバーレイを空き領域に広げる。典型的には、オーバーレイは明確な形状を有するために、これはアーティファクトをもたらす。非オーバーレイの画素、即ち、第２画素群における画素値に基づくことにより、非オーバーレイを空き領域に広げることができ、そのことは、典型的には、激しいアーティファクトをもたらさない。

本発明の更なる目的は、比較的高い品質を有するオーバーレイをレンダリングするように備えられている、冒頭の段落で説明している種類の画像処理装置を提供することである。

この本発明の目的は、画像処理装置のレンダリングユニットのシフト演算ユニットが、シフト値のうちの第１シフト値として、入力画素のうちの対応する第1入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、０に等しい出力値を供給することによって達成される。

本発明の更なる目的は、比較的高い品質を有するオーバーレイをレンダリングするように備えられている、冒頭の段落で説明している種類のコンピュータプログラムプロダクトを提供することである。

この本発明の目的は、シフト値を演算する段階が、シフト値のうちの第１シフト値として、入力画素のうちの対応する第1入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、０に等しい出力値をもたらすことによって達成される。

本発明の更なる目的は、比較的高い品質を有するオーバーレイをレンダリングするように備えられている、冒頭の段落で説明している種類の方法を提供することである。

このような本発明の目的は、シフト値を演算する段階が、シフト値のうちの第１シフト値として、入力画素のうちの対応する第1入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、０に等しい出力値をもたらすことによって達成される。

レンダリングユニットの修正及びその変形は、上記の画像処理装置、方法及びコンピュータプログラムプロダクトのレンダリングユニットの修正及び変形に対応することが可能である。

本発明にしたがった、画像処理装置、方法及びコンピュータプログラムプロダクトのレンダリングユニットの上記の及び他の特徴については、以下、添付図を参照して詳述する実施形態により明らかになり、理解することができるであろう。

同じ参照番号は、全体の図を通して同じ要素を示すように用いられている。

入力画像、対応する奥行きマップ及び出力画像の模式図である。 入力画素の出力画素へのマッピングを示す模式図である。 どの入力画素がオーバーレイに対応し、どの画素が非オーバーレイに対応するかを示すための入力インターフェースを有する本発明にしたがったレンダリングユニットの実施形態を示す模式図である。 どの入力画素がオーバーレイに対応し、どの画素が非オーバーレイに対応するかを決定するための決定ユニットを有する本発明にしたがったレンダリングユニットの実施形態を示す模式図である。 オーバーラップ確立ユニットを有する本発明にしたがったレンダリングユニットの実施形態を示す模式図である。 空き領域確立ユニットを有する本発明にしたがったレンダリングユニットの実施形態を示す模式図である。 マルチビュー画像生成ユニットの実施形態を示す模式図である。 本発明にしたがった画像処理装置の実施形態を示す模式図である。

図１は、入力画像１００、対応する奥行きマップ１０４及び出力画像１０２を模式的に示している。入力画像１００は複数の入力画素を有する。入力画素は２つの画素群に分類される。第１画素群は、オーバーレイに対応する画素を有する。第２画素群は、非オーバーレイに対応する画素を有する。オーバーレイを有するとは、テキストのようなグラフィック表現又はアイコンを意味する。オーバーレイは、サブタイトル、放送チャネルのロゴに対応することが可能であるが、代替として、オーバーレイは、レコーダ又はプレーヤにより生成されるオンスクリーン表示（ＯＳＤ）情報に対応する。オーバーレイはまた、ゲームのスコアに対応するグラフィック情報に関連することが可能である。非オーバーレイは、オーバーレイを有しない視覚情報に対応する。典型的には、非オーバーレイは、カメラにより取得された画像データに対応する。代替として、非オーバーレイ画像データは、"Ｄｒｅａｍｗｏｒｋｓ"からコンピュータにより生成された映画のように、グラフィックコンピュータにより生成される。

オーバーレイデータ及び非オーバーレイデータは単一の入力画像に結合されるが、典型的には、それらの間に視覚的関連は存在しない。換言すれば、画素値、即ち、第１画素群の色値及び／又は輝度値は、典型的には、第２画素群の画素値に関連していない。典型的には、オーバーレイは、入力画像における非オーバーレイにより表現される情報の一部を遮る。

入力画像１００の第１画素群の第１画素１０５はサブタイトルの文字"ｔ"に属する。入力画像１００は、背景１０１の前の第１オブジェクト１０６及び第２オブジェクト１０８の表現を有する。第１オブジェクト１０６の表現は長円形形状を有し、第２画素群の第１画素１０７を有する。第２オブジェクト１０８の表現は矩形形状を有し、第２画素群の第２画素１０９を有する。

図１は更に、奥行きマップ１０４を模式的に示している。奥行きマップ１０４は、奥行き関連データ要素、即ち、奥行き値の二次元マトリクスである。奥行きマップ１０４の奥行き関連データ要素の数は入力画像１００の画素の数に等しい。図１に示す奥行き値は入力画像１００のそれぞれの画素値に対応している。奥行きマップ１０４は、入力画像１００の第１オブジェクト１０６の表現に対応する奥行き値の第１集合１２６と、入力画像１００の第２オブジェクト１０８の表現に対応する奥行き値の第２集合１２８とを有する。奥行き値の第１集合１２６の奥行き値の第１奥行き値１２７は、第１オブジェクト１０６の表現の画素の第１画素１０７に対応し、奥行き値の第２集合１２８の奥行き値の第１奥行き値１２９は、第２オブジェクト１０８の表現の画素の第１画素１０９に対応する。

図１は更に、第１オブジェクト１１６の更なる表現及び第２オブジェクト１１８の更なる表現を有する出力画像１０２を模式的に示している。第１オブジェクト１１６の更なる表現は、入力画像１００の第１オブジェクト１０６の表現に基づき、第２オブジェクト１１８の更なる表現は、入力画像１００の第２オブジェクト１０８の表現に基づいている。第１オブジェクト１１６の更なる表現は、左の第１オブジェクト１０６のそれぞれの入力画素をシフトさせることにより演算される。シフト量は、奥行き値の第１集合１２６のそれぞれの奥行き値に関連している。入力画像１００及び出力画像１０２は、図１において位置合わせされるように示されている。第１オブジェクト１０６の表現の画素の第１画素１０７及び第１オブジェクト１１６の更なる表現の画素の対応する第１画素１１７は、互いに等しい座標を有しないことが、第１破線１３７により理解することができる。換言すれば、第１オブジェクト１１６の更なる表現の画素の対応する第１画素１１７は、奥行き値の第１集合１２６の奥行き値の第１奥行き値１２７に基づくシフトにより第１オブジェクトの表現の画素の第１画素１０７をシフトすることにより演算される。

同様に、第２オブジェクト１０８の表現の画素の第１画素１０９及び第２オブジェクト１１８の更なる表現の画素の対応する第１画素が互いに等しい座標を有しないことは、第２破線１３９により理解することができる。換言すれば、第２オブジェクト１１６の更なる表現の画素の対応する第１画素１１９は、奥行き値の第２集合１２８の奥行き値の第１奥行き値１２９に基づくシフトにより第２オブジェクトの表現の画素の第１画素１０９をシフトすることにより演算される。

単語"ｔｅｘｔ"を表現するオーバーレイに対応する画素を見ると、そのオーバーレイを表現する入力画素にはシフトが適用されていないことが分かる。例えば、文字"ｔ"に属す入力画像１００の第１画素群の第１画素１０５及び対応する出力画素１１５は、互いに等しい座標を有する。第３破線１３５は、シフトが適用されていないことを明確に示している。換言すれば、入力画像１００及び出力画像１０２の両方における単語"ｔｅｘｔ"は同じ座標に位置付けられている。第１画素群に対応する、即ち、奥行きマップ１０４において利用可能である単語"ｔｅｘｔ"を表現するそれぞれの入力画素に属す奥行き値は、互いに等しくないことに留意されたい。実際には、それらは全てが０に等しいとは限らず、その結果、シフトが適用される必要はない。出力画像１０３を生成するように、第１画素群の画素が実際にはシフトされない理由は、本発明にしたがった鮮明なオーバーレイを保つためである。

図２は、出力画素２０４に対する入力画素２００のマッピングを模式的に示している。図２は、複数の入力画素２００を模式的に示している。円を用いて表され、大文字Ｊ乃至Ｍにより表現されている入力画素の第１群がある。それらの入力画素の第１群はオーバーレイに対応している。ボックスを用いて表され、大文字Ａ乃至Ｉ及びＮ乃至Ｑにより表現されている入力画素の第２群がある。それらの入力画素の第２群は非オーバーレイに対応している。

それぞれの入力画素２００に適用されるシフト量２０２は、ボックス及び円の上に数値（４又は０）で示されている。図２における異なる矢印はシフト量及び入力画素から出力画素へのマッピングを表している。

図２は、複数の出力画素２０４を模式的に示している。円を用いて表され、小文字ｊ乃至ｍにより表現されている出力画素の第１群がある。ボックスを用いて表され、大文字ａ乃至ｅ及びｎ１乃至ｎ４により表現されている出力画素の第２群がある。

出力画像２０４においては、オーバーラップ領域２０６が存在している。出力画像中の同じ位置に、入力画素の第１群の第１入力画素Ｊがマッピングされ、入力画素の第２群の第１入力画素Ｆがシフトされるようになっている。それと同様なことが、入力画素の次の対、即ち、ＫとＧ、ＬとＨ及びＭとＩについて適用される。最終的に選択される出力画素は、ｊ、ｋ、ｌ及びｍそれぞれでラベリングされる。そのことは、異なる出力画素の値は、入力画素の第１群、即ち、オーバーレイに対応する入力画素のそれぞれの値に基づいていることを意味する。図３Ｃに関連付けて開示されている本発明にしたがったレンダリングユニット３０３の実施形態は、オーバーラップ領域が存在することを確立し、それぞれの出力画素を演算するように適切な入力画素の選択を実行するように備えられている。

出力画像２０４においては、空き領域２０８が存在している。そのことは、入力画素の座標及び対応するシフト量を考慮するときに、マッピングされるようになっている第１画素群の画素はなく、その空き領域２０８にシフトされるようになっている第２画素群の画素はないことを意味する。特定の出力画素に値を割り当てることなく、穴又はギャップが存在することは明らかである。そのことは許容されないために、それが起こらないようにするための付加的な対策が必要である。図２から分かるように、第２画素群の特定の入力画素Ｎの画素値は、空き領域に位置する出力画素ｎ１乃至ｎ４の画素値を演算するように適用される。出力画素ｎ１乃至ｎ４の画素値は全て、オーバーレイの境界に位置する境界画素Ｍの比較的近くに位置する特定の入力画素Ｎに基づく。図示されている実施例においては、その特定の入力画素Ｎは、境界の画素Ｍの方への最小距離を有する入力画素に対応する。大きい距離を有する他の入力画素、例えば、Ｏで表される入力画素が、上記目的又は複数画素のために選択される（例えば、Ｐ−Ｏ−Ｎから空き領域に外挿される）ことは明らかである。図３Ｄに関連して開示される本発明にしたがったレンダリングユニット３０５の実施形態は、空き領域２０８が存在することを確立するように、そしてそれぞれの出力画素を演算するように適切な入力画素の選択を実行するように備えられている。

図３Ａは、本発明にしたがったレンダリングユニット３００の実施形態を模式的に示している。レンダリングユニット３００は、入力画素１０５、１０７、１０９を有する入力画像１００に基づいて、そしてそれぞれの入力画素１０５、１０７、１０９に対応する奥行き関連データ要素１２７、１２５、１２９に基づいて、出力画素１１５、１１７、１１９を有する出力画像１０２をレンダリングするように備えられている。そのレンダリングユニット３００は：
− それぞれの奥行き関連データ要素１２７、１２５、１２９に基づいて入力画素１０５、１０７、１０９に適用されるべきシフト値を演算するためのシフト演算ユニット；及び
− それぞれのシフト値により入力画素１０５、１０７、１０９のシフトに基づいて出力画素１１５、１１７、１１９を演算するための補間ユニット３０４；
を有する。

レンダリングユニット３００は更に：
− シフト演算ユニット３０２に奥行き関連データ要素を供給するための第１入力コネクタ３０８；
− 好適には、オーバーラップ表示マップの形で、オーバーレイ／非オーバーレイに関する情報を供給するための第２入力コネクタ３０６（オーバーラップ表示マップは、入力画素１０５、１０７、１０９の各々について、入力画素がオーバーレイ又は非オーバーレイに対応するかどうかを示すためのそれぞれのインジケータを有する）；
− 補間ユニット３０４に入力画素１０５、１０７、１０９の画素値を供給するための第３入力コネクタ３１０；
を有する。

レンダリングユニット３００の作用は下記のようである。与えられている入力画素１０５、１０７、１０９の各々について、対応するシフトが、シフト演算ユニット３０２により、それぞれの奥行き関連データ要素１２７、１２５、１２９に基づいて演算される。演算されたシフトは補間ユニット３０４に供給され、その補間ユニットは、それぞれの入力画素の演算されたシフトを実際に適用することにより出力画素値を演算するように備えられている。演算された出力画素値は出力コネクタ３１２において供給される。

レンダリングユニット３００は、オーバーレイに対応する入力画素と、非オーバーレイに対応する入力画素間との間の区別を行うように備えられている。このことは、非オーバーレイに対応する入力画素については、それぞれのシフトが、それぞれの奥行き関連データ要素に基づいていることを意味する。しかしながら、オーバーレイに対応する入力画素については、それぞれのシフトは０に等しい。そのことは、シフト演算ユニット３０２が、対応する入力画素がオーバーレイに対応している場合、その入力画素の対応する奥行き関連データ要素に依存することなく、出力として０を与えることを意味する。任意に、例えば、正確さの理由で、正確に０のシフトがアーティファクトをもたらす場合、それぞれのシフトは略０である。

シフト演算ユニット３０２及び補間ユニット３０４は、１つの処理器を用いて実施されることが可能である。通常、それらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行中は、通常、そのソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク若しくは磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされることが可能であり、又は、インターネットのようなネットワークを介してロードされることが可能である。任意に、特定のアプリケーション用集積回路が上記の機能を備えることができる。

特定の出力画素は、入力画像のサンプリンググリッドに関連する整数距離を有するベクトルだけ単一の入力画素をシフトさせることによる単一の入力画素に基づくことが可能であることに留意する必要がある。しかしながら、典型的には、そのシフト量は整数距離を有しない。そのような場合、特定の出力画素は、多数入力画素の重み付け平均に基づいていて、それにより、その重み付けは、例えば、シフト量の一部又は他のフィルタ機能に基づいている。

図３Ｂは、どの入力画素がオーバーレイに対応するか及びどの画素が非オーバーレイに対応するかを決定するために決定ユニット３０９を有する本発明にしたがったレンダリングユニット３０１の実施形態を模式的に示している。このレンダリングユニット３０１の実施形態は、図３Ａに関連付けて上記したレンダリングユニット３００と略同様である。それらの違いは、入力画素のどれがオーバーレイに対応し、どれが非オーバーレイに対応するかについての情報は外部において決定及び供給されないが、レンダリングユニット３０１において決定されることである。そのような決定ユニットについては、文献"Ｇｅｎｅｒａｌ ａｎｄ ｄｏｍａｉｎ−ｓｐｅｃｉｆｉｃ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｎｄ ｒｅｃｏｇｎｉｚｅｄ ｓｕｐｅｒｉｍｐｏｓｅｄ ｔｅｘｔ ｉｎ ｖｉｄｅｏ"，ｂｙ 。Ｚｈａｎｇ，Ｒ．Ｋ．Ｒａｊｅｎｄｒａｎ ａｎｄ Ｓ−Ｆ．Ｃｈａｎｇ，ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＩＣＩＰ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ），Ｒｏｃｈｅｓｔｅｒ，ＮＹ，ＵＳＡ，Ｓｅｐｔ．２００２及び文献"Ｄｅｔｅｃｔｉｏｎ ｏｆ ＴＶ ｃｏｍｍｅｒｃｉａｌｓ"，ｂｙ Ａｌｂｅｒｔｏ Ａｌｂｉｏｌ，Ｍａｒｉｓ Ｊｏｓｅ Ｃｈ．Ｆｕｌｌａ，Ａｎｔｏｎｉｏ Ａｌｂｉｏｌ ＆ Ｌｕｉｓ Ｔｏｒｒｅｓ，ｐａｇｅ ２−３，ｃｈａｐｔｅｒ２，"ｌｏｇｏ ｍａｓｋ ｅｘｔｒａｃｔｉｏｎ"に記載されていて、当業者に知られている。

シフト演算ユニット３０２、補間ユニット３０４及び決定ユニット３０９は１つの処理器を用いて実施されることが可能である。

図３Ｃは、オーバーラップ確立ユニット３１４及び第１選択ユニット３１６を有する本発明にしたがったレンダリングユニット３０３の実施形態を示している。このレンダリングユニット３０３の実施形態は、図３Ａに関連付けて上記したレンダリングユニット３００と略同様である。それらの違いは、この実施形態にしたがったレンダリングユニット３０３は、オーバーラップ領域の場合に、非オーバーレイに対応する入力画素において、オーバーレイに対応する入力画素が使用されるように備えられていることである。このレンダリングユニット３０３実施形態は：
− 第１画素群の第１の画素Ｊがマッピングされるようになっていて、第２画素群の第１画素Ｆがシフトされるようになっているオーバーラップ領域が出力画像中に存在するかどうかを、奥行き関連データ要素の一部に基づいて確立するためのオーバーラップ確立ユニット３１４；及び
− オーバーラップ領域２０６に位置する出力画素の第２画素ｊを演算するために第１画素群の第１画素Ｊを選択するための第１選択ユニット３１６；
を有する。

この確立及び選択の作用及び有利点については図２を参照して説明している。

代替として、レンダリングユニット３０３はまた、図３Ｂを参照して説明している決定ユニット３０９を有する。

シフト演算ユニット３０２、補間ユニット３０４、決定ユニット３０９、オーバーラップ確立ユニット３１４及び第１選択ユニット３１６が、１つの処理器を用いて実施されることが可能である。

図３Ｄは、空き領域確立ユニット３１８及び対応する選択ユニット３２０を有する、本発明にしたがったレンダリングユニット３０５の実施形態を模式的に示している。このレンダリングユニット３０５の実施形態は、図３Ａを参照して説明しているレンダリングユニット３００と略同様である。それらの違いは、この実施形態にしたがったレンダリングユニット３０５が、空き領域２０８の場合に、オーバーレイに対応する入力画素において、非オーバーレイに対応する入力画素が使用されるように備えられていることである。このレンダリングユニット３０５の実施形態は：
− 第１画素群の画素の何れもマッピングされるようになっていず、第２画素群の画素の何れもシフトされるようになっていない空き領域２０８が出力画像中に存在するかどうかを、奥行き関連データ要素の更なる一部に基づいて確立するための空き領域確立ユニット；及び
− 空き領域に位置する出力画素の第３画素ｊを演算するために第２画素群の特定の画素を選択するための第２選択ユニット３２０；
を有する。

この確立及び選択の作用及び有利点については図２を参照して説明している。

代替として、レンダリングユニット３０５はまた、図３Ｂを参照して説明している決定ユニット３０９を有する。

代替として、レンダリングユニット３０５はまた、図３Ｃを参照して説明しているオーバーラップ確立ユニット３１４及び第１選択ユニット３１６を有する。

シフト演算ユニット３０２、補間ユニット３０４、決定ユニット３０９、オーバーラップ確立ユニット３１４、第１選択ユニット３１６、空き領域確立ユニット３１８及び第２選択ユニット３２０が、１つの処理器を用いて実施されることが可能である。

図４は、図３Ａ乃至３Ｄの何れかを参照して上記している本発明にしたがったレンダリングユニット４０２の実施形態を有するマルチビュー画像生成ユニット４００の実施形態を模式的に示している。マルチビュー画像生成ユニット４００は、ビデオ画像のシーケンスに基づいてマルチビュー画像のシーケンスを生成するように備えられている。マルチビュー画像生成ユニット４００は、入力コネクタ４０６においてビデオ画像のストリームを提供され、出力コネクタ４１２及び４１４のそれぞれにおいてビデオ画像の２つの相関ストリームを供給する。ビデオ画像のそれらの２つの相関ストリームは、ビデオ画像の相関ストリームの第１ストリームに基づいて第１ビュー集合を視覚化するように、そしてビデオ画像の相関ストリームの第２ストリームに基づいて第２ビュー集合を視覚化するように備えられているマルチビュー表示装置に対して供給されるようになっている。ユーザ、即ち、ビューアが、左の目で第１ビュー集合を、そして右目で第２ビュー集合を見る場合、そのユーザは三次元の印象を得ることができる。ビデオ画像の相関ストリームの第１ストリームが、受信されるビデオ画像のシーケンスに対応し、ビデオ画像の相関ストリームの第２ストリームが、受信されるビデオ画像のシーケンスに基づいて本発明の方法にしたがってレンダリングされることが可能である。好適には、ビデオ画像の両方のストリームは、受信されるビデオ画像のシーケンスに基づいて、本発明の方法にしたがってレンダリングされる。

マルチビュー画像生成ユニット４００は、奥行き関連データ要素を供給するための第１入力コネクタと、オーバーラップ表示マップの形でオーバーレイ／非オーバーレイに関連する情報を供給するための第２入力コネクタ４１０とを更に有する。

マルチビュー画像生成ユニット４００はビデオ画像を処理するように設計されているが、マルチビュー画像生成ユニット４００の他の実施の形態は、個々の画像、すなわち静止画像に基づいてマルチビュー画像を生成するように備えられる。

マルチビュー画像生成ユニット４００は２つの出力コネクタ４１２及び４１４を有するが、出力の代替の方法、例えば、マルチビュー表示装置における表示に備えるインターリーブ出力が可能である。更に、異なるマルチビュー画像を生成する出力画像の数は、２に限定されるものではない。

図５は、本発明にしたがった画像処理装置５００の実施形態を模式的に示していて、その画像処理装置５００は：
− 入力画像及び奥行き関連データを表現するビデオ信号を受信するための受信ユニット；
− 図４を参照して上記した、受信された入力画像及び対応する奥行き関連データ要素に基づいてマルチビュー画像を生成するためのマルチビュー画像生成ユニット；並びに
− マルチビュー画像生成ユニット４００により供給されるマルチビュー画像を表示するためのマルチビュー表示装置５０６；
を有する。

ビデオ信号は、アンテナ又はケーブルを介して受信される放送信号であることが可能であるがまた、ＶＣＲ（ビデオカセットレコーダ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような記憶装置からの信号であることが可能である。この信号は入力コネクタ５１０に供給される。画像処理装置５００は、例えば、テレビであることが可能である。画像処理装置５００は、オプションの表示装置を有しないが、表示装置５０６を有する装置に出力画像を供給する。その場合、画像処理装置５００は、例えば、セットトップボックス、衛星放送チューナ、ＶＣＲプレーヤ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレーヤ又はレコーダであることが可能である。任意に、画像処理装置５００は、ハードディスク、又は取り外し可能媒体、例えば、光ディスクに記憶するための手段のような記憶手段を有する。画像処理装置５００はまた、映画館又は放送局により用いられるシステムであることが可能である。

上記の実施形態は本発明を限定するものではなく、例示するものであり、同時提出の特許請求の範囲における範囲から逸脱することなく代替の実施形態を当業者がデザインすることが可能であることに留意する必要がある。用語"を有する"は、請求項に列挙されていない要素又はステップの存在を排除するものではない。要素の単数表現は、その要素の複数の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェアにより、そして適切にプログラムされたコンピュータにより実施されることが可能である。複数の手段を列挙している装置請求項において、それらの手段の幾つかは、ハードウェアの同一のアイテムにより具現化されることが可能である。用語、第１、第２、第３等を使用することは、何れの順序を示すものではない。それらの用語は、名前を表すものである。

Claims (10)

1. 入力画素を有する入力画像に基づいて、及びそれぞれの前記入力画素に対応する奥行き関連データ要素に基づいて、出力画素を有する出力画像をレンダリングするためのレンダリングユニットであって、
   それぞれの前記奥行き関連データ要素に基づいて、前記入力画素に適用されるべきシフト値を演算するためのシフト演算ユニット、及び
   それぞれの前記シフト値により前記入力画素をシフトさせることに基づいて、前記出力画素を演算するための補間ユニット、
   を有する、レンダリングユニットであり、
   前記シフト演算ユニットは、前記シフト値のうちの第１シフト値として、前記入力画素のうちの対応する第1入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、０に等しい出力値を供給することを特徴とするレンダリングユニット。
2. 請求項１に記載のレンダリングユニットであって、オーバーレイに対応する入力画素の第１画素群と、非オーバーレイに対応する入力画素の第２画素群とを表示するための入力インターフェースであって、前記第１画素群及び前記第２画素群は前記入力画像を形成する、入力インターフェースを更に有する、レンダリングユニット。
3. 請求項１に記載のレンダリングユニットであって、オーバーレイに対応する入力画素の第１画素群と、非オーバーレイに対応する入力画素の第２画素群とを決定するための決定ユニットであって、前記第１画素群及び前記第２画素群は前記入力画像を形成する、入力インターフェースを更に有する、レンダリングユニット。
4. 請求項２又は３に記載のレンダリングユニットであって：
   第１画素群のうちの第１画素がマッピングされ、第２画素群のうちの第１画素がシフトされるべきオーバーラップ領域が前記出力画像中に存在するかどうかを、前記奥行き関連データ要素の一部に基づいて定めるためのオーバーラップ確立ユニット；及び
   前記オーバーラップ領域に位置する前記出力画素のうちの第２画素を演算するために前記第１画素群の前記第１画素を選択するための選択ユニット；
   を更に有する、レンダリングユニット。
5. 請求項２乃至４の何れか一項に記載のレンダリングユニットであって：
   第１画素群の何れの画素もマッピングされず、第２画素群の何れの画素もシフトされない空き領域が前記出力画像中に存在するかどうかを、前記奥行き関連データ要素の更なる一部に基づいて定めるための空き領域確立ユニット；及び
   前記空き領域に位置する前記出力画素のうちの第３画素を演算するために前記第２画素群のうちの特定の画素を選択するための選択ユニット；
   を更に有する、レンダリングユニット。
6. 請求項５に記載のレンダリングユニットであって、前記選択ユニットは、前記空き領域の周囲において前記第２画素群のうちの前記特定の画素を選択する、レンダリングユニット。
7. 入力画像に対応する信号を受信するための受信手段；及び
   請求項１に記載の出力画像をレンダリングするためのレンダリングユニット；
   を有する画像処理装置。
8. 請求項７に記載の画像処理装置であって、前記出力画像を表示するための表示装置を更に有する、画像処理装置。
9. コンピュータ装置によりロードされるコンピュータプログラムであって、入力画素を有する入力画像に基づいて、及びそれぞれの前記入力画素に対応する奥行き関連データ要素に基づいて、出力画素を有する出力画像をレンダリングする指令を有し、前記コンピュータ装置は処理手段及びメモリを有し、ロードされた後に、前記コンピュータプログラムは：
   それぞれの前記奥行き関連データ要素に基づいて、前記入力画素に適用されるべきシフト値を演算すること；及び
   それぞれの前記シフト値により前記入力画素をシフトさせることに基づいて、前記出力画素を演算すること；
   を実行する機能を前記処理手段に与える、コンピュータプログラムであり、
   前記シフト値を演算する段階は、前記シフト値のうちの第１シフト値として、前記入力画素のうちの対応する第1入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、０に等しい出力値をもたらす；
   ことを特徴とするコンピュータプログラム。
10. 入力画素を有する入力画像に基づいて、及びそれぞれの前記入力画素に対応する奥行き関連データ要素に基づいて、出力画素を有する出力画像をレンダリングする方法であって：
    シフト演算ユニットにより、それぞれの奥行き関連データ要素に基づいて、前記入力画素に適用されるようにシフト値を演算する段階；及び
    補間ユニットにより、それぞれの前記シフト値により前記入力画素をシフトさせることに基づいて、前記出力画素を演算する段階；
    を有する、方法であり、
    前記のシフト値を演算する段階が、前記シフト値のうちの第１シフト値として、前記入力画素のうちの対応する第1入力画素がオーバーレイに対応する場合、対応する奥行き関連データ要素に依存することなく、０に等しい出力値をもたらす；
    ことを特徴とする方法。

Images