WO2012063540A1

WO2012063540A1 - 仮想視点画像生成装置

Info

Publication number: WO2012063540A1
Application number: PCT/JP2011/069937
Authority: WO
Inventors: 敦稔〆野; 大津　誠
Original assignee: シャープ株式会社
Priority date: 2010-11-12
Filing date: 2011-09-01
Publication date: 2012-05-18

Abstract

　本発明は、高品質な仮想視点画像を生成する仮想視点画像生成装置を提供することを目的とするものである。仮想視点画像生成装置１０は、立体表示用の多視点画像に用いられる仮想視点画像を、第１の実際の視点画像及び第２の実際の視点画像と、それぞれに対応する第１及び第２の奥行き画像と、から生成するものであって、第１の奥行き画像で第２の奥行き画像を修正し、第２の奥行き画像で第１の奥行き画像を修正する修正部を有する。

Description

仮想視点画像生成装置

　本発明は、立体表示用の多視点画像の処理技術における仮想視点画像を生成する仮想視点画像生成装置に関するものである。

　立体表示方式としては現在、２眼式立体表示方式が現在の主流となっている。この２眼式立体表示方式は、専用のメガネを用い、左右の眼に視差のついた異なる画像を見せることによって立体視を可能にする。この方式には、様々な方式が存在し、以下の２つに大別することができる。まず１つ目は、アクティブシャッタ方式である。アクティブシャッタ方式は、立体ディスプレイにおいて左右の眼に対応する画像を交互に切り替えて表示し、専用メガネにおいては、レンズに備えた液晶シャッタをディスプレイの画像切替間隔と同期して開閉することにより、立体視を可能とする方式である。２つ目は、偏光方式である。偏光方式は、左右の眼に対応する画像を、それぞれ異なる偏光特性を持つフィルタを通して表示し、同様に左右のレンズに異なる偏光特性を持つフィルタを張り付けた専用メガネを通して観賞することにより立体視を可能とする方式である。

　これら２眼式立体表示方式を用いた立体ディスプレイにおいては、前述の通り、観賞の際に専用メガネが必要であり、複数人が同時に観賞する場合には観賞者それぞれが専用メガネを装着しなければならない。また、観賞範囲はある程度確保されるものの、観賞中に頭の位置を左右に移動させた場合に、左右に回り込んだ画像でなくディスプレイ正面における視点の画像が表示されるため、不自然な表現となるという問題がある。これらの問題は、立体表示技術の普及を妨げる大きな要因となっているといえる。

　一方、観賞の際に専用のメガネを必要としない裸眼式立体表示方式も存在する。裸眼式立体表示方式の代表的なものとして、パララックスバリア方式とレンチキュラ方式がある。パララックスバリア方式は、図８のようにディスプレイ１００前面に視差バリア１０１を配置し、左の眼には左目に対応する画像Ｌのみが見えるようにし、右の眼には右目に対応する画像Ｒのみが見えるようにすることで立体視を可能とする。また、レンチキュラ方式は、左右画像がそれぞれの眼のみに届くように屈折率を調整した特殊なかまぼこ状のレンズをディスプレイ前面に配置することにより立体視を可能とする。これら裸眼式立体表示方式は、専用メガネを必要としないため、手軽に立体視を行うことが可能である。
　しかし、これらの方式は、左右の視点画像のみ（２眼）において実現する場合、図９のように、ディスプレイ１００前面の視差バリア１０１に対して、頭の位置を少し左右に移動させただけで左右画像が反転してしまう（逆視）ため、立体視可能な範囲が非常に狭い。

　この問題を解決するためには、３視点以上の多視点画像を用いることが必須である。図１０は、前面に視差バリア２０１を設けたディスプレイ２００に、３視点の画像を用いる場合の例を示す図である。図１０（Ａ）では、左眼で第１の視点の画像１を、右眼で第２の視点の画像２を見ることになる。図１０（Ｂ）のように頭の位置を右に移動させた場合には、左眼で第２の視点の画像２、右眼で第３の視点の画像３を見ることになり、左右の連続した観賞範囲が広くなる。

　裸眼式立体表示方式に用いられる多視点画像の撮影には、複数の撮像素子を備えた撮像装置を用いることが考えられる。しかし、テレビカメラのような大型の装置を多視点用に拡張したものを想像すると、多視点画像撮影用の撮像装置は、可搬性や操作性などの観点から実用性に乏しいと考えられる。また、各カメラの同期処理や、カメラ特性の差による立体視における画質低下、視点数増加によるデータの伝送量増加などが危惧される。

　そこで、カメラで撮影した視点の画像を基に、実際には撮影していない仮想視点の画像を生成する技術が必要不可欠となる。この仮想視点画像生成技術により各カメラ間の視点を補間することで、観賞範囲が拡大することが可能となり、裸眼式立体ディスプレイにおいて複数人で画像を観賞する際、快適に観賞することができる。また、一人で観賞する場合に頭の位置を移動させても、その位置に対応した視点の画像が表示されることで、より自然な立体画像を得ることが可能となる。

　仮想視点画像生成技術には、様々な方式が提案されている。非特許文献１に記載の仮想視点画像生成方式は、多視点画像とその各視点画像に対応する奥行き画像を用いて仮想視点画像を生成する方式であり、現在有望とされている。ここで奥行き画像とは、奥行き情報を０～２５５の２５６通りに量子化し、グレースケール画像として表わした画像を指す。

　非特許文献１の方式では、主に以下の手順で仮想視点画像を生成する。まず、実際に撮影した実視点の３次元位置と、所望の仮想視点の３次元位置を基に、実視点から所望の仮想視点へ奥行き画像を幾何変換する。次に、仮想視点へ幾何変換した奥行き画像に対し、メディアンフィルタ、バイラテラルフィルタ等の平滑化フィルタをかける。次に、この平滑化された奥行き画像の各画素の色情報を、元の実視点画像から求め、仮想視点画像を生成する。ここまでの手順を、仮想視点に最も近い２つの実視点（通常は左右視点）において行い、２つの仮想視点画像を生成する。ここで、前景部分によって隠蔽されている背景部分は奥行き値が与えられていないため、幾何変換後は、奥行き値が存在しないホールの状態となってしまうが、そのホール部分は、もう一方の実視点画像を用いて埋める。その後、２つの仮想視点画像を混合し、最終的な仮想視点画像を求める。　混合の方法には、以下の方法が示されている。例えば、仮想視点画像の平均値を用いる方法、また、各実視点と仮想視点との距離の比によって重み係数を決定し、重み付き平均値を求める方法、その他、単純に仮想視点に最も近いほうを全て用いる方法などである。

　非特許文献１の方式で用いられる奥行き情報は、赤外線等を用いた測距装置により得られるものか、視点画像から推定したものを使用する場合が多い。いずれの方法によって取得した奥行き情報であっても、その精度は仮想視点生成の品質に多大な影響を与えるため、より正確な奥行き情報を得ることは、高品質な仮想視点画像を得るための非常に重要な要素である。

　例えば、特許文献１においては、仮想視点画像を生成するために、その視点近傍の２視点の画像を用いて奥行き情報を生成する。奥行きは、左右の眼の像のずれ（視差）から算出可能である（視差が大きい程奥行き値は小さく、視差が小さいほど奥行き値は大きい）ため、２つの画像中のオブジェクトが存在する位置のずれを求めることによって、間接的に奥行き情報を得ることができる。具体的には、ブロックマッチングによって２つの画像の対応点を検出し、そのずれ量を視差情報（奥行き情報）とする。特許文献１では、仮想視点近傍の２つの画像それぞれを基準とした奥行き情報を計算し、２つの奥行き情報を求める。これらの奥行き情報は推定値であり、特にオクルージョン部分においては、正確な値を求めることは不可能である。

　そこで、特許文献１は、それぞれの奥行き情報を比較し以下のように整合性を評価することで奥行き情報の選別を行う。２つの奥行き画像の値が近似している場合（差が閾値未満）は、その奥行き情報の信頼性は高いとし、その奥行きの値を用いる。奥行き画像の値が全く異なる場合（差が閾値以上）は、その奥行き情報は信頼性が低いため破棄する。以上のように奥行き情報の選別を行った後、奥行き情報が破棄された画素に関しては、周辺画素から値を得る。その後、それぞれの奥行き情報を基にした仮想視点画像を生成し、それらを混合することで最終的な仮想視点画像を生成する。混合の方法は、これら仮想視点画像の平均を求める方法や、元の視点から仮想視点までの距離に応じた比率で混合する方法などを用いる。

特開平１０－１９１３９６号公報

森、他：奥行き画像を用いた３Ｄｗａｒｐｉｎｇによる自由視点画像生成，電子情報通信学会総合大会情報・システム講演論文集２，Ｄ－１１－７，２００８年

　しかし、特許文献１において、２つの奥行き情報の正確性は十分に評価されていない。なぜなら、２つの奥行き値が近い場合でも、同一でない場合は少なくともどちらかは誤りを含んでいる。そのため、この誤った奥行き情報を用いて生成した仮想視点画像は誤りを含んでおり、その後の混合処理に影響を与え、最終的に生成される仮想視点画像の品質に悪影響を及ぼすことになる。

　本発明は、高品質な仮想視点画像を生成する仮想視点画像生成装置を提供することを目的とするものである。

　上記課題を解決するために、本発明の第１の技術手段は、第１の実際の視点画像及び第２の実際の視点画像と、それぞれに対応する第１及び第２の奥行き画像と、から仮想視点画像を生成する仮想視点画像生成装置であって、前記第１の奥行き画像で前記第２の奥行き画像を修正し、前記第２の奥行き画像で前記第１の奥行き画像を修正する修正部を有することを特徴としたものである。

　本発明の第２の技術手段は、第１の技術手段において、前記修正部が、前記第１の実際の視点画像と前記第１の奥行き画像を、前記第２の実際の視点画像の視点である第２の視点における変換視点画像と変換奥行き画像へ幾何変換する第１の幾何変換部と、該第１の幾何変換部により幾何変換され生成された前記第２の視点における変換視点画像と、前記第２の実際の視点画像とが異なるとき、前記第１の幾何変換部により幾何変換され生成された前記第２の視点における変換奥行き画像を、前記第２の奥行き画像で修正し、第１の修正変換奥行き画像を生成する第１の奥行き画像修正部と、前記第１の修正変換奥行き画像と前記第２の視点の実際の視点画像を、前記第１の実際の視点画像の視点である第１の視点における変換視点画像と再変換奥行き画像へ幾何変換する第２の幾何変換部と、該第２の幾何変換部により幾何変換され生成された前記第１の視点における変換視点画像と、第１の実際の視点画像とが異なるとき、前記第２の幾何変換部により幾何変換され生成された前記第１の視点における再変換奥行き画像を修正し、第２の修正変換奥行き画像を生成する第２の奥行き画像修正部と、を有することを特徴としたものである。

　本発明の第３の技術手段は、第２の技術手段において、前記第１の奥行き画像修正部が、前記第２の視点における変換視点画像と、前記第２の実際の視点画像との差分を画素毎に算出し差分画像を生成する差分画像生成部と、前記差分画像を所定の閾値によって二値化する二値画像生成部と、前記二値画像をマスク画像とし、二値画像の値に応じ、前記第２の視点における変換奥行き画像を、前記第２の奥行き画像で上書きするか否かを切り替える上書き処理部とを備えることを特徴としたものである。

　本発明の第４の技術手段は、第２または第３の技術手段において、前記第２の奥行き画像修正部は、前記第１の視点における変換視点画像と、前記第１の実際の視点画像との差分を画素毎に算出し差分画像を生成する差分画像生成部と、前記差分画像を所定の閾値によって二値化する二値画像生成部と、前記二値画像をマスク画像とし、二値画像の値に応じ、前記第１の視点における再変換奥行き画像を、前記第１の奥行き画像で上書きするか否かを切り替える上書き処理部とを備えることを特徴としたものである。

　上記の構成を備えることにより、本発明の仮想視点画像生成装置は、次の効果を奏する。すなわち、奥行き情報は誤差を含むため、２つの奥行き画像をお互いに修正しあうことにより、最終的な仮想視点画像の品質を向上させることが可能である。

本発明の一実施形態である、仮想視点画像生成装置のブロック図である。図１の奥行き画像安定化部１１の内部ブロック図である。図２の奥行き画像修正部２１ａの内部ブロック図である。図２の奥行き画像修正部２１ａにおける処理フローを説明する図である。図２の奥行き画像修正部２１ａにおける処理フローを説明する図である。図３の奥行き画像一次修正部３２ａの内部ブロック図である。図３の奥行き画像二次修正部３２ｂの内部ブロック図である。背景技術である２眼式パララックスバリア方式の概念説明図である。背景技術である２眼式パララックスバリア方式の概念説明図である。背景技術である多眼式パララックスバリア方式の概念説明図である。

　以下、図面を参照して、本発明の実施形態について説明する。
　図１に本発明の一実施形態である仮想視点画像生成装置の内部構成のブロック図を示す。図１の仮想視点画像生成装置１０は、実視点Ａにおける視点画像Ａと実視点Ｂにおける視点画像Ｂ、およびそれぞれの画像に対応する奥行き画像Ａと奥行き画像Ｂを入力とし、仮想視点Ｃにおける仮想視点画像Ｃを生成するための装置であり、奥行き画像安定化部１１、奥行き画像幾何変換部１２ａ，１２ｂ、奥行き画像平滑化部１３ａ，１３ｂ、仮装視点画像生成部１４ａ，１４ｂ、視点画像混合部１５、穴埋め処理部１６を備える。以下、実視点ＡおよびＢに対応する画像から、仮想視点Ｃに対応する画像を生成する場合を例に、図中の各機能ブロックの動作を説明する。

　奥行き画像安定化部１１は、入力部ａ、ｂ、ｃ、ｄからそれぞれ視点画像Ａ、奥行き画像Ａ、奥行き画像Ｂ、視点画像Ｂが入力され、出力部Ｘ１からは、奥行き画像Ａの誤り部分を奥行き画像Ｂによって修正した奥行き画像Ａｒｒを、出力部Ｘ２からは、奥行き画像Ｂの誤り部分を奥行き画像Ａによって修正した奥行き画像Ｂｒｒをそれぞれ出力する。詳細は後述する。

　奥行き画像幾何変換部１２ａは、入力された修正奥行き画像Ａｒｒを、仮想視点Ｃの奥行き画像Ｃａに幾何変換し出力する。幾何変換の際には、実視点Ａから仮想視点Ｃへの変換行列を使用する。奥行き画像幾何変換部１２ｂも同様にして修正奥行き画像Ｂｒｒを仮想視点Ｃの奥行き画像Ｃｂに幾何変換し出力する。

　奥行き画像平滑化部１３ａは、奥行き画像幾何変換部１２ａから入力された奥行き画像Ｃａに対して、平滑化フィルタをかけ、平滑化された奥行き画像Ｃａ´を出力する。平滑化フィルタには、画像全体のノイズを除去するためにメディアンフィルタを使用してもよいし、エッジを保持しつつ平滑化を行うことが可能なバイラテラルフィルタを使用してもよい。奥行き画像平滑化部１３ｂに関しても、入力された奥行き画像Ｃｂに対して、奥行き画像平滑化部１３ａと同様の処理を行い、平滑化された奥行き画像Ｃｂ´を出力する。

　仮想視点画像生成部１４ａは、仮想視点Ｃから実視点Ａへの幾何変換行列を用いて、平滑化された奥行き画像Ｃａ´の各画素に対する色情報を視点画像Ａから取得し、仮想視点画像Ｃａ´´を生成する。仮想視点画像生成部１４ｂも同様にして、平滑化された奥行き画像Ｃｂ´の各画素に対する色情報を視点画像Ｂから取得し、仮想視点画像Ｃｂ´´を生成する。

　視点画像混合部１５は、視点画像Ａから生成した仮想視点画像Ｃａ´´と、視点画像Ｂから生成した仮想視点画像Ｃｂ´´を混合する。混合の方法としては、２つの画像の平均値をとる方法や、視点Ａ―Ｃ間の距離と視点Ｂ－Ｃ間の距離に応じた重みを求め、重み付き平均をとる方法、また単純に距離が小さい方の画像のみを使う方法などを用いる。距離が小さい方のみを用いる場合は、１視点分の情報しか用いないため、前景による背景の隠れなどにより、色情報が取得できない部分の割合が大きい。そのため、両方の画像から色情報を取得する方法の方が好ましい。いずれの方法を用いるかは切り替え可能である。

　穴埋め処理部１６は、視点画像混合部１５から出力された仮想視点画像中の色情報が取得されなかった画素に対し、穴埋め処理を行う。具体的には、周辺の画素の色情報を用いる方法をとる。

　ここで、奥行き画像安定化部１１の処理について詳細に説明する。図２は、奥行き画像安定化部１１の内部ブロック図である。奥行き画像安定化部１１は、入力部ａ、ｂ、ｃ、ｄにそれぞれ、視点画像Ａ、奥行き画像Ａ、奥行き画像Ｂ、視点画像Ｂが入力されると、出力部Ｘ１から修正奥行き画像Ａｒｒ、出力部Ｘ２から修正奥行き画像Ｂｒｒを出力するもので、奥行き画像修正部２１ａ，２１ｂを有する。

　奥行き画像修正部２１ａは、入力部ｅ、ｆ、ｇ、ｈにそれぞれ視点画像Ａ、奥行き画像Ａ、奥行き画像Ｂ、視点画像Ｂが入力されると、修正奥行き画像Ａｒｒを出力部Ｘ３から出力する。奥行き画像修正部２１ｂは、奥行き画像修正部２１ａと同様に、入力部ｅ、ｆ、ｇ、ｈからそれぞれ視点画像Ｂ、奥行き画像Ｂ、奥行き画像Ａ、視点画像Ａが入力され、修正奥行き画像Ｂｒｒが出力部Ｘ３から出力される。

　次に、奥行き画像修正部の処理の詳細を説明する。図３は、奥行き画像修正部２１ａの内部ブロック図、図４及び図５は、奥行き画像修正部２１ａにおける処理フローを示す図、図６は奥行き画像修正部２１ａの奥行き画像一次修正部の内部ブロック図、図７は奥行き画像修正部２１ａの奥行き画像二次修正部の内部ブロック図である。

　奥行き画像修正部２１ａは、図３に示すように、入力部ｅ、ｆ、ｇ、ｈにそれぞれ視点画像Ａ、奥行き画像Ａ、奥行き画像Ｂ、視点画像Ｂが入力されると、出力部Ｘ３より、修正奥行き画像Ａｒｒとして後述の二次修正奥行き画像Ａｒｒを出力するもので、幾何変換部３１ａ，３１ｂ、奥行き画像一次修正部３２ａと、奥行き画像二次修正部３２ｂを有する。

　幾何変換部３１ａは、視点画像Ａと奥行き画像Ａを、視点画像Ｂと同一の視点Ｂの視点画像Ｂａと奥行き画像Ｂａへ幾何変換する（ステップＳ１）。より具体的には、幾何変換部３１ａは、奥行き画像Ａを視点Ｂへ幾何変換した結果を奥行き画像Ｂａとして出力し（ステップＳ１－１）、奥行き画像Ａを用いて視点画像Ａを視点Ｂへ幾何変換した結果を視点画像Ｂａとして出力する（ステップＳ１－２）。

　幾何変換部３１ａで生成した視点画像Ｂａと、視点画像Ｂとは、奥行き画像Ａの誤りによって誤差が生じる可能性がある。言い換えれば、視点画像Ｂａと、視点画像Ｂとで異なる場合には、奥行き画像Ａが誤っていると推測される。そこで、奥行き画像一次修正部３２ａでは、視点画像Ｂａと視点画像Ｂとで異なる場合、奥行き画像Ａに基づいて作成した奥行き画像Ｂａ（後述のようにこの奥行き画像Ｂａは視点Ａの奥行き画像に再度幾何変換される）を奥行き画像Ｂで修正する。そのために、奥行き画像一次修正部３２ａは、入力部ｉ、ｊ、ｋ、ｌより視点画像Ｂａ、奥行き画像Ｂａ、奥行き画像Ｂ、視点画像Ｂが入力され、そして、修正結果を一次修正奥行き画像Ｂａｒとして出力部Ｘ４より出力する（ステップＳ２）。ステップＳ２の詳細は後述する。

　上述のように奥行き画像Ｂに基づいて修正を行うが、奥行き画像Ｂが正しいという保証はないため、幾何変換部３１ｂは、図５に示すように、視点画像Ｂと奥行き画像一次修正部３２ａから出力された一次修正奥行き画像Ｂａｒを入力とし、それらを視点Ａへ幾何変換する（ステップＳ３）。幾何変換部３１ｂは、一次修正奥行き画像Ｂａｒを視点Ａへ幾何変換した結果を奥行き画像Ａａｒとして出力し（ステップＳ３－１）、一次修正奥行き画像Ｂａｒを用いて視点画像Ｂを視点Ａへ幾何変換した結果を視点画像Ａｂとして出力する（ステップＳ３－２）。そして、奥行き画像二次修正部３２ｂでは、視点画像Ａｂと視点画像Ａとで異なる場合、例えば、一次修正奥行き画像Ｂａｒに基づいて作成した奥行き画像Ａａｒを奥行き画像Ａで修正する。そのために、奥行き画像二次修正部３２ｂは、入力部ｍ、ｎ、ｏ、ｐより視点画像Ａｂ、奥行き画像Ａａｒ、奥行き画像Ａ、視点画像Ａを入力し、そして、修正結果を二次修正奥行き画像Ａｒｒとして出力部Ｘ５より出力する（ステップＳ４）。これについても詳細は後述する。
　奥行き画像修正部２１ｂについては、奥行き画像修正部２１ａと同様であるため、説明は省略する。

　次に、奥行き画像一次修正部の詳細を、図４を参照し、図６を用いて説明する。図６は、奥行き画像一次修正部３２ａの内部ブロック図である。
　奥行き画像一次修正部３２ａは、図６に示すように、入力部ｉ、ｊ、ｋ、ｌより視点画像Ｂａ、奥行き画像Ｂａ、奥行き画像Ｂ、視点画像Ｂを入力し、出力部Ｘ４より、修正奥行き画像Ａｒを出力するもので、差分画像生成部４１、二値画像生成部４２、上書き処理部４３を有する。

　差分画像生成部４１は、視点画像Ｂａと視点画像Ｂを入力とし、視点画像Ｂから視点画像Ｂａの輝度値を減算することにより、差分画像を得、出力する（図４、ステップＳ２－１）。二値画像生成部４２は、差分画像生成部４１から出力された差分画像を所定の閾値（例えば５など）θを用いてａ（輝度値が閾値以上の場合）とｂ（輝度値が閾値未満の場合）に二値化する（図４、ステップＳ２－２）。上書き処理部４３は、二値画像生成部４２より出力された二値画像をマスクとし、二値画像の輝度値がａの場合（すなわち差分が大きい場合）だけ、奥行き画像Ｂａの画素に奥行き画像Ｂの画素値を上書きする。全ての画素において処理を行い、一次修正奥行き画像Ｂａｒとして出力する（ステップＳ２－３）。

　次に、奥行き画像二次修正部の詳細を、図５を参照し、図７を用いて説明する。図７は、奥行き画像二次修正部３２ｂの内部ブロック図である。
　奥行き画像二次修正部３２ｂは、図７に示すように、入力部ｍ、ｎ、ｏ、ｐより視点画像Ａｂ、奥行き画像Ａａｒ、奥行き画像Ａ、視点画像Ａを入力し、出力部Ｘ５より、二次修正奥行き画像Ａｒｒを出力するもので、差分画像生成部５１、二値画像生成部５２、上書き処理部５３を有する。

　差分画像生成部５１は、視点画像Ａｂと視点画像Ａを入力とし、視点画像Ａから視点画像Ａｂの輝度値を減算することにより、差分画像を得、出力する（図５、ステップＳ４－１）。二値画像生成部５２は、差分画像生成部５１から出力された差分画像を所定の閾値を用いてａ（輝度値が閾値以上の場合）とｂ（輝度値が閾値未満の場合）に二値化する（図５、ステップＳ４－２）。上書き処理部５３は、二値画像生成部５２より出力された二値画像をマスクとし、二値画像の輝度値がａの場合（すなわち差分が大きい場合）だけ、奥行き画像Ａｂの画素に奥行き画像Ａの画素値を上書きする。全ての画素において処理を行い、二次修正奥行き画像Ａｒｒとして出力する（ステップＳ４－３）。
　なお、上述の二値画像の輝度値がａの場合に、奥行き画像Ａｂを元の奥行き画像Ａを用いて埋める代わりに、何も情報がない画素として処理するようにしてもよい。
　以上の方法によって、奥行き情報を修正することにより、その後の処理において生成する仮想視点画像の品質を向上させることが可能である。

　以上のように、仮想視点画像生成装置１０は、２つの視点画像とそれぞれに対応する奥行き画像から、仮想視点の画像を生成することが可能である。その際、入力された奥行き画像が正確でない場合にも、奥行き画像安定化部によって修正を行い、出力される仮想視点画像の品質を向上させることができる。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

１０…仮想視点画像生成装置、１１…奥行き画像安定化部、１２ａ，１２ｂ…奥行き画像幾何変換部、１３ａ，１３ｂ…奥行き画像平滑化部、１４ａ，１４ｂ…仮想視点画像生成部、１５…視点画像混合部、１６…穴埋め処理部、２１ａ，２１ｂ…奥行き画像修正部、３１ａ，３１ｂ…幾何変換部、３２ａ…奥行き画像一次修正部、３２ｂ…奥行き画像二次修正部、４１，５１…差分画像生成部、４２，５２…二値画像生成部、４３，５３…上書き処理部。

Claims

　第１の実際の視点画像及び第２の実際の視点画像と、それぞれに対応する第１及び第２の奥行き画像と、から仮想視点画像を生成する仮想視点画像生成装置であって、
　前記第１の奥行き画像で前記第２の奥行き画像を修正し、前記第２の奥行き画像で前記第１の奥行き画像を修正する修正部を有することを特徴とする仮想視点画像生成装置。
　前記修正部は、
　前記第１の実際の視点画像と前記第１の奥行き画像を、前記第２の実際の視点画像の視点である第２の視点における変換視点画像と変換奥行き画像へ幾何変換する第１の幾何変換部と、
　該第１の幾何変換部により幾何変換され生成された前記第２の視点における変換視点画像と、前記第２の実際の視点画像とが異なるとき、前記第１の幾何変換部により幾何変換され生成された前記第２の視点における変換奥行き画像を、前記第２の奥行き画像で修正し、第１の修正変換奥行き画像を生成する第１の奥行き画像修正部と、
　前記第１の修正変換奥行き画像と前記第２の視点の実際の視点画像を、前記第１の実際の視点画像の視点である第１の視点における変換視点画像と再変換奥行き画像へ幾何変換する第２の幾何変換部と、
　該第２の幾何変換部により幾何変換され生成された前記第１の視点における変換視点画像と、第１の実際の視点画像とが異なるとき、前記第２の幾何変換部により幾何変換され生成された前記第１の視点における再変換奥行き画像を修正し、第２の修正変換奥行き画像を生成する第２の奥行き画像修正部と、を有することを特徴とする請求項１に記載の仮想視点画像生成装置。
　前記第１の奥行き画像修正部は、前記第２の視点における変換視点画像と、前記第２の実際の視点画像との差分を画素毎に算出し差分画像を生成する差分画像生成部と、
　前記差分画像を所定の閾値によって二値化する二値画像生成部と、
　前記二値画像をマスク画像とし、二値画像の値に応じ、前記第２の視点における変換奥行き画像を、前記第２の奥行き画像で上書きするか否かを切り替える上書き処理部とを備えることを特徴とする請求項２に記載の仮想視点画像生成装置。
　前記第２の奥行き画像修正部は、前記第１の視点における変換視点画像と、前記第１の実際の視点画像との差分を画素毎に算出し差分画像を生成する差分画像生成部と、
　前記差分画像を所定の閾値によって二値化する二値画像生成部と、
　前記二値画像をマスク画像とし、二値画像の値に応じ、前記第１の視点における再変換奥行き画像を、前記第１の奥行き画像で上書きするか否かを切り替える上書き処理部とを備えることを特徴とする請求項２または３に記載の仮想視点画像生成装置。