JP6631054B2 - 仮想視点画像生成装置及びプログラム - Google Patents

Description

本発明は、仮想視点画像生成装置及びプログラムに関し、特に、２以上の視点位置で撮影された複数の画像から、仮想の視点位置で撮影したときに得られるだろう画像を生成する場合に好適なものである。

近年、視聴者の目の動きに追従して、表示視点を変更する表示装置や、２視点以上の映像を同時に投射する表示装置など、両眼視差や運動視差により、視聴者に立体感のある画像を提供する表示装置が注目を集めている。

このような表示装置では、撮影する視点間の距離の小ささが主観品質に大きな影響を与える場合が多く、可能な限り視点間の距離を縮めることが求められる。静止画の場合、例えばカメラによる撮影後、カメラを移動させて再度撮影する等の処理を繰り返すことで、２視点以上の位置で撮像した画像を得ることができる。また、少なくとも、このような方法を用いる場合、視点間の距離を縮めるためには、上述したカメラの移動量を少なくすることで実現できる。

しかし、静止画ではなく動画を撮影する場合、視点間の距離を縮めるために、カメラモジュールの小型化が必要となる。カメラモジュールの小型化には、撮影可能な解像度の低下や、レンズ性能の低下、設計製造コストの増加などのトレードオフが存在する。

そのため、限られた視点で撮影された画像（以下、実撮影画像とも呼ぶ。）から、例えば、カメラモジュールを設置できないような、実撮影画像に係る複数の視点間の視点（仮想視点）で撮影された画像（以下、仮想視点画像とも呼ぶ。）を推定して生成する技術が求められている。

特許文献１は、２つの視点で撮影した３枚の画像から、仮想の視点で撮影された画像を生成する技術を提案している。特許文献１の記載技術は、画像間で対応するブロックまたは画素を探索し、そこから内挿ベクトルを求めることで、仮想視点画像としての補間画像を生成する。

非特許文献１は、フレーム間を補完し、フレームレートを向上させる技術を提案している。非特許文献１の記載技術を視点補間に応用することも想定できる。

詳細な処理内容は、特許文献１の記載技術と非特許文献１の記載技術とで異なる。しかし、対応するブロック又は画素の探索と、補間する視点（仮想視点）に対応するベクトルの算出と、ベクトルを用いた補間画像（仮想視点画像）の生成からなる、ということは、特許文献１の記載技術と非特許文献１の記載技術とで共通している。

図８は、２つの視点で撮影された２枚の画像から仮想視点画像を生成する、上述した共通の記載技術の構成を書き出したブロック図である。図８に示すよう装置（以下、従来の仮想視点画像生成装置と呼ぶ。）の構成は、第１の入力画像ＰＩＣ１、第２の入力画像ＰＩＣ２及び仮想視点位置ＶＰＶを入力して、補間画像ＩＰＰＩＣ０を出力する。

従来の仮想視点画像生成装置１０へ入力される第１の入力画像ＰＩＣ１及び第２の入力画像ＰＩＣ２は、垂直方向が同じで水平方向が異なる実撮影画像である。第１の入力画像ＰＩＣ１の視点と、第２の入力画像ＰＩＣ２との視点を結ぶ線分上に仮想視点位置ＶＰＶが指定される。従って、従来の仮想視点画像生成装置１０は、図９に示すように、第１の入力画像ＰＩＣ１及び第２の入力画像ＰＩＣ２に対し、仮想視点位置ＶＰＶに応じて水平方向に補間して補間画像（仮想視点画像）ＩＰＰＩＣ０を得る水平方向処理部１１０から構成されている。

水平方向処理部１１０は、第１の入力画像ＰＩＣ１と第２の入力画像ＰＩＣ２の間で、一致又は類似する、ブロック（又は画素）を探索し、水平方向視差ベクトルを出力する水平方向一致ブロック探索部１１１と、水平方向視差ベクトルと仮想視点位置と実撮影画像の視点位置とから内挿ベクトルを求める内挿ベクトル算出部１１２と、内挿ベクトルと第２の入力画像ＰＩＣ２とから水平方向補間画像（仮想視点画像）ＩＰＰＩＣ０を生成する水平方向補間画像生成部１１３とを有する（各部１１１、１１２、１１３の詳細な機能については後述する「実施形態」の項に記載している）。

特開２０１４−７２８０１号公報

Ｊ．Ａｓｃｅｎｓｏ，Ｃ，Ｂｒｉｔｅｓ，ａｎｄ Ｆ．Ｐｅｒｅｉｒａ，"Ｉｍｐｒｏｖｉｎｇ ｆｒａｍｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｗｉｔｈ ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｓｍｏｏｔｈｉｎｇ ｆｏｒ ｐｉｘｅｌ ｄｏｍａｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ，"５ｔｈ ＥＵＲＡＳＩＰ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，２００５．

しかしながら、複数の入力画像の間でブロック（又は画素）ごとの対応付けを行うと、例えば、オクルージョンの存在や、照明の当たり方の違い等の理由で、ブロック（又は画素）ごとの対応づけに誤りが発生し得る。ブロックまたは画素ごとの対応づけの誤りは、生成される補間画像の歪に繋がる。また、オクルージョンが発生している領域については、仮に正しくオクルージョン領域を検出できたとしても、同領域に属する画素値をどのように設定すれば良いかを２視点間から正確に決定することは困難であり、推定誤りが補間画像の歪となって現れてしまう。

そのため、演算量の増加を抑えながら、補間画像の歪を低減することができる仮想視点画像生成装置及びプログラムが求められている。

かかる課題を解決するために、第１の本発明に係る仮想視点画像生成装置は、（１）第１の入力画像及び第２の入力画像と、第１の入力画像及び第２の入力画像に係る両視点を通る直線上に設定された仮想視点の位置とから、仮想視点の位置から撮影したと仮定した場合の水平方向補間画像を生成するものであって、第１の入力画像と第２の入力画像との間で、一致又は類似するブロック又は画素を探索し、少なくとも、その関係を表す水平方向視差ベクトルを出力する水平方向処理部と、（２）少なくとも、水平方向視差ベクトルから、水平方向の探索範囲を決定し、第１の入力画像及び第２の入力画像に係る両視点を通る直線上に設定された仮想視点と水平方向に同じで垂直方向に異なる視点から撮影された垂直画像と、第１の入力画像と第２の入力画像とのいずれか又は両方の入力画像とから、仮想視点の位置から撮影したと仮定した場合の垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、（３）水平方向補間画像と垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部とを備えることを特徴とする。

第２の本発明に係る仮想視点画像生成プログラムは、コンピュータを、（１）第１の入力画像及び第２の入力画像と、第１の入力画像及び第２の入力画像に係る両視点を通る直線上に設定された仮想視点の位置とから、仮想視点の位置から撮影したと仮定した場合の水平方向補間画像を生成するものであって、第１の入力画像と第２の入力画像との間で、一致又は類似するブロック又は画素を探索し、少なくとも、その関係を表す水平方向視差ベクトルを出力する水平方向処理部と、（２）少なくとも、水平方向視差ベクトルから、水平方向の探索範囲を決定し、第１の入力画像及び第２の入力画像に係る両視点を通る直線上に設定された仮想視点と水平方向に同じで垂直方向に異なる視点から撮影された垂直画像と、第１の入力画像と第２の入力画像とのいずれか又は両方の入力画像とから、仮想視点の位置から撮影したと仮定した場合の垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、（３）水平方向補間画像と垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部として機能させることを特徴とする。

本発明によれば、演算量の増加を抑えながら、補間画像の歪を低減することができる。

実施形態の仮想視点画像生成装置の構成を示すブロック図である。 実施形態の仮想視点画像生成装置への入力画像の視点と仮想視点との位置関係の説明図である。 実施形態の仮想視点画像生成装置における垂直方向の補間方法を説明する説明図である。 実施形態の仮想視点画像生成装置における動作の流れを示すフローチャートである。 実施形態の仮想視点画像生成装置における水平画像と垂直画像と仮想視点画像との関係を示す説明図である。 実施形態の仮想視点画像生成装置における水平画像を撮影するカメラと補間したい仮想視点との位置関係を説明する説明図である。 変形実施形態の仮想視点画像生成装置への入力画像の視点と仮想視点との位置関係の説明図である。 従来の仮想視点画像生成装置の構成を示すブロック図である。 従来の仮想視点画像生成装置への入力画像の視点と仮想視点との関係の説明図である。

（Ａ）主たる実施形態
以下では、本発明に係る仮想視点画像生成装置及びプログラムの実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）実施形態の構成
図１は、実施形態に係る仮想視点画像生成装置の構成を示すブロック図である。なお、図１において、上述した図８との同一、対応部分には同一符号を示している。

仮想視点画像生成装置１００は、ハードウェア的な各種構成要素を接続して構築されたものであっても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭ等のプログラムの実行構成を適用して、その機能を実現するように構築されたものであっても良い。いずれも構築方法を適用した場合であっても、仮想視点画像生成装置１００の機能的な詳細な構成を、図１で表すことができる。

仮想視点画像生成装置１００は、水平方向処理部１１０、第１の垂直方向処理部１２０、第２の垂直方向処理部１３０、平均処理部１４１を有する。

水平方向処理部１１０は、水平方向一致ブロック探索部１１１、内挿ベクトル算出部１１２、水平方向補間画像生成部１１３を有する。

第１の垂直方向処理部１２０は、第１の探索範囲決定部１２１、第１の垂直方向一致ブロック探索部１２２、第１のシフトベクトル算出部１２３、第１の垂直方向補間画像生成部１２４を有する。同様に、第２の垂直方向処理部１３０は、第２の探索範囲決定部１３１、第２の垂直方向一致ブロック探索部１３２、第２のシフトベクトル算出部１３３、第２の垂直方向補間画像生成部１３４を有する。

仮想視点画像生成装置１００には、それぞれ視点位置が予め定まっている（例えば、カメラモジュールの配置によって予め定まっている）、第１の入力画像（以下、第１の水平画像と呼ぶ）ＰＩＣ１、第２の入力画像（以下、第２の水平画像と呼ぶ）ＰＩＣ２及び第３の入力画像（以下、垂直画像と呼ぶ）ＰＩＣ３が入力される。各入力画像ＰＩＣ１〜ＰＩＣ３はそれぞれ、左上を原点とし、原点を通る水平方向であって右側を正とするｘ座標の値と、原点を通る垂直方向であって下側を正とするｙ座標の値とで位置を特定する画像となっている（図３参照）。第１の水平画像ＰＩＣ１に係る視点及び第２の水平画像ＰＩＣ２に係る視点は垂直方向に同じで水平方向に異なっている。

ここで、仮想視点位置ＶＰＶは、図２に示すように、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の視点間を結ぶ線分上で指定される。垂直画像ＰＩＣ３に係る視点（の位置）は、図２に示すように、仮想視点位置ＶＰＶと水平方向に同じで垂直方向に異なっている。

垂直画像とは、図２に示すように、当該垂直画像の視点と、仮想視点とを通る直線が、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２に係る両視点を通る直線と直交する位置に、当該垂直画像の視点が設定された画像である。

水平方向処理部１１０には、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２と、仮想視点位置ＶＰＶとが入力される。水平方向処理部１１０は、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２から、仮想視点位置ＶＰＶから撮影したと仮定した場合の補間画像（以下、水平方向補間画像と呼ぶ）ＨＰＩＣを生成して平均処理部１４１に与えるものである。水平方向処理部１１０における各部（１１１〜１１３）は以下のように作用する。

水平方向一致ブロック探索部１１１は、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２の間で、一致又は類似（以下、「対応」と表現する）のブロック（又は画素）を探索し、水平方向視差ベクトルを得て出力するものである。水平方向視差ベクトルは、例えば、対応するブロック（又は画素）間の水平方向のずれ量（大きさ）を、第２の水平画像ＰＩＣ２におけるブロック（又は画素）の位置を始点とし、第１の水平画像ＰＩＣ１における対応するブロック（又は画素）の位置を終点としたベクトルとなっている。

また、水平方向一致ブロック探索部１１１は、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２との間の一致又は類似するブロック（又は画素）の一致又は類似の程度を示す水平方向方マッチング度を垂直方向処理部１２０及び１３０に出力する。ここで、後述するように、垂直方向処理部１２０、１３０による探索範囲の決定方法は種々の方法を適用できる。従って、垂直方向処理部１２０、１３０が水平方向マッチング度を使用しないで探索範囲を決定する方法を使用する場合、水平方向一致ブロック探索部１１１は、垂直方向処理部１２０、１３０への水平方向マッチング度の出力は不要とすることができる。

内挿ベクトル算出部１１２は、各ブロック（又は画素）についての水平方向視差ベクトルに対する按分処理により、各ブロック（又は画素）についての内挿ベクトルを求めるものである。第１の水平画像ＰＩＣ１の視点と第２の水平画像ＰＩＣ２の視点との距離をＬ_１２とし、仮想視点（仮想視点位置）と第２の水平画像ＰＩＣ２の視点との距離をＬ_Ｖ２とすると、内挿ベクトル算出部１１２は、水平方向視差ベクトルに、Ｌ_１２／Ｌ_Ｖ２を乗算することにより、内挿ベクトルを求める。

水平方向補間画像生成部１１３は、基準画像としての第２の水平画像ＰＩＣ２における各ブロック（又は画素）の画像内容を、そのブロック（又は画素）についての内挿ベクトルだけ移動して水平方向補間画像ＨＰＩＣのブロック（又は画素）を生成し、このような移動動作を全てのブロック（又は画素）について実行することにより水平方向補間画像ＨＰＩＣを生成する。

なお、この実施形態では、基準画像が第２の水平画像ＰＩＣ２である場合を例示する。しかし、基準画像が、第１の水平画像ＰＩＣ１であっても良い、また、基準画像が、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２の双方であっても良い。

第１の垂直方向処理部１２０には、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３が入力される。第１の垂直方向処理部１２０は、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３から、仮想視点位置ＶＰＶから撮影したと仮定した場合の補間画像（以下、第１の垂直方向補間画像と呼ぶ）ＶＰＩＣ１を生成して平均処理部１４１に与えるものである。

以下、第１の垂直方向処理部１２０における各部（１２１〜１２４）の作用を、図３を参照しながら説明する。図３は、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３から、第１の垂直方向補間画像ＶＰＩＣ１を生成する方法の説明図である。図３における「三角形」は被写体の画像部分を表している。

第１の探索範囲決定部１２１は、水平方向視差ベクトルと水平方向マッチング度とから水平方向の探索範囲を決定し、その探索範囲を垂直方向一致ブロック探索部１２２に出力する。探索範囲決定部１２１による水平方向の探索範囲の決定方法の詳細な処理については動作の項で説明する。

後述するように、探索範囲決定部１２１による探索範囲の決定方法が、水平方向マッチング度を使用しない場合、水平方向マッチング度は不要としても良い。また、垂直方向処理部１２０、１３０のいずれか一方にのみ、水平方向処理部１１０から水平方向マッチング度を取得して、いずれかの垂直方向処理部１２０、１３０が水平方向マッチング度を用いて探索範囲を決定するようにしても良い。

第１の垂直方向一致ブロック探索部１２２は、水平方向の探索範囲を第１の探索範囲決定部１２１により求められた探索範囲に制限し、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３との間で、対応するブロック（又は画素）を探索し、第１の垂直方向視差ベクトルを出力するものである。第１の垂直方向視差ベクトルは、例えば、ブロックマッチングアルゴリズム等によって求められる。第１の垂直方向視差ベクトルは、対応するブロック（又は画素）間のずれ量（大きさ）を、垂直画像ＰＩＣ３におけるブロック（又は画素）の位置を始点とし、第１の水平画像ＰＩＣ１における対応するブロック（又は画素）の位置を終点としたベクトルとなっている。図３におけるブロックＢＲ１は、垂直画像ＰＩＣ３におけるブロックであり、このブロックＢＲ１に対応する、第１の水平画像ＰＩＣ１におけるブロックがブロックＢＲ２となっている。そのため、ブロックＢＲ１についての第１の垂直方向視差ベクトルＶＴＲ１は、ブロックＢＲ１の中心からブロックＢＲ２の中心を結ぶベクトルとなる。

第１のシフトベクトル算出部１２３は、各ブロック（又は画素）についての第１の垂直方向視差ベクトルの垂直方向の成分ベクトルを取り出すことにより第１のシフトベクトルを得るものである。図３に示すように、第１の垂直方向視差ベクトルＶＴＲ１の成分を（ｘ，ｙ）＝（α，β）とすると、第１のシフトベクトルＶＴＲ２の成分は（ｘ，ｙ）＝（０，β）となる。すなわち、第１のシフトベクトル算出部１２３は、第１の垂直方向視差ベクトルＶＴＲ１のうち、水平成分を「０」としたベクトルを第１のシフトベクトルＶＴＲ２として出力する。

第１の垂直方向補間画像生成部１２４は、垂直画像ＰＩＣ３における各ブロック（又は画素）の画像内容を、そのブロック（又は画素）についての第１のシフトベクトルＶＴＲ２だけ移動して第１の垂直方向補間画像ＶＰＩＣ１におけるブロック（又は画素）を形成し、このような動作を全てのブロック（又は画素）について実行することにより、第１の垂直方向補間画像ＶＰＩＣ１を生成する。図３に示すブロックＢＲ１の画像内容を第１のシフトベクトルＶＴＲ２だけ移動したブロックＢＲ３が、第１の垂直方向補間画像ＶＰＩＣ１におけるブロックＢＲ１に対応するブロック（補間ブロック）となっている。

第１の垂直方向処理部１２０は、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３から第１の垂直方向補間画像ＶＰＩＣ１を生成するものであったが、第２の垂直方向処理部１３０は、第２の水平画像ＰＩＣ２及び垂直画像ＰＩＣ３から第２の垂直方向補間画像ＶＰＩＣ２を生成するものである。処理に供する一方の入力画像が、第１の垂直方向処理部１２０と第２の垂直方向処理部１３０とで異なるが、第２の垂直方向処理部１３０における各部（１３１〜１３４）は、第１の垂直方向処理部１２０における対応する各部（１２１〜１２４）と同様に作用するので、その機能説明は省略する。

平均処理部１４１は、補間画像統合部として設けられたものであり、水平方向補間画像ＨＰＩＣ、第１の垂直方向補間画像ＶＰＩＣ１及び第２の垂直方向補間画像ＶＰＩＣ２を統合して最終的に出力する補間画像（仮想視点画像）ＩＰＰＩＣを得るものである。平均処理部１４１は、統合処理として平均処理を適用することによって、出力補間画像（仮想視点画像）ＩＰＰＩＣを得る。第１の実施形態における平均処理は、単純な平均処理である（後述する第２の実施形態は、動的な重み付け係数を適用した重み付け平均である）。平均処理部１４１が単純な平均処理を適用する場合であれば、平均処理部１４１は、座標系（図３参照）のある座標における、水平方向補間画像ＨＰＩＣの画素値をＰ、第１の垂直方向補間画像ＶＰＩＣ１の画素値をＱ１、第２の垂直方向補間画像ＶＰＩＣ２の画素値をＱ２とすると、出力補間画像ＩＰＰＩＣの画素値Ｒを（１）式に従って算出する。
Ｒ＝（Ｐ＋Ｑ１＋Ｑ２）／３ …（１）

（Ａ−２）実施形態の動作
次に、以上のような各部を有する実施形態に係る仮想視点画像生成装置１００における仮想視点画像生成処理の処理動作を詳細に説明する。

図４は、実施形態に係る仮想視点画像生成装置１００における動作の流れを示すフローチャートである。

（Ａ−２−１）全体動作の流れ
まず、水平方向処理部１１０内の水平方向一致ブロック探索部１１１において、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２とから、水平方向視差ベクトルが求められる（ステップＳ１０１）。次に、内挿ベクトル算出部１１２において、水平方向視差ベクトルと仮想視点位置とから、内挿ベクトルが求められる（ステップＳ１０２）。さらに、水平方向補間画像生成部１１３において、内挿ベクトルと第２の水平画像ＰＩＣ２とから、水平方向補間画像ＨＰＩＣが求められる（ステップＳ１０３）。

ここで、垂直方向処理部１２０、１３０が水平方向視差ベクトルのみを参照して、垂直方向補間画像を生成する場合、水平方向一致ブロック探索部１１１は、水平方向マッチング度を出力しない。

また、第１の垂直方向処理部１２０の探索範囲決定部１２１において、水平方向視差ベクトルと水平方向マッチング度とから探索範囲が求められる（ステップＳ１０４）。この探索範囲の決定方法は、複数の決定方法を適用できるため、複数の探索範囲の決定方法については後述する。

第１の垂直方向処理部１２０内の第１の垂直方向一致ブロック探索部１２２において、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３とから、第１の垂直方向視差ベクトルが求められる（ステップＳ１０５）。次に、第１のシフトベクトル算出部１２３において、第１の垂直方向視差ベクトルから、第１のシフトベクトルが求められる（ステップＳ１０６）。さらに、第１の垂直方向補間画像生成部１２４において、第１のシフトベクトルと垂直画像ＰＩＣ３とから、第１の垂直方向補間画像ＶＰＩＣ１が生成される（ステップＳ１０７）。

第２の垂直方向処理部１３０においても、第１の垂直方向処理部１２０と同様な動作が実行され、第２の垂直方向補間画像ＶＰＩＣ２が生成される（ステップＳ１０８）。すなわち、第２の探索範囲決定部１３１において、水平方向視差ベクトルと水平方向マッチング度とから探索範囲が求められる。第２の垂直方向一致ブロック探索部１３２において、第２の水平画像ＰＩＣ２と垂直画像ＰＩＣ３とから、第２の垂直方向視差ベクトルが求められ、次に、第２のシフトベクトル算出部１３３において、第２の垂直方向視差ベクトルから、第２のシフトベクトルが求められ、さらに、第２の垂直方向補間画像生成部１３４において、第２のシフトベクトルと垂直画像ＰＩＣ３とから、第２の垂直方向補間画像ＶＰＩＣ２が生成される。

最後に、平均処理部１４１において、水平方向補間画像ＨＰＩＣと、第１の垂直方向補間画像ＶＰＩＣ１と、第２の垂直方向補間画像ＶＰＩＣ２とから、平均処理により、出力補間画像ＩＰＰＩＣが求められる（ステップＳ１０９）。

（Ａ−２−２）探索範囲の決定方法
次に、図４のステップＳ１０４で、探索範囲決定部１２１における、水平方向視差ベクトルと水平方向マッチング度とから探索範囲を求めるときの、探索範囲の決定方法を説明する。

なお、以降では、特に断りがない限り、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３とから垂直方向視差ベクトルを求めることを例に挙げて説明する。

また、以降において、図５に示すように、着目する入力画像（例えば、第１の水平画像ＰＩＣ１）から、もう１つの入力画像（例えば、第２の水平画像ＰＩＣ２）を参照したときの水平方向視差ベクトルを「ｖ」、補間したい仮想視点の位置を表す仮想視点位置パラメータを「ｃ」、符号パラメータを「ｓ」とする。

仮想視点位置パラメータｃは、範囲が（０．０，１．０）である実数である。また、図６に示すように、着目する入力画像（例えば、第１の水平画像ＰＩＣ１）を撮影するカメラの位置から見た、もう１つの入力画像（例えば、第２の水平画像ＰＩＣ２）を撮影するカメラの位置までの距離を「ｐ」、着目する入力画像（例えば、第１の水平画像ＰＩＣ１）を撮影するカメラの位置から補間したい仮想視点位置までの距離を「ｑ」とすると、（２）式で表すことができる。
ｃ＝ｑ／ｐ …（２）

補間したい仮想視点位置が、第１の水平画像ＰＩＣ１を撮影するカメラの位置と第２の水平画像ＰＩＣ２を撮影するカメラの位置との間のちょうど中間に位置する場合、仮想視点位置パラメータｃはｃ＝０．５となる。

また、符号パラメータｓは、入力画像のオブジェクトの位置が、垂直画像ＰＩＣ３のオブジェクトの位置から見ると相対的に左側にくる場合、言い換えると、入力画像を撮影するカメラが補間したい仮想視点位置よりも相対的に右側にくる場合は、ｓ＝−１となり、それ以外の場合は、ｓ＝１となる。

ここで、探索範囲の決定方法は、大別して２通りある。１つは、水平方向マッチング度を使用しない方法であり、もう１つは水平方向マッチング度を使用する方法である。以下では、これら２種類の探索範囲の決定方法を順番に説明する。

まず、水平方向マッチング度を使用しない方法を説明する。この水平方向マッチング度を使用しないで探索範囲を求める方法は、２種類ある。

水平方向マッチング度を使用しない１つ目の探索範囲の決定方法は、探索範囲を「α」としたとき、（３）式とする方法である。
α∈[ｓｃｖ−ｒ，ｓｃｖ＋ｒ]…（３）

すなわち、探索範囲αは、符号パラメータｓと仮想視点位置パラメータｃと水平方向視差ベクトルｖとを乗じた結果ｓｃｖにパラメータｒを減算した値から、結果ｓｃｖにパラメータｒを加算した値までの範囲とする。ここで、パラメータｒは、予め定めた０以上のパラメータである。ｒ＝０とすると、探索範囲αはα＝ｓｃｖとなり、水平方向の探索は１点になり、事実上、水平方向の探索を行なわない。逆に、パラメータｒの値が大きくなると、探索範囲が広がることになる。

パラメータｒの値が小さいほど、演算量が少なくなる。しかし、例えば、オクルージョン等が原因で、水平方向視差ベクトルｖの品質が悪い場合は、第１の垂直方向処理部１２０、第２の垂直方向処理部１３０にも第１の垂直方向補間画像ＶＰＩＣ１、第２の垂直方向補間画像ＶＰＩＣ２の品質が悪化という形で悪影響を与える。

逆に、パラメータｒの値を大きくすると、例えば、オクルージョン等が原因で、水平方向視差ベクトルｖの品質が悪くなったとしても、第１の垂直方向処理部１２０、第２の垂直方向処理部１３０に悪影響を与える可能性を下がる。しかし、演算量が増えるというデメリットもある。

水平方向マッチング度を使用しない２つ目の探索範囲の決定方法は、探索範囲αを（４）式とする方法である。
α∈［ｓｃｖ−ｒ，ｓｃｖ＋ｒ］∪［ｓｃｖ_１−ｒ，ｓｃｖ_１＋ｒ］
∪［ｓｃｖ_２−ｒ，ｓｃｖ_２＋ｒ］
∪．．．
∪［ｓｃｖ_ｋ−ｒ，ｓｃｖ_ｋ＋ｒ］
∪．．．
∪［ｓｃｖ_ｎ−ｒ，ｓｃｖ_ｎ＋ｒ］…（４）

ここで、(４)式において、水平方向視差ベクトルｖ_ｋは注目しているブロック（又は画素）の近隣のブロック（又は画素）の水平方向視差ベクトルである。

（４）式では、ｎ個の近隣のブロック（又は画素）の水平方向視差ベクトルを計算式に含めているが、何個の近隣のブロック（又は画素）の水平方向視差ベクトルを計算式に含めるかは、予め定めるパラメータである。

水平方向マッチング度を使用しない１つ目の探索範囲の決定方法で、発生した「パラメータｒを小さくした場合に水平方向視差ベクトルの品質が悪い場合に、垂直方向処理部にも補間画像の品質悪化という形で悪影響を与える」という問題は、オクルージョンや照明の当たり方の違い等が原因で発生することが多い。

これに対して、水平方向マッチング度を使用しない２つ目の探索範囲の決定方法は、自然画像において、（ａ）オクルージョンや照明の当たり方の違い等により発生する問題は、近隣のブロック（又は画素）では発生していない可能性があること、（ｂ）水平方向視差ベクトルは、空間的に滑らかである、という性質があることを利用して、１つ目の探索範囲の決定方法の問題発生を抑制する方法である。

このように、２つ目の探索範囲の決定方法を採用する場合、１つ目の探索範囲の決定方法を採用する場合よりも、パラメータｒを小さくできるため、第１の垂直方向補間画像ＶＰＩＣ１、第２の垂直方向補間画像ＶＰＩＣ２の画像品質を維持したまま、演算量が抑制されることが期待できる。

次に、水平方向マッチング度を使用して探索範囲を決定する方法を説明する。水平方向マッチング度を使用する場合、上述した２種類の探索範囲の決定方法を組み合わせた方法で、探索範囲を決定する。

以降では、水平方向マッチング度Ｍは０以上の実数である。また、水平方向マッチング度Ｍの値が小さいほど、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２との間のブロック（又は画素）のマッチング度が高いとする場合を例に説明する。

水平方向マッチング度Ｍの値が、予め定められた閾値Ｔよりも小さい場合、つまり、マッチング度が高い場合、注目しているブロック（又は画素）の水平方向視差ベクトルｖを用いて、探索範囲αは（５）式で求められる。
α∈［ｓｃｖ−ｒ，ｓｃｖ＋ｒ］ …（５）

水平方向マッチング度Ｍの値が、予め定められた閾値Ｔ以上の場合、つまり、マッチング度が低い場合、注目しているブロック（又は画素）の近隣のブロック（又は画素）の水平方向視差ベクトルを用いて、探索範囲αは（６）式で求められる。

α∈［ｓｃｖ_１−ｒ，ｓｃｖ_１＋ｒ］∪［ｓｃｖ_２−ｒ，ｓｃｖ_２＋ｒ］
∪．．．
∪［ｓｃｖ_ｋ−ｒ，ｓｃｖ_ｋ＋ｒ］
∪．．．
∪［ｓｃｖ_ｎ−ｒ，ｓｃｖ_ｎ＋ｒ］…（６）
水平方向マッチング度Ｍの値が高い場合は、オクルージョンや照明の当たり方の違い等が起きていない領域であると予測できる。そのため、注目しているブロック（又は画素）の水平方向視差ベクトルを用いて、探索範囲を決定する。

水平方向マッチング度Ｍの値が低い場合は、注目しているブロック（又は画素）で、オクルージョンや照明の当たり方の違い等が起きている領域であると予測できる。そのため、注目しているブロック（又は画素）の近隣にあるブロック（又は画素）の水平方向視差ベクトルを用いて、探索範囲を決定する。

水平方向マッチング度Ｍを用いることで、パラメータｒの値や、近接のブロック（又は画素）の数ｎの値を小さくしても、オクルージョンや照明の当たり方の違い等により発生する問題を抑制できるため、品質を維持したまま演算量が抑制されることが期待できる。

（Ａ−３）実施形態の効果
以上のように、実施形態によれば、仮想視点より垂直方向で撮影された視点の情報（垂直画像）も用いて補間画像を生成することで、オクルージョンの存在や照明の当たり方の違い等が理由で、発生する補間画像の歪が低減される。

なぜならば、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２との間で対応付けできない領域でも、仮想視点より垂直方向であれば対応付けできる可能性は高いからである。

そして、垂直方向で対応付けできない領域でも、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２とのの間では対応付けできる可能性がある。水平歩行補間画像及び垂直方向補間画像の平均処理により、双方の長所を取り入れることで、オクルージョンの存在や照明の当たり方の違い等が理由で、発生する補間画像の歪が低減される。

さらに、実施形態によれば、演算量の面でも、水平方向処理部の演算結果を利用することで、垂直方向処理部の演算量を削減しており、演算量の増加を抑えることができる。

（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

（Ｂ−１）上述した実施形態では、水平方向一致ブロック探索部１１１が、垂直方向処理部１２０に対して、水平方向視差ベクトルと水平方向マッチング度とを出力する場合を例示した。しかし、水平方向一致ブロック探索部１１１は、垂直方向処理部１３０に対しても、垂直方向処理部１２０と同様に、水平方向視差ベクトルと水平方向マッチング度とを出力するようにしても良い。

（Ｂ−２）上述した実施形態では、水平方向処理部１１０が、第２の水平画像ＰＩＣ２から水平方向補間画像ＨＰＩＣを生成する場合を示したが、水平方向補間画像ＨＰＩＣの生成方法はこれに限定されるものではない。要は、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２と仮想視点位置ＶＰＶとから水平方向補間画像ＨＰＩＣを得られる生成方法であれば良い。例えば、第１の水平画像ＰＩＣ１から水平方向補間画像ＨＰＩＣを生成するようにしても良く、また、非特許文献１の記載技術のように、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の双方から水平方向補間画像ＨＰＩＣを生成するようにしても良い。

（Ｂ−３）上記の実施形態では、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３とから第１の垂直方向補間画像ＶＰＩＣ１を生成すると共に、第２の水平画像ＰＩＣ２と垂直画像ＰＩＣ３とから第２の垂直方向補間画像ＶＰＩＣ２を生成し、最終的な出力補間画像ＩＰＰＩＣに反映させるものを示したが、演算量削減のために、第１の垂直方向補間画像ＶＰＩＣ１及び第２の垂直方向補間画像ＶＰＩＣ２の一方のみを生成し、最終的な出力補間画像ＩＰＰＩＣに反映させるようにしても良い。

（Ｂ−４）上記の実施形態では、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分より上方にある視点からの垂直画像を適用するものを示した。しかし、上述した線分より下方にある視点からの垂直画像を適用するようにしても良く、また、上述した線分より上方にある視点からの垂直画像及び上述した線分より下方にある視点からの垂直画像の両方を適用するようにしても良い。

後者の場合から明らかなように、最終的な出力補間画像ＩＰＰＩＣに反映される垂直方向補間画像の数は１や２に限定されるものではなく、垂直方向補間画像の数がＮ（Ｎは自然数）であっても良い。

（Ｂ−５）上記の実施形態では、複数の補間画像（水平方向補間画像及び垂直方向補間画像）の単純な平均で出力補間画像を生成する場合を例示した。しかし、平均処理部は、動的な重み係数を適用した複数の補間画像の重み付け平均で出力補間画像を生成するようにしても良い。また、平均処理部は、固定の重み係数を適用した複数の補間画像の重み付け平均で出力補間画像を生成するようにしても良い。例えば、補間画像を生成する元となった画像（水平方向補間画像であれば第２の水平画像）の視点と仮想視点との距離に応じて、固定の重み係数を定めるようにしても良い。

（Ｂ−６）上記の実施形態の動作説明では、水平方向処理部１１０の動作、第１の垂直方向処理部１２０の動作、第２の垂直方向処理部１３０の動作がこの順で実行される場合を示した。しかし、動作の順序は、これに限定されるものではない。また、水平方向処理部１１０の動作、第１の垂直方向処理部１２０の動作、第２の垂直方向処理部１３０の動作の２つ以上の動作が、並列処理により実行されるものであっても良い。また例えば、水平方向処理部１１０において水平方向視差ベクトルを求めた後、第１の垂直方向処理部１２０において第１の垂直方向視差ベクトルを求め、さらに、第２の垂直方向処理部１３０において第２の垂直方向視差ベクトルを求め、その後に、内挿ベクトルの算出、第１のシフトベクトルの算出、第２のシフトベクトルの算出をこの順序で実行するように、水平方向処理部１１０の動作、第１の垂直方向処理部１２０の動作、第２の垂直方向処理部１３０の動作を細分化し、時分割で巡回的に実行させるようにしても良い。

（Ｂ−７）上記の実施形態は、仮想視点が１個の場合を示したが、仮想視点が２以上あって、仮想視点画像生成装置が多視点画像生成システムを構成するものであっても良い。例えば、ステレオ画像としての２つの仮想視点画像を生成するようにしても良い。この場合において、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分より上方にある視点からの第１の垂直画像と上述した線分より下方にある視点からの第２の垂直画像の両方を適用するようにしても良い。図７は、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分を３等分し、線分上の１／３の位置と２／３の位置に第１及び第２の仮想視点を定め、第１の垂直画像の視点が第１の仮想視点の上方に位置し、第２の垂直画像の視点が第２の仮想視点の下方に位置する例を示している。このように、２つの垂直画像の視点を上下に設定することにより、１／３間隔の補間を、高精度に行なうことができる。

（Ｂ−８）上記の実施形態の説明では、ブロック毎に水平方向マッチング度を出力するように説明したが、画素毎にマッチング度を出力するようにしても良い。

（Ｂ−９）上記の実施形態では、仮想視点が、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分上にあり、補間（内挿）により水平方向補間画像を生成する場合を示した。しかし、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分の延長上に仮想視点が位置し、外挿により水平方向の画像を生成する場合にも、本発明の技術思想を適用することができる。用語「補間」は内挿を表す用語であるが、特許請求の範囲における「補間」は内挿及び外挿の双方を意味するものとする。

１００…仮想視点画像生成装置、
１１０、…水平方向処理部、１１１…水平方向一致ブロック探索部、１１２…内挿ベクトル算出部、１１３…水平方向補間画像生成部、
１２０、１３０…垂直方向処理部、１２１、１３１…探索範囲決定部、１２２、１３２…垂直方向一致ブロック探索部、１２３、１３３…シフトベクトル算出部、１２４、１３４…垂直方向補間画像生成部、
１４１…平均処理部。

Claims (10)

1. 第１の入力画像及び第２の入力画像と、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定された仮想視点の位置とから、上記仮想視点の位置から撮影したと仮定した場合の水平方向補間画像を生成するものであって、上記第１の入力画像と上記第２の入力画像との間で、一致又は類似するブロック又は画素を探索し、少なくとも、その関係を表す水平方向視差ベクトルを出力する水平方向処理部と、
   少なくとも、上記水平方向視差ベクトルから、水平方向の探索範囲を決定し、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定された上記仮想視点と水平方向に同じで垂直方向に異なる視点から撮影された垂直画像と、上記第１の入力画像と上記第２の入力画像とのいずれか又は両方の入力画像とから、上記仮想視点の位置から撮影したと仮定した場合の垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、
   上記水平方向補間画像と上記垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部と
   を備えることを特徴とする仮想視点画像生成装置。
2. 上記垂直方向処理部が、
   少なくとも、上記水平方向視差ベクトルから、水平方向の探索範囲を決定する探索範囲決定部と、
   水平方向の探索範囲を上記探索範囲決定部により決定された上記水平方向の探索範囲に制限して、上記第１の入力画像又は上記第２の入力画像と垂直画像との間で、一致または類似する、ブロック又は画素を探索し、その関係を表す垂直方向視差ベクトルを出力する垂直方向一致ブロック探索部と、
   当該垂直方向視差ベクトルのうち、水平成分を０としたベクトルをシフトベクトルとして出力することを特徴とするシフトベクトル算出部と、
   当該シフトベクトルと当該垂直画像とから、上記仮想視点の位置における垂直方向補間画像を生成する垂直方向補間画像生成部と
   を備えることを特徴とする請求項１に記載の仮想視点画像生成装置。
3. 着目する上記第１の入力画像から上記第２の入力画像を参照したときの水平方向視差ベクトルをｖ、補間したい仮想視点の位置を表すパラメータをｃ、予め定める０以上のパラメータをｒ、上記第１の入力画像のオブジェクトの位置が、上記仮想視点における垂直画像のオブジェクトの位置から見たときの相対的な位置関係を表わす符号パラメータをｓとすると、
   上記探索範囲決定部が、下記の（Ａ）式に従って上記水平方向の探索範囲αを算出することを特徴とする請求項２に記載の仮想視点画像生成装置。
   α∈［ｓｃｖ−ｒ，ｓｃｖ＋ｒ］ …（Ａ）
4. 着目する上記第１の入力画像から上記第２の入力画像を参照したときの水平方向視差ベクトルをｖ、注目しているブロック又は画素の近隣のブロック又は画素の水平方向視差ベクトルをｖ_ｋ、近隣のブロック又は画素の数をｎ、補間したい仮想視点の位置を表すパラメータをｃ、予め定める０以上のパラメータをｒ、上記第１の入力画像のオブジェクトの位置が、上記仮想視点における垂直画像のオブジェクトの位置から見たときの相対的な位置関係を表わす符号パラメータをｓとすると、
   上記探索範囲決定部が、下記の（Ｂ）式に従って上記水平方向の探索範囲αを算出することを特徴とする請求項２に記載の仮想視点画像生成装置。
   α∈［ｓｃｖ−ｒ，ｓｃｖ＋ｒ］∪［ｓｃｖ_１−ｒ，ｓｃｖ_１＋ｒ］
   ∪［ｓｃｖ_２−ｒ，ｓｃｖ_２＋ｒ］
   ∪．．．
   ∪［ｓｃｖ_ｋ−ｒ，ｓｃｖ_ｋ＋ｒ］
   ∪．．．
   ∪［ｓｃｖ_ｎ−ｒ，ｓｃｖ_ｎ＋ｒ］…（Ｂ）
5. 上記水平方向処理部が、上記水平方向視差ベクトルと、上記第１の入力画像と上記第２の入力画像との間で、一致又は類似するブロック又は画素を探索し、探索された要素に係る水平方向マッチング度とを出力するものであり、
   上記探索範囲決定部が、上記水平方向視差ベクトルと、上記水平方向マッチング度とから、上記水平方向の探索範囲を決定する
   ことを特徴とする請求項２に記載の仮想視点画像生成装置。
6. 着目する上記第１の入力画像から上記第２の入力画像を参照したときの水平方向視差ベクトルをｖ、注目しているブロック又は画素の近隣のブロック又は画素の水平方向視差ベクトルをｖ_ｋ、近隣のブロック又は画素の数をｎ、補間したい仮想視点の位置を表すパラメータをｃ、予め定める０以上のパラメータをｒ、上記第１の入力画像のオブジェクトの位置が、上記仮想視点における垂直画像のオブジェクトの位置から見たときの相対的な位置関係を表わす符号パラメータをｓとすると、
   上記探索範囲決定部が、
   上記水平方向マッチング度が閾値以上の場合、（Ｃ）式に従って上記水平方向の探索範囲αを算出し、上記水平方向マッチング度が閾値未満の場合、（Ｄ）式に従って、上記水平方向の探索範囲αを算出することを特徴とする請求項５に記載の仮想視点画像生成装置。
   α∈［ｓｃｖ−ｒ，ｓｃｖ＋ｒ］…（Ｃ）
   α∈［ｓｃｖ_１−ｒ，ｓｃｖ_１＋ｒ］∪［ｓｃｖ_２−ｒ，ｓｃｖ_２＋ｒ］
   ∪．．．
   ∪［ｓｃｖ_ｋ−ｒ，ｓｃｖ_ｋ＋ｒ］
   ∪．．．
   ∪［ｓｃｖ_ｎ−ｒ，ｓｃｖ_ｎ＋ｒ］…（Ｄ）
7. 上記水平方向処理部は、
   上記第１の入力画像と上記第２の入力画像との間で、一致または類似する、ブロックまたは画素を探索し、その関係を表す水平方向視差ベクトルを出力する水平方向一致ブロック探索部と、
   当該水平方向視差ベクトルと上記仮想視点の位置から内挿ベクトルを求める内挿ベクトル算出部と、
   当該内挿ベクトルと、上記第１の入力画像と上記第２の入力画像とのいずれか又は両方の入力画像とから、水平方向補間画像を生成する水平方向補間画像生成部と
   を備えることを特徴とする請求項１〜６のいずれかに記載の仮想視点画像生成装置。
8. 上記垂直方向処理部として、第１の垂直方向処理部と第２の垂直方向処理部とを備え、
   上記第１の垂直方向処理部には上記第１の入力画像が入力され、上記第２の垂直方向処理部には上記第２の入力画像が入力され、
   上記補間画像統合部は、上記水平方向補間画像と、上記第１の垂直方向処理部が得た第１の垂直方向補間画像と、上記第２の垂直方向処理部が得た第２の垂直方向補間画像とを統合して最終的な仮想視点画像を生成する
   ことを特徴とする請求項１〜７のいずれかに記載の仮想視点画像生成装置。
9. 上記仮想視点として、第１の仮想視点と、第２の仮想視点とが設定され、
   上記第１の仮想視点についての仮想視点画像を、上記第１の入力画像、上記第２の入力画像及び第１の垂直画像から生成し、
   上記第２の仮想視点についての仮想視点画像を、上記第１の入力画像、上記第２の入力画像及び第２の垂直画像から生成し、
   上記第１の垂直画像は、その視点が、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線より上方に設けられたものであり、
   上記第２の垂直画像は、その視点が、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線より下方に設けられたものである
   ことを特徴とする請求項１〜８のいずれかに記載の仮想視点画像生成装置。
10. コンピュータを、
    第１の入力画像及び第２の入力画像と、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定された仮想視点の位置とから、上記仮想視点の位置から撮影したと仮定した場合の水平方向補間画像を生成するものであって、上記第１の入力画像と上記第２の入力画像との間で、一致又は類似するブロック又は画素を探索し、少なくとも、その関係を表す水平方向視差ベクトルを出力する水平方向処理部と、
    少なくとも、上記水平方向視差ベクトルから、水平方向の探索範囲を決定し、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定された上記仮想視点と水平方向に同じで垂直方向に異なる視点から撮影された垂直画像と、上記第１の入力画像と上記第２の入力画像とのいずれか又は両方の入力画像とから、上記仮想視点の位置から撮影したと仮定した場合の垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、
    上記水平方向補間画像と上記垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部と
    して機能させることを特徴とする仮想視点画像生成プログラム。

Images