JP6536077B2 - 仮想視点画像生成装置及びプログラム - Google Patents

Description

本発明は仮想視点画像生成装置及びプログラムに関し、特に、２以上の視点位置で撮影された複数の画像から、仮想の視点位置で撮影したときに得られるだろう画像を生成する場合に好適なものである。

近年、視聴者の目の動きに追従して、表示視点を変更する表示装置や、２視点以上の映像を同時に投射する表示装置など、両眼視差や運動視差により、視聴者に立体感を提供する表示装置が注目を集めている。

このような表示装置では、撮影する視点間の距離の小ささが主観品質に大きな影響を与える場合が多く、可能な限り視点間の距離を縮めることが求められる。静止画ではなく動画を撮影したい場合、視点間の距離を縮めるにはカメラモジュールの小型化が必要になる。しかし、カメラモジュールの小型化には、撮影可能な解像度の低下や、レンズ性能の低下、設計製造コストの増加などのトレードオフが存在する。また、多くの視点で撮影を行なうと、視点数に比例して、動画のデータ量も増加するという問題もある。

そのため、限られた視点で撮影された画像（以下、実撮影画像と呼ぶこともある）から、例えば、カメラモジュールを設置できないような、実撮影画像に係る複数の視点の中間の視点（仮想視点）で撮影された画像（以下、仮想視点画像と呼ぶこともある）を推定して生成する技術が求められる。

特許文献１では、２つの視点で撮影された２枚の画像から、仮想視点画像を生成する技術を提案している。特許文献１の記載技術は、実撮影画像間で対応するブロック又は画素を探索し、そこから内挿ベクトルを求めることで、仮想視点画像としての補間画像を生成する。

非特許文献１では、フレーム間を補間し、フレームレートを向上させる技術を提案している。非特許文献１の記載技術を視点補間に応用することも容易に想定できる。

詳細な処理内容は特許文献１の記載技術と非特許文献１の記載技術とで異なるが、対応するブロック又は画素の探索と、補間する視点（仮想視点）に対応するベクトルの算出と、ベクトルを用いた補間画像（仮想視点画像）の生成からなる、ということは、特許文献１の記載技術と非特許文献１の記載技術とで共通している。

図８は、２つの視点で撮影された２枚の画像から仮想視点画像を生成する、上述した共通の記載技術の構成を書き出したブロック図である。この図８に示す装置（以下、従来の仮想視点画像生成装置と呼ぶ）の構成は、第１の入力画像ＰＩＣ１、第２の入力画像ＰＩＣ２及び仮想視点位置ＶＰＶを入力とし、補間画像ＩＰＰＩＣ０を出力する。

従来の仮想視点画像生成装置１０へ入力される第１の入力画像ＰＩＣ１及び第２の入力画像ＰＩＣ２は、垂直方向が同じで水平方向が異なる実撮影画像であり、第１の入力画像ＰＩＣ１の視点と第２の入力画像ＰＩＣ２との視点とを結ぶ線分上に仮想視点位置ＶＰＶが指定される。従って、従来の仮想視点画像生成装置１０は、図９に示すように、第１の入力画像ＰＩＣ１及び第２の入力画像ＰＩＣ２に対し、仮想視点位置ＶＰＶに応じて水平方向に補間して補間画像（仮想視点画像）ＩＰＰＩＣ０を得る水平方向処理部１１０から構成されている。

水平方向処理部１１０は、第１の入力画像ＰＩＣ１と第２の入力画像ＰＩＣ２の間で、一致又は類似する、ブロック（又は画素）を探索し、水平方向視差ベクトルを出力する水平方向一致ブロック探索部１１１と、水平方向視差ベクトルと仮想視点位置と実撮影画像の視点位置とから内挿ベクトルを求める内挿ベクトル算出部１１２と、内挿ベクトルと第２の入力画像ＰＩＣ２とから水平方向補間画像（仮想視点画像）ＩＰＰＩＣ０を生成する水平方向補間画像生成部１１３とを有する（各部１１１、１１２、１１３の詳細な機能については後述する「第１の実施形態の項」に記載している）。

特開２０１４−７２８０１号公報

Ｊ．Ａｓｃｅｎｓｏ，Ｃ．Ｂｒｉｔｅｓ，ａｎｄ Ｆ．Ｐｅｒｅｉｒａ，"Ｉｍｐｒｏｖｉｎｇ ｆｒａｍｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｗｉｔｈ ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｓｍｏｏｔｈｉｎｇ ｆｏｒ ｐｉｘｅｌ ｄｏｍａｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ，"５ｔｈ ＥＵＲＡＳＩＰ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，２００５．

しかしながら、従来の仮想視点画像生成装置１０では、第１の入力画像ＰＩＣ１と第２の入力画像ＰＩＣ２の間でブロック（又は画素）ごとの対応付けを行うと、オクルージョンの存在や、第１の入力画像ＰＩＣ１及び第２の入力画像ＰＩＣ２間の照明の違いなどが理由で、対応付けに誤りが発生する。ブロック（又は画素）ごとの対応付けの誤りは、生成される補間画像の歪に繋がる。また、オクルージョンが発生している領域について、仮に、正しくオクルージョン領域を検出できたとしても、補間画像で、同領域に属する画素の値をどのように設定すれば良いかを２視点間から正確に決定することは困難であり、画素値の設定の誤りが補間画像の歪となって現れる。

そのため、生成された仮想視点画像における歪を小さくできる仮想視点画像生成装置及びプログラムが望まれている。

第１の本発明は、第１の入力画像及び第２の入力画像と仮想視点の位置とから水平方向補間画像を生成する水平方向処理部を備える仮想視点画像生成装置において、（１）上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線から、垂直方向にずれた視点から撮影された垂直画像と、上記第１の入力画像及び上記第２の入力画像の一方の入力画像とから、垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、（２）上記水平方向補間画像と上記垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部とを備え、（３）上記仮想視点の位置は、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定され、上記水平方向補間画像及び上記垂直方向補間画像の視点位置は、上記仮想視点の位置から撮影したと仮定した場合の視点位置であり、上記垂直画像は、上記仮想視点の位置と水平方向に同じで垂直方向に異なる位置に、当該垂直画像の視点が設定された画像であることを特徴とする。

第２の本発明の仮想視点画像生成プログラムは、コンピュータを、（１）第１の入力画像及び第２の入力画像と仮想視点の位置とから水平方向補間画像を生成する水平方向処理部と、（２）上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線から、垂直方向にずれた視点から撮影された垂直画像と、上記第１の入力画像及び上記第２の入力画像の一方の入力画像とから、垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、（３）上記水平方向補間画像と上記垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部として機能させ、（４）上記仮想視点の位置は、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定され、上記水平方向補間画像及び上記垂直方向補間画像の視点位置は、上記仮想視点の位置から撮影したと仮定した場合の視点位置であり、上記垂直画像は、上記仮想視点の位置と水平方向に同じで垂直方向に異なる位置に、当該垂直画像の視点が設定された画像であることを特徴とする。

本発明によれば、第１及び第２の入力画像より垂直方向にずれた垂直画像をも適用して仮想視点画像を生成するので、仮想視点画像における歪を小さくできる仮想視点画像生成装置及びプログラムを実現できる。

第１の実施形態の仮想視点画像生成装置の構成を示すブロック図である。 第１の実施形態の仮想視点画像生成装置への入力画像の視点と仮想視点との位置関係の説明図である。 第１の実施形態の仮想視点画像生成装置における垂直方向の補間方法の説明図である。 第１の実施形態の仮想視点画像生成装置における動作の流れを示すフローチャートである。 第２の実施形態の仮想視点画像生成装置の構成を示すブロック図である。 第２の実施形態の仮想視点画像生成装置における動作の流れを示すフローチャートである。 変形実施形態の仮想視点画像生成装置への入力画像の視点と仮想視点との位置関係の説明図である。 従来の仮想視点画像生成装置の構成を示すブロック図である。 従来の仮想視点画像生成装置への入力画像の視点と仮想視点との関係の説明図である。

（Ａ）第１の実施形態
以下、本発明による仮想視点画像生成装置及びプログラムの第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の仮想視点画像生成装置１００の構成を示すブロック図である。なお、図１において、上述した図８との同一、対応部分には同一符号を付して示している。

第１の実施形態の仮想視点画像生成装置１００は、ハードウェア的な各種構成要素を接続して構築されたものであっても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどのプログラムの実行構成を適用してその機能を実現するように構築されたものであっても良い。いずれの構築方法を適用した場合であっても、仮想視点画像生成装置１００の機能的な詳細構成を、図１で表すことができる。

仮想視点画像生成装置１００は、水平方向処理部１１０、第１の垂直方向処理部１２０、第２の垂直方向処理部１３０及び平均処理部１４１を有する。

水平方向処理部１１０は、水平方向一致ブロック探索部１１１、内挿ベクトル算出部１１２及び水平方向補間画像生成部１１３を有する。

第１の垂直方向処理部１２０は、第１の垂直方向一致ブロック探索部１２１、第１のシフトベクトル算出部１２２及び第１の垂直方向補間画像生成部１２３を有する。同様に、第２の垂直方向処理部１３０は、第２の垂直方向一致ブロック探索部１３１、第２のシフトベクトル算出部１３２及び第２の垂直方向補間画像生成部１３３を有する。

第１の実施形態の仮想視点画像生成装置１００には、それぞれ視点位置が予め定まっている（例えば、カメラモジュールの配置によって予め定まっている）、第１の入力画像（以下、第１の水平画像と呼ぶ）ＰＩＣ１、第２の入力画像（以下、第２の水平画像と呼ぶ）ＰＩＣ２及び第３の入力画像（以下、垂直画像と呼ぶ）ＰＩＣ３が入力される。各入力画像ＰＩＣ１〜ＰＩＣ３はそれぞれ、左上を原点とし、原点を通る水平方向であって右側を正とするｘ座標の値と、原点を通る垂直方向であって下側を正とするｙ座標の値とで位置を特定する画像となっている（図３参照）。第１の水平画像ＰＩＣ１に係る視点及び第２の水平画像ＰＩＣ２に係る視点は垂直方向に同じで水平方向に異なっている。仮想視点位置ＶＰＶは、図２に示すように、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の視点間を結ぶ線分上で指定される。垂直画像ＰＩＣ３に係る視点（の位置）は、図２に示すように、仮想視点位置ＶＰＶと水平方向に同じで垂直方向に異なっている。

水平方向処理部１１０には、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２と、仮想視点位置ＶＰＶとが入力される。水平方向処理部１１０は、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２から、仮想視点位置ＶＰＶから撮影したと仮定した場合の補間画像（以下、水平方向補間画像と呼ぶ）ＨＰＩＣを生成して平均処理部１４１に与えるものである。水平方向処理部１１０における各部（１１１〜１１３）は以下のように作用する。

水平方向一致ブロック探索部１１１は、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２の間で、一致又は類似（以下、「対応」と表現する）のブロック（又は画素）を探索し、水平方向視差ベクトルを得て出力するものである。水平方向視差ベクトルは、例えば、対応するブロック（又は画素）間の水平方向のずれ量（大きさ）を、第２の水平画像ＰＩＣ２におけるブロック（又は画素）の位置を始点とし、第１の水平画像ＰＩＣ１における対応するブロック（又は画素）の位置を終点としたベクトルとなっている。

内挿ベクトル算出部１１２は、各ブロック（又は画素）についての水平方向視差ベクトルに対する按分処理により、各ブロック（又は画素）についての内挿ベクトルを求めるものである。第１の水平画像ＰＩＣ１の視点と第２の水平画像ＰＩＣ２の視点との距離をＬ_１２とし、仮想視点（仮想視点位置）と第２の水平画像ＰＩＣ２の視点との距離をＬ_Ｖ２とすると、内挿ベクトル算出部１１２は、水平方向視差ベクトルに、Ｌ_１２／Ｌ_Ｖ２を乗算することにより、内挿ベクトルを求める。

水平方向補間画像生成部１１３は、第２の水平画像ＰＩＣ２における各ブロック（又は画素）の画像内容を、そのブロック（又は画素）についての内挿ベクトルだけ移動して水平方向補間画像ＨＰＩＣのブロック（又は画素）を生成し、このような移動動作を全てのブロック（又は画素）について実行することにより水平方向補間画像ＨＰＩＣを生成する。

第１の垂直方向処理部１２０には、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３が入力される。第１の垂直方向処理部１２０は、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３から、仮想視点位置ＶＰＶから撮影したと仮定した場合の補間画像（以下、第１の垂直方向補間画像と呼ぶ）ＶＰＩＣ１を生成して平均処理部１４１に与えるものである。

以下、第１の垂直方向処理部１２０における各部（１２１〜１２３）の作用を、図３を参照しながら説明する。図３は、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３から、第１の垂直方向補間画像ＶＰＩＣ１を生成する方法の説明図である。図３における「三角形」は被写体の画像部分を表している。

第１の垂直方向一致ブロック探索部１２１は、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３の間で、対応するブロック（又は画素）を探索し、第１の垂直方向視差ベクトルを出力するものである。第１の垂直方向視差ベクトルは、例えば、ブロックマッチングアルゴリズム等によって求められる。第１の垂直方向視差ベクトルは、対応するブロック（又は画素）間のずれ量（大きさ）を、垂直画像ＰＩＣ３におけるブロック（又は画素）の位置を始点とし、第１の水平画像ＰＩＣ１における対応するブロック（又は画素）の位置を終点としたベクトルとなっている。図３におけるブロックＢＲ１は、垂直画像ＰＩＣ３におけるブロックであり、このブロックＢＲ１に対応する、第１の水平画像ＰＩＣ１におけるブロックがブロックＢＲ２となっている。そのため、ブロックＢＲ１についての第１の垂直方向視差ベクトルＶＴＲ１は、ブロックＢＲ１の中心からブロックＢＲ２の中心を結ぶベクトルとなる。

第１のシフトベクトル算出部１２２は、各ブロック（又は画素）についての第１の垂直方向視差ベクトルの垂直方向の成分ベクトルを取り出すことにより第１のシフトベクトルを得るものである。図３に示すように、第１の垂直方向視差ベクトルＶＴＲ１の成分を（ｘ，ｙ）＝（α，β）とすると、第１のシフトベクトルＶＴＲ２の成分は（ｘ，ｙ）＝（０，β）となる。

第１の垂直方向補間画像生成部１２３は、垂直画像ＰＩＣ３における各ブロック（又は画素）の画像内容を、そのブロック（又は画素）についての第１のシフトベクトルＶＴＲ２だけ移動して第１の垂直方向補間画像ＶＰＩＣ１におけるブロック（又は画素）を形成し、このような動作を全てのブロック（又は画素）について実行することにより、第１の垂直方向補間画像ＶＰＩＣ１を生成する。図３に示すブロックＢＲ１の画像内容を第１のシフトベクトルＶＴＲ２だけ移動したブロックＢＲ３が、第１の垂直方向補間画像ＶＰＩＣ１におけるブロックＢＲ１に対応するブロック（補間ブロック）となっている。

第１の垂直方向処理部１２０は、第１の水平画像ＰＩＣ１及び垂直画像ＰＩＣ３から第１の垂直方向補間画像ＶＰＩＣ１を生成するものであったが、第２の垂直方向処理部１３０は、第２の水平画像ＰＩＣ２及び垂直画像ＰＩＣ３から第２の垂直方向補間画像ＶＰＩＣ２を生成するものである。処理に供する一方の入力画像が、第１の垂直方向処理部１２０と第２の垂直方向処理部１３０とで異なるが、第２の垂直方向処理部１３０における各部（１３１〜１３３）は、第１の垂直方向処理部１２０における対応する各部（１２１〜１２３）と同様に作用するので、その機能説明は省略する。

平均処理部１４１は、補間画像統合部として設けられたものであり、水平方向補間画像ＨＰＩＣ、第１の垂直方向補間画像ＶＰＩＣ１及び第２の垂直方向補間画像ＶＰＩＣ２を統合して最終的に出力する補間画像（仮想視点画像）ＩＰＰＩＣを得るものである。平均処理部１４１は、統合処理として平均処理を適用することによって、出力補間画像（仮想視点画像）ＩＰＰＩＣを得る。第１の実施形態における平均処理は、単純な平均処理である（後述する第２の実施形態は、動的な重み付け係数を適用した重み付け平均である）。平均処理部１４１が単純な平均処理を適用する場合であれば、平均処理部１４１は、座標系（図３参照）のある座標における、水平方向補間画像ＨＰＩＣの画素値をＰ、第１の垂直方向補間画像ＶＰＩＣ１の画素値をＱ１、第２の垂直方向補間画像ＶＰＩＣ２の画素値をＱ２とすると、出力補間画像ＩＰＰＩＣの画素値Ｒを（１）式に従って算出する。
Ｒ＝（Ｐ＋Ｑ１＋Ｑ２）／３ …（１）

（Ａ−２）第１の実施形態の動作
次に、以上のような各部を有する第１の実施形態の仮想視点画像生成装置１００の動作を説明する。

図４は、第１の実施形態の仮想視点画像生成装置１００における動作の流れを示すフローチャートである。

まず、水平方向処理部１１０内の水平方向一致ブロック探索部１１１において、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２とから、水平方向視差ベクトルが求められる（ステップＳ１０１）。次に、内挿ベクトル算出部１１２において、水平方向視差ベクトルと仮想視点位置とから、内挿ベクトルが求められる（ステップＳ１０２）。さらに、水平方向補間画像生成部１１３において、内挿ベクトルと第２の水平画像ＰＩＣ２とから、水平方向補間画像ＨＰＩＣが求められる（ステップＳ１０３）。

また、第１の垂直方向処理部１２０内の第１の垂直方向一致ブロック探索部１２１において、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３とから、第１の垂直方向視差ベクトルが求められる（ステップＳ１０４）。次に、第１のシフトベクトル算出部１２２において、第１の垂直方向視差ベクトルから、第１のシフトベクトルが求められる（ステップＳ１０５）。さらに、第１の垂直方向補間画像生成部１２３において、第１のシフトベクトルと垂直画像ＰＩＣ３とから、第１の垂直方向補間画像ＶＰＩＣ１が生成される（ステップＳ１０６）。

第２の垂直方向処理部１３０においても、第１の垂直方向処理部１２０と同様な動作が実行され、第２の垂直方向補間画像ＶＰＩＣ２が生成される（ステップＳ１０７）。すなわち、第２の垂直方向一致ブロック探索部１３１において、第２の水平画像ＰＩＣ２と垂直画像ＰＩＣ３とから、第２の垂直方向視差ベクトルが求められ、次に、第２のシフトベクトル算出部１３２において、第２の垂直方向視差ベクトルから、第２のシフトベクトルが求められ、さらに、第２の垂直方向補間画像生成部１３３において、第２のシフトベクトルと垂直画像ＰＩＣ３とから、第２の垂直方向補間画像ＶＰＩＣ２が生成される。

最後に、平均処理部１４１において、水平方向補間画像ＨＰＩＣと、第１の垂直方向補間画像ＶＰＩＣ１と、第２の垂直方向補間画像ＶＰＩＣ２とから、平均処理により、出力補間画像ＩＰＰＩＣが求められる（ステップＳ１０８）。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、仮想視点より垂直方向にずれた視点で撮影された垂直画像（第３の入力画像）をも用いて出力補間画像を生成するようにしたので、オクルージョンの存在や照明の違い等が理由で、発生する補間画像の歪を低減することができる。

具体的に言えば、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２間で対応付けできない領域でも、垂直方向に異なる垂直画像との間であれば対応付けできる可能性は高い。逆に、垂直画像との間で対応付けできない領域でも、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２間では対応付けできる可能性がある。水平方向補間画像及び垂直方向補間画像の平均処理により、双方の長所を取り入れることで、オクルージョンの存在や照明の違い等が理由で、発生する補間画像の歪を低減することができる。

（Ｂ）第２の実施形態
次に、本発明による仮想視点画像生成装置及びプログラムの第２の実施形態を、図面を参照しながら説明する。

（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態の仮想視点画像生成装置１００Ａの構成を示すブロック図である。なお、図５において、第１の実施形態に係る上述した図１との同一、対応部分には同一、対応符号を付して示している。

第２の実施形態の仮想視点画像生成装置１００Ａは、水平方向処理部１１０Ａ、第１の垂直方向処理部１２０Ａ、第２の垂直方向処理部１３０Ａ及び補間画像統合部１４０を有する。

第２の実施形態における水平方向処理部１１０Ａも、水平方向一致ブロック探索部１１１Ａ、内挿ベクトル算出部１１２及び水平方向補間画像生成部１１３を有するが、水平方向一致ブロック探索部１１１Ａが、第１の実施形態のものと異なっている。

第２の実施形態の水平方向一致ブロック探索部１１１Ａも、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２の間で対応するブロック（又は画素）を探索し、水平方向視差ベクトルを得て出力する。第２の実施形態の水平方向一致ブロック探索部１１１Ａは、上述した探索時に算出している一致若しくは類似する度合を表す、探索されたブロックについてのマッチング度（以下、水平方向マッチング度と呼ぶ）を、後述する重み係数算出部１４２に出力する。また、第２の実施形態の場合、内挿ベクトル算出部１１２は、算出した内挿ベクトルを後述する重み係数算出部１４２に出力する。

水平方向マッチング度は、マッチングを計算する際（探索する際）に用いる誤差量であれば良く、例えば、探索をブロック単位で行う場合であれば、２つのブロックでの対応画素の画素値の差分２乗和や絶対値和等を適用でき、小さい値ほど類似度が大きいことを表すものとなっている。例えば、同一ブロック内の各画素には同一の水平方向マッチング度が付与される。水平方向マッチング度は、例えば、第２の水平画像ＰＩＣ２における画素位置毎に得られる。

第２の実施形態における第１の垂直方向処理部１２０Ａも、第１の垂直方向一致ブロック探索部１２１Ａ、第１のシフトベクトル算出部１２２及び第１の垂直方向補間画像生成部１２３を有するが、第１の垂直方向一致ブロック探索部１２１Ａが、第１の実施形態のものと異なっている。

第２の実施形態の第１の垂直方向一致ブロック探索部１２１Ａも、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３の間で、対応するブロック（又は画素）を探索し、第１の垂直方向視差ベクトルを得て出力する。第２の実施形態の第１の垂直方向一致ブロック探索部１２１Ａは、上述した探索時に算出している一致若しくは類似する度合を表す、探索されたブロックについてのマッチング度（以下、第１の垂直方向マッチング度と呼ぶ）を、後述する重み係数算出部１４２に出力する。また、第２の実施形態の場合、第１のシフトベクトル算出部１２２は、算出した第１のシフトベクトルを後述する重み係数算出部１４２に出力する。

第１の垂直方向マッチング度も、マッチングを計算する際（探索する際）に用いる誤差量であれば良く、例えば、探索をブロック単位で行う場合であれば、２つのブロックでの対応画素の画素値の差分２乗和や絶対値和等を適用できる。例えば、同一ブロック内の各画素には同一の第１の垂直方向マッチング度が付与される。第１の垂直方向マッチング度は、例えば、垂直画像ＰＩＣ３における画素位置毎に得られる。

第２の実施形態における第２の垂直方向処理部１３０Ａは、第１の垂直方向処理部１２０Ａと同様な構成を有する。第２の垂直方向処理部１３０Ａ内の第２の垂直方向一致ブロック探索部１３１Ａは、探索の際に得られた第２の垂直方向マッチング度を、後述する重み係数算出部１４２に出力し、第２のシフトベクトル算出部１３２は、算出した第２のシフトベクトルを後述する重み係数算出部１４２に出力する。

第２の実施形態の場合、補間画像統合部１４０は、平均処理部だけで構成されておらず、平均処理部１４１Ａ及び重み係数算出部１４２を有する。

第２の実施形態の平均処理部１４１Ａは、水平方向補間画像ＨＰＩＣ、第１の垂直方向補間画像ＶＰＩＣ１及び第２の垂直方向補間画像ＶＰＩＣ２を重み付け平均して出力補間画像ＩＰＰＩＣを生成するものである（後述する（６）式参照）。

重み係数算出部１４２は、水平方向マッチング度、第１の垂直方向マッチング度及び第２の垂直方向マッチング度等に基づいて、平均処理部１４１Ａが適用する重み係数を、以下に例示するようにして算出するものである。

例えば、ある画素位置（座標）における水平補間画像ＨＰＩＣの画素値をＰ、水平方向マッチング度をＬｐ、第１の垂直方向補間画像ＶＰＩＣ１の画素値をＱ１、第１の垂直方向マッチング度をＭｑ１、第２の垂直方向補間画像ＶＰＩＣ２の画素値をＱ２、第２の垂直方向マッチング度をＭｑ２とすると、以下の（２）式〜（４）式に従って、水平補間画像ＨＰＩＣの画素値についての重み係数Ｗｐ、第１の垂直方向補間画像ＶＰＩＣ１の画素値についての重み係数Ｗｑ１、第２の垂直方向補間画像ＶＰＩＣ２の画素値についての重み係数Ｗｑ２を算出する。（２）式〜（４）式におけるＳは、（５）式で計算される値である。（２）式〜（４）式は、マッチング度が小さい値ほど一致・類似度が大きいことを表す値になっていることを考慮した式となっている。すなわち、マッチング度が小さい値に対応する重み係数ほど値が大きくなる式となっている。
Ｗｐ＝（Ｓ−Ｌｐ）／Ｓ …（２）
Ｗｑ１＝（Ｓ−Ｍｑ１）／Ｓ …（３）
Ｗｑ２＝（Ｓ−Ｍｑ２）／Ｓ …（４）
Ｓ＝Ｌｐ＋Ｍｑ１＋Ｍｑ２ …（５）

ここで、（２）〜（５）式の演算に適用する水平方向マッチング度Ｌｐは、演算対象の画素位置（座標）から、内挿ベクトルの逆ベクトルだけずれた、第２の入力画像ＰＩＣ２における画素位置の水平方向マッチング度であり、（２）〜（５）式の演算に適用する第１の垂直方向マッチング度Ｍｑ１は、演算対象の画素位置（座標）から、第１のシフトベクトルの逆ベクトルだけずれた、垂直画像ＰＩＣ３における画素位置の第１の垂直方向マッチング度であり、（２）〜（５）式の演算に適用する第２の垂直方向マッチング度Ｍｑ２は、演算対象の画素位置（座標）から、第２のシフトベクトルの逆ベクトルだけずれた、垂直画像ＰＩＣ３における画素位置の第２の垂直方向マッチング度である。

第２の実施形態の平均処理部１４１Ａは、水平方向補間画像ＨＰＩＣの画素値をＰ、第１の垂直方向補間画像ＶＰＩＣ１の画素値をＱ１、第２の垂直方向補間画像ＶＰＩＣ２の画素値をＱ２とすると、出力補間画像ＩＰＰＩＣの画素値Ｒを（６）式に従って算出する。
Ｒ＝Ｗｐ・Ｐ＋Ｗｑ１・Ｑ１＋Ｗｑ２・Ｑ２ …（６）

（Ｂ−２）第２の実施形態の動作
次に、以上のような各部を有する第２の実施形態の仮想視点画像生成装置１００Ａの動作を説明する。

図６は、第２の実施形態の仮想視点画像生成装置１００Ａにおける動作の流れを示すフローチャートであり、第１の実施形態に係る図４との同一、対応ステップには同一、対応符号を付して示している。

まず、水平方向処理部１１０Ａ内の水平方向一致ブロック探索部１１１Ａにおいて、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２とから、水平方向視差ベクトルと水平方向マッチング度が求められる（ステップＳ１０１Ａ）。その後は第１の実施形態と同様に、内挿ベクトル算出部１１２において、水平方向視差ベクトルと仮想視点位置とから、内挿ベクトルが求められ（ステップＳ１０２）、また、水平方向補間画像生成部１１３において、内挿ベクトルと第２の水平画像ＰＩＣ２とから、水平方向補間画像ＨＰＩＣが求められる（ステップＳ１０３）。

また、第１の垂直方向処理部１２０Ａ内の第１の垂直方向一致ブロック探索部１２１において、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３とから、第１の垂直方向視差ベクトル及び第１の垂直方向マッチング度が求められる（ステップＳ１０４Ａ）。その後は第１の実施形態と同様に、第１のシフトベクトル算出部１２２において、垂直方向視差ベクトルから、第１のシフトベクトルが求められ（ステップＳ１０５）、また、第１の垂直方向補間画像生成部１２３において、第１のシフトベクトルと垂直画像ＰＩＣ３とから、第１の垂直方向補間画像ＶＰＩＣ１が生成される（ステップＳ１０６）。

第２の垂直方向処理部１３０Ａにおいても、第１の垂直方向処理部１２０Ａと同様な動作が実行され、第２の垂直方向補間画像ＶＰＩＣ２が生成されると共に、第２の垂直方向マッチング度が求められる（ステップＳ１０７Ａ）。すなわち、第２の垂直方向一致ブロック探索部１３１Ａにおいて、第２の水平画像ＰＩＣ２と垂直画像ＰＩＣ３とから、第２の垂直方向視差ベクトル及び第２の垂直方向マッチング度が求められ、次に、第２のシフトベクトル算出部１３２において、第２の垂直方向視差ベクトルから、第２のシフトベクトルが求められ、さらに、第２の垂直方向補間画像生成部１３３において、第２のシフトベクトルと垂直画像ＰＩＣ３とから、第２の垂直方向補間画像ＶＰＩＣ２が生成される。

次に、重み係数算出部１４２において、水平方向マッチング度、第１の垂直方向マッチング度及び第２の垂直方向マッチング度が適用されて、重み付け平均に適用される重み係数が求められる（ステップＳ１０９）。
そして最後に、平均処理部１４１Ａにおいて、水平方向補間画像ＨＰＩＣと、第１の垂直方向補間画像ＶＰＩＣ１と、第２の垂直方向補間画像ＶＰＩＣ２とから、重み係数を適用した重み付け平均処理により、出力補間画像ＩＰＰＩＣが求められる（ステップＳ１０８Ａ）。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、出力補間画像を生成する元となる水平方向補間画像、第１の垂直方向補間画像及び第２の垂直方向補間画像の品質に応じて、重み係数を適応的に変化させ、その重み係数を適用して平均処理をしているので、オクルージョンの存在や照明の違い等が理由で発生する補間画像の歪を、第１の実施形態以上に低減できることが期待できる。

（Ｃ）他の実施形態
上記各実施形態では、水平方向処理部１１０が、第２の水平画像ＰＩＣ２から水平方向補間画像ＨＰＩＣを生成する場合を示したが、水平方向補間画像ＨＰＩＣの生成方法はこれに限定されるものではない。要は、第１の水平画像ＰＩＣ１と第２の水平画像ＰＩＣ２と仮想視点位置ＶＰＶとから水平方向補間画像ＨＰＩＣを得られる生成方法であれば良い。例えば、第１の水平画像ＰＩＣ１から水平方向補間画像ＨＰＩＣを生成するようにしても良く、また、非特許文献１の記載技術のように、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の双方から水平方向補間画像ＨＰＩＣを生成するようにしても良い。

上記各実施形態では、第１の水平画像ＰＩＣ１と垂直画像ＰＩＣ３とから第１の垂直方向補間画像ＶＰＩＣ１を生成すると共に、第２の水平画像ＰＩＣ２と垂直画像ＰＩＣ３とから第２の垂直方向補間画像ＶＰＩＣ２を生成し、最終的な出力補間画像ＩＰＰＩＣに反映させるものを示したが、演算量削減のために、第１の垂直方向補間画像ＶＰＩＣ１及び第２の垂直方向補間画像ＶＰＩＣ２の一方のみを生成し、最終的な出力補間画像ＩＰＰＩＣに反映させるようにしても良い。

上記各実施形態では、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分より上方にある視点からの垂直画像を適用するものを示したが、上述した線分より下方にある視点からの垂直画像を適用するようにしても良く、また、上述した線分より上方にある視点からの垂直画像及び上述した線分より下方にある視点からの垂直画像の両方を適用するようにしても良い。

後者の場合から明らかなように、最終的な出力補間画像ＩＰＰＩＣに反映される垂直方向補間画像の数は１や２に限定されるものではない。上述した（３）式〜（６）式を、垂直方向補間画像の数がＮ（Ｎは自然数）である場合の一般式で記載すると、以下の（７）式〜（９）式で表すことができる（上述した（２）式はこの変形実施形態でも有効な式である）。なお、第ｉ（ｉは１〜Ｎのいずれか）の垂直方向補間画像ＶＰＩＣｉの画素値をＱｉ、第ｉの垂直方向マッチング度をＭｑｉ、第ｉの垂直方向補間画像ＶＰＩＣｉの重み係数をＷｑｉで表している。また、（８）式及び（９）式における総和Σはｉが１からＮについてである。
Ｗｑｉ＝（Ｓ−Ｍｑｉ）／Ｓ …（７）
Ｓ＝Ｌｐ＋ΣＭｑｉ …（８）
Ｒ＝Ｗｐ・Ｐ＋ΣＷｑｉ・Ｑｉ …（９）

上記第１の実施形態では複数の補間画像の単純な平均で出力補間画像を生成し、上記第２の実施形態では動的な重み係数を適用した複数の補間画像の重み付け平均で出力補間画像を生成するものを示したが、固定の重み係数を適用した複数の補間画像の重み付け平均で出力補間画像を生成するようにしても良い。例えば、補間画像を生成する元となった画像（水平方向補間画像であれば第２の水平画像）の視点と仮想視点との距離に応じて、固定の重み係数を定めるようにしても良い。

上記各実施形態の動作説明では、水平方向処理部１１０の動作、第１の垂直方向処理部１２０の動作、第２の垂直方向処理部１３０の動作がこの順で実行される場合を示したが、動作の順序は、これに限定されるものではない。また、水平方向処理部１１０の動作、第１の垂直方向処理部１２０の動作、第２の垂直方向処理部１３０の動作の２つ以上の動作が、並列処理により実行されるものであっても良い。また例えば、水平方向処理部１１０において水平方向視差ベクトルを求めた後、第１の垂直方向処理部１２０において第１の垂直方向視差ベクトルを求め、さらに、第２の垂直方向処理部１３０において第２の垂直方向視差ベクトルを求め、その後に、内挿ベクトルの算出、第１のシフトベクトルの算出、第２のシフトベクトルの算出をこの順序で実行するように、水平方向処理部１１０の動作、第１の垂直方向処理部１２０の動作、第２の垂直方向処理部１３０の動作を細分化し、時分割で巡回的に実行させるようにしても良い。

上記各実施形態は、仮想視点が１個の場合を示したが、仮想視点が２以上あって、仮想視点画像生成装置が多視点画像生成システムを構成するものであっても良い。例えば、ステレオ画像としての２つの仮想視点画像を生成するようにしても良い。この場合において、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分より上方にある視点からの第１の垂直画像と上述した線分より下方にある視点からの第２の垂直画像の両方を適用するようにしても良い。図７は、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分を３等分し、線分上の１／３の位置と２／３の位置に第１及び第２の仮想視点を定め、第１の垂直画像の視点が第１の仮想視点の上方に位置し、第２の垂直画像の視点が第２の仮想視点の下方に位置する例を示している。このように、２つの垂直画像の視点を上下に設定することにより、１／３間隔の補間を、高精度に行なうことができる。

上記第２の実施形態の説明では、画素毎にマッチング度を出力するように説明したが、ブロック毎にマッチング度を出力するようにしても良い。

上記各実施形態では、仮想視点が、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分上にあり、補間（内挿）により水平方向補間画像を生成する場合を示したが、第１の水平画像ＰＩＣ１及び第２の水平画像ＰＩＣ２の両視点を結ぶ線分の延長上に仮想視点が位置し、外挿により水平方向の画像を生成する場合にも、本発明の技術思想を適用することができる。用語「補間」は内挿を表す用語であるが、特許請求の範囲における「補間」は内挿及び外挿の双方を意味するものとする。

１００、１００Ａ…仮想視点画像生成装置、
１１０、１１０Ａ…水平方向処理部、
１１１、１１１Ａ…水平方向一致ブロック探索部、１１２…内挿ベクトル算出部、１１３…水平方向補間画像生成部、
１２０、１２０Ａ、１３０、１３０Ａ…垂直方向処理部、
１１１１Ａ２１Ａ、１３１、１３１Ａ…垂直方向一致ブロック探索部、１２２、１３２…シフトベクトル算出部、１２３、１３３…垂直方向補間画像生成部、
１４０…補間画像統合部、
１４１、１４１Ａ…平均処理部、１４２…重み係数算出部。

Claims (7)

1. 第１の入力画像及び第２の入力画像と仮想視点の位置とから水平方向補間画像を生成する水平方向処理部を備える仮想視点画像生成装置において、
   上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線から、垂直方向にずれた視点から撮影された垂直画像と、上記第１の入力画像及び上記第２の入力画像の一方の入力画像とから、垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、
   上記水平方向補間画像と上記垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部とを備え、
   上記仮想視点の位置は、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定され、
   上記水平方向補間画像及び上記垂直方向補間画像の視点位置は、上記仮想視点の位置から撮影したと仮定した場合の視点位置であり、
   上記垂直画像は、上記仮想視点の位置と水平方向に同じで垂直方向に異なる位置に、当該垂直画像の視点が設定された画像である
   ことを特徴とする仮想視点画像生成装置。
2. 上記垂直方向処理部として、第１の垂直方向処理部と第２の垂直方向処理部とを備え、
   上記第１の垂直方向処理部には上記第１の入力画像が入力され、上記第２の垂直方向処理部には上記第２の入力画像が入力され、
   上記補間画像統合部は、上記水平方向補間画像と、上記第１の垂直方向処理部が得た第１の垂直方向補間画像と、上記第２の垂直方向処理部が得た第２の垂直方向補間画像とを統合して最終的な仮想視点画像を生成する
   ことを特徴とする請求項１に記載の仮想視点画像生成装置。
3. 上記各垂直方向処理部は、
   自己への上記入力画像と上記垂直画像との間で、一致又は類似するブロック又は画素を探索し、その関係を表す垂直方向視差ベクトルを出力する垂直方向一致ブロック探索部と、
   当該垂直方向視差ベクトルのうち、水平成分を０としたベクトルをシフトベクトルとして出力するシフトベクトル算出部と、
   当該シフトベクトルと上記垂直画像とから、上記仮想視点位置における垂直方向補間画像を生成する垂直方向補間画像生成部とを備える
   ことを特徴とする請求項１又は２に記載の仮想視点画像生成装置。
4. 上記水平方向処理部は、上記第１の入力画像と上記第２の入力画像との間で、一致又は類似するブロック又は画素を探索し、探索された要素に係る水平方向マッチング度をブロック又は画素ごとに得て出力する水平方向一致ブロック探索部を内蔵し、
   上記各垂直方向処理部における上記垂直方向一致ブロック探索部は、探索された要素に係る垂直方向マッチング度をブロック又は画素ごとに得て出力し、
   上記補間画像統合部は、
   上記水平方向マッチング度と上記各垂直方向マッチング度から、上記水平方向補間画像や上記各垂直方向補間画像の信頼性を示す重み係数を算出する重み係数算出部と、
   上記水平方向補間画像及び上記各垂直方向補間画像を、算出された重み係数を適用した重み付け平均により統合する平均処理部とを備える
   ことを特徴とする請求項３に記載の仮想視点画像生成装置。
5. 上記水平方向補間画像の画素値をＰ、水平方向マッチング度をＬｐ、ｉ（ｉは１〜Ｎのいずれか；Ｎは自然数）番目の上記垂直方向補間画像の画素値をＱｉ、ｉ番目の垂直方向マッチング度をＭｑｉとすると、上記水平方向補間画像の重み係数Ｗｐ、ｉ番目の上記垂直方向補間画像の重み係数Ｗｑｉを、下記の（Ａ）式〜（Ｃ）式に従って算出することを特徴とする請求項４に記載の仮想視点画像生成装置。
   Ｓ＝Ｌｐ＋ΣＭｑｉ …（Ａ）
   Ｗｐ＝（Ｓ−Ｌｐ）／Ｓ …（Ｂ）
   Ｗｑｉ＝（Ｓ−Ｍｑｉ）／Ｓ …（Ｃ）
   ここで、（Ａ）式における総和Σはｉが１からＮについてである。
6. 仮想視点として、第１の仮想視点と、第２の仮想視点とが設定され、
   上記第１の仮想視点についての仮想視点画像を、上記第１の入力画像、上記第２の入力画像及び第１の垂直画像から生成し、
   上記第２の仮想視点についての仮想視点画像を、上記第１の入力画像、上記第２の入力画像及び第２の垂直画像から生成し、
   上記第１の垂直画像は、その視点が、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線より上方に設けられたものであり、
   上記第２の垂直画像は、その視点が、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線より下方に設けられたものである
   ことを特徴とする請求項１〜５のいずれかに記載の仮想視点画像生成装置。
7. コンピュータを、
   第１の入力画像及び第２の入力画像と仮想視点の位置とから水平方向補間画像を生成する水平方向処理部と、
   上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線から、垂直方向にずれた視点から撮影された垂直画像と、上記第１の入力画像及び上記第２の入力画像の一方の入力画像とから、垂直方向補間画像を生成する少なくとも１つの垂直方向処理部と、
   上記水平方向補間画像と上記垂直方向補間画像とを統合し、最終的な仮想視点画像を生成する補間画像統合部として機能させ、
   上記仮想視点の位置は、上記第１の入力画像及び上記第２の入力画像に係る両視点を通る直線上に設定され、
   上記水平方向補間画像及び上記垂直方向補間画像の視点位置は、上記仮想視点の位置から撮影したと仮定した場合の視点位置であり、
   上記垂直画像は、上記仮想視点の位置と水平方向に同じで垂直方向に異なる位置に、当該垂直画像の視点が設定された画像である
   ことを特徴とする仮想視点画像生成プログラム。

Images