JP6306952B2 - 中間視点画像生成装置、中間視点画像生成方法及びコンピュータプログラム - Google Patents

Description

本発明は、視点の異なる複数の画像を用いて、中間視点画像を生成する中間視点画像生成装置に関する。

あるシーンを複数の視点から撮影した画像を基にして、それら画像の視点の中間位置の視点からの画像（以下、中間視点画像という）を生成する手法として、Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇの手法が知られている。この手法は、対象シーンの３次元構造が未知であっても、高品質で写実性の高い任意視点画像を生成できる特徴がある。この手法を用いることにより、実際には撮影をしていない任意の視点からの画像を生成することが可能になる（例えば、非特許文献１参照）。

濱中智仁, 久保田彰, 羽鳥好律, "焦点の異なるステレオ画像からの中間視点画像の生成", 情報処理学会研究報, 2008(124) , 23-28, 2008.

しかしながら、特許文献１に記載の中間視点画像の生成方法にあっては、視点内挿の手法を用いているため、視点内挿のための画像間の対応づけが難しく、利用可能なシーンは、特徴点の対応がつきやすいもの等の限定されたものとなっているという問題がある。

本発明は、このような事情に鑑みてなされたもので、画像間の特徴点の対応づけが難しいようなシーンであっても中間視点画像を生成することができる中間視点画像生成装置を提供することを目的とする。

本発明は、処理対象となる複数の画像を入力する画像入力部と、入力された２枚の前記画像それぞれの特徴点を対応づける特徴点対応付け部と、対応づけされた前記特徴点から、２枚の前記画像を撮影したカメラのカメラパラメータを算出するカメラパラメータ算出部と、入力された２枚の前記画像に対して領域分割を行う領域分割部と、分割された前記領域に含まれる対応づけされた前記特徴点から、画素の対応づけを行う画素対応付け部と、対応づけられた前記画素を用いて、指定された中間視点位置の中間視点画像を生成する中間視点画像生成部とを備えることを特徴とする。

本発明は、前記画素対応付け部は、対応づけされた前記特徴点から、分割された前記領域の対応づけを行い、対応づけされた前記領域を内包する矩形の縦横比に基づき前記画素の対応づけを行うことを特徴とする。

本発明によれば、画像間の特徴点の対応づけが難しいようなシーンであっても中間視点画像を生成することができ、中間視点画像が利用可能なシーンの幅を広げることができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す中間視点画像生成装置が中間視点画像を生成する処理動作を示すフローチャートである。 入力された画像ａ、画像ｂの一例を示す図である。 領域分割を行った後の画像ａ、画像ｂを示す図である。 図２に示すステップＳ５の処理動作を示す説明図である。 図２に示すステップＳ６の処理動作を示す説明図である。 生成される中間視点画像の一例を示す図である。

以下、図面を参照して、本発明の一実施形態による中間視点画像生成装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、異なる視点で撮影した画像を少なくとも２枚入力する画像入力部である。符号２は、入力した画像に対して、画像処理を施すことにより、画像間の特徴づけを行う画像処理部である。符号３は、画像処理部２の出力に基づき中間視点画像を生成して出力する画像生成部である。図１に示す中間視点画像生成装置は、コンピュータ装置によって構成されていてもよい。

次に、図２を参照して、図１に示す中間視点画像生成装置が中間視点画像を生成する処理動作を説明する。図２は、図１に示す中間視点画像生成装置が中間視点画像を生成する処理動作を示すフローチャートである。

まず、画像入力部１は、外部から少なくとも２枚の処理対象画像を入力する（ステップＳ１）。ここで入力する処理対象画像は、視点が異なっている必要があるとともに、中間視点画像を生成すべき被写体が写っている必要がある。画像入力部１は、入力した処理対象画像を内部に保持する。

ここでは、入力された処理対象画像が２枚であるものとして説明する。画像入力部１には、図３に示す２枚の画像ａ、画像ｂ（画像ａ、画像ｂは実際にはカラー画像である）が入力されて保持されたものとする。図３は、入力された画像ａ、画像ｂの一例を示す図である。

次に、画像処理部２は、画像入力部１内に保持されている処理対象画像を読み出し、読み出した２枚の画像それぞれから、特徴点を抽出し、この特徴点の特徴量により抽出した特徴点の対応づけを行う（ステップＳ２）。

特徴点の対応づけは、参考文献１に記載の方法などの公知の方法を用いることができる。ステップＳ２において用いる手法は、公知の手法を用いるため、ここではその詳細な説明を省略する。

参考文献１「David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2, pp. 91-110, 2004」

次に、画像処理部２は、対応づけされた特徴点それぞれから、２枚の画像を撮影したカメラのカメラパラメータを算出する（ステップＳ３）。ステップＳ３では、以下のカメラパラメータを算出する。また、このカメラパラメータの算出は、参考文献２に記載の方法などの公知の算出方法を用いることができる。ここで用いる算出手法は、公知の算出方法を用いることができるため、ここではその詳細な説明を省略する。

参考文献２「Noah Snavely, Steven M. Seitz, Richard Szeliski. Photo Tourism: Exploring image collections in 3D. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2006), 2006.」

カメラパラメータとは、以下のものをいう。カメラパラメータには、外部パラメータ（回転、並進）と内部パラメータ（焦点距離、主点）がある。

ここで、回転Ｒは、世界座標におけるカメラに対する回転行列、並進ｔは、カメラに対する並進行列である。

焦点距離ｆ_ｘはカメラ光軸を原点とした光軸と互いに直行するｘｙ座標のｘ軸方向の焦点距離、焦点距離ｆ_ｙは同ｙ軸方向の焦点距離である。

主点（ｃ_ｘ，ｃ_ｙ）は前述の焦点距離を算出するための基準となる点の座標（カメラに搭載された複数枚のレンズを１枚のレンズとみなした場合、その仮想的なレンズの存在する位置の座標から焦点位置までが前述の焦点距離となる）を示す。

カメラパラメータは、画像ａ、画像ｂを撮影したカメラの位置（視点）それぞれについて、Ｉ_ａ：画像ａの内部パラメータ、Ｒ_ａ：画像ａの外部パラメータ（回転）、Ｔ_ａ：画像ａの外部パラメータ（並進）、Ｉ_ｂ：画像ｂの内部パラメータ、Ｒ_ｂ：画像ｂの外部パラメータ（回転）、Ｔ_ｂ：画像ｂの外部パラメータ（並進）を算出する。

次に、画像処理部２は、読み出した２枚の処理対象画像（画像ａ、画像ｂ）に対して、領域分割する処理を行う（ステップＳ４）。この領域分割は、図４に示すような領域に分割される。図４は、領域分割を行った後の画像ａ、画像ｂを示す図である。この領域の各々は似た特徴を持つ画素の集まる領域である。似た特徴とは、例えば、同系色や似た輝度などである。

この領域の分割は、参考文献３に記載の方法などの公知の方法を用いることができる。ここで用いる方法は、公知の方法を用いることができるため、ここではその詳細な説明を省略する。

参考文献３「Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk, SLIC Superpixels Compared to State-of-the-art Superpixel Methods, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, num. 11, p. 2274 - 2282, 2012.」

次に、画像処理部２は、対応づけされた特徴点を用いて、分割された領域同士を対応づけする。そして、画像処理部２は、対応づけされた領域を内包する矩形の縦横比で、各画素を対応づける（ステップＳ５）。

ここで、ステップＳ５の処理動作について、図５を参照して詳細を説明する。図５は、図２に示すステップＳ５の処理動作を示す説明図である。ステップＳ２において、画像ａにおける特徴点４０１、画像ｂにおける特徴点４０２が対応づけられたとする。この特徴点４０１、特徴点４０２を含むステップＳ４において分割された領域（ここでは、画像ａにおける領域４０３、画像ｂにおける領域４０４）を対応づける。

そして、この領域４０３、領域４０４を内包する矩形（ここでは、画像ａにおける矩形４０５、画像ｂにおける矩形４０６）を算出する。このとき、この矩形４０５、矩形４０６に含まれる各画素（ここでは、画像ａにおける複数の画素４０７、画像ｂにおける複数の画素４０８）を抽出し、その縦横比に従って、各画素を対応づけを行う。

図２に戻り、次に、画像生成部３は、画像処理部２において対応づけられた画素から、中間視点画像を生成する（ステップＳ６）。

ここで、ステップＳ６の処理動作について、図６を参照して詳細を説明する。図６は、図２に示すステップＳ６の処理動作を示す説明図である。画像生成部３は、視点Ｖ_α（画像ａから内挿比α、画像ｂから１−αの位置の視点）における視点Ｖ_αの内部パラメータＩ_ｖ、視点Ｖ_αの外部パラメータ（回転）Ｒ_ｖ、視点Ｖ_αの外部パラメータ（並進）Ｔ_ｖを、以下により算出する（図６参照）。

Ｉ_ｖ＝（１−α）×Ｉ_ａ＋α×Ｉ_ｂ
ｑ_ｖ＝（１−α）×ｑ_ａ＋α×ｑ_ｂ
Ｐ_ｖ＝（１−α）×Ｐ_ａ＋α×Ｐ_ｂ
但し、ｑは回転行列から求めたクォータニオン、ＰはＰ＝−Ｒ^ＴＴで表される３次元点の座標である。

画像ａの全画素に対して、画像ａ上の点Ｐ_ａ，Ｐ_ａｂ：Ｐ_ａと対応する画像ｂ上の点Ｐ_ａｂの世界座標系における点Ｐ_ａ，Ｐ_ａｂをそれぞれ算出し、この画素の世界座標系の点Ｐ_ｖ、色Ｉ（Ｐ_ｖ）を、以下により算出する。

Ｐ_ｖ＝（１−α）×Ｐ_ａ＋α×Ｐ_ａｂ
Ｉ（Ｐ_ｖ）＝（１−α）×Ｉ（Ｐ_ａ）＋α×Ｉ（Ｐ_ab）

同様に、画像ｂの全画素に対して、画像ｂ上の点Ｐ_ｂ，Ｐ_ｂと対応する画像ａ上の点Ｐ_ｂａの世界座標系における点Ｐ_ｂ，Ｐ_ｂａをそれぞれ算出し、該画素の世界座標系の点Ｐ_ｖ、色Ｉ（Ｐ_ｖ）を、以下により算出する。

Ｐ_ｖ＝（１−α）×Ｐ_ｂａ＋α×Ｐ_ｂ
Ｉ（Ｐ_ｖ）＝（１−α）×Ｉ（Ｐ_ｂａ）＋α×Ｉ（Ｐ_ｂ）

これらにより算出されたＰ_ｖに対し、この座標に対し、色Ｉ（Ｐ_ｖ）を割り当てることで、中間視点画像を生成する。例えば、図３に示す２枚の画像（画像ａ、画像ｂ）が入力された場合、α＝０．５とした際には、図７に示すような中間視点画像が生成されることになる。図７は、生成される中間視点画像の一例を示す図である。

なお、画像座標系の点（ｕ，ｖ）と世界座標系の点（Ｘ，Ｙ，Ｚ）の変換については、以下の式に従う。

以上説明したように、前述した構成によれば、視点の異なる２枚の画像から、その中間位置の視点から見た中間視点画像を生成することができる。特に、特徴点を含む領域、あるいは領域を含む矩形領域を用いて、中間視点画像を構成する画素の色を算出するために用いる処理対象画像の画素間の対応付けを行うことにより、特徴点の対応づけが難しいようなシーンに対しても対応付けが可能となる。

前述した実施形態における中間視点画像生成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像間の特徴点の対応づけが難しいようなシーンであっても中間視点画像を生成することが不可欠な用途に適用できる。

１・・・画像入力部、２・・・画像処理部、３・・・画像生成部

Claims (3)

1. 処理対象となる複数の画像を入力する画像入力部と、
   入力された２枚の前記画像それぞれの特徴点を対応づける特徴点対応付け部と、
   対応づけされた前記特徴点から、２枚の前記画像を撮影したカメラのカメラパラメータを算出するカメラパラメータ算出部と、
   入力された２枚の前記画像に対して領域分割を行う領域分割部と、
   分割された前記領域に含まれる対応づけされた前記特徴点から、画素の対応づけを行う画素対応付け部と、
   対応づけられた前記画素を用いて、指定された中間視点位置の中間視点画像を生成する中間視点画像生成部と
   を備え、
   前記画素対応付け部は、
   対応づけされた前記特徴点から、分割された前記領域の対応づけを行い、対応づけされた前記領域を内包する矩形の縦横比に基づき前記画素の対応づけを行う
   ことを特徴とする中間視点画像生成装置。
2. 処理対象となる複数の画像を入力する画像入力ステップと、
   入力された２枚の前記画像それぞれの特徴点を対応づける特徴点対応付けステップと、
   対応づけされた前記特徴点から、２枚の前記画像を撮影したカメラのカメラパラメータを算出するカメラパラメータ算出ステップと、
   入力された２枚の前記画像に対して領域分割を行う領域分割ステップと、
   分割された前記領域に含まれる対応づけされた前記特徴点から、画素の対応づけを行う画素対応付けステップと、
   対応づけられた前記画素を用いて、指定された中間視点位置の中間視点画像を生成する中間視点画像生成ステップと
   を有し、
   前記画素対応付けステップにおいて、
   対応づけされた前記特徴点から、分割された前記領域の対応づけを行い、対応づけされた前記領域を内包する矩形の縦横比に基づき前記画素の対応づけを行う
   ことを特徴とする中間視点画像生成方法。
3. コンピュータを、請求項１に記載の中間視点画像生成装置として機能させるためのコンピュータプログラム。