JP5086120B2 - 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体に係り、特に、複数のカメラで撮られた複数の画像データを用いて、仮想視点から見た所望の方向の画像の奥行き情報を取得する方法に関する。

複数のカメラで撮られた複数の画像データを用いて、ある視点からみた画像の奥行き情報を取得する方法として、マルチベースラインステレオ法（下記、非特許文献１参照）、あるいは、多層信頼度マップを用いる方法（下記、非特許文献２参照）が知られている。
以下、複数のカメラで撮られた複数の画像データを用いて、ある視点からみた画像の奥行き情報を取得する従来の方法について説明する。
図１は、複数のカメラで撮られた複数の画像データを用いて、ある視点からみた画像の奥行き情報を取得する従来の方法を説明するための図である。
図１において、２００１は基準カメラＣ_Ｒ、２００２は基準カメラＣ_Ｒのレンズ、２００３は基準カメラＣ_Ｒのレンズ中心（基準視点）、２００４は基準カメラＣ_Ｒの撮像素子、２００５は基準カメラＣ_Ｒの撮像素子の原点、２００６は基準カメラＣ_Ｒの撮像素上の任意の画素の中心点、２０１０は基準カメラＣ_Ｒの視線、２０１１は調査点、２０１２は基準カメラＣ_Ｒの光軸（基準視点を通る、基準カメラＣ_Ｒの撮像素子に垂直な線）、１１０１はその他のカメラ（カメラＣ_１）、１１０２はカメラＣ_１のレンズ、１１０３はカメラＣ_１のレンズ中心、１１０４はカメラＣ_１の撮像素子、１１０５はカメラＣ_１の撮像素子の原点、１１０６はカメラＣ_１の撮像素上における調査点２０１１の結像点、１１１０はカメラＣ_１の視線である。
複数のカメラの中の１つを基準カメラＣ_Ｒ（２００１）、その他のカメラはＣ_ｉとする。但し、ｉはカメラを区別する番号である。カメラの位置、方向は自由に決定される。
図中のｄは、基準カメラＣ_Ｒ（２００１）から、調査点２０１１が存在する平面までの距離を表し、基準カメラＣ_Ｒ（２００１）の光軸２０１２に調査点２０１１から下ろした垂線との交点と、基準カメラＣ_Ｒ（２００１）のレンズ中心２００３（基準視点）との間の距離である
ここで、取得したいのは、基準カメラＣ_Ｒ（２００１）の撮像素子（２００４）上に映る画像の、各ピクセル毎の奥行き情報である。

なお、本願発明に関連する先行技術文献としては以下のものがある。
M.Okutomi,T.Kanade,"A Multiple-Baseline Stereo",IEEE Trans.Pattren Analysis and Machine Intelligence,Vol.15,No.4,April 1993. 國田 豊他,"多層信頼度マップを用いた３次元映像の実時間生成システム",映像情報メディア学会誌，Vol.60,No.7,2006,pp1102〜1110.

しかしながら、前述の非特許文献１に記載の方法では、基準カメラＣ_Ｒが実カメラである必要があるため、実カメラを測定したい視点と光軸となるように調整する必要がある。そのため、一旦カメラを配置した後に、仮想的な視点（仮想視点）と光軸（仮想光軸）を持つ仮想カメラで撮像した画像の奥行き情報を得ることができないという問題点があった。
また、前述の（２）式に示す統合した相違度が、各カメラの相違度の和であるため、オクルージョン（実カメラから撮像できない箇所が存在すること）等の発生により、１つでも各カメラの相違度が小さいとき、統合された相違度が影響を受けて小さくなり、奥行きを決定される際に誤差が発生し易くなるという問題点があった。
前述の非特許文献２では、前述の非特許文献１の基準カメラＣ_Ｒが実カメラである必要があるという問題点を解決しているが、オクルージョンに弱いという問題点は解決できていない。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、奥行き情報取得方法および奥行き情報取得装置において、オクルージョンによる影響が小さい方法で、仮想視点から見た所望の方向の画像の奥行き情報を取得することが可能となる技術を提供することにある。
また、本発明の他の目的は、前述の奥行き情報取得方法をコンピュータに実行させるためのプログラム、および当該プログラムを記録した記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
本発明は、視点の異なるｎ（ｎ≧２）個のカメラで撮影した画像情報を用いて任意の視点である仮想視点から見た画像の奥行き情報を取得する奥行き情報取得方法であって、前記ｎ個のカメラを用いて同一の物体や風景を撮影した画像を入力するステップ１と、前記仮想視点を設定するステップ２と、前記仮想視点から見た視野中に複数の仮想面を層状に設置するステップ３と、前記仮想視点から見た画像中の任意の画素に対応する前記各仮想面の点を調査点とするとき、前記仮想面を１つ選び、前記選択した仮想面中の前記調査点に対応する前記ｎ個のカメラのそれぞれで撮像した各画像上のそれぞれの対応点を計算するステップ４と、前記ｎ個のカメラの中から２個のカメラを選択し、当該選択した２個のカメラで撮像した画像上のそれぞれの対応点の相違度を計算するステップ５と、前記ステップ５で計算した相違度を、相違度が大きい程小さな値となり、相違度が無限大の時に０となる類似度に変換するステップ６と、前記ステップ５と、前記ステップ６とを前記ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して実行するステップ７と、前記ｎ（ｎ−１）／２組の全ての組の類似度を統合し、統合類似度を出力するステップ８と、前記すべての仮想面に対して、前記ステップ４ないしステップ８を実行するステップ９と、前記仮想視点から、前記ステップ９で求められた各仮想面における統合類似度の中で最も大きい統合類似度を持つ仮想面までの距離を、前記仮想視点から見た画像中の任意の画素の奥行き情報とするステップ１０と、ユーザが欲する全ての調査点に対して前記のステップ４〜ステップ１０を実行するステップ１１とを有する。

また、本発明では、前記ステップ８は、前記ｎ（ｎ−１）／２組の全ての組で計算した類似度に１を加算し、当該１を加算した前記ｎ（ｎ−１）／２組の全ての組で計算した類似度を乗算し、統合類似度として出力するステップである。
また、本発明では、前記ステップ８は、前記ｎ（ｎ−１）／２組の全ての組で計算した類似度の中で最も大きい類似度を選択し、当該選択した類似度を統合類似度として出力するステップである。
また、本発明は、前述の奥行き情報取得方法を実現する奥行き情報取得装置である。
また、本発明は、前述の奥行き情報取得方法をコンピュータに実行させるためのプログラムである。
また、本発明は、前述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明の奥行き情報取得方法および奥行き情報取得装置によれば、オクルージョンによる影響が小さい方法で、仮想視点から見た所望の方向の画像の奥行き情報を取得することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図２は、本発明の実施例の情報取得方法を説明するための図である。
図２において、１００１は仮想カメラＣ_ｖ、１００２は仮想カメラＣ_ｖのレンズ、１００３は仮想カメラＣ_ｖのレンズ中心（仮想視点）、１００４は仮想カメラＣ_ｖの撮像素子、１００５は仮想カメラＣ_ｖの撮像素子の原点、１００６は仮想カメラＣ_ｖの撮像素上の任意の画素の中心点、１０１０は仮想カメラＣ_ｖの視線、１０１１は調査点、１０１２はユーザが見たい空間的な範囲内の仮想面群、１１０１はその他のカメラ（カメラＣ_１）、１１０２はカメラＣ_１のレンズ、１１０３はカメラＣ_１のレンズ中心、１１０４はカメラＣ_１の撮像素子、１１０５はカメラＣ_１の撮像素子の原点、１１０６はカメラＣ_１の撮像素上における調査点１０１１の結像点、１１１０はカメラＣ_１の視線である。
本実施例では、図１に示す実カメラである基準カメラＣ_Ｒに代えて、仮想カメラＣ_ｖを使用する。また、本実施例では、実カメラを２台以上用意し、実カメラの群から２台を選び出す組合わせを作る。ｎ台の実カメラがあれば、ｎ（ｎ−１）／２の組合せがあるので、その組み合わせを作る。

以下、本実施例の奥行き情報取得方法を、図３のフローチャート用いて説明する。
（１）ステップ１０１
ｎ（ｎ≧２）台の実カメラＣｉ（ｉ＝１,...,ｎ）で、同一物体や風景を撮影し、撮影した画像を後述する奥行き情報取得装置に入力する。このとき、各カメラＣｉ（ｉ＝１,...,n）において、コンピュータビジョンの分野で知られているカメラの内部に関するパラメタ（カメラ内部パラメタ）と、カメラの位置、姿勢に関するパラメタ（カメラ外部パラメタ）は既知とする。カメラ内部パラメタは、行列表記すると、下記（３）式で表される。

（２）ステップ１０２
このステップでは、ユーザが自分の目を持っていきたい場所を決め、そこに仮想視点１００３を設置する。
（３）ステップ１０３
このステップでは、仮想視点１００３から見た視野中に複数の仮想面１０１２を層状に設置する。
（４）ステップ１０４
このステップでは、仮想視点１００３から見た画像中の任意の画素に対応する、各仮想面１０１２の点を調査点１０１１とするとき、仮想面を１つ選び、選択した仮想面中の調査点１０１１に対応するｎ個のカメラのそれぞれで撮像した複数の画像上のそれぞれの対応点の座標を計算する。
このステップでは、仮想視点１００３から見た視野内であって、ユーザが生成したい画像の範囲を表す仮想的な面を設置する。これは、仮想視点１００３をレンズ中心としたレンズ１００２を持つ仮想カメラ１００１の撮像素子１００４と見なすことができる。
次に、ユーザが見たい画像の精細度を決め、それを満足するように、仮想カメラ１００１の撮像素子１００４の面上の画素を配置する。
これにより、ユーザが見たい視点である仮想視点１００３に設置した仮想カメラ１００１のパラメタが決まる。
この仮想カメラ１００１の内部／外部パラメタは、下記（５）式で表される。

ここで、（５）式の内容は、前述の（３）式、（４）式と同様であるので、詳細な説明は省略する。
次に、仮想カメラ１００１の撮像素子１００４の任意の画素１００６を１つ選択する。そして、仮想始点１００３と画素１００６とを通る直線である仮想視線１０１０と、各仮想面群１０１２の仮想面との交点を調査点１０１１とする。
次に、仮想平面群１０１２の中から仮想面を１つ選び、当該選択した仮想面中の調査点１０１１に対応するｎ個のカメラのそれぞれで撮像した複数の画像上のそれぞれの対応点の座標を計算する。

視点位置入力手段２は、例えば、マウス、キーボード等の入力するデバイスである。
被写体画像取得手段１２は、同一の物体や風景を撮影した画像を取得する手段であるが、あらかじめ撮影した画像を記録装置から読み出すことで取得することも可能である。なお、複数の視点位置から撮影した画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したものであることが望ましいが、同一の物体や風景の位置・姿勢の変化が十分に遅く、静止物と見なせる場合にはこの限りではない。
また、奥行き情報取得手段１３は、対応点計算手段１３１と、相違度計算手段１３２と、類似度変換手段１３３と、統合類似度計算手段１３４と、奥行き情報出力手段１３５とで構成される。
対応点計算手段１３１は、図３のステップ１０４の処理を、ｎ（≧２）個の全てのカメラに対して実行する。
相違度計算手段１３２は、図３のステップ１０５の処理を、ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して実行する。
類似度変換手段１３３は、図３のステップ１０６の処理を、ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して実行する。
統合類似度計算手段１３４は、図３のステップ１０８の処理を、ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して実行する。
奥行き情報出力手段１３５は、図３のステップ１１０と、ステップ１１１の処理を実行し、奥行き情報を出力する。
ここで、奥行き情報取得手段１３は、ユーザが欲する全ての調査点に対する奥行き情報を取得する。即ち、対応点計算手段１３１と、相違度計算手段１３２と、類似度変換手段１３３と、統合類似度計算手段１３４と、奥行き情報出力手段１３５とは、ユーザが欲する全ての調査点に対して、前述の処理（図３のステップ１１１の処理）を実行する。

以上説明したように、本実施例によれば、従来の方法に比べて、基準カメラが実カメラでないため、ユーザが奥行き情報を取得したい仮想カメラの位置に実カメラを置く必要が無い。また、仮想カメラが実カメラでないため、自由に設定した仮想視点と光軸の奥行き情報を取得できる。
また、奥行きを選択するときの評価関数を、（ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組の類似度（０以上の類似度）＋１）の積、または最大値としたため、オクルージョンの影響により類似度が低くなったペアの類似度はほぼ１となる。これにより、統合した類似度への影響は小さくなるため、オクルージョンの影響を受け難くなり、その結果、奥行き情報の精度を向上させることが可能となる。
さらに、相違度の計算において、ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の各組ごとに計算しており、相違度の計算する際のカメラの選び方が最小単位となっていることから、オクルージョンを回避できた組の２個のカメラが得易くなるため、オクルージョンに対して耐性ができ、その結果、奥行き情報の精度を高くすることが可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

従来の奥行き情報取得方法を説明するための図である。 本発明の実施例の奥行き情報取得方法を説明するための図である。 本発明の実施例の奥行き情報取得方法の処理手順を示すフローチャートである。 仮想平面と仮想視線の交点と結像点の近傍の撮像素子上の画素の図（注目点を中心とする撮像素子画素と同じ大きさの四角形と撮像素子の画素の関係図）である。 本発明の実施例の奥行き情報取得装置の概略構成を示すブロック図である。

符号の説明

１ 奥行き情報取得装置
２ 視点位置入力手段
３ 被写体撮影手段
１１ 仮想面・仮想視点決定手段
１２ カメラ画像取得手段
１３ 奥行き情報取得手段
１３１ 対応点計算手段
１３２ 相違度計算手段
１３３ 類似度変換手段
１３４ 統合類似度計算手段
１３５ 奥行き情報出力手段
１００１ 仮想カメラ
１００２ 仮想カメラのレンズ、
１００３ 仮想カメラのレンズの中心（仮想視点）
１００４ 仮想カメラの撮像素子
１００５ 仮想カメラの撮像素子の原点
１００６ 調査点の仮想カメラの撮像素子上の結像点
１０１０ 仮想カメラの視線
１０１１，２０１１ 調査点
１０１２ 仮想平面群
１１０１ 実カメラ
１１０２ 実カメラのレンズ
１１０３ 実カメラのレンズのレンズ中心
１１０４ 実カメラの撮像素子
１１０５ 実カメラの撮像素子の原点
１１０６ 調査点の実カメラの撮像素子上の結像点
１１１０ 実カメラの視線
２００１ 基準カメラ
２００２ 基準カメラのレンズ、
２００３ 基準カメラのレンズの中心（仮想視点）
２００４ 基準カメラの撮像素子
２００５ 基準カメラの撮像素子の原点
２００６ 調査点の基準カメラの撮像素子上の結像点
２０１０ 基準カメラの視線
５１０６ 仮想平面と仮想視線の交点の結像点
５１１１ 仮想平面と仮想視線の交点の結像点を中心とする撮像素子の画素と同じ大きさの四角形
５１１２ 仮想平面と仮想視線の交点の結像点の近傍の撮像素子上の画素群

Claims (6)

1. 視点の異なるｎ（ｎ≧２）個のカメラで撮影した画像情報を用いて任意の視点である仮想視点から見た画像の奥行き情報を取得する奥行き情報取得方法であって、
   前記ｎ個のカメラを用いて同一の物体や風景を撮影した画像を入力するステップ１と、
   前記仮想視点を設定するステップ２と、
   前記仮想視点から見た視野中に複数の仮想面を層状に設置するステップ３と、
   前記仮想視点から見た画像中の任意の画素に対応する前記各仮想面の点を調査点とするとき、前記仮想面を１つ選び、前記選択した仮想面中の前記調査点に対応する前記ｎ個のカメラのそれぞれで撮像した各画像上のそれぞれの対応点を計算するステップ４と、
   前記ｎ個のカメラの中から２個のカメラを選択し、当該選択した２個のカメラで撮像した画像上のそれぞれの対応点の相違度を計算するステップ５と、
   前記ステップ５で計算した相違度を、相違度が大きい程小さな値となり、相違度が無限大の時に０となる類似度に変換するステップ６と、
   前記ステップ５と、前記ステップ６とを前記ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して実行するステップ７と、
   前記ｎ（ｎ−１）／２組の全ての組の類似度を統合し、統合類似度を出力するステップ８と、
   前記すべての仮想面に対して、前記ステップ４ないしステップ８を実行するステップ９と、
   前記仮想視点から、前記ステップ９で求められた各仮想面における統合類似度の中で最も大きい統合類似度を持つ仮想面までの距離を、前記仮想視点から見た画像中の任意の画素の奥行き情報とするステップ１０とを有し、
   前記ステップ８は、前記ｎ（ｎ−１）／２組の全ての組で計算した類似度に１を加算し、当該１を加算した前記ｎ（ｎ−１）／２組の全ての組で計算した類似度を乗算し、統合類似度として出力するステップであることを特徴とする奥行き情報取得方法。
2. 視点の異なるｎ（ｎ≧２）個のカメラで撮影した画像情報を用いて任意の視点である仮想視点から見た画像の奥行き情報を取得する奥行き情報取得方法であって、
   前記ｎ個のカメラを用いて同一の物体や風景を撮影した画像を入力するステップ１と、
   前記仮想視点を設定するステップ２と、
   前記仮想視点から見た視野中に複数の仮想面を層状に設置するステップ３と、
   前記仮想視点から見た画像中の任意の画素に対応する前記各仮想面の点を調査点とするとき、前記仮想面を１つ選び、前記選択した仮想面中の前記調査点に対応する前記ｎ個のカメラのそれぞれで撮像した各画像上のそれぞれの対応点を計算するステップ４と、
   前記ｎ個のカメラの中から２個のカメラを選択し、当該選択した２個のカメラで撮像した画像上のそれぞれの対応点の相違度を計算するステップ５と、
   前記ステップ５で計算した相違度を、相違度が大きい程小さな値となり、相違度が無限大の時に０となる類似度に変換するステップ６と、
   前記ステップ５と、前記ステップ６とを前記ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して実行するステップ７と、
   前記ｎ（ｎ−１）／２組の全ての組の類似度を統合し、統合類似度を出力するステップ８と、
   前記すべての仮想面に対して、前記ステップ４ないしステップ８を実行するステップ９と、
   前記仮想視点から、前記ステップ９で求められた各仮想面における統合類似度の中で最も大きい統合類似度を持つ仮想面までの距離を、前記仮想視点から見た画像中の任意の画素の奥行き情報とするステップ１０とを有し、
   前記ステップ８は、前記ｎ（ｎ−１）／２組の全ての組で計算した類似度の中で最も大きい類似度を選択し、当該選択した類似度を統合類似度として出力するステップであることを特徴とする奥行き情報取得方法。
3. 視点の異なるｎ（ｎ≧２）個のカメラで撮影した画像情報を用いて、任意の視点である仮想視点から見た画像の奥行き情報を取得する奥行き情報取得装置であって、
   前記ｎ個のカメラを用いて同一の物体や風景を撮影した画像を入力する手段１と、
   前記仮想視点を設定する手段２と、
   前記仮想視点から見た視野中に複数の仮想面を層状に設置する手段３と、
   前記仮想視点から見た画像中の任意の画素に対応する前記各仮想面の点を調査点とするとき、前記仮想面を１つ選び、前記選択した仮想面中の前記調査点に対応する前記ｎ個のカメラのそれぞれで撮像した各画像上のそれぞれの対応点を計算する手段４と、
   前記ｎ個のカメラの中から２個のカメラを選択し、当該選択した２個のカメラで撮像した画像上のそれぞれの対応点の相違度を、前記ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して計算する手段５と、
   前記手段５で計算した前記ｎ（ｎ−１）／２組の全ての組の相違度を、相違度が大きい程小さな値となり、相違度が無限大の時に０となる類似度に変換する手段６と、
   前記ｎ（ｎ−１）／２組の全ての組の類似度を統合し、統合類似度を出力する手段７と、
   前記すべての仮想面に対して、前記手段４ないし手段７を実行する手段８と、
   前記仮想視点から前記手段８で求められた各仮想面における統合類似度の中で最も大きい統合類似度を持つ仮想面までの距離を、前記仮想視点から見た画像中の任意の画素の奥行き情報とする手段９とを有し、
   前記手段７は、前記ｎ（ｎ−１）／２組の全ての組で計算した類似度に１を加算し、当該１を加算した前記ｎ（ｎ−１）／２組の全ての組で計算した類似度を乗算して、統合類似度として出力することを特徴とする奥行き情報取得装置。
4. 視点の異なるｎ（ｎ≧２）個のカメラで撮影した画像情報を用いて、任意の視点である仮想視点から見た画像の奥行き情報を取得する奥行き情報取得装置であって、
   前記ｎ個のカメラを用いて同一の物体や風景を撮影した画像を入力する手段１と、
   前記仮想視点を設定する手段２と、
   前記仮想視点から見た視野中に複数の仮想面を層状に設置する手段３と、
   前記仮想視点から見た画像中の任意の画素に対応する前記各仮想面の点を調査点とするとき、前記仮想面を１つ選び、前記選択した仮想面中の前記調査点に対応する前記ｎ個のカメラのそれぞれで撮像した各画像上のそれぞれの対応点を計算する手段４と、
   前記ｎ個のカメラの中から２個のカメラを選択し、当該選択した２個のカメラで撮像した画像上のそれぞれの対応点の相違度を、前記ｎ個のカメラの中から２個のカメラを選択するｎ（ｎ−１）／２組の全ての組に対して計算する手段５と、
   前記手段５で計算した前記ｎ（ｎ−１）／２組の全ての組の相違度を、相違度が大きい程小さな値となり、相違度が無限大の時に０となる類似度に変換する手段６と、
   前記ｎ（ｎ−１）／２組の全ての組の類似度を統合し、統合類似度を出力する手段７と、
   前記すべての仮想面に対して、前記手段４ないし手段７を実行する手段８と、
   前記仮想視点から前記手段８で求められた各仮想面における統合類似度の中で最も大きい統合類似度を持つ仮想面までの距離を、前記仮想視点から見た画像中の任意の画素の奥行き情報とする手段９とを有し、
   前記手段７は、前記ｎ（ｎ−１）／２組の全ての組で計算した類似度の中で最も大きい類似度を選択し、当該選択した類似度を統合類似度として出力することを特徴とする奥行き情報取得装置。
5. 請求項１または請求項２に記載の奥行き情報取得方法をコンピュータに実行させるためのプログラム。
6. 請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images