JP4737763B2 - 多視点画像を用いた自由視点画像生成方法、装置及びプログラム - Google Patents

Description

本発明は、多視点画像を用いた自由視点画像生成方法、装置及びプログラムに関する。

従来、視聴者が視点位置又は視点方向を自由に選択できる「自由視点画像」という技術がある。自由視点画像は、被写体を、複数のカメラによって撮影した多視点画像によって生成される。カメラによって撮影されない視点からの画像は、視差ベクトルを用いた画像間の補間によって生成される。このために、多視点画像間の対応点探索問題を解く必要がある。勿論、カメラの間隔を密にするほど、高品質の自由視点画像が得られる。

多視点画像間の対応点探索問題を解く代表的な方法として、「ブロックマッチング」がある。「ブロックマッチング」を用いた視差ベクトルの検出は、以下のようにしてなされる。

第１のカメラ（第１の視点）によって撮影された第１の画像を、小さなブロックに分割する。第１の画像の第１のブロックの各々を、第２のカメラ（他の視点）の第２の画像の中で平行移動させて、最も類似度が高い領域を探索する。具体的には、第１の画像の第１のブロックに対して、絶対値誤差又は２乗誤差が最小となる第２の画像の第２のブロックを探索する。そして、探索された第２のブロックと、第１のブロックとの距離量を視差ベクトルとして算出する。第１のカメラと第２のカメラとを直線で結ぶ線上に、任意の視点が選択された場合、任意の視点と第１及び第２のカメラとの距離の内分比に応じて、その視差ベクトルを調整する。調整された視差ベクトルに応じて、第１のカメラの第１の画像を補間することによって、その任意の視点の画像を生成することができる。

特開平１１−３７７２１号公報 特開平１０−１９１３９３号公報 特開平１０−１９１３９４号公報

従来のブロックマッチングは、第１の画像の中の被写体が、第２の画像の中で平行移動した場合に、ブロックをマッチングさせるものである。複数のカメラから見て、被写体の表面が、そのカメラの光軸に垂直となる場合にしか、完全なブロックマッチングをさせることができない。

しかしながら、複数のカメラの光軸に対して、被写体の表面が傾いている場合には、その被写体の面も異なって見える。即ち、第１の画像の第１のブロックを、第２の画像の中で平行移動させても、第１のブロックと完全にマッチングした第２のブロックを探索することはできない。第１の画像の中の被写体の形状は、第２の画像の中の被写体の形状と異なって射影されたものとなるからである。

そこで、本発明は、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる自由視点画像生成方法、装置及びプログラムを提供することを目的とする。

本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成方法であって、
被写体上の任意点を決定する第１のステップと、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する第２のステップと、
第１の画像について任意点を含む第１のブロックを選択する第３のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定する第４のステップと、
第１のブロックを、相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、相対的位置（ｔ_ｘ，ｔ_ｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第５のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、第４及び第５のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する第６のステップと、
第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する第７のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する第８のステップと
を有することを特徴とする。

本発明の自由視点画像生成方法における他の実施形態によれば、
第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第１から第６のステップを繰り返し、
最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成することも好ましい。

本発明の自由視点画像生成方法における他の実施形態によれば、
第１のステップについて、任意点の画像座標は、正規化画像座標であり、
第５のステップについて、視差ベクトルは、以下のものであり、

一次変換行列は、以下のものである

ことも好ましい。

本発明の自由視点画像生成方法における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することも好ましい。

本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成装置であって、
被写体上の任意点を決定する任意点選択手段と、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定するパラメータ決定手段と、
第１のブロックを、相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、相対的位置（ｔ_ｘ，ｔ_ｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する任意視点パラメータ決定手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する自由視点画像生成手段と
を有することを特徴とする。

本発明の自由視点画像生成装置における他の実施形態によれば、
任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、任意視点パラメータ決定手段と、自由視点画像生成手段とを繰り返すブロック制御手段を更に有し、
最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する
ことも好ましい。

本発明の自由視点画像生成装置における他の実施形態によれば、
画像座標算出手段は、任意点の画像座標として正規化画像座標を導出し、
ブロックマッチング手段は、視差ベクトルを以下のものとし、

一次変換行列を以下のものとする

ことも好ましい。

本発明の自由視点画像生成装置における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することも好ましい。

本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成するコンピュータを機能させる自由視点画像生成プログラムであって、
被写体上の任意点を決定する任意点選択手段と、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定するパラメータ決定手段と、
第１のブロックを、相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、相対的位置（ｔ_ｘ，ｔ_ｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する任意視点パラメータ決定手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する自由視点画像生成手段と
してコンピュータを機能させることを特徴とする。

本発明の自由視点画像生成方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる。第１の画像の第１のブロックを、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルだけでなく、一次変換行列を検出することができる。任意の視点の位置に応じて、視差ベクトル及び一次変換行列を調整することにより、第１の画像の第１のブロックから、現実に近い任意の視点の画像を生成することができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

図１は、本発明におけるシステム構成図である。

異なる位置に配置された複数のカメラ１が、被写体３を撮影する。複数のカメラ１は、光軸をＺ軸に平行とし、ＸＹ平面上に配置される。光軸を平行に、且つ、その光軸に垂直な同一平面上（ｘ軸、ｙ軸）に配置される。図１によれば、９台の縦３列横３列（視点（０，０）〜（２，２））で等間隔に配置されている。また、複数のカメラ１は、自由視点画像生成装置２に接続される。本発明によれば、少なくとも２つのカメラによって撮影された多視点画像を必要とする。

カメラ１は、被写体３を撮影した画像を自由視点画像生成装置２へ送信する。ここで、カメラ１が移動可能なものである場合、カメラ位置情報も、自由視点画像生成装置２へ送信される。勿論、自由視点画像生成装置２が、全てのカメラ位置情報を予め記憶しているものであってもよい。

図２は、図１のシステム構成について、複数のカメラを正面から見た配置図である。

任意の視点は、第１のカメラと第２のカメラとを結ぶ直線上に設定する。図２によれば、カメラ（０，０）−カメラ（０，１）の直線上にある任意の視点と、カメラ（１，０）−カメラ（０，１）の直線上にある任意の視点とが表されている。

図３は、各カメラから見た被写体の見え方を表す画面図である。

図３によれば、被写体は、台形状立体である。被写体の上方に、カメラ（１，１）が位置する。このとき、カメラ（１，１）の左側のカメラ（１，０）から見ると、被写体の左側が広がり、右側が縮小して見える。また、カメラ（１，１）の右側のカメラ（１，２）から見ると、被写体の左側が縮小し、右側が広がって見える。

同様に、カメラ（１，１）の上側のカメラ（０，１）から見ると、被写体の上側が広がり、下側が縮小して見える。カメラ（１，１）の下側のカメラ（２，１）から見ると、被写体の上側が縮小し、下側が広がって見える。

図４〜図６には、被写体の表面の傾きによって、各カメラによって撮影される画像を表している。

図４は、被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。

被写体は、左側が奥に、右側が手前にある。このとき、カメラ（１，１）の画像よりも、左側のカメラ（１，０）の画像の方が、平面が広がって見える。また、カメラ（１，１）の画像よりも、右側のカメラ（１，２）の画像の方が、平面が狭く見える。

図５は、被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。

被写体は、上側が奥に、下側が手前にある。このとき、カメラ（１，１）の画像よりも、上側のカメラ（０，１）の画像の方が、平面が広がって見える。また、カメラ（１，１）の画像よりも、下側のカメラ（２，１）の画像の方が、平面が狭く見える。

図６は、被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。即ち、図４の傾きと図５の傾きとを合わせたものである。

図３、図４〜図６に表されたように、このような見え方の差異は、複数のカメラの光軸に対して、被写体の台形状立体の側面が傾いているために生じる。本発明によれば、カメラの光軸に対して被写体の表面が傾いている場合であっても、第１のブロックと完全にマッチングした第２のブロックを探索することができる。

図７は、２つのカメラの位置関係における座標系の説明図である。

図８は、カメラＣの第１の画像の第１のブロックを、カメラＣ’の第２の画像の第２のブロックに、ブロックマッチングをさせている説明図である。

一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。また、２つのカメラは、光軸を平行に、且つ、光軸に垂直な同一平面上に、相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置される。本発明は、その近似平面から被写体の任意点までの奥行き距離Ｚと、その近似平面の向き（単位法線ベクトル）ｎとを、ブロックマッチングのパラメータとして用いる。

最初に、カメラの内部パラメータ（内部カメラ行列）Ａは、以下の式で表される。この値は、既知であるとする。

ｆk_u、ｆk_v：焦点距離（カメラの距離のピクセル数）
θ＝π／２：座標軸の角度
ｕ_０、ｖ_０：画像中心

カメラＣのカメラ座標系を平行移動（相対的位置ｔ）させて、カメラＣ'のカメラ座標系が得られる。ｔは、カメラの外部パラメータの１つであり、カメラＣのカメラ座標系に対するカメラＣ’の変位ベクトルを表す。カメラＣ及びＣ'は、光軸を平行に且つその光軸に垂直な同一平面上に配置されるので、カメラＣのカメラ座標系に対するカメラＣ’の相対的位置ベクトルｔは、ｚ軸成分を必ず０とする（ｔ_Ｚ＝０）。

カメラＣのカメラ座標系座標と、カメラＣ'のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ'のカメラ座標系座標に変換される。
Ｍ＝Ｍ'＋ｔ 式（１）
Ｍ：カメラＣにおける被写体の任意点Ｐのカメラ座標系座標
Ｍ'：カメラＣ'における被写体の任意点Ｐのカメラ座標系座標

ここで、被写体の近似平面に対して、カメラＣ’のカメラ座標系では以下の式が成り立つ。
ｎ^Ｔ・Ｍ'＝ｄ
ｎ（|ｎ|＝１）：カメラＣ'のカメラ座標系における平面の法線ベクトル
ｄ：カメラＣ'のカメラ座標系の原点から平面までの距離

以上より、以下の式が成り立つ。
ｎ^Ｔ・Ｍ'＝ｄ
ｎ^Ｔ・Ｍ'／ｄ＝１ 式（２）

式（２）を、式（１）に代入すると、以下の式が得られる。

次に、任意点Ｐのデジタル画像座標を、以下のようにする。
ｍ：カメラＣにおける任意点Ｐのデジタル画像座標
ｍ'：カメラＣ’における任意点Ｐのデジタル画像座標

また、任意点Ｐの正規化画像座標を、以下のようにする。「正規化画像」とは、画像平面が焦点から単位長のところにあるカメラ（正規化カメラ）で撮影したと仮定した場合の画像をいう。正規化画像における任意点の座標を、「正規化画像座標」という。
ｘ：任意点ＰのカメラＣにおける正規化画像座標
ｘ'：任意点ＰのカメラＣ'における正規化画像座標

ここで、カメラ座標系座標Ｍ及びＭ'に代えて、正規化画像座標ｘ及びｘ'を用いると、以下の変換式が得られる。ｓは、スカラーである。

更に、デジタル画像座標ｍ及びｍ'を用いると、以下の変換式が得られる。

ｔを、前述の式（３）に代入すると、以下のような２次元アフィン変換で表される。

正規化画像座標系における視差ベクトルをＤとすると、以下の式が成り立つ。

一方、図７より、任意点Ｐの奥行き距離Ｚとすると、以下の式が成り立つ。

以上より、以下の式が成り立つ。

これを、式（４）に代入すると、以下の式（５）が成り立つ。

式（５）と、右辺及び左辺の差を求めると、以下の式が成り立つ。

第１の画像の第１のブロックを、以下のＤの平行移動をさせて、第１の画像座標を原点として、以下のＬの一次変換行列で変形をさせて、第２の画像の中を探索する。一次変換行列によれば、視差ベクトルと、被写体の（平面に近似された）面の傾きとに基づいてブロックを変形し、ブロックマッチングをすることができる。

ここで、第１のカメラと第２のカメラとを結ぶ直線上をｐ：ｑに内分する視点Ｃ”からの画像を合成する方法を説明する。

カメラＣのカメラ座標系に対する視点Ｃ”の相対的位置ベクトルｔ”は、以下の値となる。

また、任意点Ｐの視点Ｃ”における正規化画像座標をｘ”とおくと、ｘ”は、ｘとｘ'とｐ：ｑに内分する点となる。

視点Ｃ”の画像は、第１の画像の各ブロックを、以下のＤ”の平行移動をさせて、第１の画像座標を原点として以下のＬ”の一次変換行列で変形をさせることにより、合成することができる。

以下では、前述した式に、具体的に数値を入れて説明する。
ｆ＝810.8 （カメラの焦点距離のピクセル数）
ｋ_ｕ＝ｋ_ｖ=1.0 （近年のカメラのＣＣＤセルは正方形）
θ＝π／２ （近年のカメラのＣＣＤセルは正方形）
ｕ_０＝319.5 （画像の横幅が640pixelである場合）
ｖ_０＝239.5 （画像の高さが480pixelである場合）

相対的位置ベクトルｔは、以下の値とする。

カメラＣの画像の中の点Ｍ_０のデジタル画像座標を、以下のようにする。

点Ｍ_０を中心とする（例えば９×９の大きさ）ブロックで探索を行うとする。ここで、正規化画像座標に変換する。点Ｍ_０の正規化画像座標ｘ_０は、以下のようになる。

本発明によれば、奥行き距離Ｚ、法線ベクトルｎ_ｘ及びｎ_ｙを、任意に変化させて、ブロックマッチングをする。

ｘ_０からＤだけ平行移動した位置で、一次変換Ｌを施してブロックマッチングをする。点Ｍ_０は、平行移動Δｍ及び一次変換Ｌによって、点Ｍ_０'に対応付けられる。

例えば、点Ｍ_０’（正規化画像座標ｘ_０、デジタル画像座標ｍ_０）を中心とするデジタル画像座標で９×９の大きさのブロックの右下端の点Ｍ’（正規化画像座標ｘ’、デジタル画像座標ｍ’）は、以下の点Ｍ（正規化画像座標ｘ、デジタル画像座標ｍ）に対応付けられる。

上式は、デジタル画像座標系では、以下に相当する。

この場合のマッチングが最も類似度が高ければ、視差ベクトルと一次変換行列は式（６）及び式（７）であることを把握できる。

次に、カメラＣとカメラＣ’とを結ぶ直線上をｐ：ｑに内分する視点Ｃ”からの画像を合成する方法を説明する。

カメラＣのカメラ座標系に対する視点Ｃ”の相対的位置ベクトルｔ”は、以下の値となる。

また、任意点Ｐの視点Ｃ”における正規化画像座標ｘ”は、以下の値となる。

以上より、視点Ｃ”からの画像における視差ベクトルＤ”及び一次変換行列Ｌ”は、以下の値となる。

例えば、点Ｍ’は、以下の点Ｍ”（正規化画像座標ｘ”、デジタル画像座標ｍ”）に対応付けられる。

上式は、デジタル画像座標系では、以下に相当する。

図９は、本発明におけるフローチャートである。

（Ｓ９０１）全てのカメラの位置情報を取得する。全てのカメラは、光軸を平行に且つ該光軸に垂直な同一平面上に配置されている。従って、第１のカメラに対する第２のカメラの世界座標系の相対的位置（ｔ_ｘ，ｔ_ｙ，０）を取得する。カメラは、移動可能なものであってもよい。カメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報を受信する。尚、カメラが固定なものであれば、その位置情報は予め登録されているものであってもよい。

（Ｓ９０２）全てのカメラの画像を取得する。ここで、第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。

（Ｓ９０３）被写体上の任意点を決定する。
（Ｓ９０４）任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
（Ｓ９０５）第１の画像について任意点を含む第１のブロックを選択する。

（Ｓ９０６）以下、Ｓ９０７〜Ｓ９１０を繰り返す。
（Ｓ９０７）任意点の奥行き距離Ｚを任意に決定する。
（Ｓ９０８）被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に決定する。

（Ｓ９０９）第１のブロックを、相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、相対的位置（ｔ_ｘ，ｔ_ｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。ここで、視差ベクトルは、以下のものである。

一次変換行列は、以下のものである。

（Ｓ９１０）奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、Ｓ９０６〜Ｓ９０９を繰り返す。そして、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。結果的に、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する。

（Ｓ９１１）第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、Ｓ９０３〜Ｓ９１０を繰り返す。最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する。

（Ｓ９１２）第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する。
（Ｓ９１３）奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する。

図１０は、本発明における自由視点画像生成装置の機能構成図である。

図１０によれば、自由視点画像生成装置２は、位置情報取得部２１と、画像取得部２２と、任意点選択部２０３と、正規化画像座標導出部２０４と、ブロック選択部２０５と、ブロックマッチング部２０６と、パラメータ決定部２０７と、マッチング制御部２０８と、ブロック制御部２０９と、任意視点パラメータ決定部２１０と、自由視点画像生成部２１１とを有する。これら機能部は、コンピュータによって実行されるプログラムによっても実現できる。

位置情報取得部２１は、全てのカメラの位置情報を取得する。前述した図９のＳ９０１と同様の機能を有する。

画像取得部２２は、全てのカメラから同期した画像を取得する。前述した図９のＳ９０２と同様の機能を有する。

任意点選択部２０３は、被写体上の任意点を決定する。任意点選択部２０３は、ブロック制御部２０９からの指示に応じて、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定する。前述した図９のＳ９０３と同様の機能を有する。

正規化画像座標導出部２０４は、任意点を第１の画像に射影した第１の正規化画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の正規化画像座標（ｘ'，ｙ'）とを導出する。前述した図９のＳ９０４と同様の機能を有する。

ブロック選択部２０５は、第１の画像について任意点を含む第１のブロックを選択する。前述した図９のＳ９０５と同様の機能を有する。

ブロックマッチング部２０６は、第１のブロックを、相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、相対的位置（ｔ_ｘ，ｔ_ｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。前述した図９のＳ９０９と同様である。

パラメータ決定部２０７は、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定する。前述した図９のＳ９０７及びＳ９０８と同様である。

マッチング制御部２０８は、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する。前述した図９のＳ９０６及びＳ９１０と同様である。

ブロック制御部２０９は、任意点について、正規化画像座標算出部２０４と、パラメータ決定部２０７と、ブロックマッチング部２０６と、マッチング制御部２０８と、任意視点パラメータ決定部２１０と、自由視点画像生成部２１１とを繰り返す。最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する。前述した図９のＳ９０３及びＳ９１１と同様である。

任意視点パラメータ決定部２１０は、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する。前述した図９のＳ９１２と同様である。

自由視点画像生成部２１１は、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する。前述した図９のＳ９１３と同様である。

以上、詳細に説明したように、本発明の自由視点画像生成方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる。第１の画像の第１のブロックを、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルだけでなく、一次変換行列を検出することができる。任意の視点の位置に応じて、視差ベクトル及び一次変換行列を調整することにより、第１の画像の第１のブロックから、現実に近い任意の視点の画像を生成することができる。

前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

本発明におけるシステム構成図である。 図１のシステム構成について、複数のカメラを正面から見た配置図である。 各カメラから見た被写体の見え方を表す画面図である。 被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。 被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。 被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。 ２つのカメラの位置関係における座標系の説明図である。 カメラＣの第１の画像の第１のブロックを、カメラＣ’の第２の画像の第２のブロックに、ブロックマッチングをさせている説明図である。 本発明におけるフローチャートである。 本発明における自由視点画像生成装置の機能構成図である。

符号の説明

１ カメラ
２ 自由視点画像生成装置
２０１ 位置情報取得部
２０２ 画像取得部
２０３ 任意点選択部
２０４ 正規化画像座標導出部
２０５ ブロック選択部
２０６ ブロックマッチング部
２０７ パラメータ決定部
２０８ マッチング制御部
２０９ ブロック制御部
２１０ 任意視点パラメータ決定部
２１１ 自由視点画像生成部
３ 被写体

Claims (9)

1. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成方法であって、
   前記被写体上の任意点を決定する第１のステップと、
   前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する第２のステップと、
   第１の画像について前記任意点を含む第１のブロックを選択する第３のステップと、
   前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定する第４のステップと、
   第１のブロックを、前記相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、前記相対的位置（ｔ_ｘ，ｔ_ｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第５のステップと、
   前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、第４及び第５のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する第６のステップと、
   第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する第７のステップと、
   前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の前記相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、前記任意の視点からの画像のブロックを生成する第８のステップと
   を有することを特徴とする自由視点画像生成方法。
2. 第１の画像の第１のブロック以外の部分について前記被写体上の任意点を更に決定し、第１から第６のステップを繰り返し、
   最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する
   ことを特徴とする請求項１に記載の自由視点画像生成方法。
3. 第１のステップについて、前記任意点の画像座標は、正規化画像座標であり、
   第５のステップについて、前記視差ベクトルは、以下のものであり、
   

   

   前記一次変換行列は、以下のものである
   

   

   ことを特徴とする請求項１又は２に記載の自由視点画像生成方法。
4. 第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
   第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することを特徴とする請求項１から３のいずれか１項に記載の自由視点画像生成方法。
5. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成装置であって、
   前記被写体上の任意点を決定する任意点選択手段と、
   前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
   第１の画像について前記任意点を含む第１のブロックを選択するブロック選択手段と、
   前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定するパラメータ決定手段と、
   第１のブロックを、前記相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、前記相対的位置（ｔ_ｘ，ｔ_ｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
   前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
   第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する任意視点パラメータ決定手段と、
   前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の前記相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、前記任意の視点からの画像のブロックを生成する自由視点画像生成手段と
   を有することを特徴とする自由視点画像生成装置。
6. 前記任意点選択手段は、第１の画像の第１のブロック以外の部分について前記被写体上の任意点を更に決定し、
   前記任意点について、前記画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、任意視点パラメータ決定手段と、自由視点画像生成手段とを繰り返すブロック制御手段を更に有し、
   最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する
   ことを特徴とする請求項５に記載の自由視点画像生成装置。
7. 前記画像座標算出手段は、前記任意点の画像座標として正規化画像座標を導出し、
   前記ブロックマッチング手段は、前記視差ベクトルを以下のものとし、
   

   

   前記一次変換行列を以下のものとする
   

   

   ことを特徴とする請求項５又は６に記載の自由視点画像生成装置。
8. 第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
   第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することを特徴とする請求項５から７のいずれか１項に記載の自由視点画像生成装置。
9. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔ_ｘ，ｔ_ｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成するコンピュータを機能させる自由視点画像生成プログラムであって、
   前記被写体上の任意点を決定する任意点選択手段と、
   前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
   第１の画像について前記任意点を含む第１のブロックを選択するブロック選択手段と、
   前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定するパラメータ決定手段と、
   第１のブロックを、前記相対的位置（ｔ_ｘ，ｔ_ｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標を原点として、前記相対的位置（ｔ_ｘ，ｔ_ｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
   前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
   第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する任意視点パラメータ決定手段と、
   前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の前記相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、前記任意の視点からの画像のブロックを生成する自由視点画像生成手段と
   してコンピュータを機能させることを特徴とする自由視点画像生成プログラム。
   

Images