JP4775903B2 - 多視点画像を用いた自由視点画像生成方法、装置及びプログラム - Google Patents

Description

本発明は、多視点画像を用いた自由視点画像生成方法、装置及びプログラムに関する。

従来、視聴者が視点位置又は視点方向を自由に選択できる「自由視点画像」という技術がある。自由視点画像は、被写体を、複数のカメラによって撮影した多視点画像によって生成される。カメラによって撮影されない視点からの画像は、視差ベクトルを用いた画像間の補間によって生成される。このために、多視点画像間の対応点探索問題を解く必要がある。勿論、カメラの間隔を密にするほど、高品質の自由視点画像が得られる。

多視点画像間の対応点探索問題を解く代表的な方法として、「ブロックマッチング」がある。「ブロックマッチング」を用いた視差ベクトルの検出は、以下のようにしてなされる。

第１のカメラ（第１の視点）によって撮影された第１の画像を、小さなブロックに分割する。第１の画像の第１のブロックの各々を、第２のカメラ（他の視点）の第２の画像の中で平行移動させて、最も類似度が高い領域を探索する。具体的には、第１の画像の第１のブロックに対して、絶対値誤差又は２乗誤差が最小となる第２の画像の第２のブロックを探索する。そして、探索された第２のブロックと、第１のブロックとの距離量を視差ベクトルとして算出する。第１のカメラと第２のカメラとを直線で結ぶ線上に、任意の視点が選択された場合、任意の視点と第１及び第２のカメラとの距離の内分比に応じて、その視差ベクトルを調整する。調整された視差ベクトルに応じて、第１のカメラの第１の画像を補間することによって、その任意の視点の画像を生成することができる。

特開平１１−３７７２１号公報 特開平１０−１９１３９３号公報 特開平１０−１９１３９４号公報

従来のブロックマッチングは、第１の画像の中の被写体が、第２の画像の中で平行移動した場合に、ブロックをマッチングさせるものである。複数のカメラから見て、被写体の表面が、そのカメラの光軸に垂直となり、かつ、そのカメラから等距離にある場合にしか、完全なブロックマッチングをさせることができない。

しかしながら、複数のカメラの光軸に対して、被写体の表面が傾いている場合には、その被写体の面も異なって見える。即ち、第１の画像の第１のブロックを、第２の画像の中で平行移動させても、第１のブロックと完全にマッチングした第２のブロックを探索することはできない。第１の画像の中の被写体の形状は、第２の画像の中の被写体の形状と異なって射影されたものとなるからである。

そこで、本発明は、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる自由視点画像生成方法、装置及びプログラムを提供することを目的とする。

本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）（ただし、ｔ_ｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）とを導出する第３のステップと、
第１の画像について任意点を含む第１のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離Ｚ_Ｒと単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）を導出する第５のステップと、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する第７のステップと、
第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）を決定する第８のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）とを用いて、任意の視点からの画像のブロックを生成する第９のステップと
を有することを特徴とする。

本発明の自由視点画像生成方法における他の実施形態によれば、
第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第２から第７のステップを繰り返し、
最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成することも好ましい。

本発明の自由視点画像生成方法における他の実施形態によれば、
第１のステップについて、回転変換を表す行列は、以下のものであり、

第２のステップについて、任意点の画像座標は、正規化画像座標であり、
回転変換の結果、新たな奥行き距離Ｚ_Ｒ及び新たな単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）と、任意の視点の新たな相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び新たな画像座標（ｘ_Ｒ’，ｙ_Ｒ’）が得られたとし、
第６のステップについて、視差ベクトルは、以下のものであり、

一次変換行列は、以下のものである

ことも好ましい。

本発明の自由視点画像生成方法における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することも好ましい。

本発明の自由視点画像生成方法における他の実施形態によれば、
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出することも好ましい。

本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）（ただし、ｔ_ｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離Ｚ_Ｒと単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）を導出するパラメータ決定手段と、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）を決定する任意視点パラメータ決定手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）とを用いて、任意の視点からの画像のブロックを生成する自由視点画像生成手段と
を有することを特徴とする。

本発明の自由視点画像生成装置における他の実施形態によれば、
任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、任意視点パラメータ決定手段と、自由視点画像生成手段とを繰り返すブロック制御手段を更に有し、
最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成することも好ましい。

本発明の自由視点画像生成装置における他の実施形態によれば、
カメラ座標系座標変換手段について、回転変換を表す行列は、以下のものであり、

画像座標算出手段は、任意点の画像座標として正規化画像座標を導出し、
回転変換の結果、新たな奥行き距離Ｚ_Ｒ及び新たな単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）と、任意の視点の新たな相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び新たな画像座標（ｘ_Ｒ’，ｙ_Ｒ’）が得られたとし、
ブロックマッチング手段は、視差ベクトルを以下のものとし、

一次変換行列を以下のものとする

ことも好ましい。

本発明の自由視点画像生成装置における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することも好ましい。

本発明の自由視点画像生成装置における他の実施形態によれば、
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出することも好ましい。

本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）（ただし、ｔ_ｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成するコンピュータを機能させる自由視点画像生成プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離Ｚ_Ｒと単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）を導出するパラメータ決定手段と、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）を決定する任意視点パラメータ決定手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）とを用いて、任意の視点からの画像のブロックを生成する自由視点画像生成手段と
してコンピュータを機能させることを特徴とする。

本発明の自由視点画像生成方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる。第１の画像の第１のブロックを、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルだけでなく、一次変換行列を検出することができる。任意の視点の位置に応じて、視差ベクトル及び一次変換行列を調整することにより、第１の画像の第１のブロックから、現実に近い任意の視点の画像を生成することができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

図１は、本発明におけるシステム構成図である。

異なる位置に配置された複数のカメラ１が、被写体３を撮影する。複数のカメラ１は、光軸をＺ軸に平行として配置されている。但し、それらのカメラは、光軸に垂直な同一平面（ＸＹ平面に平行な平面）上には配置されない。即ち、前後左右に散らばって配置されている。図１によれば、９台の縦３列横３列（視点（０，０）〜（２，２））で配置されている。また、複数のカメラ１は、自由視点画像生成装置２に接続される。本発明によれば、少なくとも２つのカメラによって撮影された多視点画像を必要とする。

カメラ１は、被写体３を撮影した画像を自由視点画像生成装置２へ送信する。ここで、カメラ１が移動可能なものである場合、カメラ位置情報も、自由視点画像生成装置２へ送信される。勿論、自由視点画像生成装置２が、全てのカメラ位置情報を予め記憶しているものであってもよい。

図２は、図１のシステム構成について、複数のカメラを正面及び側面から見た配置図である。

図２によれば、正面から見ると、等幅で縦３列横３列に配置されている。側面から見ると、カメラ（０，１）（１，１）（２，１）がｚ軸に対して後方に配置されている。即ち、被写体３に対して、複数のカメラ１は、ｙ軸に対して円筒面上に配置されている。

図３は、図２における各カメラから見た被写体の見え方を表す画面図である。

図３によれば、被写体は、台形状立体である。被写体の正面に、カメラ（１，１）が位置する。カメラ（０，１）（１，１）（２，１）は、ｚ軸に対して後方に配置されているので、被写体が少し小さく見える。また、カメラ（１，１）の前方にあり且つ左側のカメラ（１，０）から見ると、被写体が全体として大きく、且つ、左側が広がり、右側が縮小して見える。また、カメラ（１，１）の前方にあり且つ右側のカメラ（１，２）から見ると、被写体が全体として大きく、且つ、左側が縮小し、右側が広がって見える。

同様に、カメラ（１，１）の上側のカメラ（０，１）から見ると、被写体の上側が広がり、下側が縮小して見える。カメラ（１，１）の下側のカメラ（２，１）から見ると、被写体の上側が縮小し、下側が広がって見える。

図３からも明らかなとおり、視差を考慮してブロックを移動させても、正確に一致する領域がない。従って、正しいマッチングを取ることができない。

図４〜図６には、被写体の表面の傾きによって、各カメラによって撮影される画像を表している。

図４は、被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。

被写体は、左側が奥に、右側が手前にある。このとき、カメラ（１，１）の画像よりも、カメラ（１，１）の前方にあり且つ左側のカメラ（１，０）の画像の方が、被写体が全体として大きく、且つ、横方向に広がって見える。また、カメラ（１，１）の画像よりも、カメラ（１，１）の前方にあり且つ右側のカメラ（１，２）の画像の方が、被写体が全体として大きく、且つ、横方向に狭く見える。

図５は、被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。

被写体は、上側が奥に、下側が手前にある。このとき、カメラ（１，１）の画像よりも、カメラ（１，１）の上側のカメラ（０，１）の画像の方が、平面が縦方向に広がって見える。また、カメラ（１，１）の画像よりも、カメラ（１，１）の下側のカメラ（２，１）の画像の方が、平面が縦方向に狭く見える。

図６は、被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。即ち、図４の傾きと図５の傾きとを合わせたものである。

図３、図４〜図６に表されたように、このような見え方の差異は、複数のカメラの光軸に対して、被写体の台形状立体の側面が傾いているために生じる。本発明によれば、カメラの光軸に対して被写体の表面が傾いている場合であっても、第１のブロックと完全にマッチングした第２のブロックを探索することができる。

図７は、２つのカメラにおける第１の相対位置関係の説明図である。

一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。また、２つのカメラは、光軸を平行に、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）で配置される。図７によれば、被写体に対して、カメラＣとカメラＣ’のｘｙ平面は、異なる位置にある。従って、ｔ_ｚ≠０である。

図８は、２つのカメラに回転を加えた第２の相対位置関係の説明図である。

本発明によれば、カメラ内部パラメータを用いて、カメラＣとカメラＣ’に同一の回転変換を加える。この回転Ｒは、カメラＣ及びカメラＣ’の光軸が、カメラＣ及びカメラＣ’を通る同一平面に対して垂直となるようにする。このように、カメラＣのカメラ座標系座標と、カメラＣ’のカメラ座標系座標とを変換する。これにより、カメラＣ及びカメラＣ’の第２の相対的位置は、（ｔ_Ｒｘ，ｔ_Ｒｙ，０）となる。即ち、ｔ_Ｒｚ＝０で表される。

カメラ座標系座標に回転Ｒを加えて、そのｘｙ平面から被写体の任意点までの奥行き距離Ｚ_Ｒと、近似平面の向き（単位法線ベクトル）ｎ_Ｒとを、ブロックマッチングのパラメータとして用いる。

図９は、カメラＣの第１の画像の第１のブロックを、カメラＣ’の第２の画像の第２のブロックに、ブロックマッチングをさせている説明図である。

一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。また、２つのカメラは、光軸を平行に、且つ、光軸に垂直な同一平面上に、相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）で配置される。本発明は、その近似平面から被写体の任意点までの奥行き距離Ｚ_Ｒと、その近似平面の向き（単位法線ベクトル）ｎ_Ｒとを、ブロックマッチングのパラメータとして用いる。

以下では、ブロック又は画像の移動及び変形となる一次変換行列の導出過程を詳細に説明する。

最初に、カメラの内部パラメータ（内部カメラ行列）Ａは、以下の式で表される。この値は、既知であるとする。

ｆk_u、ｆk_v：焦点距離（カメラの距離のピクセル数）
θ＝π／２：座標軸の角度
ｕ_０、ｖ_０：画像中心

カメラＣのカメラ座標系を平行移動（相対的位置ｔ）させて、カメラＣ’のカメラ座標系が得られる。ｔは、カメラの外部パラメータの１つであり、カメラＣのカメラ座標系に対するカメラＣ’の変位ベクトルを表す。カメラＣ及びＣ’は、光軸を平行に配置される。また、カメラＣのカメラ座標系に対するカメラＣ’の相対的位置ベクトルｔは、ｚ軸成分を必ず非０とする（ｔ_Ｚ≠０）。

カメラＣのカメラ座標系座標と、カメラＣ’のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ’のカメラ座標系座標に変換される。
Ｍ＝Ｍ’＋ｔ 式（２）
Ｍ：カメラＣにおける被写体の任意点Ｐのカメラ座標系座標
Ｍ’：カメラＣ’における被写体の任意点Ｐのカメラ座標系座標

ここで、被写体の近似平面πに対して、カメラＣ’のカメラ座標系では以下の式が成り立つ。
ｎ^ＴＭ’＝ｄ 式（５）
ｎ（|ｎ|＝１）：カメラＣ’のカメラ座標系における平面の法線ベクトル

ｄ：カメラＣ’のカメラ座標系の原点から平面までの距離

次に、任意点Ｐのディジタル画像座標を、以下のようにする。
ｍ：カメラＣにおける任意点Ｐのディジタル画像座標
ｍ’：カメラＣ’における任意点Ｐのディジタル画像座標

また、任意点Ｐの正規化画像座標を、以下のようにする。「正規化画像」とは、画像平面が焦点から単位長のところにあるカメラ（正規化カメラ）で撮影したと仮定した場合の画像をいう。正規化画像における任意点の座標を、「正規化画像座標」という。
ｘ：任意点ＰのカメラＣにおける正規化画像座標
ｘ’：任意点ＰのカメラＣ’における正規化画像座標

これにより、以下の中心射影変換が成立する。

次に、式（９）に式（７）及び式（３）を代入すると、以下の式が導出される。

両辺の３行目を比較すると、ｓ＝Ｚが導かれる。

これを式（９）に代入すると、以下の式が導出される。

一方で、式（１０）に式（２）を代入すると、以下の式が成立する。

式（１）、式（３）、式（４）、及び式（８）を代入して、以下の式が導出される。

両辺の３行目を比較すると、ｓ’＝Ｚ’＝Ｚ−ｔ_ｚが導出される。

これを式（１０）に代入すると、以下の式が導出される。

次に、カメラＣのカメラ座標系を回転変換し、ｔを、それをＸＹ平面に正射影したベクトルｔ_ｘｙの方向に一致させることを考える。但し、ｔ_ｘｙは、以下のようになる。

一般に、単位ベクトルｒを回転軸とする角度θの回転を表す行列Ｒは、Ｒｏｄｒｉｇｕｅｓの公式により、以下のように表される。

ここで、以下のものである。

ｒは、ｔ及びｔ_ｘｙと直交するので、以下の式になる。

回転角度をθとすると、以下の式となる。

以上より、式（１４）及び式（１５）を式（１３）に代入すると、求める回転変換行列は、以下のようになる。

同様に、逆変換の行列は、以下のようになる。

回転変換行列Ｒを用いて、平行移動ベクトルｔ、近似平面πの単位法線ベクトルｎを回転変換する。回転変換した結果をそれぞれ、ｔ_Ｒ、ｎ_Ｒとおくと、以下のようになる。

回転変換後のカメラＣのカメラ座標系座標と、回転変換後のカメラＣ’のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ’のカメラ座標系座標に変換される。
Ｍ_Ｒ＝Ｍ_Ｒ’＋ｔ_Ｒ 式（２０）
Ｍ_Ｒ：回転変換後のカメラＣにおける被写体の任意点Ｐのカメラ座標系座標
Ｍ_Ｒ’：回転変換後のカメラＣ’における被写体の任意点Ｐのカメラ座標系座標

ここで、被写体の近似平面πに対して、回転変換後のカメラＣ’のカメラ座標系では、近似平面πとカメラＣ’との距離ｄの値は回転変換によって不変であるから、以下の式が成り立つ。
ｎ_Ｒ ^ＴＭ_Ｒ’＝ｄ 式（２３）
∴ｎ_Ｒ ^ＴＭ_Ｒ’／ｄ＝１ 式（２４）

式（２４）を、式（２０）に代入すると、以下の平面射影変換の式が得られる。

Ｈをホモグラフィ行列とすると、以下のようになる。

次に、任意点Ｐのディジタル画像座標を、以下のようにする。
ｍ_Ｒ：回転変換後のカメラＣにおける任意点Ｐのディジタル画像座標
ｍ_Ｒ’：回転変換後のカメラＣ’における任意点Ｐのディジタル画像座標

また、任意点Ｐの正規化画像座標を、以下のようにする。
ｘ_Ｒ：回転変換後の任意点ＰのカメラＣにおける正規化画像座標
ｘ_Ｒ’：回転変換後の任意点ＰのカメラＣ’における正規化画像座標

これにより、中心射影変換として、以下の式が成立する。

式（２８）に式（２６）及び式（２１）式を代入すると、以下の式が導出される。

両辺の３行目を比較すると、ｓ_Ｒ＝Ｚ_Ｒが導かれる。

これを式（２８）に代入すると、以下の式が導出される。

一方で、式（２９）に式（２０）を代入すると、以下の式が成立する。

式（２１）、式（２２）、式（１）、式（１８）及び式（２７）を代入して、以下の式を導出する。

両辺の３行目を比較すると、
ｓ_Ｒ’＝Ｚ_Ｒ’＝Ｚ_Ｒ 式（４１）
が導かれる。

これを、式（２９）に代入すると、以下の式が成立する。

従って、式（２３）に代入すると、以下の式が成立する。

式（１９）及び式（２７）を代入すると、以下の式が成立する。
ｄ＝Ｚ_Ｒ（ｎ_Ｒｘｘ_Ｒ’＋ｎ_Ｒｙｙ_Ｒ’＋ｎ_Ｒｚ） 式（３１）

式（３１）を式（１３）に代入すると、以下の式が導出される。

また、ｘとｘ_Ｒの変換式、及び、ｘ’とｘ_Ｒ’の変換式を求める。簡単のため、以下のように定義する。

そうすると、式（１１）より、以下のようになる。

両辺の３行目を比較すると、以下の式となる。

これにより、以下の式が成立する。

また、式（３２）に式（４１）を代入すると、以下の式となり、Ｚ，ｔ，ｘ’，ｙ’からＺ_Ｒが導出できる。

ここで、式（４０）において、カメラ座標系座標Ｍ_Ｒ及びＭ_Ｒ’に代えて、正規化画像座標ｘ_Ｒ及びｘ_Ｒ’を用いると、以下の変換式が得られる。

両辺の３行目を比較すると、ｓ_Ｒ＝１が導かれる。

これを式（３５）に代入すると、以下の式が成立する。

更に、ディジタル画像座標ｍ_Ｒ及びｍ_Ｒ’を用いると、以下の変換式が得られる。

正規化画像座標系における視差ベクトルをＤとすると、以下の式が成り立つ。

右辺及び左辺の差を求めると、以下の式が成り立つ。

回転変換した第２の画像の第２のブロックについて、回転変換した第１の画像の中を、以下のＤの平行移動をさせて、第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）を原点として以下のＬの一次変換行列で変形をさせることにより、第２のブロックに最も類似するような、第１の画像のブロックを探索する。一次変換行列によれば、視差ベクトルと、被写体の（平面に近似された）面の傾きとに基づいてブロックを変形し、ブロックマッチングをすることができる。

次に、第１のカメラと第２のカメラとを結ぶ直線上をｐ：ｑに内分する視点Ｃ”からの画像を合成する方法を説明する。

カメラＣのカメラ座標系に対する視点Ｃ”の相対的位置ベクトルｔ”は、以下の値となる。

また、任意点Ｐの視点Ｃ”における正規化画像座標をｘ”とおくと、ｘ”は、ｘとｘ'とｐ：ｑに内分する点となる。

視点Ｃ”の画像は、第１の画像の各ブロックを、以下のＤ”の平行移動をさせて、第１の画像座標を原点として以下のＬ”の一次変換行列で変形をさせることにより、合成することができる。

以下では、具体的な実施例を説明する。

第１に、同一平面上に無い２台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。

カメラの内部パラメータＡ及び相対的位置ベクトルｔは、事前に得られていることが前提である。簡単のため、以下のように定義する。

この相対的位置ベクトルｔは、２台のカメラが半径Ｒの円周上に角度θだけ離れて設置してある状況に相当する。

まず、カメラＣの画像の中の点Ｍ_０に着目する。点Ｍ_０のディジタル画像座標ｍ_０が、以下の値であったとする。

そこで、正規化画像座標に変換する。点Ｍ_０の正規化画像座標ｘ_０は、以下の値になる。

同様にして、カメラＣの画像及びカメラＣ’の画像を、ディジタル画像座標から正規化画像座標に変換する。

次に、カメラＣの画像及びカメラＣ’の画像を回転変換する。回転変換行列は、式（１６）に基づくと、下記の通りである。

相対的位置ベクトルは、式（１８）に基づき、下記のベクトルに変換される。

式（３３）に基づき、回転変換する。例えば、点Ｍ_０は下記の点Ｍ_Ｒ０に変換される。

点Ｍ_０を中心点とする、大きさＷ×Ｈのブロックで探索を行うとする。

本発明によれば、法線ベクトルｎ_ｘ、ｎ_ｙ、ｎ_ｚ及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎ_ｘ＝０、ｎ_ｙ＝１、ｎ_ｚ＝０、Ｚ＝Ｒ／２の時、回転変換された座標系における、奥行き距離、法線ベクトルは、式（３２）及び式（１９）を用いて、以下のようになる。

従って、この時の視差ベクトルＤ_０は、式（３７）より、以下のようになる。

また、この時の一次変換行列Ｌ_０は、式（３８）より、以下のようになる。

このとき、ブロックマッチングの誤差が最小であったならば、Ｄ_０及びＬ_０が目的の視差ベクトルと一次変換行列であることになる。

第２に、同一平面上にあるＫ台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。

カメラの内部パラメータＡ及び相対的位置ベクトルｔ_ｋ（第０カメラをベースカメラとして、第０カメラに対する第ｋカメラの相対的位置ベクトルを示す。ｋ＝１〜Ｋ−１）は、事前に得られていることが前提である。簡単のため、以下のようであったとする。

この相対的位置ベクトルｔ_ｋは、Ｋ台のカメラがＸ軸上にΔ間隔で設置してある状況に相当する。

まず、第０カメラの画像の中の点Ｍ_０に着目する。点Ｍ_０のディジタル画像座標ｍ_０が、以下の値であったとする。

そこで、正規化画像座標に変換する。点Ｍ_０の正規化画像座標ｘ_０は、以下の値になる。

同様にして、他のＫ−１台のカメラの画像を、ディジタル画像座標から正規化画像座標に変換する。

本発明によれば、法線ベクトル（ｎ_ｘ、ｎ_ｙ、ｎ_ｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎ_ｘ＝ｎ_ｘ０、ｎ_ｙ＝ｎ_ｙ０、ｎ_ｚ＝ｎ_ｚ０、Ｚ＝Ｚ_０の時、第０カメラの画像の中の点Ｍ_０に対する第ｋカメラの画像の対応点の視差ベクトルＤ_ｋは、以下のようになる。

また、第０カメラの画像の中のブロックに対する第ｋカメラの画像の中のブロックの一次変換行列Ｌ_ｋは、以下のようになる。

ここで、法線ベクトル（ｎ_ｘ、ｎ_ｙ、ｎ_ｚ）及び奥行き距離Ｚは固定したまま（ｎ_ｘ＝ｎ_ｘ０、ｎ_ｙ＝ｎ_ｙ０、ｎ_ｚ＝ｎ_ｚ０、Ｚ＝Ｚ_０）で、各カメラにおいて、Ｄ_ｋに基づいて平行移動しＬ_ｋに基づいて一次変換したブロックを比較し、両者（第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士）の差分を評価する。例えば、最小自乗誤差を求める。

第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士の差分の評価値をｄ_ｋとおく。この時、法線ベクトルと奥行き距離の各組合せに対して、以下のように算出する。

このＳを最小化する、法線ベクトルと奥行き距離の組合せが、目的の視差ベクトルと一次変換行列であることになる。

第３に、同一平面上に無いＫ台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。

カメラの内部パラメータＡ及び相対的位置ベクトルｔ_ｋ（第０カメラをベースカメラとして、第０カメラに対する第ｋカメラの相対的位置ベクトルを示す。ｋ＝１〜Ｋ−１）は、事前に得られていることが前提である。簡単のため、以下のようであったとする。

この相対的位置ベクトルｔ_ｋは、Ｋ台のカメラが半径Ｒの円周上に角度Θ間隔で設置してある状況に相当する。

まず、第０カメラの画像の中の点Ｍ_０に着目する。点Ｍ_０のディジタル画像座標ｍ_０が、以下の値であったとする。

そこで、正規化画像座標に変換する。点Ｍ_０の正規化画像座標ｘ_０は、以下の値になる。

同様にして、他のＫ−１台のカメラの画像を、ディジタル画像座標から正規化画像座標に変換する。

次に、Ｋ台のカメラの画像を回転変換する。第０カメラと第ｋカメラの組合せにおける回転変換行列は、式（１６）に基づくと、以下のようになる。

第０カメラと第ｋカメラの組合せにおける相対的位置ベクトルは、式（１８）に基づき、下記のベクトルに変換される。

式（３３）に基づき、回転変換する。例えば、点Ｍ_０は下記の点Ｍ_ｋに変換される。

点Ｍ_０を左上端とするブロックで探索を行うとする。

本発明によれば、法線ベクトル（ｎ_ｘ、ｎ_ｙ、ｎ_ｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎ_ｘ＝０、ｎ_ｙ＝１、ｎ_ｚ＝０、Ｚ＝Ｒ／２の時、第０カメラと第ｋカメラの組合せで回転変換された座標系における、奥行き距離、法線ベクトルは、式（３２）及び式（１９）を用いて、以下のようになる。

従って、この時の第０カメラと第ｋカメラの組合せにおける視差ベクトルＤ_kは、式（３７）より、以下のようになる。

また、この時の第０カメラと第ｋカメラの組合せにおける一次変換行列Ｌ_kは、式（３８）より、以下のようになる。

ここで、法線ベクトル（ｎ_ｘ、ｎ_ｙ、ｎ_ｚ）及び奥行き距離Ｚは固定したまま（ｎ_ｘ＝０、ｎ_ｙ＝１、ｎ_ｚ＝０、Ｚ＝Ｒ／２）で、各カメラにおいて、Ｄ_ｋに基づいて平行移動しＬ_ｋに基づいて一次変換したブロックを比較し、両者（第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士）の差分を評価する。例えば、最小自乗誤差を求める。

第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士の差分の評価値をｄ_ｋとおく。この時、法線ベクトルと奥行き距離の各組合せに対して、以下のように算出する。

このＳを最小化する、法線ベクトルと奥行き距離の組合せが、目的の視差ベクトルと一次変換行列であることになる。

このとき、ブロックマッチングの誤差が最小であったならば、Ｄ_０及びＬ_０が目的の視差ベクトルと一次変換行列であることになる。

図１０は、２つのカメラによる変形ブロックマッチングの説明図である。

図１０によれば、各画像について１対１の組み合わせによって、独立に変形ブロックマッチングをする。この場合、組み合わせ毎に、異なる奥行き距離と法線ベクトルとが必要となり、大きい計算量を要する。

図１１は、３つ以上のカメラによる変形ブロックマッチングの説明図である。

図１１によれば、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、その予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する。１組の奥行き距離及び法線ベクトルによって、全ての画像の対応ブロックのマッチングをとることができる。

図１２は、本発明におけるフローチャートである。

（Ｓ９０１）全てのカメラの位置情報を取得する。全てのカメラは、光軸を平行に且つ該光軸に垂直な同一平面上に配置されている。従って、第１のカメラに対する第２のカメラの世界座標系の第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を取得する。カメラは、移動可能なものであってもよい。カメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報を受信する。尚、カメラが固定なものであれば、その位置情報は予め登録されているものであってもよい。

（Ｓ９０２）全てのカメラの画像を取得する。ここで、第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。

（Ｓ９０３）第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。回転変換を表す行列は、以下のものである。

（Ｓ９０４）被写体上の任意点を決定する。
（Ｓ９０５）任意点を、回転変換を加えた第１の画像に射影した第１の画像座標（ｘ，ｙ）と、任意点を、回転変換を加えた第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
（Ｓ９０６）第１の画像について任意点を含む第１のブロックを選択する。

（Ｓ９０７）以下、Ｓ９０８〜Ｓ９１１を繰り返す。
（Ｓ９０８）任意点の奥行き距離Ｚを任意に決定する。
（Ｓ９０９）被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に決定する。

（Ｓ９１０）ここで、回転変換の結果、新たな奥行き距離Ｚ_Ｒ及び新たな単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）と、任意の視点の新たな相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び新たな画像座標（ｘ_Ｒ’，ｙ_Ｒ’）が得られたとする。そうすると、視差ベクトルは、以下のものとなる。

一次変換行列は、以下のものである。

第１のブロックを、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ'，ｙ_Ｒ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。

（Ｓ９１１）奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、Ｓ９０７〜Ｓ９１０を繰り返す。そして、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。結果的に、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する。

（Ｓ９１２）第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、Ｓ９０４〜Ｓ９１１を繰り返す。最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する。

（Ｓ９１３）第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する。
（Ｓ９１４）奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する。

図１３は、本発明における自由視点画像生成装置の機能構成図である。

図１３によれば、自由視点画像生成装置２は、位置情報取得部２１と、画像取得部２２と、カメラ座標系座標変換部２０３と、任意点選択部２０４と、正規化画像座標導出部２０５と、ブロック選択部２０６と、ブロックマッチング部２０７と、パラメータ決定部２０８と、マッチング制御部２０９と、ブロック制御部２１０と、任意視点パラメータ決定部２１１と、自由視点画像生成部２１２とを有する。これら機能部は、コンピュータによって実行されるプログラムによっても実現できる。

位置情報取得部２１は、全てのカメラの位置情報を取得する。前述した図１２のＳ９０１と同様の機能を有する。

画像取得部２２は、全てのカメラから同期した画像を取得する。前述した図１２のＳ９０２と同様の機能を有する。

カメラ座標系座標変換部２０３は、第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。前述した図１２のＳ９０３と同様の機能を有する。

任意点選択部２０４は、被写体上の任意点を決定する。任意点選択部２０４は、ブロック制御部２１０からの指示に応じて、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定する。前述した図１２のＳ９０４と同様の機能を有する。

正規化画像座標導出部２０５は、任意点を、回転変換を加えた第１の画像に射影した第１の正規化画像座標（ｘ，ｙ）と、任意点を、回転変換を加えた第２の画像に射影した第２の正規化画像座標（ｘ'，ｙ'）とを導出する。前述した図１２のＳ９０５と同様の機能を有する。

ブロック選択部２０６は、第１の画像について任意点を含む第１のブロックを選択する。前述した図１２のＳ９０６と同様の機能を有する。

ブロックマッチング部２０７は、第１のブロックを、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ'，ｙ_Ｒ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。前述した図１２のＳ９１０と同様である。

尚、ブロック選択部２０６が、第２の画像について任意点を含む第２のブロックを選択する場合、ブロックマッチング部２０７は、第１の画像を、視差ベクトルで移動させ、第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）を原点として一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる。

パラメータ決定部２０８は、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定する。前述した図１２のＳ９０８及びＳ９０９と同様である。

マッチング制御部２０９は、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する。前述した図１２のＳ９０７及びＳ９１１と同様である。

ブロック制御部２１０は、任意点について、正規化画像座標算出部２０５と、パラメータ決定部２０８と、ブロックマッチング部２０７と、マッチング制御部２０９とを繰り返す。最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する。前述した図１２のＳ９０４及びＳ９１２と同様である。

任意視点パラメータ決定部２１１は、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）を決定する。前述した図１２のＳ９１３と同様である。

自由視点画像生成部２１２は、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ''，ｔ_ｙ''，０）及び画像座標（ｘ''，ｙ''）とを用いて、任意の視点からの画像のブロックを生成する。前述した図１２のＳ９１４と同様である。

以上、詳細に説明したように、本発明の自由視点画像生成方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる。第１の画像の第１のブロックを、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルだけでなく、一次変換行列を検出することができる。任意の視点の位置に応じて、視差ベクトル及び一次変換行列を調整することにより、第１の画像の第１のブロックから、現実に近い任意の視点の画像を生成することができる。

前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

本発明におけるシステム構成図である。 図１のシステム構成について、複数のカメラを正面及び側面から見た配置図である。 図２における各カメラから見た被写体の見え方を表す画面図である。 被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。 被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。 被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。 ２つのカメラにおける第１の相対位置関係の説明図である。 ２つのカメラに回転を加えた第２の相対位置関係の説明図である。 カメラＣの第１の画像の第１のブロックを、カメラＣ’の第２の画像の第２のブロックに、ブロックマッチングをさせている説明図である。 ２つのカメラによる変形ブロックマッチングの説明図である。 ３つ以上のカメラによる変形ブロックマッチングの説明図である。 本発明におけるフローチャートである。 本発明における自由視点画像生成装置の機能構成図である。

符号の説明

１ カメラ
２ 自由視点画像生成装置
２０１ 位置情報取得部
２０２ 画像取得部
２０３ カメラ座標系座標変換部
２０４ 任意点選択部
２０５ 正規化画像座標導出部
２０６ ブロック選択部
２０７ ブロックマッチング部
２０８ パラメータ決定部
２０９ マッチング制御部
２１０ ブロック制御部
２１１ 任意視点パラメータ決定部
２１２ 自由視点画像生成部
３ 被写体

Claims (11)

1. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）（ただし、ｔ_ｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成方法であって、
   第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
   被写体上の任意点を決定する第２のステップと、
   前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）とを導出する第３のステップと、
   第１の画像について任意点を含む第１のブロックを選択する第４のステップと、
   任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離Ｚ_Ｒと単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）を導出する第５のステップと、
   第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第６のステップと、
   奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する第７のステップと、
   第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）を決定する第８のステップと、
   奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）とを用いて、任意の視点からの画像のブロックを生成する第９のステップと
   を有することを特徴とする自由視点画像生成方法。
2. 第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第２から第７のステップを繰り返し、
   最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する
   ことを特徴とする請求項１に記載の自由視点画像生成方法。
3. 第１のステップについて、前記回転変換を表す行列は、以下のものであり、
   

   

   第２のステップについて、任意点の画像座標は、正規化画像座標であり、
   前記回転変換の結果、新たな奥行き距離Ｚ_Ｒ及び新たな単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）と、任意の視点の新たな相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び新たな画像座標（ｘ_Ｒ’，ｙ_Ｒ’）が得られたとし、
   第６のステップについて、視差ベクトルは、以下のものであり、
   

   

   一次変換行列は、以下のものである
   

   

   ことを特徴とする請求項１又は２に記載の自由視点画像生成方法。
4. 第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
   第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有する
   ことを特徴とする請求項１から３のいずれか１項に記載の自由視点画像生成方法。
5. ３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）は一定であって、
   第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する
   ことを特徴とする請求項１から４のいずれか１項に記載の自由視点画像生成方法。
6. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）（ただし、ｔ_ｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成する自由視点画像生成装置であって、
   第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
   被写体上の任意点を決定する任意点選択手段と、
   前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）とを導出する画像座標算出手段と、
   第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
   任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離Ｚ_Ｒと単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）を導出するパラメータ決定手段と、
   第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
   奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
   第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）を決定する任意視点パラメータ決定手段と、
   奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）とを用いて、任意の視点からの画像のブロックを生成する自由視点画像生成手段と
   を有することを特徴とする自由視点画像生成装置。
7. 前記任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
   前記任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、任意視点パラメータ決定手段と、自由視点画像生成手段とを繰り返すブロック制御手段を更に有し、
   最終的に、第１のカメラと第２のカメラとを結ぶ直線上の任意の視点からの画像の全ての部分を生成する
   ことを特徴とする請求項６に記載の自由視点画像生成装置。
8. 前記カメラ座標系座標変換手段について、前記回転変換を表す行列は、以下のものであり、
   

   

   前記画像座標算出手段は、前記任意点の画像座標として正規化画像座標を導出し、
   前記回転変換の結果、新たな奥行き距離Ｚ_Ｒ及び新たな単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）と、任意の視点の新たな相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び新たな画像座標（ｘ_Ｒ’，ｙ_Ｒ’）が得られたとし、
   前記ブロックマッチング手段は前記、視差ベクトルを以下のものとし、
   

   

   前記一次変換行列を以下のものとする
   

   

   ことを特徴とする請求項６又は７に記載の自由視点画像生成装置。
9. 第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
   第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することを特徴とする請求項６から８のいずれか１項に記載の自由視点画像生成装置。
10. ３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）は一定であって、
    第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出する
    ことを特徴とする請求項６から９のいずれか１項に記載の自由視点画像生成装置。
11. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）（ただし、ｔ_ｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、任意の視点の画像を生成するコンピュータを機能させる自由視点画像生成プログラムであって、
    第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
    被写体上の任意点を決定する任意点選択手段と、
    前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘ_Ｒ，ｙ_Ｒ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）とを導出する画像座標算出手段と、
    第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
    任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離Ｚ_Ｒと単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）を導出するパラメータ決定手段と、
    第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）及び奥行き距離Ｚ_Ｒに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔ_Ｒｘ，ｔ_Ｒｙ，０）、奥行き距離Ｚ_Ｒ、単位法線ベクトル（ｎ_Ｒｘ，ｎ_Ｒｙ，ｎ_Ｒｚ）及び第２の画像座標（ｘ_Ｒ’，ｙ_Ｒ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
    奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を導出するマッチング制御手段と、
    第１のカメラと第２のカメラとを結ぶ直線上の任意の視点の内分比に応じて、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）を決定する任意視点パラメータ決定手段と、
    奥行き距離Ｚ及び単位法線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、任意の視点の相対的位置（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”）及び画像座標（ｘ”，ｙ”）とを用いて、任意の視点からの画像のブロックを生成する自由視点画像生成手段と
    してコンピュータを機能させることを特徴とする自由視点画像生成プログラム。
    

Images