JPWO2004061387A1 - 多視点ビデオキャプチャシステム - Google Patents

Abstract

複数のカメラで対象物を撮影して多視点による映像データを取得することにより被験者等の対象物の負担を少なくすると共に、カメラの姿勢やズーム等のカメラパラメータを映像データと共に取得することにより、対象物の映像を含む実際の動きを測定環境に依存することなく取得する。単に映像データとカメラパラメータを取得するのではなく、カメラの撮影時に、複数カメラを同期させて映像データを取得すると共に、この映像データと同期してカメラパラメータを取得することにより、対象物の実際の動きを測定環境に依存することなく取得し、また、代表点のみの動きではなく対象物の映像自体の動きを取得する。

Description

本発明は、映像情報を取得するシステム及び記憶媒体に関し、特に多視点から捕らえた映像情報を取り込み記憶する多視点ビデオキャプチャシステム、当該多視点ビデオキャプチャシステムを制御するプログラムの記憶媒体、映像情報を記憶する記憶媒体に関する。

工業、医学の他、スポーツなど種々の分野において、現実の世界にある物体を計算機上に取り込み、計算機上で種々の処理を行うことが試みられている。例えば、人や物の移動あるいは物体の形状の情報を取得して、人や物の移動解析や、仮想空間の形成等に利用される。
しかし、実際に評価したい人や物体は様々な環境下で作業を行うため、必ずしもこれら情報を取得するに適した場所ではない。また、現実世界を行われている事象をそのまま計算機上に取り込むには、人や物体等の対象物やその周辺環境に時間をとらせず、作業に支障が生じないことが必要である。
従来、このような現実の世界にある物体を計算機上に取り込む手法として、モーションキャプチャと呼ばれるものが知られている。このモーションキャプチャは、人などの動体の動きをシミュレートするものである。モーションキャプチャ装置として、例えば文献１が知られている。文献１には、モーションキャプチャとして、例えば代表的なものとして光学式、機械式、磁気式が知られ、光学式のモーションキャプチャでは、演技者の体の動きを計測したい場所にマーカを取り付け、このマーカをカメラで撮像することにより、マーカの位置から各部の動きを計測し、機械式のモーションキャプチャでは、演技者の体に角度検出器や感圧器を取り付け、関節部の折れ曲がり角度を検出することにより演技者の動きを検出し、磁気式のモーションキャプチャでは、演技者の身体の各部に磁気センサを取り付け、人工的に生成された磁場の中で演技者を動かして、磁力線のの密度と角度を磁気センサによって検出することにより、磁気センサが存在する絶対的な位置を導出して演技者の動きを検出することが記載されている。
文献１：特許公開公報 特開２０００−３２１０４４（段落番号０００２〜段落番号０００５）

従来知られているモーションキャプチャでは、光学式では特殊なマーカを被験者の体の決められた位置に取り付けること、均質光のもとで対象物の周囲にカメラを配置すること、磁気式では対象物を人工的に生成された磁場内に配置すること、機械式では被験者の体に角度検出器や感圧器を取り付けること、また、実際の位置とカメラ画像におけるピクセル位置との補正を行うキャリブレーション（校正）に時間がかかることなど、特殊な環境が必要であり、被験者や計測者にとって負担が大きいという問題がある。
さらに、従来のモーションキャプチャでは、対象物に定めた代表点のみの位置情報を計測し、これに基づいて動きを検出しており、対象物の映像情報は含まれていない。従来の光学式のモーションキャプチャはカメラを備えるものの、このカメラは被験者等の対象物の画像から代表位置に取り付けたマーカの位置情報を取１り出し、対象物の画像データは廃棄しており、対象物の本来の動きを取り込んでいない。そのため、従来のモーションキャプチャで得られる対象物の動きは、例えばワイヤーフレームの形態で表現することになり、対象物の本来の動きを再現することができないという問題がある。
また、従来のシステムでは、対象物の画像を高精度で取得するには高価なカメラが必要であり、特に広い範囲の画像を取得するにはより高価なカメラが必要となる。
ビデオカメラで撮像した画像を用いて対象物の位置や姿勢を取得するには、画像（フレーム）列に対して個々のフレーム上に写り込んでいる被写体の位置や姿勢を解析する必要がある。この解析精度は、一般に被写体が大きく写り込んでいるほど向上する。その理由は、被写体の実世界における位置のずれが、被写体の視野角に対する割合が大きくなればなるほど、フレーム上の位置（ピクセル位置）のずれとして反映されるためである。
精度を上げる一つの方法として、フレーム上のピクセルの密度を上げる方法がある。しかしながら、この方法はビデオカメラの撮像素子の性能に限界があり、画像伝送のデータ量が極端に増えるという問題があるため、実用的ではない。そこで、被写体を大きく捕らえるには、カメラマンがカメラの視野の移動（パン、チルト）、あるいはズームアップを行えば良い。さらに、カメラ自体を被写体の動きに合わせて移動させればさらに良い。
しかしながら、カメラをパン，チルト，ズーム、及びカメラ自体の移動などのカメラパラメータを撮影中に変化させると、位置や姿勢の解析ができないという問題がある。通常の解析方法では、最初にカメラの空間的な位置、視線方向、視野広さ（焦点距離から求める）などのカメラパラメータと呼ばれるデータを取得しておき、このカメラパラメータと個々のフレーム上での画像解析の結果（被写体の上での位置）とを合わせるための演算式（キャリブレーション式）を作成し、現実世界での被写体位置を演算する。さらに、２台以上のビデオカメラのフレームデータに対してこの演算を行うことにより、空間位置を推定することができる。このような被写体位置の演算において、撮影中にカメラパラメータが変化すると、画像データを正確にキャリブレーションすることができなくなる。
そこで、本発明は前記した従来の問題点を解決し、対象物の映像を含む実際の動きを、測定環境に依存することなく取得することを目的とする。また、高価なカメラを用いることなく、広範囲の映像を高精度で取得することを目的とする。
本発明は、複数のカメラで対象物を撮影して多視点による映像データを取得することにより被験者等の対象物の負担を少なくすると共に、カメラの姿勢やズーム等のカメラパラメータを映像データと共に取得することにより、対象物の映像を含む実際の動きを測定環境に依存することなく取得する。
本発明は、単に映像データとカメラパラメータを取得するのではなく、カメラの撮影時に、複数カメラを同期させて映像データを取得すると共に、この映像データと同期してカメラパラメータをフレーム毎に取得することにより、対象物の実際の動きを測定環境に依存することなく取得し、また、代表点のみの動きではなく対象物の映像自体の動きを取得することができる。
本発明は、対象物の映像情報を多視点から取得する多視点ビデオキャプチャシステム（多視点映像システム）、対象物の映像情報を多視点から取得する制御をコンピュータに実行させるプログラムの記憶媒体、多視点から取得した対象物の映像情報を記憶する記憶媒体の各態様を含む。
本発明の多視点ビデオキャプチャシステム（多視点映像システム）の第１の形態は、対象物の映像情報を多視点から取得するビデオキャプチャシステムであって、互いに同期して動作する複数のカメラから取得される映像データ及び各カメラのカメラパラメータに、相互間を対応付ける情報を付加して出力する。出力した映像データ及びカメラパラメータは記憶することができ、映像データ及びカメラパラメータをフレーム毎に記憶する。
本発明の多視点ビデオキャプチャシステムの第２の形態は、対象物の映像情報を多視点から取得するビデオキャプチャシステムであって、動画像を取得する複数のカメラと、各カメラのカメラパラメータを取得する検出手段と、複数のカメラを同期して動画像を取得させる同期手段と、各カメラの映像データ間、及び映像データとカメラパラメータとの間を対応付けるデータ付加手段とを備える構成とする
同期手段により複数のカメラを同期して映像データを取得させ、データ付加手段により各カメラで取得した各映像データ間を同期させると共に、映像データとカメラパラメータを同期させる。これにより、同時刻における複数カメラの映像データとカメラパラメータを求めることができる。
また、第２の形態は、さらに、対応付けの情報を付加した映像データをフレーム毎に記憶する映像データ記憶手段と、対応付けの情報を付加したカメラパラメータを記憶するカメラパラメータ記憶手段とを備える。この態様によれば、互いに対応付ける情報を含む映像データ及びカメラパラメータをそれぞれ記憶することができる。なお、映像データ記憶手段とカメラパラメータ記憶手段は、異なる記憶手段とすることも同一の記憶手段とすることもできる。また、同一の記憶手段においては、映像データとカメラパラメータをそれぞれ異なる領域に記憶することも、あるいは同じ領域に記憶することもできる。
上記形態において、対応付けの情報は、複数のカメラの１つのカメラから取得される映像データのフレームカウントとすることができる。フレームカウントを参照することにより、複数のカメラから取得される映像データの各フレーム間の対応関係を知り、同時刻における映像データを同期して処理することができる他、同時刻の映像データに対応するカメラパラメータを求めて同期して処理することができる。
カメラパラメータは、カメラのパン及びチルトのカメラの姿勢情報、ズーム情報を含む。パンは、例えばカメラの横方向の首振り角度であり、チルトは、例えばカメラの縦方向の首振り角度であり、それぞれカメラが撮像する撮像方向に係わる姿勢情報である。また、ズーム情報は、例えばカメラの焦点位置であり、カメラの撮像画面にとらえられる視野範囲に係わる情報である。このカメラの姿勢情報、ズーム情報により、カメラが撮影する撮影範囲を知ることができる。
本発明は、カメラパラメータとして、パン及びチルトのカメラの姿勢情報に加えてズーム情報を備えることにより、映像データの分解能の向上と取得範囲の拡大の両方を得ることができる。
さらに、本発明の多視点ビデオキャプチャシステムは、カメラパラメータとしてカメラの二次元又は３次元の位置情報を含むこともできる。この位置情報を含むことにより、カメラ自体が空間内で移動した場合であっても、各カメラの映像データ間の空間的関係を把握することができ、少ないカメラ台数で広範囲を映像情報を取得することができる。さらに、移動する対象物を追跡しながら画像情報を取得することができる。
また、フレーム毎に記憶するデータは、前記したカメラパラメータの他に、測定データなど各種データとすることもでき、映像データやカメラパラメータと同期して測定した測定データを同期して記憶することができる。
本発明のプログラムの記憶媒体の態様は、対象物の映像情報を多視点から取得する制御をコンピュータに実行させるプログラムの記憶媒体であって、複数のカメラから取得した各フレームの映像データに同期用の共通のフレームカウントを順次付加する第１のプログラムコード手段と、各カメラのカメラパラメータに、前記映像データに対応するフレームカウントを順次付加する第２のプログラムコード手段とを記憶したプログラムの記憶媒体である。
第１のプログラムコード手段は、フレームカウントを付加した映像データの第１の記憶手段への記憶を含み、また、第２のプログラムコード手段は、フレームカウントを付加したカウントパラメータの第２の記憶手段への記憶を含む。このプログラムは、前記データ付加手段が実行する処理を制御する。
また、カメラパラメータは、カメラのパン及びチルトのカメラの姿勢情報、ないしズーム情報を含む。また、カメラの二次元又は３次元の位置情報を含むようにしても良い。さらに、例えば、音情報、温度、湿度など撮影環境や周囲の種々の情報を映像データと関連付けて記憶しても良い。
このカメラパラメータの他に、他の情報を映像データと関連付けて記憶する構成とすることにより、例えば、衣服に体温や外気温や各種ガスを測定するセンサを設け、カメラが撮像する映像データに加えてこれらセンサで形成した測定データを取り込み、映像データと関連付けて記憶することにより、同時点の映像データと測定データを容易に解析することができる。
また、本発明は、カメラがパンやチルトした際に生じるカメラパラメータのずれを補正することができる。この補正は、カメラをパン及び／又はチルトさせて複数の回転位置における画像を取得する工程と、画像からカメラの焦点位置と回転軸の中心位置との対応関係を求める工程と、カメラのカメラパラメータを取得する工程と、カメラパラメータを前記対応関係に基づいて補正する工程とを備える。
本発明の映像情報の記憶媒体の態様は、多視点から取得した対象物の映像情報を記憶する記憶媒体であって、複数のカメラから取得した各フレームの映像データに同期用の共通のフレームカウントを順次付加された第１の映像情報と、各カメラのカメラパラメータに映像データに対応するフレームカウントが順次付加された第２の映像情報とを記憶した映像情報の記憶媒体である。カメラパラメータは、カメラのパン及びチルトのカメラの姿勢情報、ないしズーム情報を含み、また、カメラの二次元又は３次元の位置情報を含むようにしても良い。また、映像データと関連付けられた種々の情報を含めても良い。
測定環境を、均質光としたり、校正を容易とするのためのスタジオ等の限られた空間とする等の制約条件を付加することなく、映像情報を取得することができる。
本発明により取得された映像情報は、対象物の動きや姿勢の解析に適用することができる。

第１図は本発明の多視点ビデオキャプチャシステムの概略を説明するための構成図であり、第２図は本発明の多視点ビデオキャプチャシステムが備える複数のカメラ構成の一例を示す図であり、第３図は本発明の多視点ビデオキャプチャシステムが備えるカメラにより撮影される映像を説明するための図であり、第４図は本発明の多視点ビデオキャプチャシステムが備えるカメラにより撮影される映像を説明するための図であり、第５図は本発明の多視点ビデオキャプチャシステムを説明するための構成図であり、第６図は本発明の映像データ及びカメラパラメータの取得状態を説明するための時間軸上のデータ列の一例を示す図であり、第７図は本発明の記憶手段に記憶される映像データ及びカメラパラメータの一例を示す図であり、第８図は本発明の映像データ及びカメラパラメータの通信データのフォーマットの一例を示す図であり、第９図は本発明のカメラパラメータの通信データの構造の一例を示す図であり、第１０図はカメラの回転中心とカメラに焦点位置との関係を説明するための概略図であり、第１１図は回転中心とカメラの焦点との関係を説明するための概略図であり、第１２図は本発明のキャリブレーションにおけるカメラパラメータの補正を説明するための概略図であり、第１３図は本発明のカメラパラメータの補正の手順を説明するためのフローチャートであり、第１４図は本発明のカメラパラメータの補正の手順を説明するための図であり、第１５図は現実世界の座標を表す３次元の世界座標系とカメラ側の２次元の座標系との関係を示す図であり、第１６図は本発明の焦点位置から中心位置の算出の一例を説明するための図であり、第１７図は本発明の基準物体の一例であり、第１８図は本発明のカメラをクレーンで３次元的に移動させる例を示す図である。

以下、本発明の実施の形態について参照しながら説明する。
図１は、本発明の多視点ビデオキャプチャシステム（多視点映像システム）の概略を説明するための構成図である。図１において、多視点ビデオキャプチャシステム１は、対象物１０の動画像の映像データを取得する複数のカメラ２（図ではカメラ２Ａ〜カメラ２Ｄを示している）と、各カメラ２のカメラパラメータを取得するセンサ３（図ではセンサ３Ａ〜センサ３Ｄを示している）と、複数のカメラ２を同期して動画像を取得させる同期手段４（図では同期信号のみ示している）と、各カメラ２の映像データ間、及び映像データとカメラパラメータ間の対応付けを行うデータ付加手段６とを備え、互いに同期して動作する複数のカメラから取得される映像データ、及び各カメラのカメラパラメータに、相互を対応付ける情報を付加して出力する。
データ付加手段６が付加する対応付け情報は、例えば、１つのカメラの映像データから抽出したフレームカウントに基づいて設定することができる。このフレームカウントは、後述するフレームカウンタ装置７によって求めることができる。
また、多視点ビデオキャプチャシステム１は、データ付加手段６で対応付け情報を付加した映像データを記憶する映像データ記憶手段１１、データ付加手段６で対応付け情報を付加したカメラパラメータを記憶するカメラパラメータ記憶手段１２を備えることができる。
複数のカメラ２Ａ〜２Ｄは、対象物１０の周囲の任意の位置に設けることができ、固定あるいは移動可能とすることができる。これらの複数のカメラ２Ａ〜２Ｄは、同期手段４が生成する同期信号により同期して対象物１０の動画像の撮像する。なお、同期合わせは、カメラ２が撮像する各フレーム毎に行うことも、所定フレーム単位に行うこともできる。これにより、各カメラ２Ａ〜２Ｄから得られる映像データは、フレーム単位で同期あわせされ、同時刻の映像データとなる。各カメラ２から取得された映像データはデータ付加手段６に収集される。
また、各カメラ２Ａ〜２Ｄには、各カメラのパンやチルト等のカメラの姿勢情報や焦点距離等のズーム情報などのカメラパラメータを検出するセンサ３Ａ〜３Ｄが設けられ、各センサ３で検出されたカメラパラメータはデータ収集手段５に収集される。
対応付け情報として用いるフレームカウントは、例えば、複数のカメラ２の内の１つのカメラから映像データを取り込み、この映像データの各フレームをカウントして取得することができる。取得したフレームカウントは、各映像データ間を同期させて対応付ける情報となると共に、映像データとカメラパラメータとを対応付る情報となる。
データ付加手段６は、映像データ及びデータ収集手段５で収集したカメラパラメータに、フレームカウントに基づいて形成した対応付け情報を付加する。対応付け情報が付加された映像データは映像データ記憶手段１１に記憶され、対応付け情報が付加されたカメラパラメータはカメラパラメータ記憶手段１２に記憶される。
なお、本発明の多視点ビデオキャプチャシステム１は、映像データ記憶手段１１及びカメラパラメータ記憶手段１２を含まない構成とすることも、あるいは映像データ記憶手段１１及びカメラパラメータ記憶手段１２を含む構成とすることもできる。
図２は、本発明の多視点ビデオキャプチャシステムが備える複数のカメラ構成の一例を示している。なお、図２では複数のカメラとしてカメラ２Ａ〜２Ｄの４台のカメラ構成の例を示しているが、カメラの台数は２台以上の任意の台数とすることができる。以下、カメラ２Ａを代表として説明する。
カメラ２Ａはカメラ本体２ａを備え、このカメラ本体２ａにはカメラパラメータを形成するためのセンサ３Ａが設けられる。センサ３Ａは、姿勢センサ３ａとレンズセンサ３ｂとセンサケーブル３ｃとデータ中継器３ｄを備える。カメラ本体２ａは、少なくとも２軸で回動あるいは回転自在とする雲台上に支持され、パン（横方向の首振り）及びチルト（縦方向の首振り）自在としている。なお、カメラ２を雲台に対して横向きに取り付けた場合には、前記したパンは縦方向の首振りとなり、チルトは横方向の首振りとなる。雲台は、三脚上に設置することもできる。
姿勢センサ３ａは、カメラの首振りの方向及び角度を検出するセンサであり、雲台に設けることにより、カメラ２Ａの首振りの程度をパン情報及びチルト情報として検出し出力する。また、レンズセンサ３ｂは、カメラ２Ａのズーム情報を検出するセンサであり、例えば焦点距離を検出することによりレンズのズーム位置を取得することができる。
姿勢センサ３ａ及びレンズセンサ３ｂは、回転軸の連結したロータリエンコーダにより構成することができ、例えば、基準回転位置に対して、いずれの方向（例えば、右回転方向や左回転方向）にどの程度回転したかを、回転方向と回転角により検出する。なお、回転方向のデータは、例えば基準回転方向を正としたとき、正（＋）あるいは負（−）により表すことができる。また、ロータリエンコーダはアブソリュート型を用いて得られる絶対角度位置を用いることもできる。 姿勢センサ３ａ及びレンズセンサ３ｂから得られたパン，チルト，ズームの各カメラパラメータは、センサケーブル３ｃを介してデータ中継器３ｄに集められた後、データ収集手段５に収集される。
次に、本発明の多視点ビデオキャプチャシステムが備えるカメラにより撮影される映像について、図３，４を用いて説明する。
図３は、カメラのズームを調整して広い視野を撮影した場合を示し、図３（ｂ）は映像データ例を示している。この場合には、広い視野が得られる代わりに、各像の大きさは小さくなる。そのため、例えば対象物１０中の対象物１０ａをより詳細に観察することは困難である。
この状態で、カメラのズーム機能により対象物１０中の対象物１０ａを拡大することにより、対象物１０ａを高い解像度で観察することができるが、代わりに視野範囲が狭まることになる。本発明の多視点ビデオキャプチャシステムは、この像の拡大と視野範囲の狭さとの相反する問題を、パン及びチルトのカメラ姿勢情報とズーム情報とを用いることで調整し、ズームにより像を拡大した場合にもパンやチルトにより広い視野範囲を確保する。
図４は、ズームとパンやチルトとを組み合わせた状態を示している。図４（ｄ）中のＣは、図４（ｂ）の位置における対象物１０ａの拡大像を示している。このズームにより狭まった視野範囲を広げるため、例えば、図４（ａ）に示すように左方向にパンさせることにより、図４（ｄ）中のＣ−Ｌに示す左方向の像を取得することができ、図４（ｃ）に示すように右方向にパンさせることにより、図４（ｄ）中のＣ−Ｒに示す右方向の像を取得することができる。また、上方向あるいは下方向にチルトさせることにより、図４（ｄ）中のＣ−Ｕ，Ｃ−Ｄに示す上方向や下方向の像を取得することができる。また、パンとチルトを組み合わせることにより、図４（ｄ）中のＣ−Ｒ−Ｕに示す右上方向の像を取得することができる。
次に、本発明の多視点ビデオキャプチャシステムのより詳細な構成例について、図５〜図９を用いて説明する。なお、図５は多視点ビデオキャプチャシステムを説明するための構成図であり、図６は映像データ及びカメラパラメータの取得状態を説明するための時間軸上のデータ列の一例を示す図であり、図７は記憶手段に記憶される映像データ及びカメラパラメータの一例を示す図であり、図８は映像データ及びカメラパラメータの通信データのフォーマットの一例を示す図であり、図９はカメラパラメータの通信データの構造の一例を示す図である
図５において、多視点ビデオキャプチャシステム１は、複数のカメラ２（図ではカメラ２Ａ〜カメラ２Ｄを示している）と、各カメラ２のカメラパラメータを取得するセンサ３（図ではセンサ３Ａ〜センサ３Ｄを示している）と、複数のカメラ２を同期して動画像を取得させる同期手段４（同期発生手段４ａ，分配手段４ｂ）と、各センサ３からのカメラパラメータを収集するデータ収集器５と、各カメラ２の映像データ間、及び映像データとカメラパラメータ間の対応付けを行うデータ付加手段６（通信データ制御手段６ａ，ＲＧＢ重畳手段６ｂ）と、対応付けを行う情報としてフレームカウントを出力するフレームカウンタ装置７とを備える。また、データ付加手段６が出力する映像データを記憶する映像データ記憶手段１１、及びカメラパラメータを記憶するカメラパラメータ記憶手段１２を備える。
同期手段４は、同期発生手段４ａで発生した同期信号を分配手段４ｂにより各カメラ２Ａ〜２Ｄに分配する。各カメラ２Ａ〜２Ｄはこの同期信号に基づいて撮像し、映像データのフレーム毎に取得する。図６において、図６（ｂ）はカメラＡが取得する映像データを示し、同時信号に同期して映像データＡ１，Ａ２，Ａ３，…，Ａｎ，…をフレーム単位で出力する。同様に、図６（ｇ）はカメラＢが取得する映像データを示し、同時信号に同期して映像データＢ１，Ｂ２，Ｂ３，…，Ｂｎ，…をフレーム単位で出力する。
各フレーム単位の映像データは、例えば、ＲＧＢ信号とＳＹＮＣ信号（垂直同期信号）を含み、ＳＹＮＣ信号はフレームをカウントし、フレーム間及び映像データとカメラパラメータとの間の対応付けを行うフレームカウントの生成に用いる。なお、ＲＧＢ信号はアナログ信号とすることもデジタル信号のいずれの信号形態としてもよい。
また、同期信号は、各フレーム単位で出力することも、あるいは所定フレーム数毎に出力してもよい。所定フレーム数毎に同期信号を出力する場合には、同期信号間のフレーム取得は各カメラが備えるタイミングで行い、所定フレーム数毎に同期信号によって各カメラ間のフレーム取得を同期させる。
データ収集器５は、各カメラに設けたセンサ３（姿勢センサ３ａ，レンズセンサ３ｂ）で検出したカメラパラメータ（カメラのパン情報、チルト情報、ズーム情報）を収集する。なお、各センサ３は、例えば、ロータリエンコーダ等から出力されるエンコーダパルスの信号形態で出力される。このエンコーダパルスは、パン，チルトについては雲台に対する回転角及び回転方向の情報を含み、ズームについてはカメラレンズの移動（あるいはズーム機構の回転量）及び方向の情報を含む。
データ収集器５は、これら各センサ３Ａ〜３Ｄから出力されるエンコーダパルスを、映像データ中のＳＹＮＣ信号（垂直同期信号）に同期して読み込み、データ付加手段６にシリアル通信する。
図６（ｃ）は、データ収集器で収集されるセンサ３Ａのカメラパラメータを示している。カメラパラメータＰＡ１は、映像データＡ１のＳＹＮＣ信号（垂直同期信号）に同期して読み込まれ、次のカメラパラメータＰＡ２は、映像データＡ２のＳＹＮＣ信号（垂直同期信号）に同期して読み込まれ、同様にして順次各映像データのＳＹＮＣ信号（垂直同期信号）に同期して読み込みが行われる。
このカメラパラメータの読み込みの際に同期信号として用いるＳＹＮＣ信号（垂直同期信号）は、複数のカメラの内の１つのカメラから取得される映像データが用いられる。図５，６に示す例では、カメラ２Ａの映像データを用いた例を示している。
したがって、データ収集器に収集されるセンサ３Ｂのカメラパラメータは、図６（ｈ）に示すように、カメラパラメータＰＢ１は、映像データＡ１のＳＹＮＣ信号（垂直同期信号）に同期して読み込まれ、次のカメラパラメータＰＢ２は、映像データＡ２のＳＹＮＣ信号（垂直同期信号）に同期して読み込まれ、同様にして順次カメラ３Ａの映像データＡｎのＳＹＮＣ信号（垂直同期信号）に同期して読み込みが行われる。これにより、データ収集器５に収集される各カメラ３Ａ〜３Ｄのカメラパラメータの同期合わせを行うことができる。
フレームカウンタ装置７は、各カメラ２Ａ〜２Ｄの映像データの各フレーム単位での対応付けと、映像データとカメラパラメータとの各フレーム単位での対応付けを行うための情報として、フレームカウントを形成して出力する。このフレームカウントは、例えば、複数のカメラ２の内の１つのカメラから映像データを取り込み、この映像データの各フレームをカウントすることで取得される。映像データの取り込みは、例えば同期信号発生装置などの外部信号を同期信号として用いてもよい。図５，６に示す例では、カメラ２Ａの映像データを用いた例を示している。
図６（ｃ）は、映像データＡ１〜Ａｎ，…に基づいて取得したフレームカウントを示している。なお、ここでは、説明の便宜上、映像データＡ１のフレームに対してフレームカウント１を対応付け、次の映像データＡ２のフレームに対してフレームカウント２を対応付けし、順次フレームカウントを増やす例を示しているが、フレームカウントの初期値やカウントの増加数（あるいは減少数）は任意とすることができる。なお、フレームカウンタのリセットは、電源投入時あるいはフレームカウンタリセット釦を操作することにより任意の時点で行うことができる。
データ収集器５は、収集したカウントパラメータにこのフレームカウントを付加して、データ付加手段６に通信する。
データ付加手段６は、通信データ制御手段６ａとＲＧＢ重畳装置６ｂを備える。このデータ付加手段６は、例えば、パーソナルコンピュータで構成することもできる。
通信データ制御手段６ａは、データ収集器５からカメラパラメータとフレームカウントの情報を受け取り、カメラパラメータ記憶手段１２に記憶すると共に、フレームカウントの情報を抽出する。
ＲＧＢ重畳装置６ｂは、各カメラ２Ａ〜２Ｄからの映像データを取り込むと共に、通信データ制御手段６ａからフレームカウントを取り込み、映像データのＲＧＢ信号にフレームカウントを重畳させて、映像データ記憶手段１１に記憶する。フレームカウントの重畳は、例えば、フレームカウントをコード化してフレームコードとし、映像データを構成する走査信号中の信号再生に邪魔にならない部分に付加することで行うことができる。
図６（ｅ），（ｉ）は、映像データ記憶手段への映像データ及びフレームカウントの記憶状態を示している。例えば、カメラ２Ａの映像データについては、図６（ｅ）に示すように、映像データＡ１のフレームはフレームカウント１がフレームコード１として重畳されて記憶され、映像データＡ２のフレームはフレームカウント２がフレームコード２として重畳されて記憶され、以下順に、映像データに対応するフレームコードが重畳されて記憶される。また、カメラ２Ｂの映像データについては、図６（ｉ）に示すように、映像データＢ１のフレームはフレームカウント１がフレームコード１として重畳されて記憶され、映像データＢ２のフレームはフレームカウント２がフレームコード２として重畳されて記憶され、以下順に、映像データに対応するフレームコードが重畳されて記憶される。多のカメラの映像データについても、同様に映像データに対応するフレームコードが重畳されて記憶される。この映像データにフレームコードを重畳して記憶することにより、複数のカメラで取得した各映像データのフレーム単位の同期合わせが可能となる。
図６（ｆ），（ｊ）は、カメラパラメータ記憶手段へのカメラパラメータ及びフレームカウントの記憶状態を示している。例えば、センサ３Ａのカメラパラメータについては、図６（ｆ）に示すように、カメラパラメータＰＡ１はフレームカウント１がフレームコード１として重畳されて記憶され、カメラパラメータＰＡ２のフレームはフレームカウント２がフレームコード２として重畳されて記憶され、以下順に、カメラパラメータに対応するフレームコードが重畳されて記憶される。また、センサ３Ｂのカメラパラメータについては、図６（ｊ）に示すように、カメラパラメータＰＢ１はフレームカウント１がフレームコード１として重畳されて記憶され、カメラパラメータＰＢ２のフレームはフレームカウント２がフレームコード２として重畳されて記憶され、以下順に、カメラパラメータに対応するフレームコードが重畳されて記憶される。このカメラパラメータにフレームコードを重畳して記憶することにより、複数のカメラの映像データと複数のセンサのカメラパラメータとをフレーム単位の同期合わせが可能となる。
図７は、映像データ記憶手段に記憶される映像データ例、及びカメラパラメータ記憶手段に記憶されるカメラパラメータ例を示している。
図７（ａ）は映像データ記憶手段に記憶される映像データ例であり、カメラ２Ａ〜２Ｄについて示している。例えば、カメラ２Ａの映像データは、各フレーム毎に映像データＡ１〜Ａｎと、フレームコード１〜ｎとが重畳されて記憶される。
また、図７（ｂ）はカメラパラメータ記憶手段に記憶されるカメラパラメータ例であり、センサ３Ａ〜３Ｄについて示している。例えば、センサ３Ａのカメラパラメータは、各フレーム毎にカメラパラメータＰＡ１〜ＰＡｎと、フレームコード１〜ｎとが重畳されて記憶される。
各記憶手段に記憶された映像データ及びカメラパラメータは、付加されたフレームコードを用いることにより、同期した同時刻のデータを抽出することができる。
次に、カメラパラメータのデータ構成例について図８，９を用いて説明する。
図８はカメラパラメータの通信データのフォーマット例である。この例では、１パケット当たり２９バイトで形成する。０バイト目のＨＥＤはヘッダ情報を格納し、１〜２８バイト目のＡ〜αはカメラパラメータに関するデータを格納し、２９バイト目のＳＵＭはチェックサムであり、０バイト目（ＨＥＤ）から２７バイト目（α）の合計値と所定値とのＡＮＤをとることにより、データチェックを行う。
また、図９はカメラパラメータの通信データ例である。Ａ〜Ｃにはフレームカウントのデータが格納され、Ｄ〜Ｉには第１のセンサから取得されるカメラパラメータが格納され、Ｊ〜Ｏには第２のセンサから取得されるカメラパラメータが格納され、Ｐ〜Ｕには第３のセンサから取得されるカメラパラメータが格納され、Ｖ〜αには第４のセンサから取得されるカメラパラメータが格納される。各カメラパラメータには、パン，チルト，ズームの各データが符号（Ｐｆ（パン情報の符号），Ｔｆ（チルト情報の符号），Ｚｆ（ズーム情報の符号））が格納される。
次に、カメラキャリブレーションについて説明する。
３次元位置を特定するには、現実の世界の３次元位置と、カメラ画像において対応するピクセル位置が正確に合っていえる必要があるが、実際の撮像では種々の要因により正確な対応付けができていない。そのため、キャリブレーションにより補正が行われる。補正手法として、対応付けられた画像上に点と現実の３次元座標との組からカメラパラメータを推定する方法が用いられている。この方法として、カメラのひずみも考慮して焦点距離やカメラの位置、姿勢などの物理量を求めるＴｓａｉのアルゴリズムと呼ばれる方法が知られている。Ｔｓａｉのアルゴリズムでは、多数の世界座標系の点とそれらの点に対応する画像座標上の点の組を用い、外部パラメータとして回転行列（パラメータ３個）と平行移動パラメータ（パラメータ３個）を求め、内部パラメータとして焦点距離ｆ、レンズひずみκ１，κ２、スケール係数ｓｘ、画像原点（Ｃｘ，Ｃｙ）を求める。撮影時に変化するには、回転行列と平行移動行列、焦点距離であり、これらのカメラパラメータを映像データと共に記録する。
キャリブレーションは、複数の各カメラにより基準物体を撮影し、写しこんだ基準物体の画像上のピクセル位置と対応した基準物体のある点を複数組用いて行う。キャリブレーションの手順は、３次元位置が既知である物体を写し込み、画像上に点と対応付けを行ってカメラパラメータを取得し、また、画像上における対象物体を取得し、個々のカメラで得られたカメラパラメータ及び画像上で取得された対象物体の位置を基に、対象物体の３次元空間の位置を算出する。
従来行われているキャリブレーションは、固定したカメラのカメラパラメータを校正するものである。これに対して、本発明の多視点ビデオキャプチャシステムでは、撮影中にパン、チルト、ズームを行い、カメラパラメータが変化する。こうようにカメラのパン、チルト、ズームが変化すると、固定したカメラには無い新たな問題が生じる。
図１０は、カメラの回転中心とカメラに焦点位置との関係を説明するための概略図である。図１０において、Ａはカメラの焦点であり、Ｂはカメラのパン回転の中心位置Ｂであり、Ｃはカメラのチルト回転の中心位置である。カメラ２は、少なくともパンやチルトの２軸で回転自在に支持する雲台１３と、この雲台１３を回転自在に支持する三脚１４とを備える。各中心位置Ｂ，Ｃ，Ｄとカメラの焦点Ａとは、必ずしも一致してしない。そのため、パンやチルトは、カメラの焦点を中心として回転するのではなく、雲台等のカメラを固定している部分の回転軸を中心として回転する。
図１１は、回転中心とカメラの焦点との関係を説明するための概略図である。なお、以下では、カメラは三脚の設置中心位置に正確に固定されているものとして説明する。カメラの焦点位置とパン回転座標系、カメラの焦点位置とチルト回転座標系との間には、図１１に示すように、円周上の１点と円の中心座標との関係が保持される。図１１（ａ）はカメラをパンした場合の回転軸中心Ｏとカメラの焦点位置Ｆとの関係を示し、図１１（ｂ）はカメラをチルトした場合の回転軸中心Ｏとカメラの焦点位置Ｆとの関係を示している。
図１１に示すように、回転軸中心Ｏとカメラの焦点位置Ｆとが一致していないため、回転軸中心Ｏを中心として回転すると、その回転に応じてカメラの焦点位置Ｆがずれる。この焦点位置Ｆのずれにより、カメラの撮像面上の点と実際の３次元位置との間にずれが生じ、求めたカメラパラメータに誤差が生じ、正確な位置を取得することができないことになる。このカメラパラメータを補正するには、この回転軸とカメラの焦点の位置関係を正確に定める必要がある。
図１２は、本発明のキャリブレーションにおけるカメラパラメータの補正を説明するための概略図である。なお、図１２では、複数のカメラとしてカメラ２Ａ〜２Ｄの４台のカメラの例を示しているが任意の複数台とすることができる
図１２において、複数のカメラ２Ａ〜２Ｄから映像データを取得すると共に、各カメラに設けたセンサからカメラパラメータを取得する。従来のモーションキャプチャ等の映像システムでは、各固定カメラから取得したカメラパラメータを、予め求めておいた実際の位置と画像上の位置との位置関係に基づいてキャリブレーションしている（図１２中の一点鎖線）。
これに対して、本発明の多視点ビデオキャプチャシステムでは、カメラがパン、チルト、及びズームすることにより生じるカメラパラメータのずれを、カメラの焦点位置と回転軸の中心位置との関係に基づいて補正する。このカメラパラメータの補正は、各カメラ毎に、カメラの画像データに基づいてカメラの焦点位置と回転軸の中心位置との関係を求め、この位置関係から補正前後のカメラパラメータの対応関係を求め、この対応関係に基づいてキャリブレーションされたカメラパラメータを変換することで行われる。
なお、キャリブレーション及びカメラの焦点位置と回転軸の中心位置との関係は、基準物体を撮像することにより取得することができ、画像データの取得する前に予め求めておく。
次に、カメラパラメータの補正の手順について図１３のフローチャート、図１４の説明図にしたがって説明する。なお、図１４中のＳの番号は、フローチャート中のＳの番号と対応している。
図１１において、カメラをパン（又はチルト）させた時の複数の焦点の位置座標を取得することができれば、パン（又はチルト）の回転座標値を算出することができ、これから焦点の位置座標とパン（又はチルト）の回転座標値との関係を求めることができる。センサから取得されるカメラパラメータは、回転軸の中心位置を基準とするものであるので、上記の関係を用いてカメラパラメータを変換することにより、焦点の位置を基準とするカメラパラメータを取得することができる。
以下、チルトについても同様であるため、パンを例にして説明する。
はじめに、ステップＳ１〜ステップＳ９により回転に中心位置を求める。カメラをパン方向に振ってパン位置を定める。このパン位置は任意の位置とすることができる（ステップＳ１）。定めたパン位置において画像を取得する。このとき、キャリブレーション及び補正を行うために、撮像対象として基準物体を用いる（ステップＳ２）。パン位置を変えながら複数の画像を取得する。取得する画像数は、２以上の任意の数とすることができる。図１４では、取得した画像として画像１〜画像５を示している（ステップＳ３）。
取得した画像からあるパン位置の画像を読み出し（ステップＳ４）、読み出した画像から基準物体の基準位置（Ｘｗ，Ｙｗ，Ｚｗ）のカメラ座標上の座標位置（ｕ，ｖ）を求める。図１５は、現実世界の座標を表す３次元の世界座標系と、カメラ側の２次元の座標系との関係を示している。図１５において、世界座標系にある３次元位置Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）は、カメラ側の２次元の座標系においてＰ（ｕ，ｖ）に対応する。この対応関係は、基準物体上に定めた基準位置を指標として求めることができる（ステップＳ５）。
この現実世界の位置がカメラ画像上のどのピクセルに射影されるかは、図１５に示すように、全ての光が一点（焦点）に集約されるピンホールカメラモデルにより考えることができ、世界座標系の３次元位置Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ画像上の２次元の座標系のＰ（ｕ，ｖ）との関係は、以下の行列式で表すことができる。

この行列式の内、未知の値であるｒ１１〜ｒ３４の１２値は、既知の点（Ｘｗ，Ｙｗ，Ｚｗ）と点（ｕ，ｖ）の対応の組を少なくとも６組用いることで求めることができる（ステップＳ６）。
求めたｒ１１〜ｒ３４の値を用いてカメラパラメータを校正することによりカメラパラメータのキャリブレーションを行う。カメラパラメータは、内部変数及び外部変数を含む。内部変数としては、例えば焦点距離、画像中心、画素サイズ、レンズのゆがみ係数があり、外部変数としては、例えばパン、チルトなどの回転角度、やカメラ位置がある。ここでは、キャリブレーションによりパン位置での焦点位置（ｘ，ｙ，ｚ）を求める（ステップＳ７）。
前記ステップＳ１〜ステップＳ３の工程で取得した画像について、ステップＳ４〜ステップＳ７の工程を繰り返して、パン位置での焦点位置を求める。図１４では、画像１〜画像５から焦点位置Ｆ１（ｘ１，ｙ１，ｚ１）〜Ｆ５（ｘ５，ｙ５，ｚ５）を求める場合を示している。なお、回転軸中心を算出するには、焦点位置は少なくとも３点求めればよいが、算出に用いる焦点位置を増やすことにより回転軸中心の位置精度を高めることができる（ステップＳ８）。
次に、求めた焦点位置からパン回転の中心位置Ｏ（ｘ０，ｙ０，ｚ０）を求める。図１６は焦点位置から中心位置の算出の一例を説明するための図である。
求めた複数の焦点位置から任意の２点を選出し、この２点を結ぶ直線に垂直２等分線を取得する。この垂直２等分線を少なくとも２本求め、この垂直２等分線の交点からパン回転の中心位置Ｏ（ｘ０，ｙ０，ｚ０）を求める。
なお、交点が２つ以上求められた場合には、例えば、これら交点位置の平均を求め、この位置をパン回転の中心位置Ｏ（ｘ０，ｙ０，ｚ０）とする（ステップＳ９）。
上記工程によりパン回転の中心位置Ｏ（ｘ０，ｙ０，ｚ０）と各焦点位置とが求められたので、この位置関係から、パン回転の中心位置Ｏにおけるパンの回転角度θと、各焦点位置におけるパンの回転角度θ′との対応関係を幾何学的に求めることができる（ステップＳ１０）。求めた対応関係に基づいて、パンの回転角度を補正する（ステップＳ１１）。
上記説明ではパンを例としているが、チルトについても同様に補正することができる。
図１７は、基準物体の一例である。上記補正の精度を高めるには、各カメラに様々な角度（パン角、チルト角）を取得する必要があり、自動的に取得することが望ましい。この自動取得には、現実の３次元位置とカメラの撮像面上の２次元位置との対応関係を取得するために、パン及びチルトの振り角度が大きい場合であっても、基準位置が撮像される必要がある。
このために、基準物体は、パン及びチルトの大きな振り角に対しても基準位置が撮像面に写し込まれる形状であることが望まれる。図１７の基準物体１５はその一例であり、例えば、８角形の上底と下底を持ち、この上底と下底の間を２層に側面部分で結び、各層部分は８個の４角形の面により構成し、層が隣接する部分に径は上底及び下底よりも大径としている。これにより、各頂点は凸状態となり、頂点を基準位置とする場合に、位置検出を容易とすることができる。各面には、格子状（チェッカーフラッグ）の模様を設してもよい。
なお、この形状は一例であり、上底と下底は８角形に限らず任意の多角形とする他、層の数も２以上としてもよい。多角形の数、及び層数を増やすほど、パンやチルトの振り角を大きくとった場合でも、撮像画面上において基準位置の写し込みが容易となる。
次に、カメラ自体を空間内で移動させる場合について説明する。カメラを空間内で３次元的に移動させることにより、基準物体や撮像対象の一部が隠れてしまうことを防ぐことができる。カメラを空間内で３次元的に移動させる手段として、クレーンを用いることができる。図１８は、カメラをクレーンで３次元的に移動させる例を示している。
クレーンは、通常三脚等の支持部分のヘッド部に伸縮自在のロッド材を取り付けてなり、カメラを常に水平にして３次元的に遠隔制御することができる。なお、カメラのパン、チルトは、クレーンの制御位置と同位置で制御することができ、カメラのズームはカメラコントロールユニットからの操作で制御することができる。
また、ロッド材を支持する雲台１７にパン角、チルト角、伸縮度を検出するセンサを設けることにより、クレーンの動作パラメータを取得することができ、カメラパラメータと同様に、映像データと関連づけて同期して記憶することができる。
本発明では、各カメラにフレーム同期のための信号（ゲインロック信号）を送ると同時に、カメラから出力されたフレームデータ（画像データ）に、同期に合わせたフレーム番号のデータを重畳して記録装置に書き込む。同様に、同期信号に合わせて、カメラに取り付けた測定器からパン、チルト，ズーム、及びカメラ自体の位置データを取得する。これらのカメラパラメータデータは、全部を毎回取得しても、例えば４バイト×６データを毎秒６０フレーム取得したとして１４４００ビット／秒にしかならず、通常のシリアルラインを使ってもカメラから伝送することができる。さらに、各カメラからのカメラパラメータデータは、一台のパソコンを用いて十分に集約できるデータ量であり、仮に８台程度のビデオカメラを用いたとしても、フレーム番号を付け足しても１時点で２００バイト、１秒間で１２キロバイト程度と非常に少なくて済むため、ディスク等の記録媒体に保存することも容易である。すなわち、カメラパラメータを分離して記録した場合であっても、フレーム取得時点とフレーム番号とに厳密にて対応づけてあるため、解析が可能である。さらに、本発明によれば、例えば温度センサ等の他のセンサで取得した任意のデータをフレーム取得時点と対応させて記録することができ、画像との対応関係を明確にしたデータ解析を行うことができる。
上記各態様において、カメラパラメータは、各カメラのパン情報、チルト情報、ズーム情報に各カメラの位置情報を加えてもよい。このカメラの位置情報を加えることにより、カメラ自体が移動した場合であっても、取得して映像データ上の対象物やその位置を求めることができ、対象物が広範囲を移動した場合においても、多数のカメラを設置することなく少ないカメラ台数で、映像データを取得できない範囲を生じさせることなく対応することができる。
また、カメラパラメータは、カメラの姿勢情報やズーム情報の他、音情報、温度、湿度など撮影環境や周囲の種々の情報を映像データと関連付けて記憶しても良い。例えば、衣服に体温や外気温や各種ガスを測定するセンサや圧力センサを設け、カメラが撮像する映像データに加えてこれらセンサで形成した測定データを取り込み、映像データと関連付けて記憶するようにしてもよい。これにより、外気温や大気成分などの人が作業する外部環境や、人体の体温や人体の各部位に加わる圧力等負荷などの内部環境など、撮像される環境と関連する種々のデータを、映像データと同時に関連づけて記憶することができ、同時点の映像データと測定データを容易に読み出して解析することができる。
本発明の態様によれば、測定環境に対して、均質光としたり、校正を容易とするためのスタジオ等の限られた空間とする等の制約条件を付加することなく、映像情報を取得することができる。
本発明により取得された映像情報は、対象物の動きや姿勢の解析に適用することができる。
以上説明したように、本発明によれば、対象物の映像を含む実際の動きを、測定環境に依存することなく取得することができる。また、本発明によれば、広範囲の映像を高精度で取得することができる。

産業上の利用の可能性

本発明は、人や物等の移動体の解析や仮想空間の形成に利用することができ、工業、医学、スポーツ等の分野に適用することができる。

Claims (17)

1. 対象物の映像情報を多視点から取得するビデオキャプチャシステムであって、
   ３次元に可動で対象物の動きを追尾可能とする複数のカメラを備え、前記複数のカメラを互いに同期して得られる動画像の映像データ、当該各カメラのカメラパラメータ、及び前記動画像の映像データとカメラパラメータとを相互にフレーム毎に対応付ける対応付情報を取得し、
   前記動画像の映像データを前記対応付情報に基づいて対応するカメラパラメータによりキャリブレーションし、対象物の動き及び姿勢を解析するための情報を得ることを特徴とする、多視点ビデオキャプチャシステム。
2. 前記動画像の映像データ及びカメラパラメータを記憶し、当該映像データ及びカメラパラメータを各フレーム毎に記憶することを特徴とする、請求の範囲第１項に記載の多視点ビデオキャプチャシステム。
3. 対象物の映像情報を多視点から取得するビデオキャプチャシステムであって、
   動画像の映像データを取得する複数の３次元に可動なカメラと、
   前記各カメラのカメラパラメータを取得する検出手段と、
   前記複数のカメラを同期させる同期手段と、
   各カメラの同期した動画像の映像データ間、及び動画像の映像データとカメラパラメータ間の対応付ける対応付情報を付加するデータ付加手段と、
   前記各動画像の映像データを前記対応付情報に基づいて対応するカメラパラメータでキャリブレーションし、対象物の動き及び姿勢を解析するための情報を得るキャリブレーション手段とを備えることを特徴とする、多視点ビデオキャプチャシステム。
4. 前記対応付情報を付加した映像データをフレーム毎に記憶する映像データ記憶手段と、
   前記対応付情報を付加したカメラパラメータを記憶するカメラパラメータ記憶手段とを備えることを特徴とする、請求の範囲第３項に記載の多視点ビデオキャプチャシステム。
5. 前記対応付情報は、前記複数のカメラの１つのカメラから取得される動画像の映像データのフレームカウントであることを特徴とする、請求の範囲第１項乃至第４項の何れかに記載の多視点ビデオキャプチャシステム。
6. 前記カメラパラメータは、カメラのパン及びチルトのカメラの姿勢情報、ないしズーム情報を含むことを特徴とする、請求の範囲第１項乃至第５項の何れかに記載の多視点ビデオキャプチャシステム。
7. 前記カメラパラメータは、カメラの二次元又は３次元の位置情報を含むことを特徴とする、請求の範囲第６項に記載の多視点ビデオキャプチャシステム。
8. フレーム毎に記憶するデータは測定データを含むことを特徴とする、請求の請求第項２又は第４項に記載の多視点ビデオキャプチャシステム。
9. 対象物の映像情報を多視点から取得する制御をコンピュータに実行させるプログラムの記憶媒体であって、
   複数のカメラから取得した各フレームの映像データに同期用の共通のフレームカウントを順次付加する第１のプログラムコード手段と、
   各カメラのカメラパラメータに、前記映像データに対応するフレームカウントを順次付加する第２のプログラムコード手段とを記憶したプログラムの記憶媒体。
10. 前記第１のプログラムコード手段は、フレームカウントを付加した映像データの第１の記憶手段への記憶を含むことを特徴とする、請求の範囲第９項に記載プログラムの記憶媒体。
11. 前記第２のプログラムコード手段は、フレームカウントを付加したカウントパラメータの第２の記憶手段への記憶を含むことを特徴とする、請求の範囲第９項に記載プログラムの記憶媒体。
12. 前記カメラパラメータは、カメラのパン及びチルトのカメラの姿勢情報、ないしズーム情報を含むことを特徴とする、請求の範囲第９項乃至第１１項の何れかに記載のプログラムの記憶媒体。
13. 前記カメラパラメータは、カメラの二次元又は３次元の位置情報を含むことを特徴とする、請求の範囲第１２項に記載プログラムの記憶媒体。
14. 多視点から取得した対象物の映像情報を記憶する記憶媒体であって、
    複数のカメラから取得した各フレームの映像データに同期用の共通のフレームカウントが順次付加された第１の映像情報と、
    各カメラのカメラパラメータに、前記映像データに対応するフレームカウントが順次付加された第２の映像情報とを記憶した映像情報の記憶媒体。
15. 前記カメラパラメータは、カメラのパン及びチルトのカメラの姿勢情報、ないしズーム情報を含むことを特徴とする、請求の範囲第１４項に記載映像情報の記憶媒体。
16. 前記カメラパラメータは、カメラの二次元又は３次元の位置情報を含むことを特徴とする、請求の範囲第１４項に記載映像情報の記憶媒体。
17. カメラをパン及び／又はチルトさせて複数の回転位置における画像を取得する工程と、
    前記画像からカメラの焦点位置と回転軸の中心位置との対応関係を求める工程と、カメラのカメラパラメータを取得する工程と、
    前記カメラパラメータを前記対応関係に基づいて補正する工程とを備えることを特徴とするカメラパラメータの補正方法。

Images