JPWO2017208699A1 - 情報処理装置と情報処理方法とプログラムおよび撮像システム - Google Patents

Abstract

情報処理装置５０のデータ処理部は、撮像装置２０-1〜２０-7のいずれか所定の撮像装置の撮像画におけるキャリブレーションボード６０の三次元空間上の位置と姿勢を算出して、算出した三次元空間上の位置と姿勢に基づき所定の撮像装置とは異なる他の撮像装置で取得された撮像画におけるキャリブレーションボード６０の位置と姿勢の算出を行う。データ処理部は、情報処理装置５０や撮像装置２０-1〜２０-7の表示部で、移動するキャリブレーションボードの撮像状況を撮像装置毎に提示する。撮像状況を利用して撮像を行うことで、キャリブレーションボード６０の移動や傾きの変化が少なくキャリブレーションボード６０の撮り直しが必要となることを防止することが可能となり、精度の高いキャリブレーション処理を効率よく行うことができる。

Description

この技術は、情報処理装置と情報処理方法とプログラムおよび撮像システムに関し、撮像装置のキャリブレーションを効率よく行えるようにする。

従来、複数の撮像装置を用いることで特殊な映像効果を得ることや被写体の動き情報を取得することが行われている。例えば、複数の撮像装置を被写体の周囲に並べて撮像を行い、疑似的に撮像装置を超高速で動かしたような効果等を得るいわゆるバレットタイム映像の制作や、被写体の動きデータを収集するモーションキャプチャなどが行われている。このように複数の撮像装置を用いる場合、パレットタイム映像の安定性やモーションキャプチャのデータ精度等を向上させるために撮像装置のキャリブレーションを行い、撮像装置の焦点距離やレンズ歪み、設置位置や姿勢等を示すパラメータを取得することが行われている。

また、撮像装置のキャリブレーションでは、例えば特許文献１に示すように、キャリブレーションボードと撮像装置との相対的な位置関係が互いに異なる複数の画像を撮像することが行われている。

特開２０１４−０７０９７８号公報

ところで、パレットタイム映像の安定性やモーションキャプチャのデータ精度等を向上させるためにキャリブレーションの精度を高くするには、キャリブレーションボードを撮像対象空間内で広範囲に動かすことが必要である。また、撮像画からキャリブレーションボードをリアルタイムに検出する処理は演算負荷が大きいことから、ポスト処理でキャリブレーションボードの検出が行われる。このため、ポスト処理でキャリブレーションボードの移動範囲が少ないことに気づいた場合には撮像をやり直す必要が生じて、効率よくキャリブレーションを行うことができない。

そこで、この技術では、効率よくキャリブレーションを行うことができる情報処理装置と情報処理方法とプログラムおよび撮像システムを提供することを目的とする。

この技術の第１の側面は、
所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎に提示するデータ処理部
を備える情報処理装置にある。

この技術において、データ処理部は、所定の撮像装置および所定の撮像装置と異なる他の撮像装置について内部パラメータと外部パラメータを取得する。データ処理部は、例えば所定の撮像装置と他の撮像装置を、隣接するグループ間で撮像装置が重複するようにグループ分けして、グループ毎にキャリブレーション指標の静止画撮像を行い、キャリブレーション指標の位置や姿勢が異なる所定数の静止画から内部パラメータと外部パラメータを算出する。また、データ処理部は、例えば撮像装置に保持されている情報を内部パラメータとして用い、撮像装置の取り付け位置と姿勢に関する取付情報を外部パラメータとして用いる。

データ処理部は、取得した内部パラメータと外部パラメータを用いて、所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢を算出する。また、データ処理部は、算出した三次元空間上の位置と姿勢に基づき所定の撮像装置とは異なる他の撮像装置の撮像画におけるキャリブレーション指標の位置と姿勢の算出を行う。

データ処理部は、算出した撮像画におけるキャリブレーション指標の位置と姿勢に基づき、移動するキャリブレーション指標の撮像状況、例えば空間カバー状況と姿勢カバー状況を撮像装置毎に提示する。空間カバー状況では、撮像画面上でキャリブレーション指標が位置した領域と位置していない領域とを識別可能とする。状態カバー状況では、キャリブレーション指標の姿勢を複数の姿勢区分に分類して、撮像画面上でキャリブレーション指標の姿勢が含まれる姿勢区分とキャリブレーション指標の姿勢が含まれていない姿勢区分とを識別可能とする。

また、データ処理部は、キャリブレーション指標が大きくかつ傾きが少なく正面で撮影されている撮像装置を所定の撮像装置とする。また、データ処理部は、移動するキャリブレーション指標の撮像状況を示す表示情報を撮像装置毎に生成して、対応する撮像装置へ出力する。

データ処理部は、キャリブレーション指標を示す領域が既に撮像されたキャリブレーション指標を示す領域と異なる撮像画と、キャリブレーション指標の姿勢が該当する姿勢区分で例えば最初となる撮像画を、撮像装置のそれぞれから取得して、取得した撮像画を用いてキャリブレーション処理を行う。

この技術の第２の側面は、
所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎にデータ処理部で提示すること
を含む情報処理方法にある。

この技術の第３の側面は、
複数の撮像装置のキャリブレーションをコンピュータで実行させるプログラムであって、
所定の前記撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢を算出する機能と、
前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢を算出する機能と、
移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎にデータ処理部で提示する機能と
を前記コンピュータで実現させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
所望の被写体を異なる位置から撮像する複数の撮像装置と、
前記複数の撮像装置で取得されたキャリブレーション指標の撮像画を用いて前記複数の撮像装置のキャリブレーションを行う情報処理装置を有し、
前記情報処理装置は、所定の前記撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎に提示するデータ処理部を備える撮像システムにある。

この技術によれば、データ処理部では、所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、三次元空間上の位置と姿勢に基づき所定の撮像装置とは異なる撮像装置で取得された撮像画におけるキャリブレーション指標の位置と姿勢の算出を行い、移動するキャリブレーション指標の撮像状況が撮像装置毎に提示される。このため、キャリブレーション指標を広範囲の位置および所望の傾きとして撮像を行うことが容易で、キャリブレーション指標の撮り直しを防ぐことが可能となるので、精度の高いキャリブレーション処理を効率よく行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像システムの構成を例示した図である。 情報処理装置の構成を例示した図である。 キャリブレーション動作を示したフローチャートである。 簡易パラメータ取得処理を例示したフローチャートである。 簡易パラメータ取得用撮像操作表示を例示した図である。 簡易パラメータの算出を行う場合のキャリブレーションボードの位置と姿勢を示す図である。 簡易パラメータ取得用撮像操作表示における指示表示を例示した示す図である。 詳細キャリブレーション用撮像処理を例示したフローチャートである。 キャリブレーションボートと解析対象である撮像装置Ｃ１と他の撮像装置Ｃ２の座標系と外部パラメータの関係を示した図である。 キャリブレーションボードの座標系を例示した図である。 四隅の点が撮像装置Ｃ２で取得された撮像画の何れの位置となるかを説明するための図である。 キャリブレーションボードの座標系と撮像装置の座標系の関係から、撮像装置Ｃ１，Ｃ２に対するキャリブレーションボードの姿勢を求める場合を示した図である。 空間カバー状態の表示を例示した図である。 姿勢カバー状態の表示を例示した図である。 撮像装置２０-1の表示部２１で空間カバー状況と姿勢カバー状況の表示を行った場合を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムの構成
２．情報処理装置の構成と動作

＜１．撮像システムの構成＞
図１は、本技術の情報処理装置を用いた撮像システムの構成を例示している。撮像システム１０は、複数の撮像装置（以下の説明では７台の撮像装置２０-1〜２０-7を用いた場合を例示する）と情報処理装置５０を有している。なお、図１では、中継器３０を介して撮像装置２０-1〜２０-7と情報処理装置５０が有線または無線通信を行う場合を示しているが、中継器３０を介することなく撮像装置２０-1〜２０-7と情報処理装置５０が有線または無線通信を行う構成であってもよい。

撮像装置２０-1〜２０-7は、撮像する被写体の周囲に配置されている。また、撮像装置２０-1〜２０-7は、情報処理装置５０から供給された制御データに基づき各種設定や撮像動作の制御等が行われる。さらに、撮像装置２０-1〜２０-7は、設定状態やレンズ特性等を示す情報データ、撮像動作を行うことにより得られた静止画やライブビュー画、動画等を情報処理装置５０へ送信する。

情報処理装置５０は、撮像装置２０-1〜２０-7を制御して撮像画の取得を行う。また、情報処理装置５０は、撮像装置２０-1〜２０-7のキャリブレーション処理を行う。情報処理装置５０は、キャリブレーション処理において撮像装置２０-1〜２０-7の簡易パラメータを取得する。また、撮像装置２０-1〜２０-7から選択した所定の撮像装置で取得された撮像画におけるキャリブレーション指標例えばキャリブレーションボード６０の三次元空間上の位置と姿勢を、簡易パラメータを用いて算出する。さらに、情報処理装置５０は、算出した三次元空間上の位置と姿勢に基づき所定の撮像装置とは異なる撮像装置の撮像画におけるキャリブレーションボード６０の位置と姿勢を、簡易パラメータを用いて算出する。また、情報処理装置５０は、位置と姿勢の算出結果に基づき、移動するキャリブレーションボード６０の撮像状況を撮像装置毎に提示する。さらに、情報処理装置５０は、移動するキャリブレーションボード６０を撮像装置２０-1〜２０-7で撮像した撮像画を用いてキャリブレーションを行うことで、簡易パラメータよりも高精度なパラメータを生成する。

＜２．情報処理装置の構成と動作＞
図２は、情報処理装置の構成を例示している。情報処理装置５０は、通信部５１、データ記憶部５２、表示部５３、ユーザインタフェース（Ｉ／Ｆ）部５４、データ処理部５５を有しており、例えば各部がバス５６を介して接続されている。

通信部５１は、撮像装置２０-1〜２０-7に対してデータ処理部５５で生成された制御データを送信する。また、通信部５１は、撮像装置２０-1〜２０-7から受信した撮像画の画像データや情報データをデータ記憶部５２に記憶させる。

表示部５３は、種々のメニューやキャリブレーションに関する操作、キャリブレーションボード６０の撮像状況等を表示する。

ユーザインタフェース部５４は、キーボード、タッチパネル、操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成してデータ処理部５５へ出力する。

データ処理部５５は、ユーザインタフェース部５４で生成された操作信号に基づき各部の動作や撮像装置２０-1〜２０-7との通信を行い、ユーザ操作に応じて撮像装置２０-1〜２０-7のキャリブレーション処理を行う。データ処理部５５は、キャリブレーション処理において、所定の撮像装置の撮像画におけるキャリブレーションボードの三次元空間上の位置と姿勢を算出する。また、データ処理部５５は、算出した三次元空間上の位置と姿勢に基づき、所定の撮像装置とは異なる撮像装置の撮像画におけるキャリブレーションボートの位置と姿勢の算出を行い、移動するキャリブレーションボードの撮像状況を撮像装置毎に表示部５３で表示する。

図３は、キャリブレーション動作を示したフローチャートである。ステップＳＴ１でデータ処理部は簡易パラメータ取得処理を行う。簡易パラメータは、キャリブレーションボードの位置や姿勢を判別できる精度を有していればよく、簡易パラメータ取得処理では、短時間で簡易パラメータを取得できるように、キャリブレーションボードの位置や姿勢を替えて撮像した所定数の静止画を用いてキャリブレーションを行う。

図４は、簡易パラメータ取得処理を例示したフローチャートである。簡易パラメータ取得処理では、時間短縮のためキャリブレーションボードの位置や姿勢を替えて撮像した所定数の静止画を用いて簡易パラメータを算出する。また、静止画の取得を短時間で可能とするため、複数の撮像装置をグループ分けして、グループ内の撮像装置は同時にキャリブレーションボードを撮像する。

グループ分けは、キャリブレーションボードが同時に映り、キャリブレーションボードを所定量まで傾けても同一グループの撮像装置ではキャリブレーションボードが検出可能であって、隣接するグループ間では撮像装置が重複するように行う。例えば、図１に示すように設置された撮像装置では、中央に位置する撮像装置２０-4に対してレンズの光軸方向が所定角度以内の角度差である撮像装置２０-3，２０-5を、撮像装置２０-4と同一グループとする。また、グループ内の端部側に位置する撮像装置は、少なくとも１台の撮像装置が隣接する他のグループに含まれるようにして、複数グループに含まれる撮像装置で出力された静止画から、グループ間の位置関係を算出できるようにする。例えば、撮像装置２０-1〜２０-3を同一グループとして、撮像装置２０-5〜２０-7を同一グループとする。このようにグループ分けを行うことで、１つの撮像装置で撮像されたキャリブレーションボードが他の撮像装置では、画面上の何れの位置にどのような姿勢で撮像されているかを後述するように算出できるようになる。また、簡易パラメータの算出に用いる静止画は、少ない撮像操作で取得できるようになる。

ステップＳＴ１１でデータ処理部は簡易パラメータ取得用撮像操作表示を行う。データ処理部５５は、表示部５３で簡易パラメータ取得用撮像操作表示を行わせてステップＳＴ１２に進む。

図５は、簡易パラメータ取得用撮像操作表示を例示している。簡易パラメータ取得用撮像操作表示では、撮像装置２０-1〜２０-7が上述のようにグループ分けされており、グループ単位で撮像ボタンが設けられている。また、撮像ボタンの表示ＨＳ-a〜ＨＳ-dでは、撮像ボタンに対応する撮像装置のグループに割り当てられているカメラＩＤが関連付けて表示されている。なお、図５では、図１に示す撮像装置２０-1のカメラＩＤが「１」とされており、撮像装置２０-2〜２０-7のカメラＩＤが「２」〜「７」とされている。また、操作ボタン「Ｇｒｏｕｐ Ａ」は撮像装置２０-１〜２０-3、操作ボタン「Ｇｒｏｕｐ Ｂ」は撮像装置２０-3〜２０-5、操作ボタン「Ｇｒｏｕｐ Ｃ」は撮像装置２０-5〜２０-7が割り当てられている。なお、操作ボタン「Ｇｒｏｕｐ Ｄ」に対しては、撮像装置の割り当てがないことを示す表示「Ｎ／Ａ」が設けられている、さらに、簡易パラメータ取得用撮像操作表示では、全ての撮像装置で撮像を行うための撮像ボタン「ＡＬＬ」の表示ＨＳ-eも設けられている。

ステップＳＴ１２でデータ処理部は撮像の完了であるか判別する。データ処理部５５は、簡易パラメータの算出に用いる静止画の撮像が完了したか判別して、撮像が完了していない場合にはステップＳＴ１１に戻り、完了した場合はステップＳＴ１３に進む。

情報処理装置５０のユーザインタフェース部５４は、例えば表示部５３の画面上に設けられており、データ処理部５５は、例えば操作ボタン「Ｇｒｏｕｐ Ａ」に対してタッチ操作が行われたことを操作信号に基づき判別した場合、制御データを撮像装置２０-1，２０-2，２０-3に送信して静止画の撮像動作を行わせて、取得した静止画を情報処理装置５０に送信させる。また、データ処理部５５は、各グループで行われた撮像回数を管理して、撮像装置２０-1〜２０-7からそれぞれ所定数の静止画を取得した場合、簡易パラメータの算出に用いる静止画の撮像が完了したと判別する。

また、データ処理部５５は、簡易パラメータ取得用撮像操作表示において、簡易パラメータの算出に用いる静止画の所定数と取得した静止画の数を表示すれば、各グループでの撮像状況を容易に把握できるようになる。また、撮像を行う際に、キャリブレーションボードの姿勢や位置に関する指示を表示すれば、簡易パラメータの取得に適した静止画を取得できるようになる。

データ処理部５５は、例えば文献「Zhengyou Zhang, “A Flexible New Technique for Camera Calibration”, Dec.1998, Technical Report MSR-TR-98-71」で開示されている手法を用いて簡易パラメータの算出を行う。この場合、キャリブレーションボードの位置と姿勢が異なり、キャリブレーションボードの全体が写っている静止画を４枚以上取得する。例えば、データ処理部５５は、キャリブレーションボードを図６に示すような位置として各グループで撮像を行うように指示する。なお、図６の（ａ）はキャリブレーションボードを撮像装置の正面で近くの位置とした場合、図６の（ｂ）はキャリブレーションボードを撮像装置の正面で離れた位置とした場合を示している。また、図６の（ｃ）（ｄ）はキャリブレーションボードを撮像装置に対して異なる方向に傾けた位置とした場合を例示している。データ処理部５５は、指示したキャリブレーションボードの位置毎の撮像が各グループで行われた場合、簡易パラメータの算出に用いる静止画の撮像が終了したと判別する。

図７は、簡易パラメータ取得用撮像操作表示における指示表示を例示している。指示表示では、グループ毎にキャリブレーションボードをどのような位置および姿勢として撮像するかの指示を行う。例えばキャリブレーションボード設定指示表示ＨＳ-fを設けて、キャリブレーションボードの位置および姿勢を指示する。また、キャリブレーションボード設定指示表示ＨＳ-fでは、キャリブレーションボードの位置および姿勢を変えて取得する静止画の所定数と何枚目の撮像であるかを示す表示を設けてもよい。さらに、グループ単位の撮像ボタンの表示は、キャリブレーションボードの位置および姿勢を変えて所定数の静止画の撮像が完了した例えば操作ボタン「Ｇｒｏｕｐ Ａ」の表示ＨＳ-aと、所定数の静止画の撮像中である例えば操作ボタン「Ｇｒｏｕｐ Ｂ」の表示ＨＳ-b、および所定数の静止画の撮像が行われていない例えば操作ボタン「Ｇｒｏｕｐ Ｃ〜Ｇｒｏｕｐ Ｅ」の撮像ボタンの表示ＨＳ-cを識別可能とする。このような表示を行うことで、ユーザは簡易パラメータの算出に用いる静止画を容易に取得できるようになる。

ステップＳＴ１３でデータ処理部は簡易パラメータ算出処理を行う。データ処理部５５は、ステップＳＴ１１，ＳＴ１２の処理によって取得した静止画を用いて簡易パラメータ算出処理を行う。データ処理部５５は、上述の手法等を用いて簡易パラメータの算出を行い、内部パラメータであるレンズ焦点距離と画像中心とレンズ歪み係数、および外部パラメータである回転成分と並進成分を求める。

データ処理部５５は、簡易パラメータ取得処理が終了すると図３のステップＳＴ１からステップＳＴ２に進み、詳細キャリブレーション用撮像処理を行う。図８は、詳細キャリブレーション用撮像処理を例示したフローチャートである。

ステップＳＴ２１でデータ処理部は動画記録を開始させる。データ処理部５５は、撮像装置２０-1〜２０-7で動画の撮像を開始させて、生成した動画を撮像装置内に記憶させる。また、データ処理部５５は、キャリブレーションボートの三次元空間上の位置と姿勢の算出に用いる撮像画を生成する所定の撮像装置から動画を取得してステップＳＴ２２に進む。なお、所定の撮像装置は、予め設定されていてもよく、ユーザが指定してもよい。

ステップＳＴ２２でデータ処理部はキャリブレーションボードの位置と姿勢を算出する。データ処理部５５は、所定の撮像装置で生成された動画からキャリブレーションボートの三次元空間上の位置と姿勢を算出する。また、データ処理部５５は、算出されたキャリブレーションボードの三次元空間上の位置と姿勢に基づき、所定の撮像装置と異なる撮像装置の撮像画におけるキャリブレーション指標の位置と姿勢を算出してステップＳＴ２３に進む。

次に、図９乃至図１２を用いて、所定の撮像装置で撮像されたキャリブレーションボードの他の撮像装置における位置と姿勢の算出について説明する。所定の撮像装置Ｃ１と所定の撮像装置Ｃ１とは異なる他の撮像装置Ｃ２では、簡易パラメータ取得処理によって外部パラメータと内部パラメータが取得されている。なお、所定の撮像装置Ｃ１における回転成分を示す外部パラメータをパラメータＲｗ→ｃ１、並進成分を示す外部パラメータをパラメータＴｗ→ｃ１、内部パラメータをＡｃ１とする。また、撮像装置Ｃ２における回転成分を示す外部パラメータをパラメータＲｗ→ｃ２、並進成分を示す外部パラメータをパラメータＴｗ→ｃ２、内部パラメータをＡｃ２とする。

図９は、キャリブレーションボートと解析対象である撮像装置Ｃ１と他の撮像装置Ｃ２の座標系と外部パラメータの関係を示している。なお、ワールド座標系を（）ｗ、撮像装置Ｃ１の座標系を（）ｃ１、撮像装置Ｃ２の座標系を（）ｃ２とする。また、撮像装置Ｃ１で取得された画像の画像座標系を（）Ｉ１、撮像装置Ｃ２で取得された画像の画像座標系を（）Ｉ２とする。

撮像装置Ｃ１と撮像装置Ｃ２では、外部パラメータと内部パラメータについて式（１）乃至（４）の関係が成り立つ。

撮像装置の内部パラメータが既知である場合、複数の点の三次元座標とその点を撮像した画像上の二次元座標の組から外部パラメータを推定することは、ＰｎＰ(Perspective n-Point problem)問題の解法として知られている。この解法によって撮像装置Ｃ１で取得された撮像画のキャリブレーションボードから式（５）を導くことができる。なお、座標系（）ｃｂは、図１０に示すように、キャリブレーションボードの座標系である。

したがって、式（１）と式（５）に基づき、図１０に示すように、撮像装置Ｃ１で撮像されたキャリブレーションボード上の点を式（６）に基づきワールド座標系で表現できる。

ステップＳＴ２３でデータ処理部は他の撮像装置でキャリブレーションボードが映る位置と撮像装置に対するキャリブレーションボードの姿勢を算出する。データ処理部５５は、キャリブレーションボードの四隅の点（Ｐ１，Ｐ２，Ｐ３，Ｐ４）について明らかとなったワールド座標系の座標値から、図１１に示すように、四隅の点が撮像装置Ｃ２で取得された撮像画の何れの位置となるか式（７）に基づいて算出できる。なお、式（７）は式（４）に対して式（３）および式（６）を適用した式である。

また、データ処理部５５は、キャリブレーションボードの座標系と撮像装置の座標系の関係から、撮像装置Ｃ１，Ｃ２に対するキャリブレーションボードの姿勢を求めることができる。図１２に示すキャリブレーションボードの座標系は、式（３）と式（６）に基づく式（８）によって撮像装置Ｃ２の座標系に変換できる。

また、キャリブレーションボードの座標系でのｘ軸，ｙ軸，ｚ軸のそれぞれの方向の単位ベクトルを（ｅｘ，ｅｙ，ｅｚ）ｃｂとする。なお、ｅｘ，ｅｙ，ｅｚを式（９）〜（１１）に示す。

データ処理部５５は、式（５）に基づきキャリブレーションボードの座標系における単位ベクトルを撮像装置Ｃ１の座標系に変換することで、撮像装置Ｃ１に対するキャリブレーションボードの姿勢を算出できる。また、データ処理部５５は、式（８）に基づきキャリブレーションボードの座標系における単位ベクトルを撮像装置Ｃ２の座標系に変換することで、撮像装置Ｃ２に対するキャリブレーションボードの姿勢を算出できる。

データ処理部５５は、取得されている簡易パラメータを用いて、撮像装置Ｃ１で取得された撮像画におけるキャリブレーションボードが他の撮像装置の撮像画における何れの位置でどのような姿勢で撮像されているか算出してステップＳＴ２４に進む。

ステップＳＴ２４でデータ処理部は空間カバー状態と姿勢カバー状態を表示する。データ処理部５５は、算出したキャリブレーションボードの位置を累積して、撮像画面上でキャリブレーションボードが位置した領域と位置していない領域とを識別可能とする空間カバー状態を表示する。また、データ処理部５５は、キャリブレーションボードの姿勢を複数の姿勢区分に分類する。データ処理部５５は、分類結果に基づき、撮像画面上にキャリブレーションボードの姿勢が含まれる姿勢区分とキャリブレーション指標の姿勢が含まれていない姿勢区分とを識別可能とする姿勢カバー状況を表示してステップＳＴ２５に進む。

図１３は、空間カバー状態の表示を例示している。データ処理部５５は、撮像装置２０-1〜２０-7のそれぞれについて、算出したキャリブレーションボードの位置に基づき、キャリブレーションボードが撮像された領域を他の領域と異なる表示とする。例えば、図１３ではキャリブレーションボードが撮像されていない領域をハッチングで示している。データ処理部５５は、このような空間カバー状況の表示を行うことにより、ユーザに対してキャリブレーションボードが撮像されていない領域を明示する。また、データ処理部５５は各撮像装置２０-1〜２０-7に対して空間カバー状況を示す情報を送信して、撮像装置２０-1〜２０-7で個々に空間カバー状況を表示してもよい。データ処理部５５はこのような空間カバー状況を表示させることで、空間カバー状況の表示をユーザが参照してキャリブレーションボードをより広範囲に移動して動画を撮像できるようになる。

図１４は、姿勢カバー状態の表示を例示している。データ処理部５５は、撮像装置２０-1〜２０-7のそれぞれについて、算出したキャリブレーションボードの姿勢に基づき、キャリブレーションボードが撮像された姿勢区分を他の姿勢区分と異なる表示とする。例えば、姿勢カバー状態の表示では、図１４の（ｂ）に示すようにキャリブレーションボードの姿勢区分として上姿勢状態と下姿勢状態、右姿勢状態と左姿勢状態および傾きを生じていない状態の区分を設ける。また、撮像されたキャリブレーションボードの傾きと区分毎に予め設定した閾値とを比較して、傾きが閾値よりも大きい場合に撮像画は対応する区分に含まれると判別する。例えば、撮像されたキャリブレーションボードの傾きが、上姿勢状態の閾値よりも大きい場合、撮像画は上姿勢状態の区分とする。さらに、図１４の（ａ）に示すように、対応する姿勢とされたキャリブレーションボードの撮像が行われている場合は例えば姿勢区分の枠表示を実線、対応する姿勢で撮像が行われていない場合は姿勢区分の枠表示を破線とする。データ処理部５５は、このような姿勢カバー状況の表示を行うことにより、ユーザに対してキャリブレーションボードが撮像されていない姿勢を明示する。また、データ処理部５５は各撮像装置２０-1〜２０-7に対して姿勢カバー状況を示す情報を送信して、撮像装置２０-1〜２０-7で個々に姿勢カバー状況を表示してもよい。データ処理部５５はこのような姿勢カバー状況を表示させることで、姿勢カバー状況の表示をユーザが参照してキャリブレーションボードを種々の姿勢として動画を撮像できるようになる。

さらに、データ処理部５５は、空間・姿勢のカバー状況で撮像されていない状態から撮像済みに変化したフレームに関する情報をデータ記憶部５２に記憶させる。データ処理部５５は、例えばキャリブレーションボードを示す領域が既に撮像されたキャリブレーションボードを示す領域と異なる撮像画、およびキャリブレーションボードの姿勢が該当する区分で最初である撮像画とのフレーム番号またはタイムコード等を、撮像装置２０-1〜２０-7毎にデータ記憶部５２に記憶させる。

ステップＳＴ２５でデータ処理部は所定の撮像装置の切り替えを行うか判別する。データ処理部５５は、キャリブレーションボードの撮像状態から所定の撮像装置の切り替えを行うか判別する。データ処理部５５は、ワールド座標系における撮像装置２０-1〜２０-7およびキャリブレーションボードの座標値から、所定の撮像装置よりもキャリブレーションボードが大きくかつ傾きが少なく正面で撮影されている撮像装置を検出する。データ処理部５５は、キャリブレーションボードが大きくかつ傾きが少なく正面に撮影されている撮像装置を検出した場合、所定の撮像装置の切り替えを行うと判別してステップＳＴ２６に進み、検出していない場合は切り替えを行わないと判別してステップＳＴ２７に進む。

ステップＳＴ２６でデータ処理部は所定の撮像装置の切り替えを行う。データ処理部５５は、キャリブレーションボードが大きくかつ傾きが少なく正面に撮影されている撮像装置を所定の撮像装置に設定して、新たに設定した所定の撮像装置から動画の取得を行いステップＳＴ２７に進む。

ステップＳＴ２７でデータ処理部は撮像完了であるか判別する。データ処理部５５は、例えばユーザ操作または空間・姿勢のカバー状況に基づき、撮像を完了するか否か判別する。データ処理部５５はユーザの撮像終了操作を検出した場合に撮像の終了と判別する。また、データ処理部５５は、空間・姿勢のカバー状況に基づき撮像を完了するか否か判別してもよい。例えば、データ処理部５５は、空間カバー状況表示においてキャリブレーションボードが撮像された領域の割合が各撮像装置で所定以上、かつ姿勢カバー状況表示においてキャリブレーションボードが各撮像装置で所定の姿勢で撮像された場合に撮像の終了と判別する。データ処理部５５は、撮像の終了と判別した場合ステップＳＴ２８に進む。また、データ処理部５５は、撮像の終了と判別していない場合にステップＳＴ２２に戻り、キャリブレーションボードの位置や姿勢を変化させて動画の記録、キャリブレーションボードの位置や姿勢の算出、空間カバー状況や姿勢カバー状況の表示を繰り返し行う。

ステップＳＴ２８でデータ処理部は動画記録を終了させる。データ処理部５５は撮像装置２０-1〜２０-7の動作を制御して動画記録を終了させる。

データ処理部５５は、このような詳細キャリブレーション用撮像処理を行うことで、キャリブレーションボードの位置が広い範囲で移動されて、キャリブレーションボードが種々の姿勢とされている動画を各撮像装置で取得できるようになる。

データ処理部５５は、詳細キャリブレーション用撮像処理が終了すると図３のステップＳＴ２からステップＳＴ３に進む。

ステップＳＴ３でデータ処理部は詳細キャリブレーション処理を行う。データ処理部５５は、撮像装置２０-1〜２０-7から、空間・姿勢のカバー状況において撮像されていない状態から撮像済みの状態に変化した撮像画を取得する。上述のステップＳＴ２４の処理では、空間・姿勢のカバー状況で撮像されていない状態から撮像済みに変化したフレームに関する情報をデータ記憶部５２に記憶している。したがって、データ処理部５５は、この情報をデータ記憶部５２から読み出して、読み出した情報で示された撮像画を撮像装置から取得する。例えばデータ処理部５５は、読み出した撮像装置２０-1に関する情報で示された撮像画を撮像装置２０-1から取得する。同様に、データ処理部５５は、読み出した撮像装置２０-2〜２０-7に関する情報で示された撮像画を撮像装置２０-2〜２０-7から取得する。さらに、データ処理部５５は、撮像装置２０-1〜２０-7から取得した撮像画を用いてキャリブレーション処理を行い、ステップＳＴ１の簡易パラメータ取得処理で取得したパラメータよりも高精度なパラメータを取得する。

このような処理を行えば、ユーザは、複数の撮像装置の詳細キャリブレーション処理で用いるキャリブレーションボードの撮像状況を、空間カバー状況や姿勢カバー状況の表示によってリアルタイムに確認できるようになる。したがって、詳細キャリブレーション処理において、キャリブレーションボードの撮像が行われていない位置や姿勢が明らかとなり、再度キャリブレーションボードの撮像動作が必要となってしまうことを防止できる。このため、効率よくキャリブレーションを行うことができるようになる。また、キャリブレーション処理に要する時間が大きく変動しまうことを防止できる。さらに、所望の空間カバー状況や姿勢カバー状況となる撮像画を用いてパラメータを算出できることから、簡易パラメータ取得処理で取得したパラメータに比べて高精度にパラメータを取得できるようになる。

＜３．情報処理装置の他の動作＞
上述の簡易パラメータ取得処理で取得したパラメータは、キャリブレーション処理によって高精度にパラメータを算出する場合に、再度キャリブレーションボードの撮像動作を行うことがないように空間カバー状態や姿勢カバー状態を提示する処理に用いられる。すなわち、簡易パラメータ取得処理で取得するパラメータは、キャリブレーションボードの撮像状態を空間カバー状態や姿勢カバー状態の表示で判別可能な精度であればよい。したがって、データ処理部５５は、所定数の静止画から算出されたパラメータに限らず、予め撮像装置等に設定されているパラメータ等を用いてもよい。

例えば、撮像装置２０-1〜２０-7においてレンズ焦点距離やレンズ歪み係数等の情報が保持されている場合、データ処理部５５は撮像装置２０-1〜２０-7から保持されている情報を取得して、取得した情報を簡易パラメータとして用いてもよい。また、撮像装置２０-1〜２０-7がリグ等に取り付けられた場合、撮像装置２０-1〜２０-7の回転成分と並進成分は、取り付け状態に応じた成分となる。したがって、データ処理部５５は撮像装置２０-1〜２０-7を取り付けたときの回転成分と並進成分を予め算出しておき、取り付け位置と姿勢に応じた回転成分と並進成分を示す取付情報を簡易パラメータとして用いてもよい。このように、予め用意されている情報を簡易パラメータとして用いれば、簡易パラメータ取得処理でキャリブレーションボードの撮像を行う必要がなく、さらに効率よくキャリブレーション処理を行うことができるようになる。

また、空間カバー状況や姿勢カバー状況の表示は、情報処理装置５０の表示部５３で行う場合に限らず、撮像装置２０-1〜２０-7に設けられている表示部に表示してもよい。図１５は、撮像装置２０-1の表示部２１で空間カバー状況と姿勢カバー状況の表示を行った場合を例示している。このように、各撮像装置で空間カバー状況と姿勢カバー状況の表示を行えば、撮像装置の設置位置で、空間カバー状況と姿勢カバー状況を容易に確認できるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎に提示するデータ処理部を備える情報処理装置。
（２） 前記データ処理部は、前記キャリブレーション指標の撮像状況の提示として、撮像画面上で前記キャリブレーション指標が位置した領域と位置していない領域とを識別可能とする空間カバー状況を表示する（１）に記載の情報処理装置。
（３） 前記データ処理部は、前記キャリブレーション指標の撮像状況の提示として、前記キャリブレーション指標の姿勢を複数の姿勢区分に分類して、撮像画面上に前記キャリブレーション指標の姿勢が含まれる姿勢区分と前記キャリブレーション指標の姿勢が含まれていない姿勢区分とを識別可能とする姿勢カバー状況を表示する（１）または（２）に記載の情報処理装置。
（４） 前記データ処理部は、取得した前記所定の撮像装置と前記所定の撮像装置とは異なる撮像装置の内部パラメータと外部パラメータを用いて、前記キャリブレーション指標の三次元空間上の位置と姿勢および前記異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢を算出する（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記データ処理部は、前記所定の撮像装置と前記所定の撮像装置とは異なる撮像装置で前記キャリブレーション指標の静止画を撮像して、前記キャリブレーション指標の位置と姿勢が異なる所定数の静止画から前記内部パラメータと前記外部パラメータを算出する（４）に記載の情報処理装置。
（６） 前記データ処理部は、前記所定の撮像装置と前記所定の撮像装置とは異なる撮像装置のグループ分けを行い、グループ毎に前記キャリブレーション指標の静止画を撮像する（５）に記載の情報処理装置。
（７） 前記グループ分けでは、前記キャリブレーション指標が同時に映り、前記キャリブレーション指標を所定量まで傾けても同一グループの撮像装置では前記キャリブレーション指標が検出可能であって、隣接するグループ間では撮像装置が重複するように行う（６）に記載の情報処理装置。
（８） 前記データ処理部は、前記撮像装置に保持されている情報を前記内部パラメータとして用い、前記撮像装置の取り付け位置と姿勢に関する取付情報を前記外部パラメータとして用いる（４）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記データ処理部は、前記キャリブレーション指標を示す領域が既に撮像された前記キャリブレーション指標を示す領域と異なる撮像画と、前記キャリブレーション指標の姿勢が該当する姿勢区分で最初である撮像画を、前記撮像装置のそれぞれから取得して、取得した撮像画を用いてキャリブレーション処理を行う（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記データ処理部は、前記キャリブレーション指標が大きくかつ傾きが少なく正面で撮影されている撮像装置を前記所定の撮像装置とする（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記データ処理部は、移動する前記キャリブレーション指標の撮像状況を示す表示情報を撮像装置毎に生成して、対応する撮像装置へ出力する（１）乃至（１０）のいずれかに記載の情報処理装置。

この技術の情報処理装置と情報処理方法とプログラムおよび撮像システムでは、所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、三次元空間上の位置と姿勢に基づき所定の撮像装置とは異なる撮像装置で取得された撮像画におけるキャリブレーション指標の位置と姿勢の算出を行い、移動するキャリブレーション指標の撮像状況が撮像装置毎に提示される。このため、キャリブレーション指標を広範囲の位置および所望の傾きとして撮像を行うことが容易で、キャリブレーション指標の撮り直しを防ぐことが可能となるので、精度の高いキャリブレーション処理を効率よく行うことができる。したがって、特殊な映像効果等を得る撮像システム等に適している。

１０・・・撮像システム
２０-1〜２０-7・・・撮像装置
３０・・・中継器
５０・・・情報処理装置
５１・・・通信部
５２・・・データ記憶部
５３・・・表示部
５４・・・ユーザインタフェース（Ｉ／Ｆ）部
５５・・・データ処理部
５６・・・バス
６０・・・キャリブレーションボード

Claims (14)

1. 所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎に提示するデータ処理部
   を備える情報処理装置。
2. 前記データ処理部は、前記キャリブレーション指標の撮像状況の提示として、撮像画面上で前記キャリブレーション指標が位置した領域と位置していない領域とを識別可能とする空間カバー状況を表示する
   請求項１に記載の情報処理装置。
3. 前記データ処理部は、前記キャリブレーション指標の撮像状況の提示として、前記キャリブレーション指標の姿勢を複数の姿勢区分に分類して、撮像画面上に前記キャリブレーション指標の姿勢が含まれる姿勢区分と前記キャリブレーション指標の姿勢が含まれていない姿勢区分とを識別可能とする姿勢カバー状況を表示する
   請求項１に記載の情報処理装置。
4. 前記データ処理部は、取得した前記所定の撮像装置と前記所定の撮像装置とは異なる撮像装置の内部パラメータと外部パラメータを用いて、前記キャリブレーション指標の三次元空間上の位置と姿勢および前記異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢を算出する
   請求項１に記載の情報処理装置。
5. 前記データ処理部は、前記所定の撮像装置と前記所定の撮像装置とは異なる撮像装置で前記キャリブレーション指標の静止画を撮像して、前記キャリブレーション指標の位置と姿勢が異なる所定数の静止画から前記内部パラメータと前記外部パラメータを算出する
   請求項４に記載の情報処理装置。
6. 前記データ処理部は、前記所定の撮像装置と前記所定の撮像装置とは異なる撮像装置のグループ分けを行い、グループ毎に前記キャリブレーション指標の静止画を撮像する
   請求項５に記載の情報処理装置。
7. 前記グループ分けでは、前記キャリブレーション指標が同時に映り、前記キャリブレーション指標を所定量まで傾けても同一グループの撮像装置では前記キャリブレーション指標が検出可能であって、隣接するグループ間では撮像装置が重複するように行う
   請求項６に記載の情報処理装置。
8. 前記データ処理部は、前記撮像装置に保持されている情報を前記内部パラメータとして用い、前記撮像装置の取り付け位置と姿勢に関する取付情報を前記外部パラメータとして用いる
   請求項４に記載の情報処理装置。
9. 前記データ処理部は、前記キャリブレーション指標を示す領域が既に撮像された前記キャリブレーション指標を示す領域と異なる撮像画と、前記キャリブレーション指標の姿勢が該当する姿勢区分で最初である撮像画を、前記撮像装置のそれぞれから取得して、取得した撮像画を用いてキャリブレーション処理を行う
   請求項１に記載の情報処理装置。
10. 前記データ処理部は、前記キャリブレーション指標が大きくかつ傾きが少なく正面で撮影されている撮像装置を前記所定の撮像装置とする
    請求項１に記載の情報処理装置。
11. 前記データ処理部は、移動する前記キャリブレーション指標の撮像状況を示す表示情報を撮像装置毎に生成して、対応する撮像装置へ出力する
    請求項１に記載の情報処理装置。
12. 所定の撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎にデータ処理部で提示すること
    を含む情報処理方法。
13. 複数の撮像装置のキャリブレーションをコンピュータで実行させるプログラムであって、
    所定の前記撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢を算出する機能と、
    前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢を算出する機能と、
    移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎にデータ処理部で提示する機能と
    を前記コンピュータで実現させるプログラム。
14. 所望の被写体を異なる位置から撮像する複数の撮像装置と、
    前記複数の撮像装置で取得されたキャリブレーション指標の撮像画を用いて前記複数の撮像装置のキャリブレーションを行う情報処理装置を有し、
    前記情報処理装置は、所定の前記撮像装置の撮像画におけるキャリブレーション指標の三次元空間上の位置と姿勢と、前記三次元空間上の位置と姿勢に基づき前記所定の撮像装置とは異なる撮像装置の撮像画における前記キャリブレーション指標の位置と姿勢の算出を行い、移動する前記キャリブレーション指標の撮像状況を前記撮像装置毎に提示するデータ処理部を備える撮像システム。

Images