JP6750667B2 - 情報処理装置、方法、プログラム及びマルチカメラシステム - Google Patents

Description

本開示は、情報処理装置、方法、プログラム及びマルチカメラシステムに関する。

従来、実空間内の複数の地点にそれぞれ配置されるカメラからの画像を統合的に処理するマルチカメラシステムが知られている。マルチカメラシステムは、例えば、画像の記録又は再生の際に、複数のカメラからの画像をスティッチング（貼り合せ）して、１つの巨大な合成画像又は視野をシームレスに移動させながら連続的に再生される一連の画像を生成し得る。マルチカメラシステムは、被写体の３次元的な動きの解析又は認識のためにも利用され得る。マルチカメラシステムにおいて、複数のカメラからの画像を円滑に統合的に処理するためには、カメラの校正（キャリブレーション）が適切に行われ、カメラの位置、姿勢又は画角といったパラメータの相対的な関係が正確に把握されることが重要である。

マルチカメラシステムのためのカメラの校正は、一般には、基準カメラ法又は逐次法に従って行われる。基準カメラ法によれば、複数の撮像用カメラのうちの１つが基準カメラとして選択され、基準カメラと残りのカメラの各々との間で校正が行われる。逐次法によれば、第１のカメラと第２のカメラとの間で校正が行われ、次に第２のカメラと第３のカメラとの間で校正が行われ、次に第３のカメラと第４のカメラとの間で校正が行われ…、というように、カスケード式に校正が行われる。特許文献１は、マルチカメラシステムにおいて、各カメラにより撮像される画像の輝度及びホワイトバランスなどの画像特性を基準カメラ法に従って校正する手法を開示している。

特開２００４−０８８２４７号公報

しかしながら、既存の基準カメラ法には、基準カメラと他の撮像用カメラとのペアの全てについて校正のために最適な配置が必ずしも実現されるとは限らない、という欠点がある。多くの場合、カメラ配置は、配置現場でのオペレータによる試行錯誤を通じて決定される。しかし、例えば校正のためにカメラの配置を最適化すると、その配置は撮像のためには適していないといった、トレードオフの問題もある。

一方、逐次法には、カスケード式に校正が行われる結果として、誤差が累積してしまうという欠点がある。最終的に誤差をカメラ間で分散するための再計算（いわゆるバンドル調整）を実行すれば誤差そのものは軽減され得るが、その再計算の計算コストは膨大になりがちである。

本開示に係る技術は、こうした既存の手法の欠点の少なくとも１つを解消し又は軽減することを目的とする。

本開示によれば、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置により実行される方法であって、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、を含む方法が提供される。

また、本開示によれば、情報処理装置のプロセッサを、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、として機能させるためのプログラムが提供される。

また、本開示によれば、撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、を含むマルチカメラシステムであって、前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、マルチカメラシステムが提供される。

本開示に係る技術によれば、マルチカメラシステムの校正を最適化するためのカメラの配置を、試行錯誤によらずに効率的に見出すことができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

マルチカメラシステムの一般的な構成の一例について説明するための説明図である。 マルチカメラシステムの一般的な構成の他の例について説明するための説明図である。 マルチカメラシステムの校正のための既存の手法の一例について説明するためのシーケンス図である。 一実施形態において採用される校正用カメラの配置について説明するための説明図である。 校正用カメラを用いた撮像用カメラの校正について説明するための説明図である。 校正用カメラの追加について説明するための説明図である。 一実施形態に係る校正精度評価装置の用途について説明するための説明図である。 一実施形態に係る校正精度評価装置の構成の一例を示すブロック図である。 位置評価指標の一例について説明するための説明図である。 姿勢評価指標の一例について説明するための説明図である。 追加的な校正用カメラの配置の探索について説明するための説明図である。 一実施形態に係る配置最適化処理の流れの一例を示すフローチャートである。 図１１に示した位置探索処理の詳細な流れの一例を示すフローチャートである。 図１１に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。 校正用カメラとして全天周カメラが採用される場合の配置最適化処理の流れの一例を示すフローチャートである。 図１４に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る校正精度評価装置の他の用途について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．序論
１−１．マルチカメラシステムの一般的な構成
１−２．校正のための既存の手法
１−３．校正用カメラの採用
１−４．校正精度評価装置の導入
２．一実施形態に係る校正精度評価装置の構成
３．一実施形態に係る処理の流れ
３−１．配置最適化処理
３−２．位置探索処理
３−３．姿勢探索処理
４．全天周カメラの採用
４−１．校正用カメラとしての全天周カメラ
４−２．撮像用カメラとしての全天周カメラ
５．応用例
６．まとめ

＜１．序論＞
［１−１．マルチカメラシステムの一般的な構成］
図１は、マルチカメラシステムの一般的な構成の一例について説明するための説明図である。図１を参照すると、撮像空間１０に複数のカメラ２０ａ、２０ｂ、２０ｃ及び２０ｄが配置されている。これらカメラ２０ａ、２０ｂ、２０ｃ及び２０ｄは、それぞれの視点からフィールド１１を撮像し、撮像画像を生成する。撮像画像は、静止画であってもよく、又は動画を構成するフレームの各々であってもよい。フィールド１１は、撮像の対象が存在する部分空間である。図１の例では、フィールド１１は、スポーツが行われるサイトである。カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄにより生成される撮像画像は、ネットワークを介してサーバ３０へ送信される。サーバ３０は、カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄから受信される撮像画像を統合的に処理する。例えば、サーバ３０は、画像の記録又は再生の際に、異なる視点からの複数の撮像画像をスティッチングして、１つの巨大な合成画像を生成してもよい。また、サーバ３０は、ディスプレイの視野をシームレスに移動させながら連続的に再生される一連の画像を生成してもよい。また、サーバ３０は、視差の解析に基づいて被写体の３次元的な動きを認識してもよい。

マルチカメラシステムは、いかなる数のカメラを含んでもよい。また、カメラは、システムの目的に沿っていかなる位置及び姿勢で撮像空間に配置されてもよい。本明細書において、カメラの「配置」とは、通常は、実空間内のカメラの位置及び姿勢を意味するものとする。但し、画角に制限の無い全天周カメラのように、その姿勢を考慮することを省略し得る場合には、カメラの「配置」とは、実空間内のカメラの位置のみを意味してもよい。

図２は、マルチカメラシステムの一般的な構成の他の例について説明するための説明図である。図２を参照すると、撮像空間１２に複数のカメラ２０ｅ、２０ｆ及び２０ｇが配置されている。これらカメラ２０ｅ、２０ｆ及び２０ｇは、それぞれの視点からフィールド１３を撮像し、撮像画像を生成する。図２の例においても、カメラ２０ｅ、２０ｆ及び２０ｇにより生成される撮像画像は、ネットワークを介してサーバ３０へ送信され、サーバ３０により統合的に処理される。

なお、以下の説明において、カメラ２０ａ〜２０ｇを互いに区別する必要の無い場合には、符号の末尾のアルファベットを省略することにより、これらをカメラ２０と総称する。

［１−２．校正のための既存の手法］
図３は、図１及び図２に例示したようなマルチカメラシステムの校正のための既存の手法の一例について説明するためのシーケンス図である。図３に示した校正の手法には、オペレータ１５、複数のカメラ２０、及びサーバ３０が関与する。

まず、マルチカメラシステムの撮像空間への配備に際して、オペレータ１５は、カメラ及びマーカの配置を事前に決定する（ステップＳ１０）。マーカは、校正のために利用される、既知の視覚的パターンを有するオブジェクトである。校正は、例えば、撮像空間内のマーカの配置を基準にして、撮像画像内のマーカの見え方からカメラの配置を導出することにより行われ得る。ここでは、オペレータ１５により配置を動かすことのできる人工マーカが利用されるものとする（マーカが撮像空間に内在する自然マーカである場合には、マーカの配置は、オペレータ１５により決定されず、固定的に定義され得る）。そして、オペレータ１５は、ステップＳ１０における決定に従って、カメラ及びマーカを撮像空間に配置する（ステップＳ１２）。

次に、カメラ２０は、それぞれマーカを撮像し、マーカ画像を生成する（ステップＳ２０）。そして、カメラ２０は、生成したマーカ画像をサーバ３０へ送信する。サーバ３０は、カメラ２０からマーカ画像を取得し（ステップＳ２２）、校正を実行する（ステップＳ２４）。例えば、カメラ２０ａ及びカメラ２０ｂが１つの共通的なマーカをそれぞれの視点から撮像した場合、これらカメラからの２つのマーカ画像を用いて、カメラ２０ａとカメラ２０ｂとの間の相対的な位置関係（又は画角の間の関係）を知得することができる。

その後、撮像空間から必要に応じて人工マーカが除去され、サーバ３０から各カメラ２０へ撮像開始が指示される（ステップＳ３０）。各カメラ２０は、撮像対象のフィールドを撮像し（ステップＳ３２）、撮像画像をサーバ３０へ送信する。サーバ３０は、複数のカメラ２０から撮像画像を収集し（ステップＳ３４）、多視点画像処理を実行する（ステップＳ３６）。ここで実行される多視点画像処理は、複数の画像の同期的な記録、画像のスティッチング又は被写体の３次元的な動きの解析など、いかなる種類の処理であってもよい。多視点画像処理において、ステップＳ２４での校正の結果（例えば、カメラ間の位置関係）が活用され得る。ステップＳ３２〜Ｓ３６は、任意の回数繰り返されてよい。

オペレータ１５は、必要に応じて校正精度を検証する（ステップＳ４０）。既存の手法によれば、十分な校正精度が得られるか否かは、カメラ及びマーカを実際に配置してみるまで不明である。オペレータ１５は、十分な校正精度が得られていないと判断される場合には、カメラ及びマーカの配置を変更する。これは、システムの本格的な運用が開始される前に、カメラ及びマーカの配置について試行錯誤が行われ得ることを示唆する。

［１−３．校正用カメラの採用］
撮像対象のフィールド（又はフィールド内の被写体）を撮像するために適したカメラの配置は、必ずしも校正のためにも適しているわけではない。逆に、校正のためにカメラの配置を最適化すると、その配置は、撮像画像のコンテンツとしての魅力を十分に引き出すことができないかもしれない。そこで、本開示に係る技術の一実施形態において、撮像空間を撮像する複数の撮像用カメラとは別に、それら撮像用カメラの配置についての校正に関与する校正用カメラが採用され得る。撮像空間内の撮像用カメラの配置は、例えばコンテンツの魅力を高めるという観点で事前に決定されてよい。一方、校正用カメラの配置は、複数の撮像用カメラの配置を所与として、校正の精度を最適化するように決定される。校正用カメラは、一旦校正が終了すると、撮像空間から除去されてもよい。

図４は、一実施形態において採用される校正用カメラの配置について説明するための説明図である。図４を参照すると、マルチカメラシステム１は、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄ、並びに校正用カメラ４１を含む。撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄは、撮像空間内のそれぞれ異なる位置に異なる姿勢で配置される。撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄの配置は、例えばフィールド１１の撮像を通じて最も魅力的な多視点画像コンテンツが提供されるように決定される。校正用カメラ４１は、カメラ配置可能領域内で、校正の精度を最適化する位置及び姿勢で配置される。図４には、３次元的な撮像空間内の、フィールド１１の周囲の第１のカメラ配置可能領域４５ａ及びフィールド１１の上空の第２のカメラ配置可能領域４５ｂが示されている。

図５は、校正用カメラを用いた撮像用カメラの校正について説明するための説明図である。図５を参照すると、図４と同様の、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄ、並びに校正用カメラ４１を含むマルチカメラシステム１が再び示されている。さらに、フィールド１１には、マーカ５１ａ、５１ｂ、５１ｃ及び５１ｄが配置されている。ここでは、校正用カメラ４１は、上述した基準カメラ法における基準カメラとしての役割を有する。そして、撮像用カメラ２０ａの校正は、撮像用カメラ２０ａ及び校正用カメラ４１がマーカ５１ａを撮像することにより行われる。撮像用カメラ２０ｂの校正は、撮像用カメラ２０ｂ及び校正用カメラ４１がマーカ５１ｂを撮像することにより行われる。撮像用カメラ２０ｃの校正は、撮像用カメラ２０ｃ及び校正用カメラ４１がマーカ５１ｃを撮像することにより行われる。撮像用カメラ２０ｄの校正は、撮像用カメラ２０ｄ及び校正用カメラ４１がマーカ５１ｄを撮像することにより行われる。このように、専ら校正の精度を最適化するように配置される校正用カメラ４１を採用し、校正用カメラ４１を基準カメラ法における基準カメラとして利用することで、カメラ配置の最適化に関する上述したトレードオフを解決することができる。なお、ここでは１つの撮像用カメラについて１つのマーカが存在する例を示したが、撮像用カメラとマーカとの間の関係は必ずしも１対１でなくてもよい。例えば、２つ以上の撮像用カメラの校正のために１つの共通的なマーカが撮像されてもよい。また、１つの撮像用カメラの校正のために２つ以上のマーカが撮像されてもよい。

一実施形態において、マルチカメラシステムは、２つ以上の校正用カメラを含んでもよい。図６は、校正用カメラの追加について説明するための説明図である。図６を参照すると、マルチカメラシステム１は、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄ並びに校正用カメラ４１に加えて、校正用カメラ４２を含む。校正用カメラ４２は、例えば、１つの校正用カメラ４１を基準カメラとして利用するのみではシステム全体として十分な校正精度が達成されないと判定される場合に、システムに追加され得る。図６の例では、撮像用カメラ２０ａの校正は、撮像用カメラ２０ａ及び校正用カメラ４１がマーカ５１ａを撮像することにより行われる。撮像用カメラ２０ｂの校正は、撮像用カメラ２０ｂ及び校正用カメラ４１がマーカ５１ｂを撮像することにより行われる。撮像用カメラ２０ｃの校正は、撮像用カメラ２０ｃ及び校正用カメラ４２がマーカ５１ｃを撮像することにより行われる。撮像用カメラ２０ｄの校正は、撮像用カメラ２０ｄ及び校正用カメラ４２がマーカ５１ｄを撮像することにより行われる。そして、校正用カメラ４１及び校正用カメラ４２の双方がマーカ５１ｄを撮像して上述した逐次法を適用することで、撮像用カメラ２０ａ及び２０ｂの校正結果と、撮像用カメラ２０ｃ及び２０ｄの校正結果とを統合することができる。

なお、一実施形態において、専ら校正の精度を最適化するように校正用カメラが配置され、撮像用カメラの校正が行われた後、校正用カメラもまた撮像空間を撮像する目的で利用されてもよい。

［１−４．校正精度評価装置の導入］
さらに、本開示に係る技術の一実施形態において、校正用カメラの配置は、既存の手法のようにオペレータにより試行錯誤的に決定されるのではなく、新たに導入される校正精度評価装置により決定される。

図７は一実施形態に係る校正精度評価装置１００の用途について説明するための説明図である。図７の例において、校正精度評価装置１００は、情報処理装置である。校正精度評価装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ、ＲＯＭ（Read Only Memory）などの不揮発性メモリ及びＲＡＭ（Random Access Memory）などの揮発性メモリを有し得る。校正精度評価装置１００は、例えば、撮像空間に配置される複数の撮像用カメラの配置を示す撮像用カメラ配置情報を、入力情報として取得する。なお、入力情報として取得されるカメラ配置情報は、後の校正処理において導出される配置情報と比較して、格段に粗い精度で各カメラの配置を示せばよい。そして、校正精度評価装置１００は、撮像空間に校正用カメラを配置した場合に得られる校正精度を、複数の撮像用カメラのそれぞれの配置及び校正用カメラの暫定的な配置に基づいて評価する。校正精度の評価は、１つ以上の評価指標を計算することにより行われ得る。校正精度評価装置１００は、校正用カメラ（及び必要に応じてマーカ）の様々な（暫定的な）配置について評価指標を計算し、最も良好なスコアを示す配置を、最適な配置であると決定する。校正精度評価装置１００は、最適化の結果（即ち、校正用カメラ（及びマーカ）の最適な配置）を、モニタ上に表示してもよく、メモリに記憶してもよく、又は印刷してもよい。

ユーザ（例えば、オペレータ）は、撮像用カメラ配置情報及び他のいくつかの補足的な情報を校正精度評価装置１００へ入力するだけで、マルチカメラシステムの校正を良好な精度で行うための校正用カメラの配置を容易に知得することができる。こうした校正精度評価装置１００の具体的な構成の一例について、次節以降で詳細に説明する。

＜２．一実施形態に係る校正精度評価装置の構成＞
図８は、一実施形態に係る校正精度評価装置１００の構成の一例を示すブロック図である。図８を参照すると、校正精度評価装置１００は、情報取得部１１０、ユーザインタフェース部１２０、配置決定部１３０、精度評価部１４０及び記憶部１５０を備える

情報取得部１１０は、校正精度評価装置１００における校正精度の評価及び校正用カメラの配置の最適化を実行するための入力情報を取得する。情報取得部１１０により取得される入力情報は、少なくとも、撮像空間内の複数の撮像用カメラの配置を示す撮像用カメラ配置情報を含む。撮像用カメラ配置情報は、例えば、Ｍ個の撮像用カメラの各々についての、撮像用カメラ位置Ｐ_{ｉｍｇ＿ｍ}及び撮像用カメラ姿勢Ａ_{ｉｍｇ＿ｍ}（ｍ＝１，…，Ｍ）を含む。さらに、情報取得部１１０により取得される入力情報は、Ｍ個の撮像用カメラの各々についてのカメラパラメータ情報ＰＲ_{ｉｍｇ＿ｍ}（ｍ＝１，…，Ｍ）を含む。カメラパラメータ情報は、撮像用カメラの校正のために必要とされるカメラ内部パラメータの集合であってよく、例えば、焦点距離、画角、アスペクト比、及びスキュー（歪み）をそれぞれ表すパラメータを含み得る。さらに、情報取得部１１０により取得される入力情報は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報Ｒ_ｃｌｂをも含み得る。これら入力情報は、ユーザインタフェース部１２０の何らかの入力手段を介して入力されてもよく、記憶部１５０により予め記憶されてもよく、又は図示しない通信インタフェースを介して他の装置から取得されてもよい。情報取得部１１０は、取得した入力情報を配置決定部１３０へ出力する。

ユーザインタフェース部１２０は、ユーザによる校正精度評価装置１００への指示又は情報の入力のための入力インタフェース１２１と、情報を表示するための表示インタフェース１２３とを含み得る。入力インタフェース１２１は、例えば、タッチパネル、キーパッド、キーボード、マウス又はタッチパッドなどを含み得る。表示インタフェース１２３は、液晶ディスプレイ若しくはＯＬＥＤ（Organic light-Emitting Diode）ディスプレイなどのモニタ、又はプロジェクタを含み得る。

配置決定部１３０は、撮像空間に配置される校正用カメラの最適な配置を決定するための探索処理を実行する。配置決定部１３０は、例えば、カメラ配置可能領域情報Ｒ_ｃｌｂにより定義されるカメラ配置可能領域の範囲内で、校正用カメラの１つの候補配置ｐ_ｃｌｂ，ａ_ｃｌｂを設定し、設定した候補配置について精度評価部１４０に校正精度を評価させる。ここでの校正精度の評価は、実際に校正を実行して精度を測定するのではなく、校正用カメラの暫定的な配置（即ち、候補配置）に基づいて１つ以上の評価指標を計算することにより行われる。配置決定部１３０は、こうした候補配置の設定と校正精度の評価とを、複数の候補配置の各々について繰り返し、最適な校正精度を有すると評価された候補配置に従って校正用カメラの配置を決定する。

配置決定部１３０は、固定的でないマーカが校正のために利用される場合には、Ｎ個のマーカの各々についても候補配置ｐ_{ｍｒｋ＿ｎ}，ａ_{ｍｒｋ＿ｎ}（ｎ＝１，…，Ｎ）を設定し、校正精度の評価の入力として候補配置ｐ_{ｍｒｋ＿ｎ}，ａ_{ｍｒｋ＿ｎ}を精度評価部１４０に与えてもよい。撮像空間に内在する固定的な自然マーカが利用される場合には、マーカの配置は予め定義され、その配置情報が精度評価部１４０に与えられ得る。これ以降、説明の簡明さのために、マーカの数Ｎは撮像用カメラの数Ｍと等しく、１つの撮像用カメラの校正のために１つのマーカが撮像されるものとする。但し、本開示に係る技術は、マーカの数Ｎが撮像用カメラの数Ｍと異なるケースにも適用可能である。

精度評価部１４０は、撮像空間に校正用カメラを配置した場合に得られる校正精度を、Ｍ個の撮像用カメラのそれぞれの配置Ｐ_{ｉｍｇ＿ｍ}，Ａ_{ｉｍｇ＿ｍ}及び校正用カメラの候補配置ｐ_ｃｌｂ，ａ_ｃｌｂに基づいて評価する。精度評価部１４０は、撮像用カメラの校正のために撮像されるＮ個のマーカもまた撮像空間に配置されるものとして、Ｎ個のマーカのそれぞれの配置にも基づいて、校正精度を評価してもよい。上述したように、あるケースでは、校正用カメラの配置及びＮ個のマーカのそれぞれの配置の双方が、最適な校正精度を探索する際の可変的なパラメータであり、当該探索を通じて校正用カメラの配置とＮ個のマーカのそれぞれの配置とが決定される。他のケースでは、Ｎ個のマーカのそれぞれの配置は固定的であり、校正用カメラの配置のみが探索の際の可変的なパラメータである。

概して、校正精度は、校正の際に撮像されるマーカ画像にマーカが大きく（高い解像度で）映っているほど高くなる。よって、システム全体としての校正精度を高めるためには、校正用カメラ及びどの撮像用カメラからも平均的に遠くない場所に、それぞれ対応するマーカが位置していることが望ましい。撮像すべきマーカが極端に遠くに位置しているカメラが存在すると、十分な校正精度は達成されない。そこで、一例として、精度評価部１４０は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標を用いて、校正精度を評価する。第１の評価指標は、主にカメラの位置の探索のために利用される指標である。ここでは、第１の評価指標を位置評価指標Ｃ_ＰＯＳという。位置評価指標Ｃ_ＰＯＳは、例えば、次の式（１）により定義される。

式（１）の右辺に含まれるＤ_ｉは、ｉ番目のマーカの（候補）位置ｐ_{ｍｒｋ＿ｉ}と、当該マーカに対応するｉ番目の撮像用カメラの位置Ｐ_{ｉｍｇ＿ｉ}との間の距離を表す（式（２）参照）。Ｄ_ａｖｅは、マーカと撮像用カメラとのＭ個のペアにわたる、距離Ｄ_ｉの平均値を表す。式（１）の右辺に含まれるｄ_ｊは、ｊ番目のマーカの（候補）位置ｐ_{ｍｒｋ＿ｊ}と、校正用カメラの位置ｐ_ｃｌｂとの間の距離を表す（式（３）参照）。ｄ_ａｖｅは、マーカと校正用カメラとのＮ個のペアにわたる、距離ｄ_ｊの平均値を表す。

図９Ａは、式（２）及び式（３）によりそれぞれ定義される中間パラメータＤ及びｄについての理解のために供される説明図である。図９Ａにおいて、距離Ｄ_ｋは、ｋ番目のマーカ５１ｋとｋ番目の撮像用カメラ２０ｋとの間の距離を表す。距離Ｄ_ｈは、ｈ番目のマーカ５１ｈとｈ番目の撮像用カメラ２０ｈとの間の距離を表す。距離ｄ_ｋは、ｋ番目のマーカ５１ｋと暫定的に配置される校正用カメラ４１との間の距離を表す。距離ｄ_ｈは、ｈ番目のマーカ５１ｈと暫定的に配置される校正用カメラ４１との間の距離を表す。

あり得る全ての校正用カメラの候補位置、及びマーカの候補位置にわたって精度評価部１４０により位置評価指標Ｃ_ＰＯＳが計算されると、配置決定部１３０は、最適な校正用カメラの位置Ｐ_ｃｌｂ及びＮ個のマーカの位置Ｐ_{ｍｒｋ＿ｎ}を、次式のように位置評価指標Ｃ_ＰＯＳを最小化するデータセットとして決定することができる。

また、概して、校正精度は、校正の際に撮像されるマーカ画像の中心のより近くにマーカが映っているほど高くなる。撮像すべきマーカがマーカ画像の縁部に映っている場合には、マーカのパターンがレンズ歪みの影響を強く受けて校正の精度が低下し得る。さらに、校正精度は、マーカ画像内でマーカが正面を向いているほど高くなる。マーカが２次元マーカである場合に、マーカが浅い角度でマーカ画像に映っている（例えば、マーカが横を向いている）場合には、やはり校正の精度は低下し得る。よって、システム全体としての校正精度を高めるためには、各カメラとマーカとを結ぶ光路が各カメラの光軸に対してなす角度ができる限り小さいこと、及び各カメラとマーカとを結ぶ光路がマーカの校正用パターンの法線に対してなす角度ができる限り小さいことが望ましい。そこで、精度評価部１４０は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標を用いて、校正精度を評価する。第２の評価指標は、主にカメラの姿勢の探索のために利用される指標である。ここでは、第２の評価指標を姿勢評価指標Ｃ_ＡＴＴという。姿勢評価指標Ｃ_ＡＴＴは、例えば、次の式（５）により定義される。

式（５）の右辺に含まれるα_ｉは、ｉ番目のマーカの位置Ｐ_{ｍｒｋ＿ｉ}とｉ番目の撮像用カメラの位置Ｐ_{ｉｍｇ＿ｉ}との間の光路がｉ番目の撮像用カメラの姿勢Ａ_{ｉｍｇ＿ｉ}に対してなす角度を表す（式（６）参照）。β_ｉは、ｉ番目のマーカの位置Ｐ_{ｍｒｋ＿ｉ}とｉ番目の撮像用カメラの位置Ｐ_{ｉｍｇ＿ｉ}との間の光路がｉ番目のマーカの（候補）姿勢ａ_{ｍｒｋ＿ｉ}に対してなす角度を表す（式（７）参照）。式（５）の右辺に含まれるγ_ｊは、ｊ番目のマーカの位置Ｐ_{ｍｒｋ＿ｊ}と校正用カメラの位置Ｐ_ｃｌｂとの間の光路が校正用カメラの姿勢ａ_ｃｌｂに対してなす角度を表す（式（８）参照）。δ_ｊは、ｊ番目のマーカの位置Ｐ_{ｍｒｋ＿ｊ}と撮像用カメラの位置Ｐ_ｃｌｂとの間の光路がｊ番目のマーカの（候補）姿勢ａ_{ｍｒｋ＿ｊ}に対してなす角度を表す（式（９）参照）。

図９Ｂは、式（６）〜（９）によりそれぞれ定義される中間パラメータα、β、γ及びδについての理解のために供される説明図である。図９Ｂにおいて、角度α_ｋは、ｋ番目のマーカ５１ｋとｋ番目の撮像用カメラ２０ｋとの間の光路９１ｋがｋ番目の撮像用カメラ２０ｋの光軸９２ｋ（姿勢に相当）に対してなす角度である。角度β_ｋは、ｋ番目のマーカ５１ｋとｋ番目の撮像用カメラ２０ｋとの間の光路９１ｋがｋ番目のマーカ５１ｋの法線９３ｋ（姿勢に相当）に対してなす角度である。角度γ_ｋは、ｋ番目のマーカ５１ｋと校正用カメラ４１との間の光路９４ｋが校正用カメラ４１の光軸９５（姿勢に相当）に対してなす角度である。角度δ_ｋは、ｋ番目のマーカ５１ｋと校正用カメラ４１との間の光路９４ｋがｋ番目のマーカ５１ｋの法線９３ｋ（姿勢に相当）に対してなす角度である。

あり得る全ての校正用カメラの候補姿勢、及びマーカの候補姿勢にわたって精度評価部１４０により姿勢評価指標Ｃ_ＡＴＴが計算されると、配置決定部１３０は、最適な校正用カメラの姿勢Ａ_ｃｌｂ及びＮ個のマーカの姿勢Ａ_{ｍｒｋ＿ｎ}を、次式のように姿勢評価指標Ｃ_ＡＴＴを最大化するデータセットとして決定することができる。

配置決定部１３０は、式（１）及び式（５）を用いて精度評価部１４０により計算される評価指標が示す（予期される）校正精度に基づいて、校正用カメラ（及び必要に応じてマーカ）の最適な配置を決定し得る。配置決定部１３０は、例えば、式（４）に従って、校正用カメラ及びマーカについて最適な位置を示す単一のデータセットを選択する代わりに、位置評価指標Ｃ_ＰＯＳのスコアの順に複数個の位置データセットを選択し、それら位置データセットに基づいてそれぞれ式（１０）に従った姿勢の探索を実行してもよい。また、配置決定部１３０は、姿勢の探索の結果として、校正用カメラ及びマーカの最適な位置及び姿勢を示す単一のデータセットを出力してもよく、又は評価指標のスコアの順に複数個のデータセットを出力してもよい。

一実施形態において、配置決定部１３０は、最適な校正精度を有すると評価された候補配置で校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを検証してもよい。ここでの所定の校正精度条件は、上述した位置評価指標Ｃ_ＰＯＳ及び姿勢評価指標Ｃ_ＡＴＴのうちの少なくとも一方に基づく条件であってよく、例えば次のうちの１つ以上を含み得る：
条件１）位置評価指標Ｃ_ＰＯＳが第１の閾値を下回る
条件２）姿勢評価指標Ｃ_ＡＴＴが第２の閾値を上回る
なお、位置評価指標Ｃ_ＰＯＳと比較される第１の閾値及び姿勢評価指標Ｃ_ＡＴＴと比較される第２の閾値は、撮像用カメラの数Ｍ又はマーカの数Ｎに依存する可変的な値であってもよい。また、これら閾値は、記憶部１５０により予め記憶されてもよく、又はユーザインタフェース部１２０を介してユーザにより指定されてもよい。

配置決定部１３０は、位置及び姿勢の探索の結果として得られた配置で校正用カメラを配置した場合に上述した校正精度条件が満たされないと判定される場合には、撮像空間に追加的な校正用カメラを配置すべきであると判定してもよい。配置決定部１３０は、撮像空間に追加的な校正用カメラを配置すべきであると判定した場合には、追加的な校正用カメラの配置を決定するための位置及び姿勢の探索を、精度評価部１４０により計算される上述した位置評価指標Ｃ_ＰＯＳ及び姿勢評価指標Ｃ_ＡＴＴを用いて再び実行し得る。この再探索の際に、配置決定部１３０は、複数の撮像用カメラのうち、（初回の探索の結果として配置の確定した）初期の校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、追加的な校正用カメラについて得られる校正精度を精度評価部１４０に評価させてもよい。

図１０は、追加的な校正用カメラの配置の探索について説明するための説明図である。図１０の例では、初回の位置及び姿勢の探索の結果として、初期の校正用カメラ４１、並びにマーカ５１ａ、５１ｂ、５１ｃ及び５１ｄの組合せについて精度評価部１４０により計算された評価指標が最も良好なスコアを示し、しかしその評価指標は上述した校正精度条件を満たさなかったものとする。そこで、配置決定部１３０は、撮像空間に追加的な校正用カメラを配置してシステム全体としての校正精度を向上させることを決定する。

追加的な校正用カメラの配置は、上で説明した初回の位置及び姿勢の探索と同様の再探索を通じて決定され得る。但し、この再探索のために、配置決定部１３０は、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄのうち、初回の探索時の位置評価指標Ｃ_ＰＯＳ及び姿勢評価指標Ｃ_ＡＴＴの劣化により強く関係している撮像用カメラを選択する。ここで選択される撮像用カメラは、対応するマーカへの距離がより大きい撮像用カメラ、又は対応するマーカと初期の校正用カメラとの間の距離がより大きい撮像用カメラであってもよい。また、ここで選択される撮像用カメラは、対応するマーカが良好な姿勢を有しない撮像用カメラであってもよい。図１０の例では、初回の探索時の評価指標の劣化により強く関係している撮像用カメラとして、撮像用カメラ２０ｃ及び２０ｄが選択されている。撮像用カメラ２０ａ及び２０ｂは、初期の校正用カメラ４１により良好に校正可能であるため、再探索における評価指標の計算から除外される。撮像用カメラ２０ａ及び２０ｂにそれぞれ対応するマーカ５１ａ及び５１ｂの配置は、再探索の前に確定される。そして、配置決定部１３０は、初回の探索よりも少ない数の撮像用カメラの配置に基づいて、追加的な校正用カメラについて予期される校正精度を精度評価部１４０に評価させ、評価指標が最も良好なスコアを示す追加的な校正用カメラの配置と、未確定のマーカの配置とを決定する。図１０の例では、校正用カメラ４２を追加的に配置すべきであることが、再探索の結果として決定されている。一例として、撮像用カメラ２０ｄに対応するマーカ５１ｄの配置は、初期の校正用カメラ４１と追加的な校正用カメラ４２との間の校正結果の統合を可能とするために、初回の探索の結果のまま維持され得る。一方、撮像用カメラ２０ｃに対応するマーカの配置は再探索において可変とされ、新たにマーカ５１ｅを配置すべきであることが決定されている。

配置決定部１３０は、初期の校正用カメラ及びゼロ個以上の追加的な校正用カメラの配置により上述した校正精度条件が満たされると判定されるまで、校正精度の評価と校正用カメラの追加とを繰り返してよい。そして、上述した校正精度条件が満たされると、マルチカメラシステム１に配置すべき校正用カメラの数とその配置、及びマーカ群の配置が全て確定し得る。なお、配置決定部１３０は、校正用カメラの数が所定の上限数に達した場合には、校正精度条件が満たされるか否かに関わらず、再探索の繰り返しを打ち切ってもよい。

＜３．一実施形態に係る処理の流れ＞
本節では、上述した校正精度評価装置１００により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

［３−１．配置最適化処理］
図１１は、一実施形態に係る配置最適化処理の流れの一例を示すフローチャートである。図１１に示した処理は、撮像空間内の複数の撮像用カメラの配置が決定された後に、例えばユーザにより入力インタフェース１２１を介して入力されるトリガに応じて開始され得る。

まず、情報取得部１１０は、撮像用カメラの配置を示す撮像用カメラ配置情報、及び撮像用カメラのカメラ内部パラメータを示すカメラパラメータ情報を取得する（ステップＳ１００）。また、情報取得部１１０は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報を取得する（ステップＳ１０５）。

次に、配置決定部１３０は、校正用カメラ（及びマーカ）の最適な位置を決定するために、位置探索処理を実行する（ステップＳ１１０）。ここで実行される位置探索処理について、後により詳細に説明する。配置決定部１３０は、位置探索処理の結果として、カメラ配置可能領域情報により示される領域の範囲内で最適な校正用カメラの位置を決定する。また、配置決定部１３０は、１つ以上のマーカの最適な位置をも決定し得る。

次に、配置決定部１３０は、校正用カメラ（及びマーカ）の最適な姿勢を決定するために、姿勢探索処理を実行する（ステップＳ１２０）。ここで実行される姿勢探索処理について、後により詳細に説明する。配置決定部１３０は、姿勢探索処理の結果として、ステップＳ１１０において決定した位置において最適な校正用カメラの姿勢を決定する。また、配置決定部１３０は、１つ以上のマーカの最適な姿勢をも決定し得る。

次に、配置決定部１３０は、位置探索処理及び姿勢探索処理の結果として決定された最適な配置に対応する、精度評価部１４０により計算された評価指標（例えば、位置評価指標及び姿勢評価指標）のスコアを取得する（ステップＳ１４０）。そして、配置決定部１３０は、評価指標が校正精度条件を満たすか否かを判定する（ステップＳ１４５）。評価指標が校正精度条件を満たす場合には、処理はステップＳ１８０へ移る。一方、評価指標が校正精度条件を満たさない場合には、処理はステップＳ１５０へ移る。

ステップＳ１５０において、配置決定部１３０は、初期の校正用カメラにより良好に校正可能な撮像用カメラを再探索における評価の対象から除外する（ステップＳ１５０）。そして、配置決定部１３０は、追加的な校正用カメラ（及び未確定のマーカ）の最適な位置を決定するために、位置探索処理を実行する（ステップＳ１６０）。ここで実行される位置探索処理は、一部の撮像用カメラ及び対応するマーカが考慮されないことを除き、ステップＳ１１０において実行される処理と同様であってよい。また、配置決定部１３０は、追加的な校正用カメラ（及び未確定のマーカ）の最適な姿勢を決定するために、姿勢探索処理を実行する（ステップＳ１７０）。ここで実行される姿勢探索処理は、一部の撮像用カメラ及び対応するマーカが考慮されないことを除き、ステップＳ１２０において実行される処理と同様であってよい。これら位置探索処理及び姿勢探索処理の結果として、追加的な校正用カメラの最適な配置（及び未確定であったマーカの最適な配置）が決定される。

次に、配置決定部１３０は、再探索により決定した最適な配置に対応する評価指標のスコアを取得し（ステップＳ１４０）、評価指標が校正精度条件を満たすか否かを判定する（ステップＳ１４５）。配置決定部１３０は、上述したステップＳ１４０〜Ｓ１７０の処理を、上述した校正精度条件が満たされるまで繰り返す。

そして、配置決定部１３０は、校正精度条件が満たされると（又は校正用カメラの数が所定の上限数に達すると）、１つ以上の校正用カメラ及びマーカの全ての配置を確定させる（ステップＳ１８０）。

［３−２．位置探索処理］
図１２は、図１１に示した位置探索処理の詳細な流れの一例を示すフローチャートである。

図１２を参照すると、まず、配置決定部１３０は、カメラ配置可能領域情報により示される配置可能領域の範囲内に、探索のための校正用カメラの候補位置を設定する（ステップＳ１１１）。また、配置決定部１３０は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補位置を設定する（ステップＳ１１２）。なお、マーカの位置が固定的である場合には、ステップＳ１１２はスキップされてよい。

次に、精度評価部１４０は、マーカまでの距離のばらつきに関する位置評価指標を、校正用カメラの候補位置、マーカの位置及び撮像用カメラの位置に基づいて計算する（ステップＳ１１３）。

配置決定部１３０は、あり得るマーカの全ての候補位置の組合せについて位置評価指標の計算が終了するまで、上述したステップＳ１１２及びＳ１１３を繰り返す（ステップＳ１１４）。また、配置決定部１３０は、探索範囲内の校正用カメラの全ての候補位置について位置評価指標の計算が終了するまで、上述したステップＳ１１１〜Ｓ１１４を繰り返す（ステップＳ１１５）。

探索が終了すると、配置決定部１３０は、最も良好な（又はある上位のいくつかの）位置評価指標を示す校正用カメラ及びマーカの候補位置のセットを選択する（ステップＳ１１６）。

［３−３．姿勢探索処理］
図１３は、図１１に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。

図１３を参照すると、まず、配置決定部１３０は、位置探索処理の結果として決定した校正用カメラの位置における、探索のための校正用カメラの候補姿勢を設定する（ステップＳ１２１）。また、配置決定部１３０は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補姿勢を設定する（ステップＳ１２２）。なお、マーカの姿勢が固定的である場合には、ステップＳ１２２はスキップされてよい。

次に、精度評価部１４０は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する姿勢評価指標を、校正用カメラの位置及び候補姿勢、マーカの位置及び候補姿勢、並びに撮像用カメラの位置及び姿勢に基づいて計算する（ステップＳ１２３）。

配置決定部１３０は、あり得るマーカの全ての候補姿勢の組合せについて姿勢評価指標の計算が終了するまで、上述したステップＳ１２２及びＳ１２３を繰り返す（ステップＳ１２４）。また、配置決定部１３０は、校正用カメラの全ての候補姿勢について姿勢評価指標の計算が終了するまで、上述したステップＳ１２１〜Ｓ１２４を繰り返す（ステップＳ１２５）。

探索が終了すると、配置決定部１３０は、最も良好な姿勢評価指標を示す校正用カメラ及びマーカの候補姿勢のセットを選択する（ステップＳ１２６）。

＜４．全天周カメラの採用＞
［４−１．校正用カメラとしての全天周カメラ］
全天周カメラは、方位角及び仰俯角の双方において、３６０°の画角を有し得るカメラである。校正用カメラとして全天周カメラが採用される場合、校正用カメラの姿勢は、校正精度にほとんど影響しなくなる。そのため、この場合、配置最適化処理において、校正用カメラの位置のみが実質的な探索の対象とされてよい。

図１４は、校正用カメラとして全天周カメラが採用される場合の配置最適化処理の流れの一例を示すフローチャートである。図１４に示した処理は、撮像空間内の複数の撮像用カメラの配置が決定された後に、例えばユーザにより入力インタフェース１２１を介して入力されるトリガに応じて開始され得る。

まず、情報取得部１１０は、撮像用カメラの配置を示す撮像用カメラ配置情報、及び撮像用カメラのカメラ内部パラメータを示すカメラパラメータ情報を取得する（ステップＳ１００）。また、情報取得部１１０は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報を取得する（ステップＳ１０５）。

次に、配置決定部１３０は、校正用カメラ及びマーカの最適な位置を決定するために、位置探索処理を実行する（ステップＳ１１０）。ここで実行される位置探索処理は、図１２を用いて説明した処理と同様であってよい。

次に、配置決定部１３０は、マーカの最適な姿勢を決定するために、姿勢探索処理を実行する（ステップＳ１３０）。ここで実行される姿勢探索処理について、後により詳細に説明する。

次に、配置決定部１３０は、位置探索処理及び姿勢探索処理の結果として決定された最適な配置に対応する、精度評価部１４０により計算された評価指標のスコアを取得する（ステップＳ１４０）。そして、配置決定部１３０は、評価指標が校正精度条件を満たすか否かを判定する（ステップＳ１４５）。評価指標が校正精度条件を満たさない場合には、配置決定部１３０は、良好に校正可能な撮像用カメラを評価の対象から除外して（ステップＳ１５０）、追加的な校正用カメラ及び未確定のマーカの最適な位置を決定するための位置探索処理（ステップＳ１６０）、及び未確定のマーカの最適な姿勢を決定するための姿勢探索処理（ステップＳ１７０）を実行する。

配置決定部１３０は、上述したステップＳ１４０〜Ｓ１７０の処理を、上述した校正精度条件が満たされるまで繰り返す（ステップＳ１４５）。そして、配置決定部１３０は、校正精度条件が満たされると（又は校正用カメラの数が所定の上限数に達すると）、１つ以上の校正用カメラ（全天周カメラ）及びマーカの全ての配置を確定させる（ステップＳ１８０）。

図１５は、図１４に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。なお、マーカの姿勢が固定的である場合には、本姿勢探索処理は実行されなくてよい。

図１４を参照すると、まず、配置決定部１３０は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補姿勢を設定する（ステップＳ１３２）。

次に、精度評価部１４０は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する姿勢評価指標を、校正用カメラの位置、マーカの位置及び候補姿勢、並びに撮像用カメラの位置及び姿勢に基づいて計算する（ステップＳ１３３）。全天周カメラは、あらゆる方向に対して正面を向いているものと見なされるため、ここでの姿勢評価指標の計算において、姿勢評価指標Ｃ_ＡＴＴの計算式（式（５））における角度γ_ｊの項は省略されてよい。

配置決定部１３０は、あり得るマーカの全ての候補姿勢の組合せについて姿勢評価指標の計算が終了するまで、上述したステップＳ１３２及びＳ１３３を繰り返す（ステップＳ１３４）。

探索が終了すると、配置決定部１３０は、最も良好な姿勢評価指標を示すマーカの候補姿勢のセットを選択する（ステップＳ１３６）。

［４−２．撮像用カメラとしての全天周カメラ］
全天周カメラは、それ自体が複数のカメラモジュールの集合として構成されることもある。こうしたマルチモジュール型の全天周カメラの製造又は撮像空間内への配備の際に、モジュール間のわずかな画像のズレが生じると、そのズレが全天周画像の画質低下の原因となり得る。しかしながら、上述した校正精度評価装置１００を用いて、複数のカメラモジュールの配置に基づいて校正用カメラ及びマーカの最適な配置を決定しておくことで、マルチモジュール型の全天周カメラの配備の際に効率的に全天周カメラの校正を遂行することができる。この場合、情報取得部１１０により取得される撮像用カメラ配置情報は、全天周カメラのローカル座標系又は想定される撮像空間の座標系における、全天周カメラの個々のカメラモジュールの配置（位置及び姿勢）を表す。撮像用カメラとしての全天周カメラの製造者は、例えば、全天周カメラの出荷の際に、予め校正精度評価装置１００を用いて決定された配置に従って撮像空間に校正用カメラ及びマーカを配置しておき、現場への全天周カメラの取付け作業と同時に校正を遂行してもよい。

＜５．応用例＞
前節までに説明した校正精度評価装置１００は、校正用カメラの最適な配置の探索のみならず、オペレータにより暫定的に決定される校正用カメラの配置の検証のために利用されてもよい。

図１６は、図７を用いて説明した用途とは異なる校正精度評価装置１００の用途について説明するための説明図である。図１６の例では、校正精度評価装置１００の情報取得部１１０は、撮像空間に配置される複数の撮像用カメラの配置を示す撮像用カメラ配置情報に加えて、暫定的に決定され得る校正用カメラの配置を示す校正用カメラ配置情報を入力情報として取得する。情報取得部１１０は、暫定的に決定され得る複数のマーカの配置を示すマーカ配置情報をも入力情報として取得してもよい。そして、校正精度評価装置１００の精度評価部１４０は、暫定的に決定されたこれら配置について予期される校正精度を、上述した位置評価指標及び姿勢評価指標を計算することにより評価する。ユーザインタフェース部１２０は、精度評価部１４０により実行される校正精度の評価の結果をユーザにフィードバックする。校正精度の評価の結果のフィードバックは、例えば、位置評価指標及び姿勢評価指標のスコアそのもの、又は各スコアが上述した校正精度条件を満たすか否かの判定結果を、モニタ上に表示し又は印刷するなどの手法で行われてよい。

上述した応用例によれば、ユーザは、校正用カメラ（及びマーカ）の配置を暫定的に決定した後、実際にカメラ（及びマーカ）を撮像空間に配置して校正を実行せずとも、良好な校正精度を得ることができるか否かを簡易に知得することができる。よって、既存の手法において校正のために行われていた試行錯誤の負荷が軽減され、マルチカメラシステムの配備を迅速に行うことが可能となる。

＜６．まとめ＞
ここまで、図１〜図１６を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得し、上記撮像空間に校正用カメラを配置した場合に得られる校正精度を、上記カメラ配置情報により示される撮像用カメラのそれぞれの配置及び校正用カメラの配置に基づいて評価する、情報処理装置が提供される。従って、システム配備の現場でオペレータがカメラの校正のために試行錯誤する必要性が回避される。また、上述した実施形態によれば、撮像用カメラの配置は校正精度を考慮することなく予め決定され得ることから、撮像されるコンテンツの魅力が校正の目的のための配置変更に起因して減殺されることがない。

また、上述した実施形態によれば、複数の撮像用カメラとは別に、それら撮像用カメラの配置についての校正に関与する校正用カメラが採用され、校正用カメラの配置は複数の撮像用カメラの配置を所与として校正の精度を最適化するように決定され得る。このように、校正用カメラの配置（例えば、位置及び姿勢、又は校正用カメラが全天周カメラである場合には位置のみ）を可変的なパラメータとして校正精度の最適化が図られるため、撮像用カメラの配置を動かすことなく、良好な精度でマルチカメラシステムのカメラの校正を行うことができる。校正用カメラは、基準カメラ法における基準カメラとして利用され得るため、逐次法で必要とされるバンドル調整は原則として不要であり、校正のための計算コストは抑制される。一旦校正が終了すると、撮像空間から校正用カメラを除去することも可能である。

また、上述した実施形態によれば、校正用カメラを配置した場合に得られる校正精度の評価結果に基づいて、撮像空間に配置される校正用カメラの最適な配置が決定される。従って、オペレータは、撮像用カメラ配置情報及び他のいくつかの補足的な情報を入力するだけで、マルチカメラシステムの校正を良好な精度で行うための校正用カメラの配置を容易に知得することができる。例えば、オペレータは、モニタ上に表示され又は印刷され得る配置に従って、校正用カメラ（及び、必要に応じて、１つ以上のマーカ）を撮像空間に配置することにより、当初から良好な精度を期待し得る形で校正を開始することができる。

また、上述した実施形態によれば、撮像用カメラの校正のために撮像される１つ以上のマーカもまた撮像空間に配置されるものとして、校正精度が評価され得る。従って、校正用カメラの配置のみならず校正用のマーカの配置をも校正精度の評価結果に基づいて最適化することができる。

また、上述した実施形態によれば、校正用カメラを配置することの可能なカメラ配置可能領域内の複数の候補配置の各々について校正精度が評価され、最適な校正精度を有すると評価された候補配置に従って校正用カメラの配置が決定され得る。従って、撮像空間の状況に依存して異なるカメラ配置可能領域の範囲内の最も良好な位置に、最も良好な姿勢で校正用カメラを配置することができる。

また、上述した実施形態によれば、まず１つの校正用カメラが配置されるものとして最適化される校正精度が十分でない場合（所定の校正精度条件が満たされないと判定される場合）に、撮像空間に追加的に配置される校正用カメラの最適な配置がさらに探索され得る。従って、校正用カメラの数を変化させることで、マルチカメラシステムが達成すべき校正精度を確実に達成することができる。また、不必要なほど多くの校正用カメラが配置されることが防止される。

また、ある応用例によれば、オペレータにより暫定的に決定される校正用カメラの配置について、どの程度の校正精度が予期されるかが評価され、その評価の結果がユーザインタフェースを介してフィードバックされ得る。この場合、カメラ配置の変更及び校正精度の実測を試行錯誤的に繰り返さずとも、校正用カメラの配置が適正であるかをオペレータが容易に知得することができる。

なお、本明細書において説明した一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
を備える情報処理装置。
（２）
前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部、をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記評価部は、前記撮像用カメラの校正のために撮像される１つ以上のマーカもまた前記撮像空間に配置されるものとして、前記複数の撮像用カメラのそれぞれの配置、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置に基づいて、前記校正精度を評価する、前記（２）に記載の情報処理装置。
（４）
前記配置決定部は、前記校正用カメラを配置することの可能な領域内の複数の候補配置の各々について前記評価部に前記校正精度を評価させ、最適な校正精度を有すると評価された候補配置に従って、前記校正用カメラの配置を決定する、前記（３）に記載の情報処理装置。
（５）
前記配置決定部は、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置の双方を可変的なパラメータとして、前記最適な校正精度を探索し、当該探索を通じて前記校正用カメラの配置と前記１つ以上のマーカのそれぞれの配置とを決定する、前記（４）に記載の情報処理装置。
（６）
前記評価部は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標を用いて、前記校正精度を評価する、前記（３）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記評価部は、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標を用いて、前記校正精度を評価する、前記（３）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記配置決定部は、前記最適な校正精度を有すると評価された候補配置で前記校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを判定し、前記所定の校正精度条件が満たされないと判定される場合には、前記撮像空間に追加的な校正用カメラを配置すべきであると判定する、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記所定の校正精度条件は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標、並びに、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標、のうちの少なくとも一方に基づく、前記（８）に記載の情報処理装置。
（１０）
前記配置決定部は、前記撮像空間に追加的な校正用カメラを配置すべきであると判定した場合に、前記複数の撮像用カメラのうち、初期の前記校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、前記追加的な校正用カメラについて得られる前記校正精度を前記評価部に評価させる、前記（８）又は前記（９）に記載の情報処理装置。
（１１）
前記配置決定部は、初期の前記校正用カメラ及びゼロ個以上の前記追加的な校正用カメラの配置により前記所定の校正精度条件が満たされると判定されるまで、前記校正精度の評価と前記校正用カメラの追加とを繰り返す、前記（８）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記情報取得部は、前記校正用カメラを配置することの可能な領域を定義する領域情報、をさらに取得する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記情報取得部は、暫定的に決定される前記撮像空間内の前記校正用カメラの配置を示すさらなるカメラ配置情報を取得し、
前記情報処理装置は、前記カメラ配置情報及び前記さらなるカメラ配置情報を用いて前記評価部により実行される前記校正精度の評価の結果をユーザにフィードバックするユーザインタフェース部、をさらに備える、
前記（１）に記載の情報処理装置。
（１４）
前記撮像用カメラの前記配置は、前記撮像用カメラの位置及び姿勢を含み、
前記校正用カメラの前記配置は、前記校正用カメラの少なくとも位置を含む、
前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
情報処理装置により実行される方法であって、
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、
を含む方法。
（１６）
情報処理装置のプロセッサを、
撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
として機能させるためのプログラム。
（１７）
撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、
前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、
を含むマルチカメラシステムであって、
前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、
マルチカメラシステム。

１ マルチカメラシステム
１０，１２ 撮像空間
１１，１３ フィールド
２０ 撮像用カメラ
４１，４２ 校正用カメラ
５１ マーカ
１００ 校正精度評価装置（情報処理装置）
１１０ 情報取得部
１２０ ユーザインタフェース部
１３０ 配置決定部
１４０ 精度評価部
１５０ 記憶部

Claims (16)

1. 撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
   前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
   前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部と、
   を備える情報処理装置。
2. 前記評価部は、前記撮像用カメラの校正のために撮像される１つ以上のマーカもまた前記撮像空間に配置されるものとして、前記複数の撮像用カメラのそれぞれの配置、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置に基づいて、前記校正精度を評価する、請求項１に記載の情報処理装置。
3. 前記配置決定部は、前記校正用カメラを配置することの可能な領域内の複数の候補配置の各々について前記評価部に前記校正精度を評価させ、最適な校正精度を有すると評価された候補配置に従って、前記校正用カメラの配置を決定する、請求項２に記載の情報処理装置。
4. 前記配置決定部は、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置の双方を可変的なパラメータとして、前記最適な校正精度を探索し、当該探索を通じて前記校正用カメラの配置と前記１つ以上のマーカのそれぞれの配置とを決定する、請求項３に記載の情報処理装置。
5. 前記評価部は、前記撮像用カメラと当該撮像用カメラに対応するマーカとの間の距離のばらつき及び前記校正用カメラと当該校正用カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標を用いて、前記校正精度を評価する、請求項２に記載の情報処理装置。
6. 前記評価部は、前記撮像用カメラと当該撮像用カメラに対応するマーカとの間の光路と前記撮像用カメラ又はマーカの姿勢との間の関係及び前記校正用カメラと当該校正用カメラに対応するマーカとの間の光路と前記校正用カメラ又はマーカの姿勢との間の関係に関する第２の評価指標を用いて、前記校正精度を評価する、請求項２に記載の情報処理装置。
7. 前記配置決定部は、前記最適な校正精度を有すると評価された候補配置で前記校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを判定し、前記所定の校正精度条件が満たされないと判定される場合には、前記撮像空間に追加的な校正用カメラを配置すべきであると判定する、請求項３に記載の情報処理装置。
8. 前記所定の校正精度条件は、前記撮像用カメラと当該撮像用カメラに対応するマーカとの間の距離のばらつき及び前記校正用カメラと当該校正用カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標、並びに、前記撮像用カメラと当該撮像用カメラに対応するマーカとの間の光路と前記撮像用カメラ又はマーカの姿勢との間の関係及び前記校正用カメラと当該校正用カメラに対応するマーカとの間の光路と前記校正用カメラ又はマーカの姿勢との間の関係に関する第２の評価指標、のうちの少なくとも一方に基づく、請求項７に記載の情報処理装置。
9. 前記配置決定部は、前記撮像空間に追加的な校正用カメラを配置すべきであると判定した場合に、前記複数の撮像用カメラのうち、初期の前記校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、前記追加的な校正用カメラについて得られる前記校正精度を前記評価部に評価させる、請求項７に記載の情報処理装置。
10. 前記配置決定部は、初期の前記校正用カメラ及びゼロ個以上の前記追加的な校正用カメラの配置により前記所定の校正精度条件が満たされると判定されるまで、前記校正精度の評価と前記校正用カメラの追加とを繰り返す、請求項７に記載の情報処理装置。
11. 前記情報取得部は、前記校正用カメラを配置することの可能な領域を定義する領域情報、をさらに取得する、請求項１に記載の情報処理装置。
12. 前記情報取得部は、暫定的に決定される前記撮像空間内の前記校正用カメラの配置を示すさらなるカメラ配置情報を取得し、
    前記情報処理装置は、前記カメラ配置情報及び前記さらなるカメラ配置情報を用いて前記評価部により実行される前記校正精度の評価の結果をユーザにフィードバックするユーザインタフェース部、をさらに備える、
    請求項１に記載の情報処理装置。
13. 前記撮像用カメラの前記配置は、前記撮像用カメラの位置及び姿勢を含み、
    前記校正用カメラの前記配置は、前記校正用カメラの少なくとも位置を含む、
    請求項１に記載の情報処理装置。
14. 情報処理装置により実行される方法であって、
    撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、
    前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、
    前記評価された前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定することと、
    を含む方法。
15. 情報処理装置のプロセッサを、
    撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
    前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
    前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部と、
    として機能させるためのプログラム。
16. 撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、
    前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、
    請求項１〜１３の何れか１項に記載の情報処理装置と、
    を含むマルチカメラシステム。

Images