JP7289754B2 - 制御装置、制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置を制御する制御技術に関する。

近年、複数の撮像装置を異なる位置に設置し、複数の撮像装置が同期して被写体を撮像し、その撮像で得られた複数の視点の画像を用いて、撮像装置の設置位置の画像だけでなく任意の視点の画像を仮想視点画像として生成する技術が注目されている。複数の視点の画像に基づく仮想視点画像の生成および閲覧は、例えば次のようにして実現することができる。まず、複数の撮像装置を、被写体を囲むように設置し、それら複数の撮像装置により撮像した画像がサーバなどの画像生成装置に集約される。そして、画像生成装置は、複数の撮像装置が撮像した画像を用いて、仮想視点に基づくレンダリングなどの処理を施して仮想視点画像を生成し、その仮想視点画像をユーザの視聴端末に送る。これによりユーザの視聴端末は、仮想視点画像を表示することができる。この仮想視点画像を生成する技術によれば、例えばサッカーやバスケットボールの試合を撮像した画像から、画像コンテンツ制作者により指定された視点に応じた仮想視点画像を生成することで、迫力のある視点のコンテンツの制作が可能となる。また、コンテンツを視聴しているユーザ自身が視聴端末に備えたコントローラやタブレット等を使用して視点を移動させ、画像生成装置がその視点に応じた仮想視点画像を生成することも可能である。この場合、ユーザは、自身の好みの視点で、試合を観戦することができる。このような仮想視点画像を用いたサービスは、視点を変更できない従来の撮像画像と比較して、ユーザにその場面にいるような臨場感を与えることができる。特許文献１には、注視点を囲むように複数の撮像装置を設置し、それら複数の撮像装置で撮像した画像を利用して、ユーザが指定した仮想視点から見た仮想視点画像を生成する技術が開示されている。

特開２０１４－２１５８２８号公報

複数の撮像装置で撮像した画像を用い、注視点付近で発生するシーンに対する仮想視点画像を生成するような場合、それら複数の撮像装置は注視点付近にフォーカスが合うようなフォーカス調整がなされている必要がある。そのフォーカス調整の方法として、設置されたマーカーを用いて、当該マーカーにフォーカスが合うように撮像装置のフォーカス調整が行われることが考えられる。

しかし、マーカーを設置する対象によっては、設置可能な時間が制限されるなど、フォーカス調整に十分な時間が確保できない可能性が生じる。そのため、各撮像装置のフォーカス調整は短い時間で行う必要がある。

そこで、本発明は、短い時間で撮像装置のフォーカス調整を実施可能にすることを目的とする。

本発明は、撮像装置を制御する制御装置であって、前記撮像装置を含む複数の撮像装置によって撮像される撮像対象領域内で、前記撮像装置のフォーカスを合わせる領域を特定する領域特定手段と、前記撮像装置により取得された画像から、前記撮像対象領域内で移動する特定のマーカーパターンを検出する検出手段と、前記撮像装置により取得された画像内で前記撮像装置のフォーカスを合わせる領域からの前記特定のマーカーパターンの検出に基づき、当該特定のマーカーパターンを使用して前記撮像装置のフォーカス調整を実施する実施手段と、を有することを特徴とする。

本発明によれば、短い時間で撮像装置のフォーカス調整を実施可能になる。

複数の撮像装置の配置例および撮像装置毎の注視点を示す図である。 システム構成例を示す図である。 第１の実施形態に係る制御部の構成例を示す図である。 被写体までの距離とボケ量の関係を示す図である。 フォーカス合わせの例を示す図である。 フォーカス合わせの他の例を示す図である。 フォーカスを合わすべきエリアを画面上に明示した例を示す図である。 各撮像装置とフィールドの３Ｄ座標空間での位置関係を示す図である。 撮像装置の撮像画像上の座標と３Ｄ座標との位置関係を示す図である。 第１の実施形態のマーカーパターン例を示す図である。 マーカーパターンを印刷したボードを人が持つ例を示す図である。 フィールド上でマーカーパターンを動かす例を示す図である。 第１の実施形態の制御部における処理のフローチャートである。 フォーカス領域特定処理のフローチャートである。 簡易位置推定処理のフローチャートである。 第２の実施形態に係る制御部の構成例を示す図である。 第２の実施形態の制御部における処理のフローチャートである。 第２の実施形態のマーカーパターン例を示す図である。 ハードウェア構成例を示す図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１は、第１の実施形態の制御装置により制御される複数の撮像装置の概略的な配置例を示す図である。図１に示すように、複数の撮像装置１０１～１１０はそれぞれ異なる位置に設置され、それら撮像装置１０１～１１０は被写体等を同期撮像する。図１の例の場合、サッカースタジアムのフィールド１３０が撮像対象領域となされており、複数（１０台）の撮像装置１０１～１１０がフィールド１３０を囲むように配置されている。撮像装置１０１～１１０は、それぞれオートフォーカス機能を備え、また、各々の撮影方向、レンズの焦点距離、およびフォーカス位置などの遠隔制御が可能となされている。

本実施形態の場合、撮像装置１０１～１１０は、それぞれ異なる注視点１１１～１２０の方向を向くように、それぞれの撮影方向が調整されている。注視点は、撮像装置の光軸とフィールドとの交点もしくはその交点近傍の点である。また、撮像装置１０１～１１０それぞれが向けられる注視点１１１～１２０は、着目位置として事前に設定されていてもよい。なお、図１では、撮像装置１０１～１１０がそれぞれ異なる注視点１１１～１２０の方向を向いた例を挙げたが、一つ以上の撮像装置からなるグループ（撮像装置群）毎に、それぞれ異なる注視点を持つように設定されていてもよい。

第１の実施形態では、撮像装置毎に注視点が異なる場合において、撮像装置１０１～１１０それぞれで実施されるフォーカス調整について述べる。なお、図１の例では、撮像装置の台数は１０台となっているが、１０台に限定されるものではない。また図１では、注視点１１１～１２０が、フィールド１３０の半面側に配置された例を挙げているが、これに限定されずフィールド全面に配置されてもよい。撮像装置１０１～１１０をそれぞれ設置する位置は、スタジアム毎に事前に調査し、観客の観戦を妨げないことや、仮想視点画像を生成するために必要となる撮像装置の設置間隔、設置方法等、様々な条件を考慮して決定される。このため、スタジアム毎に各撮像装置の設置位置や、撮像装置からフィールドまでの距離、撮像装置が設置されるフィールドからの高さ等は異なる。また、撮像装置のレンズの焦点距離は、各撮像装置から注視点までの間の距離と、仮想視点画像を生成する範囲、および生成される仮想視点画像の中に含まれる被写体画像の解像度等を考慮して決定される。

図２は、図１に示した撮像装置１０１～１１０と、制御装置２００と、それら撮像装置１０１～１１０と制御装置２００とを繋ぐハブ２１０と、を有したシステムの概略的な構成例を示す図である。
本実施形態の制御装置２００は、撮像装置１０１～１１０をそれぞれ制御する機能と、それら撮像装置１０１～１１０が撮像した複数視点の画像を用いて任意の視点の仮想視点画像を生成する機能と、を有している。複数の撮像装置１０１～１１０によってそれぞれ撮像された画像データは、ハブ２１０を介して、制御装置２００の仮想視点画像生成部２３０へ送られる。

仮想視点画像生成部２３０は、仮想視点生成部２４０によって設定された仮想撮像装置の位置と撮影方向とに基づいて仮想視点画像２５０を生成する。詳細説明は省略するが、仮想視点画像生成部２３０は、各撮像装置にて撮像された撮像画像から前景と背景を分離し、前景から３Ｄ（３次元）モデルを生成し、その３Ｄモデルに仮想撮像装置から見たときの色をレンダリングすることで仮想視点画像を生成する。なお仮想視点画像を生成するアルゴリズムはこれに限るものではなく、ビルボード方式など、３Ｄモデルを作らない方式であってもよい。

ＵＩ部２６０は、操作者が、各撮像装置における撮像や撮像装置の状態等を指示する際に使用されるユーザインタフェース部である。ＵＩ部２６０は、画像等を表示する表示装置と、操作者からの操作に応じた操作情報を取得する操作部とを有する。操作者は、ＵＩ部２６０への操作を通じて、撮像装置に対し、撮影開始や撮影終了、焦点距離の設定、シャッタースピードの設定、絞りの設定、感度の設定、およびフォーカス位置の設定等のための指示を行うことができる。

制御部２２０は、ＵＩ部２６０を介して操作者から入力された指示を基に、撮像装置１０１～１１０の撮影動作、撮影方向、焦点距離、シャッタースピード、絞り、感度、およびフォーカス位置等をそれぞれ制御する。
なお、システム構成は図２に示した例に限定されるものではなく、ハブ２１０を介さずに、撮像装置１０１～１１０が直接、制御部２２０や仮想視点画像生成部２３０に接続されていてもよい。また、撮像装置１０１～１１０は、デイジーチェーン接続されていてもよい。

図３は、制御部２２０が有する各機能を示した図である。なお図３には、ハブ２１０およびＵＩ部２６０も描かれている。
制御部２２０は、画像取得部３２１、パラメータ取得部３２２、コマンド送信部３２３、被写界深度計算部３２４、およびフォーカス設定部３２５を有する。さらに、制御部２２０は、領域特定部３２６、マーカー検出部３２７、マーカー登録部３２８、位置推定部３２９、関連情報入力部３３０、および保存部３３１を有する。

画像取得部３２１は、ハブ２１０を介して、撮像装置１０１～１１０がそれぞれ連続的に撮像した画像データ（つまり動画の画像データ）を取得し、領域特定部３２６、位置推定部３２９、マーカー検出部３２７、保存部３３１、およびＵＩ部２６０へ送る。

ＵＩ部２６０は、前述したように撮像装置１０１～１１０からの画像を表示装置に表示し、また操作部を介した操作者の操作に応じた操作情報を取得する。操作者は、撮像装置１０１～１１０からの画像を見ながら、操作部を操作することで、所望の撮像装置について、画角、撮影方向、あるいは絞り値による露出等を操作して、当該撮像装置に対する調整を行える。また操作者は、ＵＩ部２６０の表示装置に表示された画像により、各撮像装置におけるフォーカス状態についても目視確認することができる。さらに操作者は、ＵＩ部２６０の操作を通じて、撮像装置１０１～１１０の個々の撮像装置だけでなく、一つ以上の撮像装置からなるグループ毎の各撮像装置を操作すること、あるいは全ての撮像装置を一括して操作することも可能である。

パラメータ取得部３２２は、ハブ２１０を介して、撮像装置１０１～１１０からそれぞれ撮影パラメータを取得する。撮影パラメータは、撮像装置１０１～１１０のそれぞれの撮像装置における現在のズーム値、絞り値、露出値、フォーカス値、画面内のどの位置でフォーカスや露出を合わせているかなどの情報である。これらの撮影パラメータは、撮像装置１０１～１１０のそれぞれの撮像時における状態を表す情報でもある。

マーカー検出部３２７は、画像取得部３２１が取得した撮像画像から、後述する特定のマーカーパターンを検出し、そのマーカーパターンの画像内での座標を特定する。マーカーパターンに関する詳細説明は後述する。
マーカー登録部３２８は、一つ以上のマーカーパターン画像、もしくはそのマーカーパターン画像の特徴量が、登録（記憶）されている。マーカー登録部３２８は、ハードディスクもしくは半導体メモリに、それらマーカーパターン画像もしくは特徴量の情報を保存している。マーカー登録部３２８に登録されるマーカーパターン画像もしくは特徴量の情報は、予め用意されていてもよいし、外部装置等から取得されてもよい。

保存部３３１は、画像取得部３２１が取得した画像の一部もしくは全てを保存する。また保存部３３１は、保存した画像を撮像した撮像装置における前述した撮影パラメータの情報についても当該画像に対応付けて保存する。保存部３３１に保存された画像と撮影パラメータは、ＵＩ部２６０の表示装置上に表示することも可能である。撮像装置１０１～１１０でフォーカス処理等が実施された時に撮像された画像および撮影パラメータの情報をＵＩ部２６０の表示装置上に表示した場合、操作者は、各撮像装置の状態を目視で確認することができる。つまり操作者は、各撮像装置で撮像された画像の状態、各撮像装置のフォーカス値および画像内でフォーカスが合った位置でのフォーカス状態、ズーム値、絞り値、および露出値などの、各撮像装置の状態を目視で確認することができる。

被写界深度計算部３２４は、パラメータ取得部３２２が撮像装置１０１～１１０から取得した撮影パラメータをもとに、撮像装置１０１～１１０のそれぞれの撮像装置について、フォーカスを合わせる位置における被写界深度を計算する。

関連情報入力部３３０は、外部から、スタジアム形状に関する情報を取得して保持する。スタジアム形状に関する情報は、スタジアムの３Ｄ形状モデルデータ、およびスタジアム内におけるフィールド１３０の位置および大きさを示す３次元座標情報を含んだ情報である。以後の説明ではこれらをまとめてスタジアム関連情報と記載する。関連情報入力部３３０は、スタジアム関連情報を、ハードディスクもしくは半導体メモリなどに記憶することで保持する。

位置推定部３２９は、撮像装置１０１～１１０の撮像装置毎に、フィールド１３０に対する撮像装置の相対的な位置、および、フィールド１３０に対する撮像装置の相対的な姿勢を推定する。位置推定部３２９は、関連情報入力部３３０が保持しているスタジアム関連情報と、画像取得部３２１が撮像装置１０１～１１０からそれぞれ取得した撮像画像とを基に、フィールド１３０に対する各撮像装置のそれぞれの相対的な位置および姿勢を推定する。

領域特定部３２６は、画像取得部３２１から取得した画像と、撮像装置１０１～１１０の各撮像装置とフィールド１３０との間のそれぞれの相対位置とから、撮像装置毎にフォーカスを合わすべき領域を特定する。撮像装置毎のフォーカスを合わすべき領域の説明は後述する。相対位置は、前述した位置推定部３２９によって推定された相対的な位置である。

フォーカス設定部３２５は、撮像装置の画角内、つまり撮像装置が撮像する領域内においてフォーカスを合わせる位置を、任意の位置に設定する。フォーカス設定部３２５は、画角中心（撮像装置が撮像する領域の中心）だけでなく、当該画角中心から外れた位置をも、フォーカスを合わせる位置として設定することができる。本実施形態の場合、フォーカス設定部３２５は、撮像対象領域であるフィールド１３０のなかで、ある撮像装置に対して領域特定部３２６がフォーカスを合わすべきとして特定した領域を、当該撮像装置のフォーカスを合わせる位置として設定する。フォーカスを合わすべきとして特定される領域の詳細は後述する。フォーカス設定部３２５は、撮像装置１０１～１１０の各撮像装置について、領域特定部３２６がフォーカスを合わすべきとしてそれぞれ特定した領域を、それぞれ対応した撮像装置のフォーカスを合わせる位置として設定する。

コマンド送信部３２３は、撮影制御に関連する各種のコマンドを生成し、それらコマンドを、ハブ２１０を介して撮像装置１０１～１１０のそれぞれ撮像装置に送信する。本実施形態の場合、コマンド送信部３２３は、撮影開始、撮影終了、ズーム設定、および絞り値設定などを指令するコマンドや、フォーカス処理に関するコマンドなどを生成して撮像装置１０１～１１０に送信する。本実施形態の場合、フォーカス処理に関するコマンドは、撮像装置におけるフォーカス処理の開始、中断、終了の指令、および撮像装置が画面内でフォーカスを合わせる位置などを、それぞれ指令するコマンドである。実際のフォーカス処理は、それぞれ撮像装置側で行われる。

ここで、本実施形態の場合、撮像装置１０１～１１０のフォーカス調整は、領域特定部３２６がフォーカスを合わせるべきとして特定した領域で行われる。以下、フォーカスを合わすべきとして特定される領域について説明する。

まず撮像装置（カメラ）のレンズのボケ量に関して説明する。
図４は、ある絞り値とフォーカス値において、撮像装置から被写体までの距離とボケ量との関係を示した図である。撮像装置のフォーカスは、被写体位置である合焦点４４０に合わせられているとする。なお合焦はフォーカスと同じ意味であるとする。このとき、合焦点４４０から手前側（撮像装置側）に近づくほどボケ量は急激に増加し、逆に遠方側（奥側）に離れるほどボケ量は少しずつ増加する。ここで、被写界深度および人間の目の解像度などを基に、人間が目で見て分からない程度のボケ量を許容ボケ量４１０と定義すると、フォーカスが合っているとみなせる範囲は、合焦範囲４５０として表せる。合焦範囲４５０の前端４５１は合焦点４４０からの距離がＡで、後端４５３は合焦点４４０からの距離がＢ＋Ｃであるとすると、合焦範囲４５０の中心４５２は、合焦点４４０よりも後方になる。なお、距離Ａ＋Ｂは距離Ｃと同じである。

図５は、撮像装置１０１～１１０のうちの一つを表した撮像装置５０１におけるフォーカス合わせの説明に用いる図である。図５の例において、撮像装置５０１のフォーカスは、注視点５８０に合っている（つまり注視点５８０が合焦点４４０である）とする。合焦範囲５６０は、図４の合焦範囲４５０のようにフォーカスが合っているとみなせる範囲であり、前端５５１は図４の前端４５１、後端５５３は図４の後端４５３であるとする。またフィールド５２０は、図１のフィールド１３０であるとする。

図５の例は、フィールド５２０よりも合焦範囲５６０が広い場合を示している。このようにフィールド５２０よりも合焦範囲５６０が広い場合、合焦範囲５６０の前端５５１と後端５５３とは、フィールド５２０の外になる。この場合、仮想視点画像を作成するために必要となる、合焦が保証されるべき領域（合焦保証領域５７０とする）は、撮像装置５０１に近い側のフィールド端（前端５８１）から遠い側のフィールド端（後端５８３）までの領域となる。

図６は、撮像装置５０１のフォーカス合わせの説明に用いる別の図であり、図５の例と同様に表されている。ただし、図６は、合焦範囲５６０よりもフィールド５２０の方が広い場合、換言するとフィールド５２０に対して合焦範囲５６０が狭い場合の例を示している。図６の例のように、合焦範囲５６０よりもフィールド５２０の方が広い場合、合焦範囲５６０の前端５５１と後端５５３とは、フィールド５２０の内側になる。そして図６の例の場合、仮想視点画像を作成するために必要となる、合焦が保証されるべき合焦保証領域５７０は、合焦範囲５６０で表される領域と同一になる。つまり、図６の例の場合、当該合焦保証領域５７０の前端５８１は合焦範囲５６０の前端５５１と一致し、合焦保証領域５７０の後端５８３は合焦範囲５６０の後端５５３と一致する。

そして、撮像装置５０１のフォーカス合わせは、少なくとも、注視点５８０とその近傍のエリア（注視点エリア５３０とする。）の中で行われる必要がある。さらにそれに加え、本実施形態の場合、合焦保証領域５７０の前端５８１を含むエリア（前方エリア５４０とする）と、合焦保証領域５７０の後端５８３を含むエリア（後方エリア５５０とする）の中でも撮像装置５０１のフォーカス合わせを行う。本実施形態の場合、領域特定部３２６が、撮像装置１０１～１１０の撮像装置毎に、当該撮像装置の撮像画像上で、注視点エリア５３０、前方エリア５４０、及び後方エリア５５０を、それぞれフォーカスを合わすべき領域として特定する。

図７は、撮像装置１０１～１１０のうち一つの撮像装置５０１の撮像画像が、ＵＩ部２６０の表示装置に表示された場合の撮像画面７００の例を示した図である。領域特定部３２６によってフォーカスを合わすべき領域として特定された注視点エリア５３０、前方エリア５４０、及び後方エリア５５０を、撮像画面７００上に表した場合には、図７に示すようになる。なお図７では、一つの撮像装置５０１の撮像画面７００を例に挙げたが、撮像装置１０１～１１０の各撮像装置における撮像画面と注視点エリア、前方エリア、及び後方エリアはそれぞれ異なる。

ここで、それら注視点エリア５３０等において撮像装置５０１のフォーカス合わせを行うには、フィールド１３０の３Ｄ（３次元）座標空間内における撮像装置５０１の位置および姿勢と注視点５８０と合焦保証領域５７０との間の位置関係を求める必要がある。

図８は、３Ｄ座標空間内における撮像装置１０１～１１０の各位置および各姿勢とフィールド１３０との間の位置関係を表した図である。図８には、フィールド１３０の中心の３Ｄ座標を原点（０，０，０）とした場合の撮像装置１０１～１１０の３Ｄ座標（Ｘ１，Ｙ１，Ｚ１）～（Ｘ１０，Ｙ１０，Ｚ１０）が示されている。また図８において、フィールド１３０のＸ軸上（長辺方向）の一方の端の３Ｄ座標は（Ｘｆ，０，０）、他方の端の３Ｄ座標は（－Ｘｆ，０，０）であるとする。同様に、フィールド１３０のＹ軸上（短辺方向）の一方の端の３Ｄ座標は（０，Ｙｆ，０）、他方の端の３Ｄ座標は（０，－Ｙｆ，０）であるとする。フィールド１３０の３Ｄ座標は、前述した関連情報入力部３３０が保持しているスタジアム関連情報に含まれる、フィールド１３０の３次元座標情報から得ることができる。また、フィールド１３０の実サイズは、フィールド１３０の３次元座標情報とスタジアムの３Ｄ形状モデルデータとから求めることができる。そして、フィールド１３０の実サイズがわかれば、撮像装置１０１～１１０のそれぞれからフィールド１３０の端までの距離や方向が把握できる。本実施形態の場合、位置推定部３２９が、スタジアム関連情報を用いた簡易的な処理によって、撮像装置１０１～１１０のそれぞれからフィールド１３０の端までの距離および方向を推定する。

また、位置推定部３２９は、撮像装置１０１～１１０のそれぞれズーム値に応じた撮像画像の２次元（２Ｄ）座標系と、撮像装置１０１～１１０に対して共通の前述した３次元座標系との間のマッピング情報も求める。ここでは、撮像装置１０１～１１０のうち、図８および図９に示した撮像装置１０９と、当該撮像装置１０９の注視点１１９とを例に挙げる。この例の場合、位置推定部３２９は、撮像装置１０９の注視点１１９の３次元座標（Ｘｎ，Ｙｎ，Ｚｎ）が、当該撮像装置１０９の撮像画像上（撮像装置１０９の撮像センサ面９４０上）における注視点９３０の２次元座標（Ｘｍ，Ｙｍ）に該当することを求める。

また本実施形態の場合、マーカー登録部３２８に登録されたマーカーパターンを印刷等したボードを動体により移動させ、当該動体が注視点エリア、前方エリア、及び後方エリアに入った際に、撮像装置のフォーカス合わせを行う。つまり、サッカーの試合などに用いられるフィールドは、撮像装置がフォーカス合わせを行える特徴が少ないため、動体に配されたボード上のマーカーパターンを用いてフォーカス合わせを行うようにする。

図１０（Ａ）～図１０（Ｃ）は、特定のマーカーパターンの例を示した図である。図１０（Ａ）に示したマーカーパターンは、注視点エリアでのフォーカス合わせに使用される注視点用マーカーパターンの一例である。図１０（Ｂ）に示したマーカーパターンは、前方エリアでのフォーカス合わせに使用される前方用マーカーパターンの一例である。図１０（Ｃ）に示したマーカーパターンは、後方エリアでのフォーカス合わせに使用される後方用マーカーパターンの一例である。なお使用されるマーカーパターンの数（種類）は、この例より多くても、あるいは少なくてもよい。

図１１は、マーカーパターンを印刷等したボードが配される動体の一例として人１１０１を挙げ、その人１１０１が、マーカーパターンの印刷等されたボードを保持（持つ）している状態を示した図である。マーカーパターンを印刷等したボードが配される動体は、人に限定されず、車両やドローンなどであってもよい。これら動体は、フィールド上を所定の速度で動く。なお、マーカーパターンは、動体が保持する場合の他、例えばプロジェクタによってフィールド上に投影されてもよい。

図１２（Ａ）と図１２（Ｂ）は、人などの複数の動体、例えば少なくとも三つの動体１２０１～１２０２がフィールド１２００（図１のフィールド１３０）上を動くルートの一例を示した図である。例えば動体１２０２はフィールド１２００の中央部付近を図中の矢印に示すように移動し、動体１２０１と１２０３はそれぞれフィールド１２００の端部付近を図中矢印で示すように移動する。これら動体１２０１～１２０３が移動するエリアは、前述した注視点エリアと前方エリアと後方エリアとでそれぞれ重複したエリアとなることが望ましい。また撮像装置１０１～１１０は、フィールド１２００を囲むようにスタジアム内に配置されるため、各動体１２０１～１２０３は図１２（Ａ）のようにフィールド１２００上を縦方向に移動した後、例えば図１２（Ｂ）のように横方向に動くことが望ましい。

図１３は、撮像装置１０１～１１０のうち一つの撮像装置において、フォーカス合わせのためのフォーカス処理が実施される際の、制御部２２０による処理の流れを示すフローチャートである。なお、撮像装置１０１～１１０は、既にスタジアムに設置されており、露出についても適正露出に設定されているとする。

まずステップＳ１３０１の処理として、マーカー登録部３２８は、例えば外部の装置から、一つ以上の特定のマーカーパターンのデータが供給されると、それらのマーカーパターンを登録する。マーカー登録部３２８に登録される一つ以上の特定のマーカーパターンは、後工程において撮像装置が撮像した画像から対応したマーカーパターンを検出する際に使用されるものである。なおマーカーパターンの登録処理は、スタジアムに撮像装置１０１～１１０が設置される前に行われてもよい。マーカー登録部３２８にマーカーパターンを供給する外部の装置は、特に限定しないが、パーソナルコンピュータなどが想定される。

次にステップＳ１３０２において、コマンド送信部３２３は、撮像装置に対してオートフォーカス処理（以下、ＡＦ処理とする。）を開始させるコマンド（ＡＦ処理実行開始コマンド）を送信する。ステップＳ１３０２におけるＡＦ処理の開始コマンドの送信は、前述したマーカーパターンが印刷等されたボードを動体に配してフィールド上を移動させる作業の前に行われる。この時の撮像装置のけるＡＦ処理は、スタジアムの芝、白線、ゴール、客席などを、マーカーパターンの代替としてフォーカス合わせを行うことになる。なおこの時の撮像装置におけるフォーカス合わせは、厳密なものである必要はなく、フィールド上にマーカーパターンが置かれていたとした場合に当該マーカーパターンを解像できるレベルであればよい。また本実施形態において、撮像装置のＡＦ処理は、位相差検出方式、コントラスト差検出方式、或いはそれらを併用した方式のいずれかを使用して行われるとする。このステップＳ１３０２の処理は、撮像装置１０１～１１０のそれぞれ撮像装置毎に個別に並列して行われる。

次にステップＳ１３０３において、領域特定部３２６は、撮像装置のフォーカスを合わすべき領域を特定するフォーカス領域特定処理を行う。本実施形態の場合、フォーカス領域特定処理は、撮像装置１０１～１１０の撮像装置毎に、前述した注視点エリア、前方エリア、及び後方エリアを、それぞれフォーカスを合わすべき領域として特定する処理である。

ステップＳ１３０３までの処理が終わると、次のステップＳ１３０４の処理に進む。ステップＳ１３０４において、画像取得部３２１は、マーカーパターンが印刷等されたボードを保持した状態でフィールド上を動く複数の動体を、撮像装置１０１～１１０が連続的に撮像した撮像画像（つまり動画の画像）を取得する。そして、撮像装置１０１～１１０が撮像した撮像画像のデータは、ハブ２１０を介して制御部２２０に送られる。

次にステップＳ１３０５に進むと、マーカー検出部３２７は、撮像装置１０１～１１０から画像取得部３２１が取得した画像から、マーカー登録部３２８に登録されているマーカーパターンと一致するマーカーパターンを検出する。

ここで、例えば図１０（Ａ）に示した注視点用マーカーパターンのボードを保持した動体がフィールド上の注視点エリアに入った際に撮像装置が撮像した画像から、マーカー検出部３２７が、その注視点用マーカーパターンを検出したとする。この場合、コマンド送信部３２３は、ステップＳ１３０６において、その撮像画像を撮像した撮像装置に対して、ＡＦ処理の実行開始を指令するコマンドを送信する。これにより、当該撮像装置では、動体が保持したボード上の注視点用マーカーパターンにフォーカスを合わせるようなフォーカス処理が行われることになる。

ＡＦ処理の実行開始を指示するコマンドの送信後、次のステップＳ１３０７において、画像取得部３２１は、コマンド送信部３２３からＡＦ処理の実行開始を指令するコマンドが送信された撮像装置から撮像画像を取得する。すなわちこのとき画像取得部３２１が撮像装置から取得する撮像画像は、注視点エリアに注視点用マーカーパターンが含まれる画像であって、撮像装置がその注視点マーカーパターンにフォーカス合わせを行って撮像した画像である。そして画像取得部３２１が取得した撮像画像は、保存部３３１に送られて保存される。保存部３３１に保存された画像は、注視点エリアにおいて撮像装置のフォーカス状態が適切であるかどうかを、操作者等のユーザが目視等で確認、あるいは制御部２２０が画像のコントラスト等を基に確認するために使用される。

次にステップＳ１３０８において、マーカー検出部３２７は、動体が前方エリアあるいは後方エリアに入ったときに撮像装置が撮像した画像についても前述同様にして、マーカーパターンの検出処理を行う。例えば図１０（Ｂ）に示した前方用マーカーパターンのボードを保持した動体がフィールド上の前方エリアに入った際に撮像装置が撮像した画像から、マーカー検出部３２７が、当該前方用マーカーパターンを検出したとする。このときのコマンド送信部３２３は、その撮像画像を撮像した撮像装置に対してＡＦ処理の実行開始を指令するコマンドを送信する。これにより、当該撮像装置では、動体が保持するボード上の前方用マーカーパターンのフォーカスを合わせる処理が行われる。同様に例えば図１０（Ｃ）に示した後方用マーカーパターンのボードを保持した動体がフィールド上の後方エリアに入った際に撮像装置が撮像した画像から、マーカー検出部３２７が、当該後方用マーカーパターンを検出したとする。このときのコマンド送信部３２３は、その撮像画像を撮像した撮像装置に対してＡＦ処理の実行開始を指令するコマンドを送信する。これにより、当該撮像装置では、動体が保持するボード上の後方用マーカーパターンのフォーカスを合わせるようなフォーカス処理が行われることになる。

その後、次のステップＳ１３０９において、画像取得部３２１は、撮像装置から撮像画像を取得する。このとき画像取得部３２１が撮像装置から取得する撮像画像は、前方エリア内の前方用マーカーパターンに撮像装置がフォーカスを合わせた画像、あるいは後方エリア内の後方用マーカーパターンに撮像装置がフォーカスを合わせた画像である。そして画像取得部３２１が取得した撮像画像は、保存部３３１に送られて保存される。保存部３３１に保存された画像は、前方エリアにおいて撮像装置のフォーカス状態が適切であるかどうかを、あるいは後方エリアにおいて撮像装置のフォーカス状態が適切であるかどうかを、ユーザ等が確認するために使用される。
すなわち本実施形態の場合、ステップＳ１３０７とステップＳ１３０９で保存された撮像画像は、注視点エリア、前方エリア、および後方エリアのすべてのエリアで、撮像装置のフォーカス状態が適切であるかどうかをユーザ等が確認するために使用される。

なお、各動体が保持するボード上のマーカーパターンが前方エリアや後方エリアに入るタイミングはそれぞれ異なる。そのため、マーカー検出部３２７は、前方エリアに入った前方用マーカーパターンを先に検知する。その後、マーカー検出部３２７は、後方エリアに入った後方用マーカーパターンを検知する。または、その逆もあり得る。更に、前方エリアに前方用マーカーパターンが入るとほぼ同時に、後方エリアに後方用マーカーパターンが入る場合もあり、この場合はそれらを同時に検出することも可能である。

図１４は、図１３のステップＳ１３０３で行われるフォーカス領域特定処理の詳細を示すフローチャートである。
まずステップＳ１４０１において、位置推定部３２９は、画像取得部３２１が撮像装置１０１～１１０からそれぞれ取得した画像と、関連情報入力部３３０が保持しているスタジアム関連情報とを取得する。そして、位置推定部３２９は、撮像装置１０１～１１０からの画像とスタジアム関連情報とを基に、撮像装置１０１～１１０のそれぞれとフィールド１３０との位置関係を推定する。

次にステップ１４０２において、被写界深度計算部３２４は、撮像装置１０１～１１０のそれぞれ現状のズーム値と注視点までの距離および絞り値とから、撮像装置１０１～１１０それぞれの被写界深度を算出する。

続いてステップＳ１４０３において、領域特定部３２６は、ステップＳ１４０１で推定された位置関係と、ステップＳ１４０２で得られた被写界深度とを基に、撮像装置１０１～１１０のそれぞれについて注視点エリア、前方エリア、及び後方エリアを特定する。そして、制御部２２０は、ステップＳ１４０３で特定された各エリアを表した図７に示したような画面を、ＵＩ部２６０の表示装置に表示させる。ステップＳ１４０３の後、制御部２２０は、図１３のステップＳ１３０４に処理を進める。

図１５は、図１３のステップＳ１３０６で行われる簡易位置推定処理の詳細を示すフローチャートである。
まずステップＳ１５０１において、位置推定部３２９は、撮像装置１０１～１１０それぞれから画像取得部３２１が取得した画像から、撮像装置毎に一つ以上の画像を取得する。

次にステップＳ１５０２において、位置推定部３２９は、撮像装置１０１～１１０の各画像から自然特徴点を検出する。例えば、位置推定部３２９は、画像内の輝度の勾配や色の変化を自然特徴点として検出する。自然特徴点は、画像内の例えば芝、ゴール、白線、人、あるいは観客席などの部分で多く検出される。

次にステップＳ１５０３において、位置推定部３２９は、撮像装置１０１～１１０の各撮像画像間で自然特徴点をマッチングさせるマッチング処理を行う。
次にステップＳ１５０４において、位置推定部３２９は、撮像装置１０１～１１０の各撮像装置間の相対位置を推定する。すなわちステップＳ１５０３における自然特徴点のマッチング処理結果には誤差が含まれている可能性がある。このため、ステップＳ１５０４において、位置推定部３２９は、その誤差を最少化することで各撮像装置間の相対位置を求める。

次にステップＳ１５０５において、位置推定部３２９は、関連情報入力部３３０からスタジアム関連情報を取得する。
その後ステップＳ１５０６において、位置推定部３２９は、スタジアム関連情報を基に撮像装置間の相対位置とフィールドとの紐づけを行い、撮像装置間の相対位置をスタジアムの３Ｄ座標空間に対応した絶対位置に変換する。なお位置推定部３２９は、撮像装置間の相対位置とフィールドとの紐づけに３Ｄ形状モデルデータを使用してもよいし、予めフィールド上に既知の３Ｄ座標値がある場合はそれを用いて紐づけしてもよい。ステップＳ１５０６の後、制御部２２０は、図１３のステップＳ１３０４に処理を進める。

以上のように、第１の実施形態においては、撮像装置のフォーカス調整は、フィールド上を移動する動体が保持したボードに印刷等されたマーカーパターンにフォーカスが合うようにする処理となっている。そして撮像装置のフォーカス合わせは、動体が保持するボード上の注視点用マーカーパターンが注視点エリアに入ったとき、また前方用マーカーパターンが前方エリアに入ったとき、および後方用マーカーパターンが後方エリアに入ったときに実施される。これにより、第１の実施形態によれば、注視点が多数ある場合でも、短い時間で撮像装置のフォーカス調整の作業を実施することができる。

＜第２の実施形態＞
第２の実施形態では、図１に示したように撮像装置毎に注視点が異なる場合のフォーカス調整だけでなく、各撮像装置の位置および姿勢等を求めるためのキャリブレーション作業をも短時間で実現する例について説明する。
図１６は、第２の実施形態の制御部１６２０の構成を示した図である。図１６に示した制御部１６２０において、画像取得部３２１から保存部３３１までは前述した図２の対応した参照符号が付された各部と同等であり、それらの説明は省略する。第２の実施形態の場合、制御部１６２０は、キャリブレーション計算部１６３２をさらに有している。キャリブレーション計算部１６３２は、画像取得部３２１が図１の撮像装置１０１～１１０から取得した画像を用いてキャリブレーション計算処理を行う。

以下、第２の実施形態の制御部１６２０が、撮像装置１０１～１１０のキャリブレーションを行うための処理について説明する。
前述したような仮想視点画像を生成する場合、撮像装置１０１～１１０によって取得した画像から被写体等の３次元形状が復元されることになる。このため、撮像装置１０１～１１０のそれぞれの位置および姿勢（位置姿勢とする。）は、高い精度で求めておく必要がある。また、撮像装置１０１～１１０の撮像画像の座標系は、それら撮像装置１０１～１１０で共通の座標系に対応付けておく必要がある。そこで、第２の実施形態の制御部２２０は、撮像装置１０１～１１０のそれぞれの位置姿勢を高い精度で求めると共に座標系の対応付けを行うためのキャリブレーション計算処理（カメラキャリブレーション計算処理）を行う。

第２の実施形態の場合、撮像装置のキャリブレーションを効率的に行うために、キャリブレーション用マーカーパターンを用いる。キャリブレーション用マーカーパターンは、例えばボードに印刷等され、そのボードが、複数の動体（人など）によって、撮像装置１０１～１１０の共通視野領域上つまり図１のフィールド１３０上を移動するように運ばれる。そして、制御部１６２０は、撮像装置１０１～１１０を同期撮像させて得られた画像からそれぞれキャリブレーション用マーカーパターンを検出し、それら検出したキャリブレーション用マーカーパターンを基に、各撮像装置のキャリブレーションを行う。

図１７は、一つの撮像装置のフォーカス処理およびキャリブレーション計算処理が実施される際の、第２の実施形態に係る制御部１６２０の処理の流れを示すフローチャートである。なお図１７のフローチャートにおいて、ステップＳ１３０３～ステップＳ１３１０までの処理は、前述した図１３のそれぞれ対応した参照符号が付された各ステップの処理と同様であり、それらの説明は省略する。またこの例でも前述の実施形態と同様に、撮像装置１０１～１１０は、スタジアムに設置された後、適正露出に設定されていることを前提として説明する。

まずステップＳ１７０１において、マーカー登録部３２８は、外部の装置等からマーカーパターンのデータが供給されると、そのマーカーパターンを登録する。マーカー登録部３２８に登録されるマーカーパターンは、後工程において撮像装置からの撮像画像からマーカーパターンを検出するのに使用されるものであるが、第２の実施形態の場合のマーカーパターンはキャリブレーションのためのパターンを含んでいる。なお、マーカーパターンの登録処理は、スタジアムに撮像装置１０１～１１０が設置される前に行われてもよい。

図１８（Ａ）～図１８（Ｆ）は、第２の実施形態に係る特定のマーカーパターンの例を示した図である。図１８（Ａ）と図１８（Ｂ）に示したマーカーパターンは、前述の実施形態と同様の注視点エリアで使用される注視点用マーカーパターンであるとともに、キャリブレーション用マーカーパターンとしても使用される。図１８（Ａ）に示したマーカーパターンは、図１０（Ａ）に示したマーカーパターンにキャリブレーション用のマーカーＩＤ１８０１が重畳（付与）されたものとなっている。図１８（Ｂ）のマーカーパターンは、図１０（Ａ）のマーカーパターンにキャリブレーション用のマーカーＩＤ１８０２が重畳（付与）されている。同様に図１８（Ｃ）のマーカーパターンは前述の前方用マーカーパターンにキャリブレーション用のマーカーＩＤ１８０３が重畳され、図１８（Ｄ）のマーカーパターンは前方用マーカーパターンにキャリブレーション用のマーカーＩＤ１８０４が重畳されている。同様に図１８（Ｅ）のマーカーパターンは後方用マーカーパターンにキャリブレーション用のマーカーＩＤ１８０５が重畳され、図１８（Ｆ）のマーカーパターンは後方用マーカーパターンにキャリブレーション用のマーカーＩＤ１８０６が重畳されている。なお使用されるマーカーパターンの数（種類）は、この例より多くても、あるいは少なくてもよい。

次にステップＳ１７０２において、コマンド送信部３２３は、撮像装置１０１～１１０に対し、撮像装置間で同期した撮像を開始するように指令するコマンドを送信する。これにより、撮像装置１０１～１１０では同期撮像が行われる。ステップＳ１７０２で撮像装置に同期撮影を行わせるのは、後工程のキャリブレーション計算処理において時刻同期がとれた画像間で同一のマーカーＩＤのマーカーパターンや自然特徴点を用いたマッチング処理を行うためである。以降のステップＳ１３０３～ステップＳ１３１０の処理は、前述の図１３のフローチャートと同様であり、ステップＳ１３１０の後、制御部１６２０の処理は、ステップＳ１７１１に進む。

ステップＳ１７１１に進むと、コマンド送信部３２３は、撮像装置１０１～１１０に対し、同期撮像を続けてキャリブレーション計算に使用する画像の撮像を開始するように指令するコマンドを送信する。これにより、撮像装置１０１～１１０では、時刻同期が取れた画像（キャリブレーション計算に使用する画像）の撮像が行われる。
次にステップＳ１７１２において、画像取得部３２１は、撮像装置１０１～１１０で同期撮像されたことによる時刻同期が取れた各画像を取得する。そして、保存部３３１は、それら時刻同期が取れた各画像を、それぞれ撮像装置と対応付けて保存する。

次にステップ１７１３において、キャリブレーション計算部１６３２は、保存部３３１に保存されている時刻同期した各画像から、それぞれキャリブレーション用マーカーパターンの画像を検出する。なお、前述したようにキャリブレーション用マーカーパターンにはマーカーＩＤが含まれている。このため、キャリブレーション計算部１６３２は、保存部３３１に保存されている画像からマーカーＩＤを検出することで、当該画像がキャリブレーション計算向けの画像であることを識別可能である。キャリブレーション計算部１６３２は、時刻同期した画像間で同一のマーカーＩＤを有するマーカーパターンおよび自然特徴点を用いたマッチング処理を行って、キャリブレーション用マーカーパターンを検出してキャリブレーション計算処理を行う。キャリブレーション用マーカーパターンのような特定のマーカーパターンを用いて複数の撮像装置のキャリブレーション計算を行う手法については既知であるため、その説明は省略する。

以上説明したように、第２の実施形態においては、第１の実施形態の場合と同様に撮像装置１０１～１１０のフォーカス調整を行うことができるとともに、撮像装置１０１～１１０のキャリブレーションをも行うことができる。第２の実施形態によれば、フォーカス調整用のマーカーパターンと、キャリブレーション計算用のマーカーパターンとを共通化し、撮像装置１０１～１１０を同期撮像させることで、フォーカス調整とともにキャリブレーション処理の短縮が実現される。

図１９は、前述した各実施形態の一適用例としての情報処理装置１９００のハードウェア構成の一例を示す図であり、例えばパーソナルコンピュータであるとする。図１９の情報処理装置１９００は、ＣＰＵ１９１１、ＲＯＭ１９１２、ＲＡＭ１９１３、補助記憶装置１９１４、表示部１９１５、操作部１９１６、通信Ｉ／Ｆ１９１７、及びバス１９１８を有する。バス１９１８は、情報処理装置１９００の各部をつないで情報を伝達する。

ＣＰＵ１９１１は、ＲＯＭ１９１２やＲＡＭ１９１３に格納されているコンピュータプログラムやデータを用いて情報処理装置１９００の全体を制御する。ＣＰＵ１９１１は、前述した実施形態に係るプログラムやデータを用いて、前述した制御部２２０、仮想視点画像生成部２３０、仮想視点生成部２４０、およびＵＩ部２６０の各部の処理を実行可能となされている。なお情報処理装置１９００は、ＣＰＵ１９１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１９１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１９１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１９１３は、補助記憶装置１９１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１９１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１９１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部１９１５は、例えば液晶ディスプレイやＬＥＤ（発光ダイオード）等の表示装置を有し、操作者等のユーザが情報処理装置１９００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や撮像装置の撮像画像等を画面表示する。操作部１９１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等を有し、ユーザによる操作を受けて各種の指示をＣＰＵ１９１１に入力する。これら表示部１９１５と操作部１９１６は、前述したＵＩ部２６０に含まれる。
なおこの例では、表示部１９１５と操作部１９１６が情報処理装置１９００の内部に存在するものとするが、表示部１９１５と操作部１９１６との少なくとも一方が情報処理装置１９００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ１９１１が、表示部１９１５を制御する表示制御部、及び操作部１９１６を制御する操作制御部として動作してもよい。

通信Ｉ／Ｆ１９１７は、情報処理装置１９００の外部の装置との通信に用いられる。例えば、情報処理装置１９００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１９１７に接続される。情報処理装置１９００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１９１７はアンテナを備える。情報処理装置１９００は、通信Ｉ／Ｆ１９１７を通じ、前述したハブ２１０を介して撮像装置１０１～１１０と通信可能となされている。これにより、ＣＰＵ１９１１は、撮像装置１０１～１１０の動作や設定等を制御することができる。

なお、前述した制御装置２００における各部のうち、例えば制御部２２０、仮想視点画像生成部２３０等の処理については、人工知能（ＡＩ：artificial intelligence）を適用した処理であってもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを代わりに用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、その学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述の各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１～１１０：撮像装置、１１１～１２０：注視点、２２０：制御部、２３０：仮想視点画像生成部、２４０：仮想視点生成部、２６０：ＵＩ部

Claims (15)

1. 撮像装置を制御する制御装置であって、
   前記撮像装置を含む複数の撮像装置によって撮像される撮像対象領域内で、前記撮像装置のフォーカスを合わせる領域を特定する領域特定手段と、
   前記撮像装置により取得された画像から、前記撮像対象領域内で移動する特定のマーカーパターンを検出する検出手段と、
   前記撮像装置により取得された画像内で前記撮像装置のフォーカスを合わせる領域からの前記特定のマーカーパターンの検出に基づき、当該特定のマーカーパターンを使用して前記撮像装置のフォーカス調整を実施する実施手段と、
   を有することを特徴とする制御装置。
2. 前記フォーカス調整が実施されたときに、前記撮像装置により取得された画像と前記撮像装置の状態に関する情報とを保存する保存手段とをさらに有することを特徴とする請求項１に記載の制御装置。
3. 前記フォーカス調整は、一つ以上の撮像装置を含む各グループが注視点を有するように配置された複数の前記撮像装置のそれぞれに対して実施されることを特徴とする請求項１または２に記載の制御装置。
4. 前記撮像装置のフォーカスを合わせる領域は、前記撮像装置が撮像した画像と、前記撮像装置と前記撮像対象領域との間の相対的な位置関係と、に基ついて特定されることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記撮像装置のフォーカスを合わせる領域は、前記撮像装置から被写体までの距離と前記撮像装置が有するレンズによるボケ量とから決まる合焦範囲と、前記撮像装置が撮像した画像を用いた画像の生成のために保証すべき合焦保証領域とに基づいて、特定されることを特徴とする請求項４に記載の制御装置。
6. 前記特定のマーカーパターンは前記撮像対象領域のなかを移動する動体に配されており、
   前記特定のマーカーパターンは、前記撮像装置が前記撮像対象領域を撮像した画像に写った前記動体の画像から検出されることを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記特定のマーカーパターンは、前記撮像装置が前記撮像対象領域を撮像した画像に写った一つ以上の前記動体のうち一つの動体の画像から検出されることを特徴とする請求項６に記載の制御装置。
8. 前記撮像装置のフォーカスを合わせる領域は複数の領域を含み、
   前記撮像装置のフォーカス調整は、前記撮像装置のフォーカスを合わせて撮像した画像の前記複数の領域のうちの一つの領域の画像から、前記特定のマーカーパターンが検出されたことに応じて実施されることを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記特定のマーカーパターンは、前記撮像装置の位置と方向を取得するためのキャリブレーション用のパターンを含むことを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 前記撮像装置が取得した画像は、当該撮像装置のフォーカスを合わせる領域内の前記特定のマーカーパターンを含むことを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
11. 前記フォーカス調整は、前記複数の撮像装置のそれぞれに対して実施され、前記複数の撮像装置のそれぞれは複数の注視点のうちの一つに向けられることを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。
12. 前記特定のマーカーパターンを検出する前に、前記撮像装置のフォーカスを合わせる領域内の静止物体を使用して、当該撮像装置のフォーカス調整を実施する手段をさらに有することを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。
13. 前記保存手段は、前記撮像装置のフォーカスを合わせる領域に前記特定のマーカーパターンを含んで取得された画像と、前記撮像装置のフォーカスを合わせる別の領域に別の特定のマーカーパターンを含む別の画像とをさらに保存することを特徴とする請求項２に記載の制御装置。
14. 撮像装置を制御する制御方法であって、
    前記撮像装置を含む複数の撮像装置によって撮像される撮像対象領域内で、前記撮像装置のフォーカスを合わせる領域を特定する工程と、
    前記撮像装置が取得した画像から、前記撮像対象領域内で移動する特定のマーカーパターンを検出する工程と、
    前記撮像装置が取得した画像内で前記撮像装置のフォーカスを合わせる領域の画像からの前記特定のマーカーパターンの検出に基づき、当該特定のマーカーパターンを使用して前記撮像装置のフォーカス調整を実施する工程と、
    を有することを特徴とする制御方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の制御装置が有する各手段として機能させるためのプログラム。

Images