JP7297515B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、複数の撮像装置を異なる位置に設置し、複数の撮像装置が同期して被写体を撮像し、撮像により得られた複数の視点の画像を用いて、撮像装置の設置位置の画像だけでなく任意の視点の画像を仮想視点画像として生成する技術がある。
複数の視点の画像に基づく仮想視点画像の生成、及び閲覧は、例えば、次のようにして実現することができる。まず、被写体を撮像するように複数の撮像装置を設置し、撮像した画像をサーバ装置等の画像生成装置に集約する。そして、画像生成装置は、複数の撮像装置が撮像した画像を用いて、仮想視点に基づくレンダリング等の処理を施して仮想視点画像を生成し、ユーザの視聴端末に仮想視点画像を表示する。

サッカーやバスケットボールの試合を撮像した画像から、画像コンテンツ制作者により指定された仮想視点に応じた、仮想視点画像を生成することにより迫力のある視点のコンテンツを制作することができる。また、コンテンツを見ているユーザ自身が視聴端末に備えたコントローラやタブレット等を使用して自由に視点を移動し、画像生成装置がその視点に応じた仮想視点画像を生成することで、ユーザは、好みの視点で、試合を観戦することができる。従って、仮想視点画像を用いたサービスでは、視点を任意に変更できない従来のサービスと比較して、ユーザにその場面にいるような臨場感を与えることができる。
特許文献１には、複数の撮像装置により撮像して取得された画像を利用して、ユーザが指定した仮想視点から見た仮想視点画像を生成する技術が開示されている。

特開２０１４－２１５８２８号公報

複数の撮像装置により取得される撮像画像を用いて所定領域の仮想視点画像を生成する場合に、各撮像装置の合焦範囲（ピントが合っている範囲）の共通部分にその所定領域が含まれていれば、高画質の仮想視点画像を生成することができる。しかし、各撮像装置の合焦範囲の共通部分が小さい場合には、生成される仮想視点画像における当該共通部分に含まれない領域が大きくなってしまうおそれがある。その結果、仮想視点画像の画質が低くなってしまう。
これに対し、各撮像装置の合焦位置の調整により、仮想視点画像を生成可能な領域を拡大する方法が考えられる。しかし、このような方法では、各撮像装置の合焦位置が空中となり、実際に意図した位置で合焦しているか目視により確認することができなかった。
特許文献１には、各撮像装置の合焦位置に関しての記載がない。そのため、特許文献１では、このよう問題を解決できなかった。
本発明は、複数の撮像装置のそれぞれの合焦範囲は広げた場合であっても撮像装置の合焦状態を容易に確認することを目的とする。

本発明の情報処理装置は、オブジェクトを撮像して仮想視点画像を生成するために用いられる撮像装置の合焦点の位置であって、前記撮像装置の光軸上にあり、前記オブジェクト上の第１の位置よりも前記撮像装置に近い設定位置を特定する第１の特定手段と、特定された前記設定位置と、前記撮像装置の位置と、の間の距離に基づいて、前記撮像装置の光軸上にない前記オブジェクト上の第２の位置を決定する決定手段と、前記オブジェクト上の前記第２の位置に対応する、前記撮像装置により撮像された画像上の位置を特定する第２の特定手段と、特定された前記画像上の位置に関する情報を出力する出力手段と、を有する。

本発明によれば、複数の撮像装置のそれぞれの合焦範囲は広げた場合であっても撮像装置の合焦状態を容易に確認することができる。

情報処理システムのシステム構成の一例を示す図である。 複数の撮像装置の配置状況の一例を示す図である。 情報処理装置のハードウェア構成等の一例を示す図である。 撮像装置からの距離とボケ量との関係の一例を示す図である。 注視点を合焦点とした場合の合焦領域の一例を示す図である。 合焦点を手前に移動した場合の合焦領域の一例を示す図である。 焦点距離と合焦点との関係の一例を示す図である。 ３次元形状モデルデータの一例を説明する図である。 ３次元形状モデルデータの一例を説明する図である。 空間合焦点と、実際の合焦点と、の関係の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 情報処理装置の処理の一例を示すフローチャートである。 情報処理装置の処理の一例を示すフローチャートである。 撮像画像上にフォーカス枠を重畳した画面の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。

以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。

＜実施形態１＞
本実施形態の情報処理システムは、複数の撮像装置について、焦点の合う地点である合焦点を注視点よりも撮像装置寄りに設定する。これにより、情報処理システムは、複数の撮像装置の合焦領域の合計の領域を拡大したのち、ユーザの目視によりその妥当性を確認可能にする情報を出力することができるようになる。合焦とは、フォーカス（焦点）が合っていることである。合焦領域とは、対応する撮像装置により焦点の合った画像を撮像可能な領域である。注視点は、撮像装置の光軸（レンズの光軸）と撮影フィールドとの交点であり、本実施形態では、複数の撮像装置で注視点の位置が共通な場合を例にして説明を行う。ただし、注視点の位置は、複数の撮像装置で共通な位置に設定されてなくてもよく、複数の撮像装置それぞれの注視点が異なる位置に設定されていてもよい。また、複数の撮像装置の光軸が、注視点を含む所定の領域に向けられていてもよい。
図１は、本実施形態の情報処理システムのシステム構成の一例を示す図である。情報処理システムは、撮像装置１０１～１１０、情報処理装置２００、ＵＩ部２６０、ハブ２１０、画像処理装置３００を含む。撮像装置１０１～１１０、情報処理装置２００、画像処理装置３００は、それぞれハブ２１０を介して、相互に通信可能に接続されている。

撮像装置１０１～１１０は、それぞれ異なる位置に配置され、それぞれ異なる視点から撮像対象を撮像するネットワークカメラ、カメラと接続されたカメラコントローラ等の撮像装置である。以下では、撮像装置１０１～１１０は、撮像装置１００と総称する。
撮像装置１０１～１１０は、それぞれ、撮像した画像を、ハブ２１０を通して、画像処理装置３００に送信する。

情報処理装置２００は、撮像装置１００それぞれの撮影や状態を制御する情報処理装置である。本実施形態では、情報処理装置２００は、パーソナルコンピュータ（ＰＣ）であるとするが、サーバ装置、タブレット装置等の他の情報処理装置であってもよい。
ハブ２１０は、ネットワーク中継機器である。
ＵＩ部２６０は、情報処理装置２００への情報の入力、情報処理装置２００からの情報の出力に用いられる入出力装置である。

画像処理装置３００は、撮像装置１００により撮像された画像と、設定された仮想視点と、に基づいて、仮想視点画像２５０を生成する情報処理装置である。本実施形態では、画像処理装置３００は、サーバ装置であるとするが、ＰＣ、タブレット装置等の他の情報処理装置であってもよい。
画像処理装置３００は、撮像装置１００それぞれからの画像をもとに、前景背景分離を実行し、前景から３次元モデルを生成し、３次元モデルに仮想撮像装置から見たときの色をレンダリングすることで仮想視点画像を生成する。ただし、他の例として、画像処理装置３００は、仮想視点映像を生成する方式はこれに限るものではなく、ビルボード方式等の３次元モデルを作らない方式等の他の方式で、仮想視点画像を生成してもよい。

本実施形態では、情報処理システムのシステム構成は、図１の構成であるとする。ただし、他の例として、情報処理システムは、他のシステム構成であるとしてもよい。例えば、撮像装置１００それぞれが直接、情報処理装置２００や画像処理装置３００に接続されていてもよいし、撮像装置１００同士がデイジーチェーン接続されていてもよい。また、撮像装置１００の台数も１０台に限定されるものではなく、１１台以上であってもよいし、９台以下であってもよい。

図２は、本実施形態における撮像装置１０１～１１０それぞれの配置状況の一例を示す図である。図２が示すように、撮像装置１０１～１１０それぞれは、スタジアムのフィールドを取り囲むように配置されており、１つの注視点（所定の位置）１３０の方向を向いている。
情報処理システムは、撮像装置１０１～１１０により撮像された画像を用いて、注視点１３０付近で発生するシーンの仮想視点画像を生成する。情報処理装置２００は、撮像装置１００それぞれのフォーカスを合わせる制御を行う。なお、本実施形態では、撮像装置１００の注視点を、注視点１３０の１つであるとする。ただし、他の例として、撮像装置１００の注視点は、複数あることとしてもよい。その場合、撮像装置１００それぞれは、この複数の注視点のうちの何れか１つの注視点を向いている。

図３（ａ）は、情報処理装置２００のハードウェア構成の一例を示す図である。
情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７を含む。各要素は、バス２１８を介して相互に通信可能に接続されている。
ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御する。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）等がある。

ＲＯＭ２１２は、変更を必要としないプログラム等を格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データ等の種々のデータを記憶する。
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。操作部２１６は、例えば、キーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。

ＣＰＵ２１１がＲＯＭ２１２又は補助記憶装置２１４に記憶されたプログラムにしたがって処理を実行することで、図３（ｂ）で後述する情報処理装置２００の機能、図１１－１３、１５、１６のフローチャートの処理等が実現される。
本実施形態では、表示部２１５と操作部２１６とが情報処理装置２００の内部に存在するものとする。ただし、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。

本実施形態では、画像処理装置３００のハードウェア構成も、図３（ａ）に示す情報処理装置２００のハードウェア構成と同様である。
画像処理装置３００のＣＰＵが画像処理装置３００のＲＯＭ又は補助記憶装置に記憶されたプログラムにしたがって処理を実行することで、画像処理装置３００の機能、画像処理装置３００の処理が実現される。

図３（ｂ）は、情報処理装置２００の機能構成等の一例を示す図である。
情報処理装置２００は、画像取得部２２１、コマンド送信部２２２、パラメータ取得部２２３、パラメータ設定部２２４、フォーカス位置設定部２２５、被写界深度計算部２２６、移動量計算部２２７、領域特定部２２８、入力制御部２２９を含む。
画像取得部２２１は、撮像装置１００それぞれからの画像を取得してＵＩ部２６０に送る。ＵＩ部２６０は、撮像装置１００それぞれの撮像画像を表示し、表示された撮像画像を確認したユーザからの入力される情報（例えば、画角や注視点の調整指示、フォーカス位置の指定等）を受付ける。また、ユーザは、ＵＩ部２６０に表示されたフォーカスの合焦状態の確認画面を視認することで、撮像装置１００それぞれのフォーカスの合焦状態の確認を行う。

コマンド送信部２２２は、撮像装置１００それぞれへコマンドを送信し、撮影開始や終了制御の他に、フォーカス合わせの指令等も送信する。
パラメータ取得部２２３は、処理時点における撮像装置１００それぞれに設定されたパラメータ（例えば、ズーム値、フォーカス値、絞り値等）を、撮像装置１００それぞれから取得する。パラメータ取得部２２３は、更に、フォーカスに関してはフォーカスレンズの物理的なポジション値だけでなく、フォーカス領域のコントラスト値も取得する。

パラメータ設定部２２４では、焦点距離の移動量を、フォーカスレンズのポジション値として、対応する撮像装置に送信し、このポジション値を設定するよう撮像装置に指示することで、この撮像装置のフォーカスの位置を変更する。なお、パラメータ設定部２２４は、フォーカスレンズのポジション値だけでなく、対応する撮像装置に対する、ズーム値や絞り値等の他のパラメータの設定も行う。
フォーカス位置設定部２２５は、撮像装置の撮像画面内における、その撮像装置のフォーカス合わせ位置を、指定の場所に設定する制御を行う。フォーカス位置設定部２２５は、画面中心から外れた領域に、フォーカスの位置を設定することができる。

被写界深度計算部２２６は、パラメータ取得部２２３により撮像装置ごとに取得されたパラメータに基づいて、撮像装置１００それぞれの合焦点前後の被写界深度を計算する。
移動量計算部２２７では、撮像装置１００それぞれについて、合焦点の移動距離をレンズの焦点距離移動量に変換する。

領域特定部２２８は、撮像装置１００それぞれが注視点１３０を合焦点とする場合に比べて、撮像装置１００の合焦領域の合計の領域が拡大するように、撮像装置１００それぞれの合焦点を、空中の位置に決定する。以下では、この決定された合焦点を、空間合焦点とする。また、以下では、撮像装置１００の合焦領域の合計の領域を、合計合焦領域とする。領域特定部２２８は、撮像装置１００それぞれについて、実際の合焦点の位置を、以下のように決定する。即ち、領域特定部２２８は、撮像装置と実際の合焦点との距離が、撮像装置と空間合焦点との距離と等しくなるように、注視点１３０の近傍に存在するオブジェクト上の表面上の位置を、実際の合焦点として決定する。
入力制御部２２９は、外部から、スタジアムの３次元形状モデルデータと、撮像装置１００それぞれと注視点との距離情報と、の入力を受付け、領域特定部２２８へ送信する。この３次元形状モデルデータについては、図８等で後述する。３次元形状モデルデータは、３次元形状データの一例である。

図４を用いて、撮像装置からの距離と、撮像装置のレンズのボケ量と、の関係について説明する。図４のグラフは、ある絞り値とフォーカス値とが設定された撮像装置から被写体までの距離と、ボケ量と、の関係を示すグラフである。この撮像装置のフォーカスは、被写体位置である合焦点３４０に合わせられている。図４に示すように、合焦点３４０から（撮像装置から見て）手前に向かっては、急激にボケ量が増加し、（撮像装置から見て）奥（後方）に向かっては緩やかにボケ量が増加する。
人間が目で見て分からない程度のボケ量を許容ボケ量３１０として予め定義されている。この場合、フォーカスの合っている範囲は合焦範囲３５０になる。合焦範囲の前端３５１は、合焦点３４０からの距離がＡ、後端３５３は合焦点３４０からの距離がＢ＋Ｃになり、合焦範囲の中心３５２は合焦点よりも後方になる。なお、Ａ＋Ｂの長さはＣと同じである。

図５を用いて、従来行われていた撮像装置のフォーカス合わせの方法を説明する。図５の状況は、撮像装置４０１、４０２それぞれがマーカ４２０を向いて配置されている状況である。
図５の例では、撮像装置４０１、４０２は、マーカ４２０の位置を注視点４３０として、マーカ４２０にフォーカスを合わせて、注視点４３０であるマーカ４２０の位置を合焦点４４０とする。即ち、図５の例では、マーカ４２０の位置と注視点４３０と合焦点４４０とは、同じ位置となる。複数の撮像装置が注視点を取り囲むように配置されている場合、合計合焦領域４５０（この複数の撮像装置それぞれの合焦領域の合計の領域）は、注視点４３０から撮像装置に向かって距離Ａの位置を、端部とする範囲になる。なお、注視点から撮像装置までの距離が異なる場合には、距離Ａも、対応する撮像装置に応じて異なる値になる。
この場合、複数の撮像装置が、同一の点であるマーカ４２０に合焦して撮影しているため、マーカ４２０の近傍において複数の撮像装置の合焦領域同士の重複が広範に生じてしまう。

図６を用いて、合計合焦領域を広げる方法について説明する。図６の状況は、図５と同様に、撮像装置４０１、４０２それぞれがマーカ４２０を向いている状況である。
図６の例では、撮像装置４０１、４０２それぞれは、合焦点の位置を、図５の状況と比べて、次のように移動させている。即ち、撮像装置４０１、４０２それぞれは、撮像装置と注視点４３０とを結ぶ線分に沿って、注視点４３０から撮像装置側に移動させている。これにより、撮像装置４０１の合焦点は、合焦点５４１となり、撮像装置４０２の合焦点は、合焦点５４２となる。合焦点５４１、５４２それぞれは、撮像装置４０１、４０２の光軸上、空中に存在し、空間合焦点となる。この場合、合計合焦領域５５０は、マーカ４２０の位置から撮像装置に向かって距離Ａ＋Ｂの位置を端点とする範囲になり、合計合焦領域４５０よりも広い領域となる。なお、注視点から撮像装置までの距離が異なる場合には、距離Ｂも、対応する撮像装置に応じて異なる値になる。合焦点５４１、５４２それぞれの位置は、空間合焦点が設定されている設定位置の一例である。
撮像装置の合焦点を、合焦点５４１、５４２のような空間合焦点にすると、その撮像装置の合焦領域を拡大することができる。しかし、合焦点が空中にあるため、実際に合焦されているか否かを確認することが困難となる。

図７を用いて、撮像装置の合焦点を移動させる方法を説明する。
撮像装置のレンズ６１０と合焦点との距離ａと、レンズ６１０とセンサ（撮像センサ）６２０との距離ｂと、には、１／ａ＋１／ｂ＝１／ｆという関係式が成り立っている。ｆはレンズに平行光が入射したときのセンサ距離（焦点距離）である。図７に示すように、注視点６３０が合焦点である状態から、レンズに対して撮像センサの位置をｄだけ移動させると、合焦点は、Ｄだけ移動して、合焦点６４０の位置となる。
合焦点の移動量Ｄが指定されれば、レンズ６１０をどの程度移動させればよいかを計算できる。以下では、焦点距離という言葉は、適宜、ｆだけでなく、センサ距離ｂのことも指すものとする。

図８、及び図９は、本実施形態で用いられるスタジアムの３次元形状モデルデータの一例を説明する図である。以下では、本実施形態で用いられるスタジアムの３次元形状モデルデータを、スタジアムモデルデータとする。スタジアムモデルデータには、実空間上に設定された３次元座標上におけるスタジアム構造、フィールド面の形状、各撮像装置及び注視点の座標情報が少なくとも含まれる。スタジアムモデルデータは、撮像環境の３次元形状モデルの一例である。
図８が示すように、スタジアムモデルデータには、フィールド中心を原点として、注視点１３０の３次元座標（Ｘｎ、Ｙｎ、Ｚｎ）や各撮像装置の座標が含まれる。

また、図９が示すように、スタジアムモデルデータは、撮像装置のズーム値に応じた撮影画像の２次元座標系と設定された３次元座標系とのマッピング情報も含む。
そのため、情報処理装置２００は、スタジアムモデルデータを用いることで、設定された３次元座標上の位置の３次元座標が、撮像装置１００の何れか（例えば、撮像装置１０９）の撮像画像上（撮像センサ面上）のどの座標に対応するかを求めることができる。本実施形態では、スタジアムモデルデータは、３次元レーザースキャンを用いて実測されたスタジアムの形状のデータを用いて作成されたデータである。ただし、他の例として、スタジアムモデルデータは、スタジアムの設計図を用いて生成されたデータであってもよい。

図１０を用いて、本実施形態の情報処理システムが実行する撮像装置１００それぞれに対する実際の合焦点の決定方法の概要を説明する。
図１０の状況は、図５と同様に、撮像装置４０１、４０２それぞれがマーカ４２０を向いている状況である。図１０を用いて、情報処理システムが実行する撮像装置１００それぞれに対する実際の合焦点の決定方法と同様の方法で、撮像装置４０１、４０２それぞれの実際の合焦点の決定する処理を説明する。

まず、撮像装置４０１、４０２それぞれについて、レンズを移動させることで、マーカ４２０の位置に合せられていた合焦点の位置を、それぞれ、合焦点５４１、５４２に移動させる。
ここで、撮像装置と空間合焦点との距離をＤとおく。撮像装置からの距離が、Ｅ＝Ｄ±α（α：予め定められた誤差）となるフィールドの表面（フィールド面）上の点を特定する。そして、特定した点を、撮像装置の実際の合焦点として決定する。
つまり、合焦点５４１に対応する（撮像装置４０１の）実際の合焦点５４３は、図１０で示す位置となる。また、合焦点５４２に対応する（撮像装置４０２の）実際の合焦点５４４は、図１０で示す位置となる。

図１０の例では、撮像装置４０１、４０２それぞれの実際の合焦点の位置は、フィールド面上を移動され、注視点４３０より撮像装置４０１、４０２それぞれに近い位置に設定されている。これにより、撮像装置４０１の合焦点は、合焦点５４３となり、撮像装置４０２の合焦点は、合焦点５４４となる。この場合、合計合焦領域５６０は、実際の合焦点の位置から撮像装置に向かって距離Ａ＋Ｂの位置を端点とする範囲になり、合計合焦領域４５０よりも広い領域となる。
合焦点５４３、５４４は、フィールド面上の点であり、撮像装置４０１、４０２それぞれにより撮像された画像には、合焦点であるフィールド面が写った画像が撮像される。そのため、ユーザは、その画像内のフィールド面を視認することで、実際に合焦点で合焦されているか否かを容易に確認できる。

図１１を用いて、情報処理装置２００が実行する撮像装置１００それぞれに対するフォーカス処理の一例を説明する。
Ｓ８１０において、ＣＰＵ２１１は、撮像装置１００それぞれに対して、合焦領域を拡大する制御処理を実行する。これにより、パラメータ設定部２２４は、撮像装置１００それぞれの合焦点を、注視点１３０よりも（各撮像装置から見て）手前に移動させた空間合焦点とすることで、各撮像装置について合焦領域を拡大させる。Ｓ８１０の処理の詳細については、図１２で後述する。

Ｓ８２０において、ＣＰＵ２１１は、撮像装置１００それぞれについて、実際の合焦点を特定する処理を実行する。本実施形態では、ＣＰＵ２１１は、撮像装置１００それぞれについて、Ｓ８１０で移動された合焦点（空間合焦点）と撮像装置との距離が等しくなるフィールド面上の点を、実際の合焦点として特定する。
Ｓ８３０において、ＣＰＵ２１１は、撮像装置１００の合焦領域の合計である合計合焦領域を特定し、特定した合計合焦領域を示すオブジェクトを、ＵＩ部２６０に、撮像装置１００それぞれの撮像画像と重複して表示する。ユーザは、ＵＩ部２６０に表示された画面を確認することで、フォーカス状態を確認する。Ｓ８２０、Ｓ８３０の処理の詳細については、図１３で後述する。

図１２を用いて、Ｓ８１０の処理の詳細を説明する。
Ｓ７１０において、ＣＰＵ２１１は、注視点１３０へのマーカの配置を待機する。ＣＰＵ２１１は、ＵＩ部２６０を介してマーカの配置の完了が通知された場合、処理をＳ７２０に進める。
Ｓ７２０において、ＣＰＵ２１１は、撮像装置１００から撮像装置を１つ選択し、選択した撮像装置に対して、注視点１３０に配置されたマーカにフォーカスを合わせるよう指示する。図１２の処理中において、最新のＳ７２０の処理で選択された撮像装置を選択撮像装置とする。

Ｓ７３０において、ＣＰＵ２１１は、被写界深度計算部２２６を介して、選択撮像装置について、注視点１３０に配置されたマーカ周囲における被写界深度を計算する。より具体的には、ＣＰＵ２１１は、パラメータ取得部２２３を介して、被写界深度の計算に用いられるパラメータ（絞り値やズーム値等）を、選択撮像装置からを取得する。また、ＣＰＵ２１１は、予め補助記憶装置２１４に記憶された選択撮像装置と注視点１３０との距離を取得する。ただし、ＣＰＵ２１１は、スタジアムモデルデータから選択撮像装置と注視点１３０との距離を求めることで、選択撮像装置と注視点１３０との距離を取得してもよい。そして、ＣＰＵ２１１は、取得したパラメータと、選択撮像装置と注視点１３０との距離と、に基づいて、選択撮像装置の被写界深度を計算する。
そして、ＣＰＵ２１１は、被写界深度計算部２２６を介して、選択撮像装置について、被写界深度の中心を注視点１３０の位置（マーカ位置）にするために、合焦点をマーカ位置からどの程度、移動させればよいかを示す移動距離を計算する。

Ｓ７４０において、ＣＰＵ２１１は、移動量計算部２２７を介して、選択撮像装置について、Ｓ７３０で求められた移動距離を、レンズの移動量に変換する。

Ｓ７５０において、ＣＰＵ２１１は、パラメータ設定部２２４及びコマンド送信部２２２を介して、選択撮像装置に対して、Ｓ７４０で求めたレンズの移動量だけレンズを移動させることを指示するコマンドを送信する。これにより、選択撮像装置の合焦点が、マーカのある注視点１３０の位置から対応する撮像装置側の空中の位置に移動し、空間合焦点となる。この空間合焦点は、選択撮像装置と注視点とを結ぶ線分上に設定された点の一例である。
そして、ＣＰＵ２１１は、選択撮像装置の空間合焦点と選択撮像装置との距離を求める。ＣＰＵ２１１は、選択撮像装置からの距離が求めた距離となるフィールド面上の位置のうち、注視点１３０からの距離が最小となる位置を、選択撮像装置の実際の合焦点の位置として求める。ただし、他の例として、ＣＰＵ２１１は、選択撮像装置からの距離が求めた距離となるフィールド面上の位置であって、注視点１３０からの距離が予め定められた閾値以下となる位置のうちの何れかの位置を、実際の合焦点の位置として求めてもよい。そして、ＣＰＵ２１１は、選択撮像装置の合焦点を、求めた実際の合焦点の位置にするよう制御する。

ＣＰＵ２１１は、例えば、予め定められたフォーカス合わせの方式で、選択撮像装置について、合焦点を、求められた実際の合焦点の位置とするように制御する。予め定められたフォーカス合わせの方式は、例えば、位相差やコントラスト差をもとにしたオートフォーカス、ユーザによる操作に応じたマニュアルフォーカス等がある。
撮像装置のレンズに温度特性や個体差があり、Ｓ１０１０で計算された合焦点の移動量が適切でない場合、Ｓ１０２０で合焦点を制御された撮像装置により撮像される画像は、不適切なものとなる。そのため、Ｓ７５０で合焦点が制御された選択撮像装置の撮像画像を確認することで、適切に合焦点が設定されているか確認できるようになる。

Ｓ７６０において、ＣＰＵ２１１は、撮像装置１００の全てについて、Ｓ７２０～７５０の処理が完了したか否かを判定する。ＣＰＵ２１１は、撮像装置１００の全てについて、Ｓ７２０～７５０の処理が完了したと判定した場合、図１２の処理を終了し、撮像装置１００の中にＳ７２０～７５０の処理が完了していない撮像装置があると判定した場合、処理をＳ７２０に進める。
以上の処理により、複数の撮像装置が注視点１３０を取り囲むように配置されている場合に、許容ボケ量以下の撮像領域（合焦領域、被写界深度）を有効に利用することが可能となる。

図１３を用いて、Ｓ８２０の処理の詳細を説明する。
Ｓ９１０において、ＣＰＵ２１１は、撮像装置１００から撮像装置を１つ選択する。図１３の処理中において、最新のＳ９１０の処理で選択された撮像装置を選択撮像装置とする。Ｓ９１０の処理は、Ｓ７３０と同様である。そのため、ＣＰＵ２１１は、Ｓ７３０の結果を用いることで、Ｓ９１０の処理を割愛することとしてもよい。
以下のＳ９２０～Ｓ９４０それぞれの処理は、領域特定部２２８を介した処理となる。

Ｓ９２０において、ＣＰＵ２１１は、スタジアムモデルデータと、Ｓ９１０で求めた移動量と、から、スタジアムモデルデータに設定された３次元座標のける選択撮像装置の空間合焦点の座標を求める。
Ｓ９３０において、ＣＰＵ２１１は、スタジアムモデルデータ上での選択撮像装置の空間合焦点と選択撮像装置との距離を求める。そして、ＣＰＵ２１１は、選択撮像装置からの距離が求めた距離となるフィールド面上の位置のうち、注視点１３０からの距離が最小となる位置を特定し、特定した位置の座標を、選択撮像装置の実際の合焦点の座標として求める。ただし、他の例として、ＣＰＵ２１１は、選択撮像装置からの距離が求めた距離となるフィールド面上の位置であって、注視点１３０からの距離が予め定められた閾値以下となる位置のうちの何れかの位置の座標を、実際の合焦点の座標として求めてもよい。

Ｓ９４０において、ＣＰＵ２１１は、Ｓ９３０で求めた座標を、選択撮像装置の撮像画像内に設定された（選択撮像装置の撮像センサ面上に設定された）２次元座標系におけるどの座標に該当するか特定する。
Ｓ９５０において、ＣＰＵ２１１は、Ｓ９４０で求めた２次元座標に基づいて、ＵＩ部２６０に、選択撮像装置により撮像された画像に重畳して、フォーカスされた位置を示す枠を表示する。
Ｓ９６０において、ＣＰＵ２１１は、撮像装置１００の全てについてＳ９１０～Ｓ９５０の処理が完了したか否かを判定する。ＣＰＵ２１１は、撮像装置１００の全てについてＳ９１０～Ｓ９５０の処理が完了したと判定した場合、図１３の処理を終了し、撮像装置１００にＳ９１０～Ｓ９５０の処理が完了していない撮像装置が存在すると判定した場合、処理をＳ９１０に進める。

図１４は、Ｓ９５０でＵＩ部２６０に表示される画面の一例を示す図である。撮像画像上にフォーカス位置を示す枠が重畳して表示されている。図１４の例では、ＣＰＵ２１１は、Ｓ９４０で求めた２次元座標点を中心に矩形の枠を重畳して表示した。この枠は、表示オブジェクトの一例である。表示されたこの画面を確認することで、ユーザは、このフォーカス枠内の合焦状態を目視確認し、その妥当性を判断できる。

以上、本実施形態の処理により、情報処理システムは、撮像装置１００それぞれの合焦状態を確認可能なように、仮想視点画像を生成可能な領域をより拡大できる。

＜実施形態２＞
本実施形態では、情報処理システムは、撮像装置１００それぞれについて、フィールド面上の実際の合焦点の位置を特定した後に、特定した実際の合焦点の位置を、合焦点に設定する。
情報処理システムのシステム構成は、実施形態１と同様である。また、情報処理装置２００のハードウェア構成、及び機能構成は、実施形態１と同様である。

図１５は、本実施形態の情報処理装置２００の処理の一例を示すフローチャートである。
Ｓ１０１０において、ＣＰＵ２１１は、撮像装置１００それぞれについて、実際の合焦点の位置を特定する。より具体的には、ＣＰＵ２１１は、以下のような処理を行う。

即ち、ＣＰＵ２１１は、パラメータ取得部２２３を介して、被写界深度の計算に用いられるパラメータ（絞り値やズーム値等）を、補助記憶装置２１４から取得する。本実施形態では、補助記憶装置２１４には、撮像装置１００それぞれについてのパラメータ（絞り値やズーム値）の固定値が予め記憶されている。また、ＣＰＵ２１１は、予め補助記憶装置２１４に記憶された撮像装置１００それぞれと注視点１３０との距離を取得する。ただし、ＣＰＵ２１１は、スタジアムモデルデータから撮像装置１００それぞれと注視点１３０との距離を求めることで、撮像装置それぞれと注視点１３０との距離を取得してもよい。
そして、ＣＰＵ２１１は、取得したパラメータと、撮像装置１００それぞれと注視点１３０との距離と、に基づいて、撮像装置１００それぞれの被写界深度を計算する。

ＣＰＵ２１１は、撮像装置１００それぞれについて、計算した被写界深度に基づいて、被写界深度の中心を注視点１３０の位置（マーカ位置）にするために、合焦点をマーカ位置からどの程度、移動させればよいかを示す移動量を計算する。マーカ位置からこの移動量だけ撮像装置の方へ移動した点が、この撮像装置の空間合焦点となる。
ＣＰＵ２１１は、スタジアムモデルデータと、計算した移動量と、から、スタジアムモデルデータに設定された３次元座標における撮像装置１００それぞれの空間合焦点の座標を求める。そして、ＣＰＵ２１１は、撮像装置１００それぞれについて、スタジアムモデルデータ上での空間合焦点と撮像装置との距離を求める。そして、ＣＰＵ２１１は、撮像装置１００それぞれについて、フィールド面上における撮像装置からの距離が求めた距離となる位置のうち、注視点１３０からの距離が最小となる位置を特定し、特定した位置の座標を、実際の合焦点の座標として求める。ただし、他の例として、ＣＰＵ２１１は、撮像装置からの距離が求めた距離となるフィールド面上の位置であって、注視点１３０からの距離が予め定められた閾値以下となる位置のうちの何れかの位置の座標を、実際の合焦点の座標として求めてもよい。

Ｓ１０２０において、ＣＰＵ２１１は、撮像装置１００それぞれを、Ｓ１０１０で求めた実際の合焦点の座標が示す位置を、合焦点とするよう制御する。ＣＰＵ２１１は、例え、予め定められたフォーカス合わせの方式で、撮像装置１００それぞれについて、合焦点を、求められた実際の合焦点の位置とするように制御する。予め定められたフォーカス合わせの方式は、例えば、位相差やコントラスト差をもとにしたオートフォーカス、ユーザによる操作に応じたマニュアルフォーカス等がある。
また、選択撮像装置は、実際の合焦点が設定された後で、実際の合焦点の位置に配置されたマーカを撮像することとしてもよい。それにより、特徴点が少なくコントラストが低いフィールド面に合せてフォーカス合せを行う場合よりも、Ｓ１０２０でのフォーカス合せの精度が向上される。
Ｓ１０３０において、ＣＰＵ２１１は、撮像装置１００それぞれについて、Ｓ１０１０で求めた座標を、撮像画像内に設定された２次元座標系におけるどの座標に該当するか特定する。そして、ＣＰＵ２１１は、撮像装置１００それぞれについて、特定した座標に基づいて、ＵＩ部２６０に、撮像画像に重畳して、フォーカスされた位置を示す枠を表示する。

以上、本実施形態の処理により、情報処理システムは、実施形態１と同様の効果を奏することができる。
更に、本実施形態では、情報処理システムは、撮像装置１００それぞれに実際の合焦点を設定する前に、撮像装置１００それぞれの実際の合焦点の位置を決定できる。そのため、例えば、情報処理システムは、撮像装置が実際にスタジアムに設置される前に、各撮像装置の実際の合焦点を決定し、撮像装置の設置後に、決定した実際の合焦点を設定できる。このように、情報処理システムは、撮像装置の設置前に処理の一部を実行することで、撮像装置の設置後の作業負荷や作業時間を削減することができる。本実施形態は、スタジアムが屋内である場合等の外光条件が一定である場合、特に好適な形態となる。

＜その他の実施形態＞
実施形態１、２では、情報処理システムは、撮像装置１００それぞれの実際の合焦点をフィールド面上の位置にするようにした。ただし、他の例として、情報処理システムは、合焦していることが理解できる画像が撮像可能であるならば、フィールド面以外のオブジェクト（例えば、壁面、ポール等）上の位置を、撮像装置１００それぞれの実際の合焦点とするようにしてもよい。
例えば、ＣＰＵ２１１は、Ｓ７５０で、以下のようにして、実際の合焦点の位置を求めてもよい。即ち、ＣＰＵ２１１は、まず、選択撮像装置の空間合焦点と選択撮像装置との距離を求める。そして、ＣＰＵ２１１は、選択撮像装置からの距離が求めた距離となるスタジアムの壁面上の位置のうち、注視点１３０からの距離が最小となる位置を、選択撮像装置の実際の合焦点の位置として求めてもよい。

また、実施形態１、２では、情報処理システムは、撮像装置１００それぞれについて、撮像装置と空間合焦点との距離と、撮像装置と実際の合焦点との距離と、が同じになるように、実際の合焦点を決定した。
ただし、他の例として、情報処理システムは、撮像装置１００それぞれについて、撮像装置と空間合焦点との距離と、撮像装置と実際の合焦点との距離と、の差分の大きさが予め定められた閾値以下になるように、実際の合焦点を決定してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した情報処理システムの機能構成の一部又は全てをハードウェアとして情報処理装置２００に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

１００ 撮像装置
２００ 情報処理装置
２１１ ＣＰＵ

Claims (13)

1. オブジェクトを撮像して仮想視点画像を生成するために用いられる撮像装置の合焦点の位置であって、前記撮像装置の光軸上にあり、前記オブジェクト上の第１の位置よりも前記撮像装置に近い設定位置を特定する第１の特定手段と、
   特定された前記設定位置と、前記撮像装置の位置と、の間の距離に基づいて、前記撮像装置の光軸上にない前記オブジェクト上の第２の位置を決定する決定手段と、
   前記オブジェクト上の前記第２の位置に対応する、前記撮像装置により撮像された画像上の位置を特定する第２の特定手段と、
   特定された前記画像上の位置に関する情報を出力する出力手段と、
   を有する情報処理装置。
2. 前記設定位置は、前記撮像装置の光軸上において、前記オブジェクト上の前記第１の位置から予め定められた距離だけ離れた位置である請求項１に記載の情報処理装置。
3. 前記設定位置は、前記撮像装置の光軸上において、前記撮像装置の被写界深度の中心が前記オブジェクト上の前記第１の位置に対応する場合における前記撮像装置の合焦点の位置である請求項１又は２に記載の情報処理装置。
4. 前記撮像装置との距離が、前記設定位置と前記撮像装置の位置との間の距離と等しくなる位置であって、前記オブジェクト上の位置を、前記オブジェクト上の前記第２の位置として特定する請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記オブジェクト上の前記第２の位置は、前記設定位置と前記撮像装置の位置との間の距離と、前記オブジェクトの３次元形状データと、に基づいて決定される請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記オブジェクト上の前記第２の位置は、前記オブジェクト上の前記第２の位置に配置されたマーカを用いて、前記撮像装置の合焦点として設定される請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記撮像装置により撮像された画像を設定された表示部に表示する表示制御手段を更に有する請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記撮像装置により撮像された画像と、実際の合焦点を示す表示オブジェクトと、を重畳して前記表示部に表示する請求項７に記載の情報処理装置。
9. 特定された前記画像上の位置に関する情報は、フレームを使用して前記画像上に表示される、請求項７に記載の情報処理装置。
10. 前記オブジェクトは、フィールドである請求項１乃至９の何れか１項に記載の情報処理装置。
11. 特定された前記画像上の位置に関する情報は、前記撮像装置の焦点の状態をユーザがチェックするために使用される、請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 情報処理装置が実行する情報処理方法であって、
    オブジェクトを撮像して仮想視点画像を生成するために用いられる撮像装置の合焦点の位置であって、前記撮像装置の光軸上にあり、前記オブジェクト上の第１の位置よりも前記撮像装置に近い設定位置を特定する第１の特定ステップと、
    特定された前記設定位置と、前記撮像装置の位置と、の間の距離に基づいて、前記撮像装置の光軸上にない前記オブジェクト上の第２の位置を決定する決定ステップと、
    前記オブジェクト上の前記第２の位置に対応する、前記撮像装置により撮像された画像上の位置を特定する第２の特定ステップと、
    特定された前記画像上の位置に関する情報を出力する出力ステップと、
    を含む情報処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。

Images