JP7324639B2 - 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム - Google Patents

Description

本発明は、被写体の位置を推定する被写体位置推定装置、被写体の推定位置を用いてフォーカス合わせを補助するフォーカス補助装置、及び、それらのプログラムに関する。

近年、撮像素子の多画素化や表示装置の大画面化に伴い、４Ｋや８Ｋといった高精細なカメラを用いた番組制作の需要が高まっている。高精細なカメラを用いた番組制作における課題の一つとして、フォーカス合わせ（フォーカスフォロー）の難しさがある。通常、カメラマンは、撮影した映像を手元のビューファインダで確認する。このビューファインダは、小画面・低解像度のものが主流であり、その解像度に合わせて高精細映像を縮小表示することが多い。このため、カメラマンにとって、フォーカスが合っているかの判別が難しく、動く被写体に対して正確にフォーカスフォローし続けることが非常に困難である。

前記問題を解決する従来手法が幾つか提案されている。例えば、撮像素子内に位相差検出画素を配置しその位相差出力によりデフォーカス量を検出する手法や、撮影した画像の周波数成分からフォーカスが合っているかを判定する手法がある（特許文献１，２）。また、移動する被写体に対して、被写体の移動量を検知し自動追尾しながらフォーカスフォローする手法がある（特許文献３，４）。

特開２０１０－９１９９１号公報 特開２０１４－１１０６１９号公報 国際公開第２０１６／０１６９８４号 特開平５－８０２４８号公報

前記した従来手法の何れにおいても、画面中の注目領域や追尾すべき物体の形状を指定するなど、フォーカスフォローの対象となる被写体をカメラマンが手動で指定する必要がある。例えば、多くの選手が画面内で入り乱れるスポーツ中継において、注目したい選手や物体がめまぐるしく変わる状況を考える。この場合、前記した従来手法では、フォーカスフォローの対象となる被写体を逐一手動で指定しなければならず、その運用が困難である。

そこで、本発明は、被写体を手動で指定する必要がない被写体位置推定装置、フォーカス補助装置、及び、それらのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る被写体位置推定装置は、同一の被写体を撮影する複数のカメラの位置を示す位置情報と、被写体にフォーカスを合わせたときの各カメラのフォーカス距離を示す被写体距離情報とを用いて、被写体の推定位置を算出する被写体位置推定装置であって、被写体位置推定部、を備える構成とした。

かかる構成によれば、被写体位置推定部は、位置情報が示す各カメラの位置から被写体の推定位置までの距離と被写体距離情報が示す各カメラのフォーカス距離との誤差を算出し、カメラ毎に算出した誤差の合計値が最小となる被写体の推定位置を最適化問題により算出する。被写体位置推定部は、カメラの役割、カメラから前記被写体までの距離、又は、カメラの撮影方向と被写体の進行方向とのなす角に基づいてカメラ毎に重みが予め設定され、カメラ毎に算出した誤差に重みを乗算する。このように、被写体位置推定装置は、カメラの位置及びフォーカス距離から被写体の推定位置を算出するので、被写体を手動で指定する必要がない。

また、前記した課題に鑑みて、本発明に係るフォーカス補助装置は、前記した被写体位置推定装置で算出した被写体の推定位置に基づいて、カメラのフォーカス合わせを補助するフォーカス補助装置であって、前記した被写体位置推定装置と、フィードバック信号生成部と、を備える構成とした。

かかる構成によれば、フィードバック信号生成部は、カメラ毎に算出した誤差とフィードバック信号との関係を示す規則が予め設定され、規則に従って、被写体位置推定部が算出した誤差からフィードバック信号を生成し、生成したフィードバック信号をカメラに出力する。このように、フォーカス補助装置は、フォーカスフォローの対象となる被写体を手動で指定する必要がない。

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した被写体位置推定装置又はフォーカス補助装置として動作させるプログラムで実現することもできる。

本発明によれば、被写体を手動で指定する必要がないので、カメラマンの負担を軽減することができる。

実施形態に係るフォーカス補助システムの概略構成図である。 図１のフォーカス補助システムの構成を示すブロック図である。 カメラ位置算出モードにおける信号入出力を示すブロック図である。 被写体位置推定モードにおける信号入出力を示すブロック図である。 三辺測量により、３台目までのカメラの位置計算を説明する説明図である。 円の交点により、４台目以降のカメラの位置計算を説明する説明図である。 マルチカメラによる番組制作を説明する説明図である。 （ａ）は被写体の位置とカメラのフォーカス位置との誤差を説明する説明図であり、（ｂ）は被写体付近の拡大図である。 重み設定の第１例を説明する説明図である。 重み設定の第２例を説明する説明図である。 重み設定の第３例を説明する説明図である。 図２のフォーカス補助装置の動作を示すフローチャートである。

（実施形態）
［フォーカス補助システム］
図１を参照し、実施形態に係るフォーカス補助システム１の構成について説明する。
フォーカス補助システム１は、サッカーの試合等のスポーツ中継において、カメラ２のフォーカス合わせを補助するものである。図１に示すように、フォーカス補助システム１は、ｎ台のカメラ２，２_ｎと、フォーカス補助装置３とを備える。なお、ｎは、カメラ２の台数を表す２以上の整数である（例えば、ｎ＝６）。

カメラ２は、例えば、４Ｋや８Ｋといった高精細映像を撮影する一般的な放送用カメラである。例えば、本実施形態では、６台のカメラ２（２_１～２_６）が、サッカーのフィールド９の周囲に設置されている。図１の例では、１台目のカメラ２_１がコーナーエリア付近に設置され、２台目と５台目のカメラ２_２，２_５がセンターライン付近に設置されている。また、３台目と４台目のカメラ２_３，２_４が一方のゴールポストの後方に設置され、６台目のカメラ２_６が他方のゴールポストの後方に設置されている。カメラ２は、スポーツ中継中には移動せず、パン、チルト、ズーム、フォーカス等のカメラワークをカメラマンが行う。本実施形態では、６台全てのカメラ２が、同一の被写体Ｔ（例えば、特定の選手やサッカーボール）を追跡して撮影することとする。また、カメラ２は、ケーブルを介して、後記するフォーカス補助装置３に接続されており、フォーカス合わせの補助に必要な各種信号を入出力する。
なお、カメラ２の台数及び位置は任意であり、図１の例に限定されない。

フォーカス補助装置３は、カメラ２のフォーカス合わせを補助するものであり、例えば、ディスプレイ、マウス、キーボード等を備えるコンピュータである。本実施形態では、フォーカス補助装置３は、スポーツ中継の開始前に各カメラ２の位置を算出しておく（カメラ位置算出モード）。そして、フォーカス補助装置３は、スポーツ中継の際、事前に算出した各カメラ２の位置から被写体Ｔの位置を推定し、各カメラ２のフォーカス合わせを補助する（被写体位置推定モード）。
なお、フォーカス補助装置３の詳細は、後記する。

［カメラ］
図２を参照し、カメラ２の構成を詳細に説明する。
図２に示すように、カメラ２は、レンズ２０と、アクチュエータ付きフォーカスデマンド２１とを備える。また、カメラ２は、図示を省略したビューファインダを備えてもよい。以後、アクチュエータ付きフォーカスデマンドを「フォーカスデマンド」と略記する。

レンズ２０は、カメラ２にマウント可能な一般的な光学レンズであり、そのフォーカス距離をフォーカス補助装置３に出力する。なお、レンズ２０の枚数、種類及び画角は、特に限定されない。

フォーカスデマンド２１は、カメラマンがフォーカス合わせを行うものあり、カメラマンの操作に応じてカメラ２のフォーカス距離（正確には、レンズ２０のフォーカス距離）を変更する。例えば、フォーカスデマンド２１は、回転軸に方向可変のトルクを付与するアクチュエータを備える回転式フォーカスデマンドである。また、フォーカスデマンド２１は、フォーカス補助装置３から出力されるフィードバック信号に応じて、フォーカス位置の誤差を補正するようにトルクを付加する。このようにして、フォーカス補助機能が実現される。

［フォーカス補助装置］
図２～図４を参照し、フォーカス補助装置３の構成を詳細に説明する。
図２に示すように、フォーカス補助装置３は、被写体Ｔの位置を推定する被写体位置推定装置３Ａと、デマンドフィードバック信号生成部（フィードバック信号生成部）３３とを備える。また、被写体位置推定装置３Ａは、カメラ位置算出部３０と、カメラ位置記録部３１と、被写体位置推定部３２とを備える。
なお、図３及び図４では、被写体位置推定装置３Ａの図示を省略し、各動作モードで入出力される信号を実線で図示する一方、各動作モードで入出力されない信号を破線で図示した。

以下で説明するように、フォーカス補助装置３は、図３のカメラ位置算出モード、及び、図４の被写体位置推定モードという２つの動作モードを有する。
図３のカメラ位置算出モードにおいて、カメラ位置算出部３０は、ｎ台のカメラ２_ｎのレンズ２０から出力されるフォーカス距離Ｄ_Ｃ＝（ｄ_Ｃ１，…，ｄ_Ｃｎ）を用いて、各カメラ２_ｎの位置Ｐを算出する。算出された各カメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）は、カメラ位置記録部３１に記録される。なお、フォーカス距離Ｄ_Ｃがカメラ間距離情報のことであり、各カメラ２_ｎの位置Ｐが位置情報のことである。

図４の被写体位置推定モードにおいて、被写体位置推定部３２は、ｎ台のカメラ２_ｎのレンズ２０から出力されるフォーカス距離Ｄ_Ｔ＝（ｄ_Ｔ１，…，ｄ_Ｔｎ）と、カメラ位置記録部３１に記録された各カメラの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）とを用いて、各カメラ２_ｎの誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）を算出する。そして、デマンドフィードバック信号生成部３３は、算出した誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）からフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）を生成し、各カメラ２_ｎのフォーカスデマンド２１に出力する。なお、フォーカス距離Ｄ_Ｔが被写体距離情報のことである。

＜カメラ位置算出部＞
図２及び図３を参照し、カメラ位置算出部３０について説明する。
図３に示すように、カメラ位置算出部３０は、少なくとも３台以上のカメラ２_ｎについてフォーカス距離Ｄ_Ｃ＝（ｄ_Ｃ１，…，ｄ_Ｃｎ）が入力され、入力されたフォーカス距離Ｄ_Ｃ＝（ｄ_Ｃ１，…，ｄ_Ｃｎ）に基づいて、３台目までのカメラ２_１～２_３の位置ｐ_１～ｐ_３を三辺測量により算出するものである。カメラ２_ｎが４台以上の場合、カメラ位置算出部３０は、３台のカメラ２_１～２_３の位置ｐ_１～ｐ_３を中心とし、３台のカメラ２_１～２_３から４台目以降のカメラ２_ｎまでの距離を半径とする円をそれぞれ求める。さらに、カメラ位置算出部３０は、それぞれの円の交点を、４台目以降のカメラ２_ｎの位置ｐ_ｎとして算出し、各カメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）をカメラ位置記録部３１に記録する。

まず、図５に示すように、ｎ台のカメラ２_ｎから、３台のカメラ２_１～２_３を任意に選択する。そして、３台のカメラ２_１～２_３が、互いにレンズ２０を向けてフォーカスを合わせた後、撮影を行う。つまり、カメラ２_１がカメラ２_２にフォーカスを合わせてカメラ２_２を撮影し、カメラ２_２がカメラ２_１にフォーカスを合わせてカメラ２_１を撮影する。このとき、カメラ２_１，２_２のフォーカス距離ｄ_Ｃ１，ｄ_Ｃ２は、カメラ２_１とカメラ２_２との距離ｄ_１２に等しくなる。

カメラ２_１，２_２のペアと同様、カメラ２_２，２_３のペア、及び、カメラ２_３，２_１のペアも撮影を行い、カメラ２_２とカメラ２_３との距離ｄ_２３、及び、カメラ２_３とカメラ２_１との距離ｄ_３１を求める。このように、カメラ位置算出部３０は、カメラ２_ｎのフォーカス距離Ｄ_Ｃ＝（ｄ_１，…，ｄ_ｎ）から、３台のカメラ２_１～２_３の距離ｄ_１２～ｄ_３１を算出できる。

図５に示すように、カメラ２_１～２_３は、各辺の長さが距離ｄ_１２～ｄ_３１となる三角形の頂点に位置する。また、カメラ２_１～２_３が同一平面上に位置するので、カメラ位置座標を２次元座標系で表すことができる。従って、カメラ位置算出部３０は、カメラ２_１～２_３の位置ｐ_１～ｐ_３を三辺測量により算出できる。

ここで、カメラ２_１の位置ｐ_１＝（ｘ_１，ｙ_１）＝（０，０）とし、カメラ２_２の位置ｐ_２＝（ｘ_２，ｙ_２）＝（０，ｄ_１２）とする。この場合、カメラ２_３の位置ｐ_３は、以下の式（１）及び式（２）で表される。

以上の手順により、３台目までのカメラ２_１～２_３の位置ｐ_１～ｐ_３が既知となる。そして、４台目以降のカメラ２_ｉの位置ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ）は、カメラ２_１～２_３のそれぞれとカメラ２_ｉとの距離ｄ_１ｉ～ｄ_３ｉから算出できる。

図６に示すように、カメラ位置算出部３０は、カメラ２_１～２_３の位置ｐ_１～ｐ_３を中心とし、距離ｄ_１ｉ～ｄ_３ｉを半径とする円Ｃ_１ｉ～Ｃ_３ｉをそれぞれ求める。そして、カメラ位置算出部３０は、円Ｃ_１ｉ～Ｃ_３ｉの交点を、カメラ２_ｉの位置ｐ_ｉとして算出する。図６には、４台目のカメラ２_４の位置ｐ_４＝（ｘ_４，ｙ_４）を算出する例を図示した（ｉ＝４）。円Ｃ_１４は、カメラ２_１の位置ｐ_１が中心となり、カメラ２_１とカメラ２_４との距離ｄ_１４が半径となる。円Ｃ_２４は、カメラ２_２の位置ｐ_２が中心となり、カメラ２_２とカメラ２_４との距離ｄ_２４が半径となる。円Ｃ_３４は、カメラ２_３の位置ｐ_３が中心となり、カメラ２_３とカメラ２_４との距離ｄ_３４が半径となる。従って、円Ｃ_１４～Ｃ_３４の交点がカメラ２_４の位置ｐ_４となる。
なお、カメラ２_ｎが３台の場合、カメラ位置算出部３０は、４台目以降のカメラ２_ｎの位置ｐ_ｎを算出する必要がない。

＜カメラ位置記録部＞
図３のカメラ位置算出モードにおいて、カメラ位置記録部３１は、カメラ位置算出部３０から出力された各カメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）を内部のメモリやハードディスク（不図示）に記録する。また、図４の被写体位置推定モードにおいて、カメラ位置記録部３１は、記録した各カメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）を被写体位置推定部３２に出力する。

＜被写体位置推定部＞
図４に示すように、被写体位置推定部３２は、各カメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）から被写体Ｔの推定位置までの距離と、各カメラ２_ｎのフォーカス距離Ｄ_Ｔ＝（ｄ_Ｔ１，…，ｄ_Ｔｎ）との誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）を算出するものである。そして、被写体位置推定部３２は、カメラ２毎に算出した誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）の合計値が最小となる被写体Ｔの推定位置を最適化問題により算出する。さらに、被写体位置推定部３２は、各カメラ２_ｎの誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）をデマンドフィードバック信号生成部３３に出力する。

まず、被写体位置推定部３２の処理内容の前提として、カメラ２_ｎで発生するフォーカス位置の誤差について説明する。
図７には、マルチカメラによる番組制作（例えば、サッカーの試合等のスポーツ中継）のカメラポジションの一例を図示した。番組制作中においては、複数のカメラ２が同一の被写体Ｔ（例えば、ボールを持つ選手）を常にフォーカスフォローしながら撮影することが多い。各カメラ２_ｎの位置情報が既知なので、各カメラ２_ｎのフォーカス位置が被写体Ｔの位置と正確に一致すれば、移動する被写体Ｔの位置を正確に算出できる。すなわち、各カメラ２_ｎの位置Ｐを中心とし、各カメラ２_ｎのフォーカス距離Ｄ_Ｔを半径とする円の交点を求めることで、被写体Ｔの位置を算出できる。実際には、カメラ２_ｎのフォーカス位置は、カメラマンのフォーカスフォローの遅れや誤差が含まれており、被写Ｔ体の位置と正確に一致しないことがある。その一方、複数のカメラ２_ｎが同一の被写体Ｔをフォーカスフォローする状況においては、フォーカス位置に誤差が含まれていても、一定の精度で被写体Ｔの位置を算出できる。

図８では、位置ｐ_ｉが既知のカメラ２_ｉを３台とし、未知である被写体Ｔの推定位置を（ｘ_Ｔ，ｙ_Ｔ）として説明する（但し、ｉ＝１，…，ｎ）。また、図８には、カメラ２_１～２_３の位置ｐ_１～ｐ_３が中心となり、フォーカス距離ｄ_Ｔ１～ｄ_Ｔ３が半径となる円Ｃ_Ｔ１～Ｃ_Ｔ３をそれぞれ図示した。

図８に示すように、カメラ２_１～２_３が誤差Δｄ_１～Δｄ_３を有するので、円Ｃ_Ｔ１～Ｃ_Ｔ３が一点で交わらず、被写体Ｔの位置（ｘ_Ｔ，ｙ_Ｔ）を正確に算出できない。従って、被写体位置推定部３２は、以下の式（３）及び式（４）で表される関数Ｆ（ｘ_Ｔ，ｙ_Ｔ）が最小になるときの被写体Ｔの推定位置（ｘ_Ｔ，ｙ_Ｔ）を算出する。例えば、式（３）及び式（４）の最小化問題（最適化問題）は、以下の式（５）～式（９）で表される最小二乗法により解くことができる。

Δｄ_ｉは、カメラ２_ｉのフォーカス位置と被写体Ｔの推定位置（ｘ_Ｔ，ｙ_Ｔ）との誤差を表す。つまり、Δｄ_ｉは、カメラ２_ｉの位置ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ）から被写体の推定位置（ｘ_Ｔ，ｙ_Ｔ）までの距離と、カメラ２_ｉのフォーカス距離ｄ_Ｔｉとの誤差を表す。

また、誤差Δｄ_ｉの重み付けを行うことで、より高精度な被写体Ｔの推定位置（ｘ_Ｔ，ｙ_Ｔ）を算出できる。重みα_ｉは、カメラ２_ｉ毎に設定した重みを表し、任意の値で設定できる。なお、誤差Δｄ_ｉの重み付けを行わない場合、重みα_ｉを規定値の１に設定すればよい。この重みα_ｉの設定方法は、詳細を後記する。

その後、被写体位置推定部３２は、最小二乗法で解いた被写体Ｔの推定位置（ｘ_Ｔ，ｙ_Ｔ）とカメラ２_ｉのフォーカス位置との誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）を再計算し、デマンドフィードバック信号生成部３３に出力する。

＜＜重みの第１例：カメラの役割＞＞
図９～図１１を参照し、重みα_ｉの設定について、３つの具体例をあげて説明する。
図９に示すように、第１例では、カメラ２_ｉの役割に応じて、カメラ２_ｉの重みα_ｉを設定する。例えば、被写体Ｔを追従する場面が多いカメラ２_ｉの重みα_ｉが大きな値となり、その場面が少ないカメラ２_ｉの重みα_ｉが小さな値となる。さらに、被写体Ｔを追従しないカメラ２_ｉの重みα_ｉを０にすることで、そのカメラ２_ｉを除外できる。また、各カメラ２_ｉのフォーカス精度に差異がある場合もある。この場合、フォーカス精度が高くなるほどカメラ２_ｉの重みα_ｉが大きな値となり、フォーカス精度が低くなるほどカメラ２_ｉの重みα_ｉが小さな値となる。

図９の例では、カメラ２_２，２_４，２_６がカメラ２_１，２_５より被写体Ｔを追従する場面が多く、カメラ２_３が被写体Ｔを追従しないこととする。この場合、α_２，α_４，α_６＞α_１，α_５、α_３＝０と設定する。

＜＜重みの第２例：カメラから被写体までの距離＞＞
図１０に示すように、第２例では、カメラ２_ｉから被写体Ｔまでの距離（つまり、フォーカス距離ｄ_Ｔｉ）に応じて、カメラ２_ｉの重みα_ｉを設定する。一般には、被写体Ｔとカメラ２_ｉとの距離が近くなるほど、カメラマンがフォーカスを合わせ易く、フォーカス距離ｄ_Ｔｉの誤差が小さくなる。そこで、重みα_ｉとして、フォーカス距離ｄ_Ｔｉの逆数を設定する。この場合、被写体Ｔに近くなるほどカメラ２_ｉの重みα_ｉが大きな値となり、被写体Ｔから遠くなるほどカメラ２_ｉの重みα_ｉが小さな値となる。

図１０の例では、カメラ２_１が被写体Ｔに最も近いので、α_１＞α_２～α_６と設定する。さらに、フォーカス距離ｄ_Ｔ２～ｄ_Ｔ６に応じて、重みα_２～α_６も設定できる（例えば、α_１＞α_２，α_６＞α_５＞α_３，α_４）。

＜＜重みの第３例：カメラの撮影方向と被写体の進行方向とのなす角＞＞
図１１に示すように、第３例では、カメラ２_ｉの撮影方向と被写体Ｔの進行方向とのなす角θ_ｉに応じて、カメラ２_ｉの重みα_ｉを設定する。一般には、カメラ２_ｉの撮影方向（視線方向）に対して被写体Ｔが奥行き方向に動く場合、カメラ２_ｉのフォーカス移動量が多くなり、フォーカスフォローの精度が低下する。そこで、なす角θ_ｉが大きくなるほどカメラ２_ｉの重みα_ｉが大きな値となり、なす角θ_ｉが小さくなるほどカメラ２_ｉの重みα_ｉが小さな値となる。

図１１の例では、カメラ２_１の撮影方向と被写体Ｔの進行方向とが一致するので、なす角θ_１＝０°である。カメラ２_２の撮影方向に対して被写体Ｔの進行方向が直角なので、なす角θ_２＝９０°であるため、α_２＞α_１と設定する。（なお、重みα_３～α_５も同様に設定する）。

第１例～第３例のように、カメラ２_ｉの重みα_ｉを適切に設定することで、被写体Ｔの位置を正確に推定できる。ここで、スポーツ中継の際、被写体Ｔが移動するので、フォーカス距離ｄ_Ｔｉやなす角θ_ｉが刻々と変化する場合がある。この場合、カメラマンが即座にカメラ２_ｉの重みα_ｉを変更できるように、ボダン等のユーザインターフェース（不図示）を設けてもよい。

＜デマンドフィードバック信号生成部＞
図４に示すように、デマンドフィードバック信号生成部３３は、予め設定された規則に従って、被写体位置推定部３２から出力された誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）からフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）を生成するものである。つまり、デマンドフィードバック信号生成部３３は、所定の規則に従って、誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）をフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）に変換する。この規則は、誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）とフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）との関係を示しており、フォーカスデマンド２１のアクチュエータの特性やカメラマンの好みに応じて、任意に設定できる。その後、デマンドフィードバック信号生成部３３は、各カメラ２_ｉのフォーカスデマンド２１にこのフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）を出力する。

このフィードバック信号Ｆにより、フォーカスデマンド２１が、各カメラ２の誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）に応じてトルクを付加する。このトルクは、誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）の絶対値及び符号により表され、カメラ２のフォーカス位置と被写体Ｔの推定位置との誤差を補正する方向となる。

［フォーカス補助装置の動作］
図１２を参照し、フォーカス補助装置３の動作について説明する。なお、図１２のステップＳ１，Ｓ２の処理がカメラ位置算出モードに対応し、ステップＳ３～Ｓ５の処理が被写体位置推定モードに対応する。

図１２に示すように、ステップＳ１において、カメラ位置算出部３０は、カメラ２_ｎの位置を算出する。ここで、カメラ位置算出部３０は、カメラ２_ｎから出力されたフォーカス距離Ｄ_Ｃに基づいて、３台目までのカメラ２_１～２_３の位置ｐ_１～ｐ_３を三辺測量により算出する。さらに、カメラ位置算出部３０は、カメラ２_１～２_３の位置ｐ_１～ｐ_３を中心とし、距離ｄ_１ｎ～ｄ_３ｎを半径とする円Ｃ_１ｎ～Ｃ_３ｎの交点を、４台目以降のカメラ２_ｎの位置ｐ_ｎとして算出する。
ステップＳ２において、カメラ位置算出部３０は、ステップＳ１で算出したカメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）をカメラ位置記録部３１に書き込む。

ステップＳ３において、被写体位置推定部３２は、カメラ位置記録部３１からカメラ２_ｎの位置Ｐ＝（ｐ_１，…，ｐ_ｎ）を読み出す。
ステップＳ４において、被写体位置推定部３２は、重みα_ｎによる重み付けを行い、誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）を算出する。そして、被写体位置推定部３２は、カメラ２_ｉ毎に算出した誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）の合計値が最小となる被写体Ｔの推定位置（ｘ_Ｔ，ｙ_Ｔ）を最適化問題により算出する。さらに、被写体位置推定部３２は、合計値が最小になったときのΔＤ＝（Δｄ_１，…，Δｄ_ｎ）をデマンドフィードバック信号生成部３３に出力する。

ステップＳ５において、デマンドフィードバック信号生成部３３は、予め設定された規則に従って、ステップＳ４で算出した誤差ΔＤ＝（Δｄ_１，…，Δｄ_ｎ）からフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）を生成する。そして、デマンドフィードバック信号生成部３３は、各カメラ２_ｎのフォーカスデマンド２１にこのフィードバック信号Ｆ＝（ｆ_１，…，ｆ_ｎ）を出力する。

［作用・効果］
以上のように、フォーカス補助装置３は、スポーツ中継の際、フォーカスフォローの対象となる被写体を手動で指定する必要がないので、カメラマンの負担を軽減することができる。すなわち、フォーカス補助装置３は、カメラマンが注目領域や被写体を逐一指定することなく、フォーカス補助機能を実現できる。

さらに、フォーカス補助装置３は、カメラ２のフォーカス機能によりフォーカス距離Ｄ_Ｃ，Ｄ_Ｔが得られるので、イメージセンサやカメラシステムといった装置を追加する必要がない。このため、フォーカス補助装置３は、既存の映像制作システムで実現可能であり、スポーツ中継のための物理的制約も少なくできる。

さらに、フォーカス補助装置３は、複数のカメラ２のフォーカス距離を考慮するので、各カメラ２を操作するカメラマンの多数決によりフォーカス合わせを補助していると言える。従って、フォーカス補助装置３は、経験や技量に劣るカメラマンが映像制作に加わる場合でも、他のカメラマンの経験や技量がフォーカス合わせの補正結果に反映されるので、各カメラマンがストレスなく撮影を行い、高品質な番組映像を制作することができる。

以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

（変形例１：３次元座標系でのカメラ位置の算出）
前記した実施形態では、カメラ位置座標が２次元座標系で表されることとして説明したが、カメラ位置座標が３次元座標系であってもよい。この場合、以下で説明するように、カメラ位置座標を１次元増やすことで、被写体の推定位置を算出できる。

まず、カメラ位置算出部は、任意の３台のカメラを選択し、同一平面上（ｚ＝０）に存在するとみなして、各カメラの位置を三辺測量により算出する。さらに、４台目のカメラを任意に選択し、３台目のカメラから４台目のカメラまでの距離をそれぞれ求める。この場合、４台のカメラは、各辺の長さがカメラ間の距離となる三角錐の頂点に位置するので、３台のカメラの位置から４台目のカメラの位置を算出できる。
なお、４台目のカメラの位置の解が、高さを示すｚ座標値が０未満になる解（符号が負）とｚ座標値が０を超える解（符号が正）との２つになる場合、任意の符号の解を選択すればよい。

以上の手順により、４台目までのカメラの位置が既知となるので、５台目以降のカメラの位置も算出できる。具体的には、４台目までのカメラの位置を中心とし、４台目までのカメラのそれぞれと５台目以降のカメラとの距離を半径とする球を求め、各球の交点の位置を５台目以降のカメラの位置とすればよい。

（他変形例）
前記した実施形態では、カメラ間の距離やカメラから被写体までの距離を各カメラのフォーカス距離から算出することとして説明したが、これに限定されない。例えば、赤外線センサやレーザ測距計で距離を計測してカメラの位置を算出してもよく、ＧＰＳでカメラの位置を計測してもよい。

前記した実施形態では、全てのカメラが同一の被写体を撮影することとして説明したが、これに限定されない。すなわち、複数のカメラのうち、同一の被写体を撮影しているカメラのフォーカス距離を用いて、被写体の推定位置を算出すればよい。さらに、被写体が複数の場合、各被写体を撮影するカメラをグループ化し、そのグループ毎に被写体の推定位置を算出してもよい。

前記した実施形態では、カメラのフォーカス合わせを補助するフォーカス補助装置３（図２）を説明したが、本発明は、これに限定されない。例えば、本発明は、カメラ位置算出部３０と、カメラ位置記録部３１と、被写体位置推定部３２とを備える被写体位置推定装置３Ａとしても実現できる。この場合、被写体位置推定装置３Ａが出力した被写体の推定位置を用いて、ＣＧ合成等の映像演出が可能となる。

前記した実施形態では、サッカーの試合を一例として説明したが、本発明は、サッカー以外のスポーツ中継にも適用できる。さらに、本発明は、スポーツ中継以外の撮影にも適用できる。
前記した実施形態では、カメラの位置や被写体の位置を三辺測量や円の交点から算出することとして説明したが、これに限定されない。
前記した実施形態では、被写体の推定位置を算出する手法が最小二乗法であることとして説明したが、これに限定されない。

前記した実施形態では、フォーカス補助装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したフォーカス補助装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ フォーカス補助システム
２，２_１～２_６，２_ｎ カメラ
３ フォーカス補助装置
３Ａ 被写体位置推定装置
９ フィールド
２０ レンズ
２１ アクチュエータ付きフォーカスデマンド
３０ カメラ位置算出部
３１ カメラ位置記録部
３２ 被写体位置推定部
３３ デマンドフィードバック信号生成部（フィードバック信号生成部）
Ｔ 被写体

Claims (6)

1. 同一の被写体を撮影する複数のカメラの位置を示す位置情報と、前記被写体にフォーカスを合わせたときの各カメラのフォーカス距離を示す被写体距離情報とを用いて、前記被写体の推定位置を算出する被写体位置推定装置であって、
   前記位置情報が示す各カメラの位置から前記被写体の推定位置までの距離と前記被写体距離情報が示す各カメラのフォーカス距離との誤差を算出し、前記カメラ毎に算出した誤差の合計値が最小となる前記被写体の推定位置を最適化問題により算出する被写体位置推定部、を備え、
   前記被写体位置推定部は、前記カメラの役割、前記カメラから前記被写体までの距離、又は、前記カメラの撮影方向と前記被写体の進行方向とのなす角に基づいて前記カメラ毎に重みが予め設定され、前記カメラ毎に算出した誤差に前記重みを乗算することを特徴とする被写体位置推定装置。
2. 同一の被写体を撮影する複数のカメラの位置を示す位置情報と、前記被写体にフォーカスを合わせたときの各カメラのフォーカス距離を示す被写体距離情報とを用いて、前記被写体の推定位置を算出する被写体位置推定装置であって、
   前記位置情報が示す各カメラの位置から前記被写体の推定位置までの距離と前記被写体距離情報が示す各カメラのフォーカス距離との誤差を算出し、前記カメラ毎に算出した誤差の合計値が最小となる前記被写体の推定位置を最適化問題により算出する被写体位置推定部、を備え、
   少なくとも３台以上の前記カメラについて、前記カメラ間の距離を示すカメラ間距離情報が入力され、
   入力された前記カメラ間距離情報に基づいて、３台目までの前記カメラの位置を三辺測量により算出し、
   前記カメラが４台以上の場合、３台の前記カメラの位置を中心とし、３台の前記カメラから４台目以降の前記カメラまでの距離を半径とする円をそれぞれ求め、求めた前記円の交点を、４台目以降の前記カメラの位置として算出し、前記位置情報を生成するカメラ位置算出部、
   をさらに備えることを特徴とする被写体位置推定装置。
3. 前記カメラ位置算出部は、前記カメラ間距離情報として、３台の前記カメラが互いにフォーカスを合わせたときのフォーカス距離が入力されることを特徴とする請求項２に記載の被写体位置推定装置。
4. 請求項１から請求項３の何れか一項に記載の被写体位置推定装置で算出した被写体の推定位置に基づいて、前記カメラのフォーカス合わせを補助するフォーカス補助装置であって、
   前記被写体位置推定装置と、
   前記カメラ毎に算出した誤差とフィードバック信号との関係を示す規則が予め設定され、前記規則に従って、前記被写体位置推定部が算出した誤差から前記フィードバック信号を生成し、生成した前記フィードバック信号を前記カメラに出力するフィードバック信号生成部と、
   を備えることを特徴とするフォーカス補助装置。
5. コンピュータを、請求項１から請求項３の何れか一項に記載の被写体位置推定装置として機能させるためのプログラム。
6. コンピュータを、請求項４に記載のフォーカス補助装置として機能させるためのプログラム。

Images