JP4389901B2 - スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム - Google Patents

Description

本発明はカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置に関し、特に、スポーツ競技等の撮影に用いられるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラムに関する。

フィギュアスケート等のスポーツ競技の動画撮影は、カメラマンがカメラを手動で動かし、競技中の撮影対象を撮影するという手法が用いられてきた。しかし、競技中の撮影対象を常に確実に追尾して撮影するためには、卓越した技術が必要である。また、競技が続行している間は休むことなく撮影に集中する必要があるため、カメラマンに対する負担は非常に大きくなる。更に、カメラの操作は人間により行われるため、カメラの設置できる場所が限定されるという問題がある。このような問題を解決するため、従来より、カメラが撮影対象を自動的に追尾する技術が開示されている。

例えば、特許文献１では、競技エリアを見渡せる位置に取り付けられた位置検出用のカメラにより撮影された画像上で撮影対象の特徴を用いた画像認識を行うことにより撮影対象の位置を特定し、その方向に対して撮影用のカメラの追尾処理を行う技術が開示されている。

また、特許文献２は、特許文献１と同様に、カメラにより撮影した画像により撮影対象の位置を特定し、追尾を行うものであるが、位置検出用と撮影用のカメラを共用とし、カメラの総台数を抑える技術が開示されている。

特許文献３では、撮影対象が位置情報信号を発信する発信機を保持し、ビデオカメラ近くに設置した受信機で前記位置信号を受信することで撮影対象の位置を特定し、ビデオカメラのズーム、方向を制御する技術が開示されている。

特開平１０−２７６３５１号公報 特開２００１−２８５８４９号公報 特開２００３−２７４２５７号公報

しかしながら、上述した従来の技術においては、その競技において多くの観客が注目しているハイライトシーンにおいて撮影すべき対象を撮り逃がしてしまう可能性があるという問題があった。なぜならば、スポーツ競技におけるハイライトシーンは、競技によって複数の人物や物により構成されることがあり、また、競技の進行により撮影対象となる人や物が刻々と変化することがあるにもかかわらず、上述した従来の技術においては、撮影用のカメラが追尾する撮影対象が特定の人物やボールなどの物に固定されてしまうからである。

（本発明の目的）
本発明の目的は、上述した従来の技術において、多くの観客が注目しているハイライトシーンにおいて注目されるイベント（撮影すべき対象）を確実に（追尾）撮影することができるカメラ自動制御装置を提供することにある。

本発明の第１のカメラ自動制御システムは、視線検出対象を撮影する視線検出対象撮影手段を有する視線検出用カメラと、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルを保存する顔画像蓄積手段と、前記視線検出対象撮影手段により撮影された前記視線検出対象の顔画像に対応する視線ベクトルを前記顔画像モデルテーブルから抽出する画像照合手段と、前記画像照合手段が抽出した前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定手段と、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御手段とを有するカメラ自動制御装置とを備えたことを特徴とする。

本発明の第２のカメラ自動制御システムは、第１のカメラ自動制御システムにおいて、前記撮影対象位置推定手段が、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする。

本発明の第３のカメラ自動制御システムは、第１または第２のカメラ自動制御システムにおいて、前記競技撮影用カメラ制御手段から前記撮影制御情報を受信し、当該撮影制御情報に従って前記撮影対象を撮影する撮影対象追尾手段を有する競技撮影用カメラを備えたことを特徴とする。

本発明の第４のカメラ自動制御システムは、第３のカメラ自動制御システムにおいて、前記撮影対象に対して所定の位置に配置された複数の前記競技撮影用カメラの出力映像のうちの１つを選択するように出力映像を切り替える際に、切り替え前の前記競技撮影用カメラと切り替え後の前記競技撮影用カメラの間に他の前記競技撮影用カメラがある場合には、各競技撮影用カメラの出力映像を切り替え前の前記競技撮影用カメラ側から順次切り替える出力映像切替手段を有する競技映像切替装置を備えたことを特徴とする。

本発明の第５のカメラ自動制御システムは、第３のカメラ自動制御システムにおいて、前記競技撮影用カメラ制御手段が、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする。

本発明の第６のカメラ自動制御システムは、第５のカメラ自動制御システムにおいて、前記競技撮影用カメラを移動するカメラ位置移動手段と、前記移動制御情報に従って前記カメラ位置移動手段を制御して前記競技撮影用カメラを移動させる移動制御手段とを有する移動カメラ装置を備えたことを特徴とする。

本発明の第７のカメラ自動制御システムは、第１乃至第６のいずれかのカメラ自動制御システムにおいて、前記撮影対象位置推定手段が、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする。

本発明の第１のカメラ自動制御方法は、カメラ自動制御装置が、視線検出用カメラが撮影した視線検出対象の顔画像に対応する視線ベクトルを、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルから抽出する画像照合ステップと、前記画像照合ステップにおいて抽出された前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定ステップと、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御ステップとを含むことを特徴とする。

本発明の第２のカメラ自動制御方法は、第１のカメラ自動制御方法において、前記撮影対象位置推定ステップが、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする。

本発明の第３のカメラ自動制御方法は、第１または第２のカメラ自動制御方法において、競技撮影用カメラが、前記競技撮影用カメラ制御ステップにおいて求められた前記撮影制御情報を受信し、当該撮影制御情報に従って前記撮影対象を撮影する撮影対象追尾ステップを含むことを特徴とする。

本発明の第４のカメラ自動制御方法は、第３のカメラ自動制御方法において、競技映像切替装置が、前記撮影対象に対して所定の位置に配置された複数の前記競技撮影用カメラの出力映像のうちの１つを選択するように出力映像を切り替える際に、切り替え前の前記競技撮影用カメラと切り替え後の前記競技撮影用カメラの間に他の前記競技撮影用カメラがある場合には、各競技撮影用カメラの出力映像を切り替え前の前記競技撮影用カメラ側から順次切り替える出力映像切替ステップを含むことを特徴とする。

本発明の第５のカメラ自動制御方法は、第３のカメラ自動制御方法において、前記競技撮影用カメラ制御ステップが、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする。

本発明の第６のカメラ自動制御方法は、第５のカメラ自動制御方法において、移動カメラ装置が、前記移動制御情報に従って前記競技撮影用カメラを移動させる移動制御ステップを含むことを特徴とする。

本発明の第７のカメラ自動制御方法は、第１乃至第６のいずれかのカメラ自動制御方法において、前記撮影対象位置推定ステップが、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする。

本発明の第１のカメラ自動制御装置は、視線検出用カメラが撮影した視線検出対象の顔画像に対応する視線ベクトルを、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルから抽出する画像照合手段と、前記画像照合手段において抽出された前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定手段と、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御手段とを備えたことを特徴とする。

本発明の第２のカメラ自動制御装置は、第１のカメラ自動制御装置において、前記撮影対象位置推定手段が、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする。

本発明の第３のカメラ自動制御装置は、第１または第２のカメラ自動制御装置において、前記撮影制御情報を競技撮影用カメラに送信して当該撮影制御情報に従って前記撮影対象を撮影させることを特徴とする。

本発明の第４のカメラ自動制御装置は、第３のカメラ自動制御装置において、前記競技撮影用カメラ制御手段が、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする。

本発明の第５のカメラ自動制御装置は、第１乃至第４のいずれかのカメラ自動制御装置において、前記撮影対象位置推定手段が、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする。

本発明の第１のプログラムは、視線検出用カメラが撮影した視線検出対象の顔画像に対応する視線ベクトルを、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルから抽出する画像照合処理と、前記画像照合処理において抽出された前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定処理と、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御処理とをカメラ自動制御装置に行わせることを特徴とする。

本発明の第２のプログラムは、第１のプログラムにおいて、前記撮影対象位置推定処理が、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする。

本発明の第３のプログラムは、第１または第２のプログラムにおいて、前記撮影制御情報を競技撮影用カメラに送信して当該撮影制御情報に従って前記撮影対象を撮影させることを特徴とする。

本発明の第４のプログラムは、第３のプログラムにおいて、前記競技撮影用カメラ制御処理が、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする。

本発明の第５のプログラムは、第１乃至第４のいずれかのプログラムにおいて、前記撮影対象位置推定処理が、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする。

本発明の効果は、撮影対象を追尾するカメラ自動制御装置において、スポーツ競技等において注目されるイベントを確実に追尾できることである。その理由は、撮影対象の位置検出のために、審判員や記録員など、常時競技に集中している人物を視線検出対象として視線検出用カメラで撮影し、これら視線検出対象の顔画像とあらかじめ用意された顔画像モデルとの照合を行い、認識された顔画像モデルに対応する視線から撮影対象推定位置を算出するようにしたため、撮影対象が特定の人物や物に固定されず、競技中に視線検出対象が注目しているイベントを撮影対象とすることができるためである。

次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。本実施の形態の説明では、スポーツ競技を「フィギュアスケート」とする。

図１に本発明の実施の形態の全体を示すブロック図を示す。図１を参照すると、本発明の実施の形態は、視線検出用カメラ１１、制御装置１２、競技撮影用カメラ１３から構成される。制御装置１２は、プログラム制御によって動作し、画像照合部１４、顔画像蓄積部１５、撮影対象位置推定部１６、競技撮影用カメラ制御部１７から構成される。

視線検出用カメラ１１は、審判員や記録員など、競技中は移動せずに競技を注視している複数の静止人物を視線検出対象として撮影し、その動画像を画像照合部１４に送出するものであり、視線検出対象を常に正面から撮影できるように固定される。本実施の形態では、視線検出対象を審判員とする。 図２に本発明の実施の形態におけるカメラの配置例を示す。図２においては、複数の審判員５１が審判団ブースのような１つの場所に集中して配置されており、１台の視線検出用カメラ１１で全ての審判員５１を正面から撮影した審判員監視画像２０が取得できる場合を示している。複数の審判員５１が離れた位置に配置されている場合は、それぞれの審判員５１が正面から撮影できるように、複数の視線検出用カメラ１１を配置する。

画像照合部１４は、視線検出用カメラ１１にて撮影した動画像から、各審判員５１の視線ベクトル３１を求めるものであり、動画像のフレーム２１から各審判員５１の顔画像２２を切り出し、顔画像蓄積部１５の顔画像モデルテーブル２３に登録されている審判員５１の顔画像モデル２５との照合を行い、照合の結果、認識された顔画像モデル２５に対応する視線ベクトル３１を決定する。

顔画像蓄積部１５は、画像照合部１４にて審判員５１の顔画像２２の画像照合を行うために、あらかじめ審判員５１の正面顔画像モデル２５を保存するものである。顔画像蓄積部１５に保存される顔画像モデルテーブル２３を図３に示す。顔画像モデルテーブル２３は、予想される複数の顔方向２４とその顔方向２４に対応する顔画像モデル２５、視線ベクトル３１から構成され、審判員５１ごとにあらかじめ用意される。顔方向２４の数は多いほどより正確な照合を行うことができるが、保存するデータ量や照合のための処理負荷も増大するため、顔画像蓄積部１５に保存できるデータ量や制御装置１２の処理能力に応じて適切な値が選択される。図３では顔方向２４の数を９方向としている。

撮影対象位置推定部１６は、画像照合部１４で決定された各審査員５１の視線ベクトル３１から、競技撮影用カメラ１３で撮影すべき撮影対象推定位置３６（３次元座標）を求めるものである。撮影対象位置推定部１６は、各審査員５１の視線ベクトル３１から、各審査員５１の視線３２を求め、視線３２が集中する点を撮影対象推定位置３６とする。競技中は、各審判員５１は競技に集中しており、各審判員５１の視線３２が集中する点で競技が行われているため、撮影対象推定位置３６の撮影対象５２が撮影できるように競技撮影用カメラ１３の方向、焦点を制御することにより、審査員５１が注目している競技中のイベントを撮影することができる。

競技撮影用カメラ制御部１７は、撮影対象位置推定部１６で求めた撮影対象推定位置３６（３次元座標）の撮影対象５２が撮影できるように、競技撮影用カメラ１３の方向、焦点を制御するものである。

競技撮影用カメラ１３は競技の放送、録画のために競技の映像を撮影するものであり、競技が撮影可能な任意の場所に配置される。競技撮影用カメラ１３は、競技撮影用カメラ制御部１７により指示された撮影制御情報に従って、方向、焦点を変更し、撮影対象推定位置３６に存在する撮影対象５２を追尾しながら撮影する。

次に、本発明を実施するための最良の形態の動作について図面を参照して説明する。

図４に本発明の実施の形態における装置全体の処理フローを示す。画像照合部１４は、競技の開始に伴い、視線検出用カメラ１１より送出された動画像からフレーム２１を抽出する（Ｓ１０２）。次に、フレーム２１内の審判員５１の顔画像２２と顔画像蓄積部１５に登録しておいた審判員５１の顔画像モデル２５との照合を行い、照合の結果、認識された顔画像モデル２５から対応する視線ベクトル３１を求め、撮影対象位置推定部１６に送出する（Ｓ１０３）。次に、撮影対象位置推定部１６は、画像照合部１４にて求めた複数の視線ベクトル３１から撮影対象推定位置３６（３次元座標）を算出し競技撮影用カメラ制御部１７に送出する（Ｓ１０４）。競技撮影用カメラ制御部１７は、競技撮影用カメラ１３の撮影制御情報（水平方向、垂直方向の制御角度、距離）を求め、競技撮影用カメラ１３に送出する（Ｓ１０５）。競技撮影用カメラ１３は、競技撮影用カメラ制御部１７から指示された撮影制御情報に従って方向、焦点を変更し、撮影対象推定位置３６に存在する撮影対象５２を追尾しながら撮影する（Ｓ１０６）。ステップＳ１０２からＳ１０６までを競技が終了するまで繰り返し行う（Ｓ１０７）。

次に、画像照合部１４、撮影対象位置推定部１６および競技撮影用カメラ制御部１７の動作の詳細を説明する。

図５に画像照合部１４の処理フロー、図６に画像照合の概念図を示す。 画像照合部１４は視線検出用カメラ１１より送出された動画像からフレーム２１を抽出し（Ｓ２０１、図６（ａ））、フレーム２１の画像から審判員５１の顔画像２２をトリミングにより抽出する（Ｓ２０２、図６（ｂ））。ここで、２人以上の顔画像２２が抽出できなかった場合は、当該フレーム２１の処理は中止し、次のフレーム２１の処理に移る（Ｓ２０３）。次に、トリミングにより抽出された各審判員５１の顔画像２２と顔画像蓄積部１５に登録しておいた各審判員５１の顔画像モデル２５との照合を行い（Ｓ２０４、図６（ｃ））、照合の結果、認識された顔画像モデル２５に対応する視線ベクトル３１を求め（Ｓ２０５）、撮影対象位置推定部１６に送出する（Ｓ２０６）。

例えば、図２のように４人の審査員５１ａ、ｂ、ｃ、ｄが配置されている場合、顔画像蓄積部１５には、図３に示す顔画像モデルテーブル２３ａ、ｂ、ｃ、ｄが用意される。画像照合部１４における顔画像モデル２５との照合の結果、各審査員５１ａ、ｂ、ｃ、ｄの顔方向２４がそれぞれ上、上、左上、左上と認識された場合、各審査員の視線ベクトル３１ａ、ｂ、ｃ、ｄは、それぞれＶａ２、Ｖｂ２、Ｖｃ１、Ｖｄ１となる。

図７に撮影対象位置推定部１６の処理フローを、図９に視線ベクトル３１から撮影対象推定位置３６を決定する方法を示す。競技撮影用カメラ制御部１７は、審査員５１の顔位置３７から画像照合部１４において得られた視線ベクトル３１の方向に直線を引き、これを視線３２とする（Ｓ３０１）。次に、それぞれの視線３２をｘｙ平面に投影したときの交点である水平面交点３３を全て求める（Ｓ３０２）。次に得られた全ての水平面交点３３に対するｘｙ平面上での重心（全ての水平面交点３３のｘ座標、ｙ座標の平均値）を求め、この重心を撮影対象５２の水平方向推定位置３４とする（Ｓ３０３）。更に、水平面交点３３上で視線３２がとり得る高さ（水平面交点３３上での垂線と視線３１の交点である視線高さ算出点３８のｚ座標の値）を全て求め、この平均値を撮影対象５２の高さ方向推定位置３５とする（Ｓ３０４）。水平方向推定位置３４と高さ方向推定位置３５から特定される点を撮影対象推定位置３６とし（Ｓ３０５）、競技撮影用カメラ制御部１７に送出する（Ｓ３０６）。

例えば、図９においては、各審査員５１ａ、ｂ、ｃ、ｄの顔位置３７ａ、ｂ、ｃ、ｄより視線ベクトル３１ａ、ｂ、ｃ、ｄの方向に直線を引き、これらを視線３２ａ、ｂ、ｃ、ｄとする。これらの視線３２ａ、ｂ、ｃ、ｄをｘｙ平面に投影した場合、４つの水平面交点３３ａ（ｘａｃ，ｙａｃ）、３３ｂ（ｘｂｃ，ｙｂｃ）、３３ｃ（ｘａｄ，ｙａｄ）、３３ｄ（ｘｂｄ，ｙｂｄ）が得られる。これら４つの水平面交点３３ａ、ｂ、ｃ、ｄのｘ座標、ｙ座標の平均値が撮影対象５２の水平方向推定位置３４（ｘｅ，ｙｅ）となる。また、全ての水平面交点３３ａ、ｂ、ｃ、ｄ上での垂線と視線３２ａ、ｂ、ｃ、ｄの交点として８つの視線高さ算出点３８ａ〜ｈが存在し、これらの視線高さ算出点３８ａ〜ｈのｚ座標の平均値が、高さ方向推定位置３５ｚｅとなる。この結果、撮影対象推定位置３６（ｘｅ，ｙｅ，ｚｅ）が得られる。

図８に競技撮影用カメラ制御部１７の処理フローを示す。競技撮影用カメラ制御部１７は、競技撮影用カメラ位置３９と撮影対象推定位置３６の位置関係から、競技撮影用カメラ１３の撮影制御情報（水平方向、垂直方向の制御角度、距離）を求め（Ｓ４０１）、競技撮影用カメラ１３に送出する（Ｓ４０２）。

例えば、図９においては、撮影対象推定位置３６は（ｘｅ，ｙｅ，ｚｅ）と競技撮影用カメラ位置３９（ｘｖ、ｙｖ、ｚｖ）を直線で結んだ場合の水平方向、垂直方向の制御角度α、β、距離Ｌを撮影制御情報として競技撮影用カメラ１３に送出する。

以上により、本発明の第１の実施の形態の動作が完了する。

本発明の第１の実施の形態によれば、撮影対象を追尾するカメラ自動制御装置において、スポーツ競技等において注目されるイベントを確実に追尾できる。その理由は、撮影対象５２の位置検出のために、審判員や記録員など、常時競技に集中している人物を視線検出対象として視線検出用カメラ１１で撮影し、これら視線検出対象の顔画像とあらかじめ用意された顔画像モデル２５との照合を行い、認識された顔画像モデル２５に対応する視線３２から撮影対象推定位置３６を算出するようにしたため、撮影対象５２が特定の人物や物に固定されず、競技中に視線検出対象が注目しているイベントを撮影対象５２とすることができるためである。

また、本発明の第１の実施の形態によれば、撮影対象５２の位置検出に必要なカメラの台数を低減できる。その理由は、位置検出のために、審判員や記録員などの競技中に移動しない静止人物を視線検出対象として視線検出用カメラ１１で撮影するようにしているため、視線検出用カメラ１１の設置を適切に行うことで、視線検出用カメラ１１が常に視線検出対象を捉えることができ、同じ視線検出対象を複数の方向から撮影する必要が無いためである。

また、本発明の第１の実施の形態によれば、撮影対象５２の追尾処理が安定したものとなる。その理由は、上述のように、競技中に移動しない静止人物を視線検出対象として視線検出用カメラ１１で撮影するようにしているため、顔画像の照合処理において、照合対象となる視線検出対象が動画フレーム２１間で大きく移動することが無いためである。

（発明の他の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

本発明の第２の実施の形態においては、競技撮影用カメラ１３を複数配置し、競技撮影用カメラ１３の映像出力を選択する競技映像切替装置１８を設けた点において、第１の実施の形態と異なる。

図１０に本発明の第２の実施の形態のブロック図を、図１１に競技撮影用カメラ１３の配置例を示す。図１０、図１１を参照すると、本発明の第２の実施の形態においては、競技撮影用カメラ１３を複数とし、撮影対象５２に対して異なる視点からの撮影が可能となるように、等間隔に配置する。また、競技映像切替装置１８は、競技撮影用カメラ１３の映像出力を選択するものであり、操作者から入力された競技映像切替指示入力４２に応じて、各競技撮影用カメラ１３からの映像出力を選択し、競技映像出力４１に出力する。

次に、本発明の第２の実施の形態の動作について説明する。本発明の第２の実施の形態のうち、視線検出対象の顔画像照合により得られる視線３２から撮影対象推定位置３６を求める手順は、第１の実施の形態と同様となる。競技撮影用カメラ制御部１７は、全ての競技撮影用カメラ１３について、各競技撮影用カメラ１３の設置位置３９と撮影対象推定位置３６の位置関係から、各競技撮影用カメラ１３の撮影制御情報（水平方向、垂直方向の制御角度、距離）を求め、各競技撮影用カメラ１３に送出する。全ての競技撮影用カメラ１３は同一の撮影対象推定位置３６に存在する撮影対象５２を別々の視点から追尾、撮影する。競技映像切替装置１８では、操作者から競技映像切替指示入力４２により映像を出力すべき競技撮影用カメラ１３が指示された場合、その時点で選択中の競技撮影用カメラ１３と操作者から指示された競技撮影用カメラ１３の間にある競技撮影用カメラ１３を順次選択し、競技映像出力４１とする。

例えば、図１１において、全ての競技撮影用カメラ１３ａ〜１３ｐは撮影対象推定位置３６（ｘｅ，ｙｅ，ｚｅ）に存在する撮影対象５２を追尾、撮影している。競技撮影用カメラ１３ａを選択中に、競技映像切替指示入力４２として競技撮影用カメラ１３ｆへの切替が指示された場合、競技映像切替装置１８は、競技撮影用カメラ１３ａ→１３ｂ→１３ｃ→１３ｄ→１３ｅ→１３ｆの順に競技撮影用カメラ１３を順次選択し、その出力映像を競技映像出力４１とする。

本発明の第２の実施の形態によれば、撮影対象を追尾するカメラ自動制御装置において、映像の視点切替を滑らかに行うことができる。その理由は、同じ撮影対象５２を異なる視点から撮影できるように複数の競技撮影用カメラ１３を配置し、全ての競技撮影用カメラ１３が同じ撮影対象５２を撮影するように制御し、２つの異なる視点の競技撮影用カメラ１３間で映像を切り替える際、競技映像切替装置１８が、２つの競技撮影用カメラ１３間にある競技撮影用カメラ１３の映像出力も順次選択して出力するためである。

次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。

本発明の第３の実施の形態においては、競技撮影用カメラ１３を移動カメラ装置６１に実装し、撮影対象５２の移動に伴い、競技撮影用カメラ１３の位置も撮影対象５２を追尾しながら移動するようにした点において、第１の実施の形態、および第２の実施の形態と異なる。

図１２に本発明の第３の実施の形態のブロック図を、図１３に移動カメラ装置６１の配置図を示す。図１２、図１３を参照すると、移動カメラ装置６１は競技撮影用カメラ１３を競技エリア６５（例えば、バスケットのコート、フィギュアスケートのリンク）の上部空間の任意の位置に移動させるものであり、競技撮影用カメラ１３、移動制御部６２、カメラ位置移動部６３により構成される。

移動制御部６２は競技撮影用カメラ制御部１７により指示された移動制御情報に従って、移動目標位置７１に向かって、一定の速度で競技撮影用カメラ１３が移動するようにカメラ位置移動部６３を制御する。また、競技撮影用カメラ位置３９を競技撮影用カメラ制御部１７に送信する。カメラ位置移動部６３は競技撮影用カメラ１３の位置を変えるための機構であり、一端が天井や壁に固定され、複数の可動部６４を持つアーム構造を持つ。カメラ位置移動部６３の機構については、競技撮影用カメラ１３の位置を任意に変更できるものであれば、レール上を移動するクレーン等、他の機構でも良い。

また、競技撮影用カメラ制御部１７は、撮影制御情報（競技撮影用カメラ１３の水平方向、垂直方向の制御角度、距離）を求めて競技撮影用カメラ１３の撮影方向を制御することに加え、撮影対象推定位置３６から、移動目標位置７１を含む移動制御情報を求め、移動制御部６２に送ることにより、競技撮影用カメラ１３の位置も制御する。

次に、本発明の第３の実施の形態の動作について図面を参照して説明する。

図１４に本発明の第３の実施の形態の装置全体の処理フローを、図１５に競技撮影用カメラ制御部１７の処理フローを示す。図１４において、視線検出用カメラ１１より送出された動画像から、撮影対象位置推定部１６において撮影対象推定位置３６を求めるまでの手順は（Ｓ５０１〜Ｓ５０４）は、本発明の第１の実施の形態（図４、Ｓ１０１〜Ｓ１０４）と同様である。競技撮影用カメラ制御部１７は、移動制御部６２から競技撮影用カメラ位置３９を取得し（Ｓ５０５）、競技撮影用カメラ位置３９と撮影対象推定位置３６から競技撮影用カメラ１３の撮影制御情報（水平方向、垂直方向の制御角度、距離）を求め、競技撮影用カメラ１３に送出する（Ｓ５０６、Ｓ６０１、Ｓ６０２）。競技撮影用カメラ１３は、競技撮影用カメラ制御部１７から指示された撮影制御情報に従って方向、焦点を変更し、撮影対象推定位置３６に存在する撮影対象５２を撮影する（Ｓ５０７）。

次に、競技撮影用カメラ制御部１７は、撮影対象推定位置３６から、競技撮影用カメラ１３が移動すべき移動目標位置７１（ｘｍ，ｙｍ，ｚｍ）を求め、移動制御情報として移動制御部６２に送信する（Ｓ５０８、Ｓ６０３、Ｓ６０４）。移動目標位置７１については、対象となる競技に応じて、競技撮影用カメラ１３が撮影対象推定位置３６に存在する撮影対象５２を適切な視点（方向、距離）で撮影できるように決定される。

例えば、図１３の競技において、撮影対象５２を真上から常に一定の高さｊで見ることが求められている場合、撮影対象推定位置３６の水平面に対する垂線上の（ｘｅ，ｙｅ，ｊ）が移動目標位置７１となる。

移動制御部６２は競技撮影用カメラ制御部１７により指示された移動制御情報に従って、移動目標位置７１（ｘｍ，ｙｍ，ｚｍ）に向かって、一定の速度で競技撮影用カメラ１３が移動するようにカメラ位置移動部６３を制御する（Ｓ５０９）。

以上により、本発明の第３の実施の形態の動作が完了する。

本発明の第３の実施の形態によれば、撮影対象を追尾するカメラ自動制御装置において、撮影対象に対する撮影距離や方向を一定に保ちながら撮影対象を撮影することができる。その理由は、移動カメラ装置６１により競技撮影用カメラ１３を任意の位置に移動できるようにし、撮影対象推定位置３６から、競技撮影用カメラ１３が撮影対象５２を競技で要求される視点から撮影するための移動目標位置７１を求め、競技撮影用カメラ１３が移動目標位置７１に移動するように制御するためである。

本発明は、スポーツ競技の撮影や演劇等の舞台の撮影におけるカメラの自動制御に利用可能である。

本発明の第１の実施の形態の全体を示すブロック図である。 本発明の第１の実施の形態におけるカメラの配置図である。 顔画像蓄積部に保存される顔画像モデルである。 本発明の第１の実施の形態の全体動作を示すフローチャートである。 画像照合部の動作を示すフローチャートである。 画像照合部において視線ベクトルを求める方法を示す概念図である。 撮影対象位置推定部の動作を示すフローチャートである。 競技撮影用カメラ制御部の動作を示すフローチャートである。 視線ベクトルから撮影対象推定位置を決定する方法の説明図である。 本発明の第２の実施の形態の全体を示すブロック図である。 本発明の第２の実施の形態における競技撮影用カメラの配置図である。 本発明の第３の実施の形態の全体を示すブロック図である。 本発明の第３の実施の形態における移動カメラ装置の配置図である。 本発明の第３の実施の形態の全体動作を示すフローチャートである。 本発明の第３の実施の形態における競技撮影用カメラ制御部の動作を示すフローチャートである。

符号の説明

１１ 視線検出用カメラ
１２ 制御装置
１３ 競技撮影用カメラ
１４ 画像照合部
１５ 顔画像蓄積部
１６ 撮影対象位置推定部
１７ 競技撮影用カメラ制御部
１８ 競技映像切替装置
２０ 審判員監視画像
２１ フレーム
２２ 顔画像
２３ 顔画像モデルテーブル
２４ 顔方向
２５ 顔画像モデル
３１ 視線ベクトル
３２ 視線
３３ 水平面交点
３４ 水平方向推定位置
３５ 高さ方向推定位置
３６ 撮影対象推定位置
３７ 顔位置
３８ 視線高さ算出点
３９ 競技撮影用カメラ位置
４１ 競技映像出力
４２ 競技映像切替指示入力
５１ 審判員
５２ 撮影対象
６１ 移動カメラ装置
６２ 移動制御部
６３ カメラ位置移動部
６４ 可動部
６５ 競技エリア
７１ 移動目標位置

Claims (24)

1. 視線検出対象を撮影する視線検出対象撮影手段を有する視線検出用カメラと、
   前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルを保存する顔画像蓄積手段と、前記視線検出対象撮影手段により撮影された前記視線検出対象の顔画像に対応する視線ベクトルを前記顔画像モデルテーブルから抽出する画像照合手段と、前記画像照合手段が抽出した前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定手段と、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御手段とを有するカメラ自動制御装置と
   を備えたことを特徴とするカメラ自動制御システム。
2. 前記撮影対象位置推定手段は、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする請求項１記載のカメラ自動制御システム。
3. 前記競技撮影用カメラ制御手段から前記撮影制御情報を受信し、当該撮影制御情報に従って前記撮影対象を撮影する撮影対象追尾手段を有する競技撮影用カメラを備えたことを特徴とする請求項１または２に記載のカメラ自動制御システム。
4. 前記撮影対象に対して所定の位置に配置された複数の前記競技撮影用カメラの出力映像のうちの１つを選択するように出力映像を切り替える際に、切り替え前の前記競技撮影用カメラと切り替え後の前記競技撮影用カメラの間に他の前記競技撮影用カメラがある場合には、各競技撮影用カメラの出力映像を切替前の前記競技撮影用カメラ側から順次切り替える出力映像切替手段を有する競技映像切替装置を備えたことを特徴とする請求項３記載のカメラ自動制御システム。
5. 前記競技撮影用カメラ制御手段は、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする請求項３記載のカメラ自動制御システム。
6. 前記競技撮影用カメラを移動するカメラ位置移動手段と、前記移動制御情報に従って前記カメラ位置移動手段を制御して前記競技撮影用カメラを移動させる移動制御手段とを有する移動カメラ装置を備えたことを特徴とする請求項５記載のカメラ自動制御システム。
7. 前記撮影対象位置推定手段は、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする請求項１乃至６のいずれかに記載のカメラ自動制御システム。
8. カメラ自動制御装置が、視線検出用カメラが撮影した視線検出対象の顔画像に対応する視線ベクトルを、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルから抽出する画像照合ステップと、前記画像照合ステップにおいて抽出された前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定ステップと、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御ステップとを含むことを特徴とするカメラ自動制御方法。
9. 前記撮影対象位置推定ステップは、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする請求項８記載のカメラ自動制御方法。
10. 競技撮影用カメラが、前記競技撮影用カメラ制御ステップにおいて求められた前記撮影制御情報を受信し、当該撮影制御情報に従って前記撮影対象を撮影する撮影対象追尾ステップを含むことを特徴とする請求項８または９に記載のカメラ自動制御方法。
11. 競技映像切替装置が、前記撮影対象に対して所定の位置に配置された複数の前記競技撮影用カメラの出力映像のうちの１つを選択するように出力映像を切り替える際に、切り替え前の前記競技撮影用カメラと切り替え後の前記競技撮影用カメラの間に他の前記競技撮影用カメラがある場合には、各競技撮影用カメラの出力映像を切り替え前の前記競技撮影用カメラ側から順次切り替える出力映像切替ステップを含むことを特徴とする請求項１０記載のカメラ自動制御方法。
12. 前記競技撮影用カメラ制御ステップは、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする請求項１０記載のカメラ自動制御方法。
13. 移動カメラ装置が、前記移動制御情報に従って前記競技撮影用カメラを移動させる移動制御ステップを含むことを特徴とする請求項１２記載のカメラ自動制御方法。
14. 前記撮影対象位置推定ステップは、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする請求項８乃至１３のいずれかに記載のカメラ自動制御方法。
15. 視線検出用カメラが撮影した視線検出対象の顔画像に対応する視線ベクトルを、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルから抽出する画像照合手段と、前記画像照合手段において抽出された前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定手段と、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御手段とを備えたことを特徴とするカメラ自動制御装置。
16. 前記撮影対象位置推定手段は、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする請求項１５記載のカメラ自動制御装置。
17. 前記撮影制御情報を競技撮影用カメラに送信して当該撮影制御情報に従って前記撮影対象を撮影させることを特徴とする請求項１５または１６に記載のカメラ自動制御装置。
18. 前記競技撮影用カメラ制御手段は、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする請求項１７記載のカメラ自動制御装置。
19. 前記撮影対象位置推定手段は、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする請求項１５乃至１８のいずれかに記載のカメラ自動制御装置。
20. 視線検出用カメラが撮影した視線検出対象の顔画像に対応する視線ベクトルを、前記視線検出対象を複数方向から撮影した顔画像のそれぞれと各顔画像の視線ベクトルとを対応付けた顔画像モデルテーブルから抽出する画像照合処理と、前記画像照合処理において抽出された前記視線ベクトルから撮影対象推定位置を求める撮影対象位置推定処理と、前記撮影対象推定位置の撮影対象を撮影するための撮影制御情報を求める競技撮影用カメラ制御処理とをカメラ自動制御装置に行わせることを特徴とするプログラム。
21. 前記撮影対象位置推定処理は、複数の前記視線検出対象の顔画像の視線ベクトルから前記撮影対象推定位置を求めることを特徴とする請求項２０記載のプログラム。
22. 前記撮影制御情報を競技撮影用カメラに送信して当該撮影制御情報に従って前記撮影対象を撮影させることを特徴とする請求項２０または２１に記載のプログラム。
23. 前記競技撮影用カメラ制御処理は、前記撮影対象推定位置に基づいて前記競技撮影用カメラが移動すべき移動目標位置へ当該競技撮影用カメラを移動させるための移動制御情報を求めることを特徴とする請求項２２記載のプログラム。
24. 前記撮影対象位置推定処理は、前記視線ベクトルから視線を求め、複数の当該視線を水平面に展開したときに形成される複数の水平面交点の重心を前記撮影対象推定位置の水平方向推定位置とし、前記複数の水平面交点上での垂線と前記視線により形成される複数の交点の垂直方向高さの平均値を前記撮影対象推定位置の高さ方向推定位置とすることを特徴とする請求項２０乃至２３のいずれかに記載のプログラム。
    

Images