JP3615868B2 - 自動撮影カメラシステム - Google Patents
自動撮影カメラシステム Download PDFInfo
- Publication number
- JP3615868B2 JP3615868B2 JP15313296A JP15313296A JP3615868B2 JP 3615868 B2 JP3615868 B2 JP 3615868B2 JP 15313296 A JP15313296 A JP 15313296A JP 15313296 A JP15313296 A JP 15313296A JP 3615868 B2 JP3615868 B2 JP 3615868B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- subject
- control
- motion
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビカメラを使用して撮影した画像から対象の３次元位置を計測し、その対象を自動追尾して無人で撮影することができる自動撮影カメラシステムに関する。
【０００２】
【従来の技術】
従来、カメラ操作者が直接テレビジョンカメラを操作せず、被写体を自動追尾して撮影することができるようにしたカメラシステムでは、水平，垂直方向に回動可能で外部からの制御信号により制御可能な撮影用カメラを用い、被写体の動きに合わせて撮影用カメラを駆動制御するようにしている。被写体を認識する方法としては、例えば、被写体（あるいは被写体と共に移動する物体）に予め検知マークを付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色など特定の色を被写体として認識する方法が採られている。そして、認識した被写体が画面の枠内の所定位置に位置するように撮影用カメラを駆動制御することで、被写体を追尾して撮影するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述のような追尾方法の場合、次の例に示すように、画面上での被写体の動きは“ぎこちない動き”となる。例えば図１４に示すように被写体１がｔ１時点からｔ３時点まで同図のような軌跡で移動したとする。その場合、図１５（Ａ）に示すように、先ずｔ１時点では、画面ＶＤ（ｔ１）上の目標位置に被写体１が位置するように撮影用カメラの向きを補正する。その後、次のｔ２時点までは同図（Ｂ）のように被写体１が画面ＶＤ（ｔ１〜ｔ２）上に表示される。次のｔ２時点では、再度、同図（Ｃ）のように画面ＶＤ（ｔ２）上の目標位置に被写体１が位置するように撮影用カメラの向きを補正する。同様に、図１５（Ｄ）のように被写体が動いた場合も、目標位置とのずれ量を補正する。すなわち、被写体の位置が所定位置からずれたら、そのずれ量を補正するという動作を繰り返すため、認識間隔の大きさに応じてぎこちない動きが増大する。また、円滑なカメラワークを実現するには被写体の認識間隔を小さくすれば良いが、そのための情報処理量が増えるため、制御装置の処理負荷が増大することになる。
【０００４】
また、上述のような１台の撮影用カメラで被写体を自動追尾するためには、カメラの画枠内に被写体が存在しないと機能しないため、目的とする被写体がカメラの画枠内に入ってきた時に、はじめて自動制御によるカメラ操作が開始されるようになっていた。そのため、カメラが被写体を捕らえるまでは手動でカメラ操作を行なわなければならず、また、被写体の移動速度に追いつけずに画枠内からはずれてしまった場合、自動追尾不能になるという問題があった。
【０００５】
一方、広い視野領域で撮影し、その領域の一部を拡大して撮影できるようにしたカメラシステムとして、広角画像撮影用とその画像の一部をなす画像撮影用の２個のテレビジョンカメラを備え、前者の無人カメラを用いて広い視野を撮影し、カメラ操作者がその撮影画像を見ながら、後者の撮影用カメラを遠隔操作（例えばパン，チルト，ズーム）等により操作して、目的とする被写体を撮影するようにしたカメラシステムが実現されている。このカメラシステムでは、無人カメラによる撮影画像をモニターするときのカメラ操作者の視線の動きを検出し、その動きを撮影用カメラの操作信号に変換してカメラ制御に反映する機能を備えることで、直接カメラを操作せずに撮影するようにしている（特開平７−２４０８６８号公報参照）。しかしながら、このような撮影方法では、広い視野領域で被写体を捕らえることができるという利点はあるが、カメラ操作者が間接的に操作する必要があり、自動追尾による無人での撮影を行なうことができなかった。
【０００６】
さらに、対象を自動追尾して無人で撮影する従来の自動撮影カメラシステムにおいては、画面内の被写体の位置や大きさ等が変化しない単調な映像が多く、一流カメラマンが直接操作しているような臨場感の高いカメラワークを実現することができなかった。
【０００７】
本発明は上述のような事情から成されたものであり、本発明の目的は、３次元空間内を移動する対象を自動追尾して撮影することができると共に、撮影中の状況の変化等に応じた最適なカメラワークで撮影することができる自動撮影カメラシステムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、自動撮影カメラシステムに関するものであり、本発明の上記目的は、（１）カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、前記カメラワーク制御部が、前記被写体の３次元空間内の位置に応じて前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御することによって達成される。
【０００９】
さらに、（２）カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、前記カメラワーク制御部が、前記被写体の速度に応じて前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すること、（３）カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、撮影空間領域を複数の撮影空間領域部に分割すると共に、当該撮影空間領域部での制御モード及び各撮影空間領域部の切替条件を予め設定しておき、前記カメラワーク制御部が前記切替条件に従って前記撮影空間領域部を切替えることで前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御することによってそれぞれ、より効果的に達成される。
【００１０】
【発明の実施の形態】
本発明では、カメラ操作者の眼に相当するセンサカメラにより撮影した広角映像の中から撮影すべき被写体を自動認識すると共に、３次元空間内での被写体の位置と動きを計測し、被写体の動きに応じて撮影用カメラを駆動制御することで、被写体の自動撮影を行なうようにしている。また、カメラワークの制御モードを複数持ち、対象の３次元座標位置や対象の速度等により制御モードをダイナミックに切替え、当該制御モードでのカメラワークで制御することで、撮影中の状況の変化等に応じた最適なカメラワークによる撮影を可能としている。
【００１１】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図１は本発明の自動撮影カメラシステムの概略構成を示しており、３次元空間を移動する被写体を捕らえるための２台のカメラ１００（以下、「センサカメラ」と呼ぶ）と１台の撮影用カメラ２００を備えたシステムの例を示している。センサカメラ１００は、カメラ操作者の両眼に相当するカメラであり、同図のように撮影対象の被写体１を含む広角映像を撮影する。このセンサカメラ１００は、被写体の３次元位置（３次元座標）を三角測量の原理で求めるために２台用いる。例えば、センサカメラ１００の視野領域を越えて移動する被写体１を追尾して撮影する場合には、複数のセンサカメラ１００が使用され、その場合には撮影範囲（計測範囲）が分割されてそれぞれ所定の位置に２台ずつ配置される。撮影用カメラ２００は、外部からの制御信号によりカメラのパン，チルト，ズーム，フォーカス等の調整が可能な駆動機構部（雲台）２１０と撮像部２２０とが一体的に構成されたカメラであり、パン軸及びチルト軸の回動制御により真下を除くほぼ全域の空間が撮影できるようになっている。
【００１２】
３次元位置計測装置３００は、センサカメラ１００の撮影された広角画像ＶＤ１ａ（ＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を認識（例えば被写体１の色情報により認識）すると共に、被写体１の現在位置を逐次計測する装置であり、撮影用カメラ２００の視点を原点とした三次元空間内での被写体１の現在位置（３次元座標情報），被写体１の大きさを示す情報（画像抽出部分の面積情報）等を計測情報ＰＤとして出力する。この計測情報ＰＤは入出力インタフェースを介してデータ解析装置５００に入力される。
【００１３】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤを基に被写体１の動きを解析し、被写体１の動きに応じて撮影用カメラ２００のカメラワークを制御する装置であり、駆動制御部４００を介して駆動信号ＭＳを送出し、撮影用カメラ２００のカメラワークを制御する。すなわち、データ解析装置５００では、３次元位置計測装置３００の計測情報ＰＤに基づいて被写体１の現在位置を認識する共に、被写体１の動き（各時点の位置，方位角，加速度等）を解析して次の瞬間の動きを予測し、この予測情報と現時点の撮影用カメラ２００の向きを示す情報等に基づいて撮影用カメラ２００のパン，チルト角度偏差及びズーム等の調整量を演算し、駆動制御データ（速度指令）Ｖｃｏｍを出力して被写体１の次の動作位置へと撮影用カメラ２００を駆動制御することで、被写体１を自動追尾して撮影するようにしている。
【００１４】
また、データ解析装置５００は、カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替える機能を備えており、状況に応じた最適なカメラワークで撮影することができるようにしている。例えば、被写体の３次元空間内の位置に応じて視野の大きさを変化させたり、被写体の速度に応じて画面内の被写体位置を変動させたり、時間帯に応じてアイリスの調整量を切替えたりというように、カメラワークの制御モードをダイナミックに切替えて撮影することができるようにしている。また、運動競技や自動車競技等、被写体が移動するコースが予め決まっている場合には、カメラワークの制御モードが異なる撮影区域（例えば、スキーのジャンプ競技のスタート地点→ジャンプ地点→着地地点等）ごとにカメラワークの制御パラメータをそれぞれ設定しておき、撮影空間内の被写体の位置に応じて制御パラメータを自動的に切替えることで、撮影区域に応じた最適なカメラワークで撮影することができるようにしている。
【００１５】
次に、各装置の構成例を示してより詳細に説明する。先ず、撮影用カメラと駆動制御部の構成について説明する。図２は、図１の撮影用カメラ２００と駆動制御部４００の構成例を示しており、撮影用カメラ２００は、モータ２１３，２１４の駆動によるパン軸２１１及びチルト軸２１２の回動により撮像部２２０の向き（水平及び垂直方向）が調整され、各モータ２１５の駆動により撮像部２２０のズーム，フォーカス，アイリスが調整されるようになっている。本例では、モータ２１５にはステップモータを使用し、モータ２１３，２１４には、高トルクを発生するダイレクトドライブモータを使用している。
【００１６】
駆動制御部４００は、雲台のモータ２１３〜２１５を駆動する制御ＣＰＵ４１０，モータドライバ４２０等から構成され、上位制御部（図１の構成例ではデータ解析装置５００）からの駆動制御データ（速度指令）Ｖｃｏｍに従って撮影用カメラ２００の駆動制御を行なう。すなわち、駆動制御部４００は、上位制御部からの駆動制御データ（速度指令）Ｖｃｏｍ及びデータベース４０１のパラメータＰＤＤ（各モータの駆動制御用パラメータ）を基に各モータ２１３〜２１５の駆動信号ＭＳ１〜ＭＳ３を制御ＣＰＵ４１０によって生成／出力し、モータドライバ４２０を介してサーボ制御による撮影用カメラ２００の制御を行なう。
【００１７】
次に、３次元位置計測装置とデータ解析装置の構成について説明する。図３は、図１の３次元位置計測装置３００とデータ解析装置５００の主要部の構成例をブロック図で示している。図３において、３次元位置計測装置３００は、センサカメラ１００で撮影された広角画像ＶＤ１ａ（又はＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を認識する被写体認識部３１０と、被写体１の３次元空間内の現在位置（３次元座標）を計測する３次元座標計測部３２０とから構成される。３次元位置計測装置３００の計測情報ＰＤは、データ解析装置５００内の動き解析部５１０に入力される。
【００１８】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤにより被写体１の動きを解析し、被写体１の現時点までの直近の動きベクトルを求める動き解析部５１０と、動き解析部５１０で求めた動きベクトルを基に被写体１の次の動きを予測し、次の動きベクトルを求めて被写体速度Ｖ等の予測情報を送出する動き予測部５２０と、カメラ角度／画角検出センサからの検出情報ＳＤ （あるいは撮影用カメラ２００からの撮影画像ＶＤ２）に基づいて撮影画面内の被写体最適位置までの撮影用カメラ２００の方位角（パン，チルト角度偏差）及び画角（ズーム）調整量を検出し、駆動信号の補正量を求めて速度補正情報（補正速度ΔＶ）を送出する速度補正量検出部５４０と、動き予測部５２０からの予測情報，及び速度補正量検出部５４０からの速度補正情報等に基づいてカメラワークの分析及び決定を行ない、駆動制御データ（速度指令）Ｖｃｏｍを出力して撮影用カメラ２００のカメラワークを制御するカメラワーク制御部５３０とから構成される。
【００１９】
ここで、データ解析装置５００内のカメラワーク制御部５３０は、３次元空間内の被写体位置，被写体の速度等によって撮影用カメラ２００のカメラワークの制御モードをダイナミックに切替える制御モード切替手段を具備しており、各制御モードに対する制御パラメータに従って、当該制御モードでのカメラワークを制御するようになっている。データ解析装置５００は、他に、動き解析部５１０で解析した被写体動作の解析情報を記録する図示しない解析情報記録手段と、解析情報を撮影画像と共にあるいは単独でモニタ表示する図示しない解析情報表示手段とを具備している。なお、速度補正量検出部５４０の構成の詳細については、カメラ角度／画角検出センサからの検出情報ＳＤに基づいて速度補正量を検出する方式と、撮影画像ＶＤ２に基づいて速度補正量を検出する方式とで構成が異なるため、後述の実施例の項で具体的な構成例を示して説明する。
【００２０】
ここで、カメラワークの制御モードの切替方法について、図５（Ａ）〜（Ｃ）を参照して説明する。図５（Ａ）に示すように、カメラワークの制御モードは、制御形態Ｗ１がｉ種類の制御モード（Ｃ１（１）〜Ｃ１（ｉ）），制御形態Ｗ２がｋ種類の制御モード（Ｃ２（１）〜Ｃ２（ｋ））というように、カメラワークの制御形態（例えば、自動追尾の制御，画面内の被写体位置の制御，ズーミングワークの制御等の各形態）毎に複数ある。カメラワーク制御部５３０では、被写体の３次元位置，被写体の速度，現在の時間帯等を切替要素として、現在の制御モードを他の制御モードに切替えるようにしている。また、図５（Ｂ）に示すように、制御形態Ｗ１は制御モードＣ１（１），制御形態Ｗ２は制御モードＣ２ （７）というように、カメラワークの制御パターン毎に制御モデル（Ｍ１，Ｍ２，〜）を予め用意しておき、制御モデル（Ｍ１，Ｍ２，〜）を切替えることで、各制御形態（Ｗ１，Ｗ２，〜）の制御モードを切替えるようにしている。この切替え制御は、図５（Ｃ）に示すように、制御モデルの切替形態（１，２，〜）に対応して予め設定されている切替条件（ａ１，ａ２，〜）に従って行われる。
【００２１】
上述のような構成において、具体例を示してデータ解析装置５００内のカメラワーク制御部５３０における制御モードの切替制御の動作例、及びシステム全体の動作例についてそれぞれ説明する。
【００２２】
図４は、センサカメラ１００と撮影用カメラ２００の配置構成の一例を示しており、同図に示すようなスキーのジャンプ競技を撮影する場合、被写体である選手１が移動する領域は、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の領域部２ａ，ジャンプしてから着地地点までの領域部２ｂ，及び着地地点から静止するまでのスロープの領域部２ｃであり、それぞれの移動領域部が撮影領域部（３次元空間領域）となる。本発明では全領域を自動撮影の対象とすることができるが、図４では便宜上、ジャンプ中の空間領域部２ｂの一部を自動撮影の対象とし、センサカメラ１００の視野領域を２つの計測範囲１及び２に分割し、センサカメラ１０１（１０１Ａ，１０１Ｂ）で計測範囲１の３次元計測を担当し、センサカメラ１０２（１０２Ａ，１０２Ｂ）で計測範囲２の３次元計測を担当するようにした場合の配置構成の例を示している。
【００２３】
ここで、センサカメラ１０１とセンサカメラ１０２は、それぞれ１台でも被写体の３次元位置（３次元座標）を求めることが可能だが、その場合、例えば２点間を移動したときの被写体１の移動量及び大きさの変化量の検出値に基づいて被写体１の位置を示す３次元座標を算出することになり、計測時点ごとに３次元座標を求めることができず、リアルタイムに計測情報を提供できないという欠点がある。そのため、上記の点や計測装置の処理負荷の点では、本例のように１計測範囲に２台のセンサカメラを用いる形態の方が好ましい。
【００２４】
図６は、上記のスキーのジャンプ競技を撮影する場合の制御パラメータの具体例を示している。以下、図４の全領域（２ａ〜２ｃ）を自動撮影の対象とするものとして説明する。図６の例では、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の撮影空間領域２ａにおけるカメラワークの制御モデルを “Ｍ１”，ジャンプ地点から着地地点までの撮影空間領域２ｂにおけるカメラワークの制御モデルを“Ｍ２”，着地地点から静止するまでのスロープの撮影空間領域部領域２ｃにおけるカメラワークの制御モデルを“Ｍ３”とし、それぞれ、追尾制御方法に関する制御形態Ｗ１，画面内の被写体位置に関する制御形態Ｗ２，及び視野の大きさ（ズーム調整量）関する制御形態Ｗ２における各制御モードの制御パラメータが制御モデル毎に設定されている。例えば、追尾の制御方法に関する制御形態Ｗ１の制御モードとしては、センサカメラの出力、すなわち被写体の３次元位置の計測情報に基づいて追尾する制御モードＣ１（１），被写体の移動コースのモデル式に基づいて追尾する制御モードＣ１（２），及び両者を組合わせた情報に基づいて追尾する制御モードＣ１（３）があり、図６の例では、制御形態Ｗ１における制御モデルＭ１の制御パラメータとしては上記の制御モードＣ１（２）の制御パラメータ（助走路のモデル式）が設定されている。
【００２５】
これらの制御モデルＭ１〜Ｍ３の切替えは、図７に示すように、各制御モデルＭ１〜Ｍ３に対応して予め設定されている切替条件ａ１〜ａ３に従って行われる。例えば、領域２ｂと領域２ｃは、ジャンプの飛距離によって着地地点が変動するため、被写体１の最下端の３次元位置と被写体直下のスロープ表面位置との距離を示す関数ｆ（ｘ，ｙ，ｚ）によって制御モデルを切替えるようになっている。すなわち、この場合には、撮影中の状況の変化（被写体の移動軌跡の変化）に応じて撮影空間領域が変動し、それに応じてカメラワークの制御モードを自動的に切替えるようにしている。
【００２６】
ここで、上記の制御モデルを例として、データ解析装置５００内のカメラワーク制御部５３０における制御モードの切替制御の動作例を、図８のフローチャートに従って説明する。
【００２７】
自動追尾の動作は、遠隔制御等による外部からのスタート信号、或いは、ジャンプの助走スタート時点で自動的に発生するスタート信号により開始される。このスタート信号はシャッタタイミング信号であり、シャッタタイミング信号の入力により、カメラワーク制御部５３０では、先ず、制御モデルを“Ｍ１”とする（ステップＳ１）。そして、制御モデルＭ１の制御パラメータに従って、助走路に沿って追尾するように撮影用カメラ２００を駆動制御する。
【００２８】
すなわち、制御モデルＭ１の場合にはセンサカメラの出力は用いず、予め登録されているスタート地点の位置に撮影用カメラ２００を向けて被写体である選手を捕らえておく。そして、スタート信号の入力を境にセンサカメラの出力を用い、被写体１の３次元位置情報及び助走路の道筋を示すモデル式（例えば３次元座標と時間から成るモデル式）に基づいて撮影用カメラ２００のパン，チルト操作を制御する。その際、撮影用カメラ２００の画面内の被写体位置が画面中央に位置し、かつ視野の大きさが基準値（一定値）Ｌ１となるようにズーム操作を制御する。そして、図７中の制御モデルＭ１の切替条件ａ１を満足する期間、すなわち、ｘ，ｙ，ｚ座標系で表わした被写体１の３次元位置から助走路上の被写体位置をｇ（ｘ，ｙ，ｚ）として求め、被写体１が領域２ａと領域２ｂとの境界面ｔよりスタート地点側の空間に位置（ｇ（ｘ，ｙ，ｚ）＜ｔ）する期間は、制御モデルＭ１の制御パラメータに従ってカメラワークを制御する（ステップＳ２，Ｓ３）。
【００２９】
そして、ステップＳ２において、制御モデルＭ１の切替条件ａ１を満足しないのであれば、制御モデルを“Ｍ２”に切替え（ステップＳ４）、制御モデルＭ２の制御パラメータに従ってカメラワークを制御する。制御モデルＭ２では、図６中の制御モデルＭ２の制御パラメータに示すように、センサカメラの出力、すなわち、センサカメラの撮影画像により被写体１を認識し、その３次元位置の計測情報に基づいて被写体１の自動追尾を制御する。その際、撮影用カメラ２００の画面内の被写体位置が、画面中央を基準として被写体１の速度のｋ倍遅れた位置に位置し、かつ視野の大きさが基準値（一定値）Ｌ２となるようにズーム操作を制御する。この制御は、切替条件ａ２を満足する期間、すなわち、被写体１の３次元位置が被写体直下のスロープ表面位置より上部に位置（ｇ（ｘ，ｙ，ｚ）＞ｔかつｆ（ｘ，ｙ，ｚ）＞０）する期間（ジャンプ中の期間）、継続される（ステップＳ５，Ｓ６）。
【００３０】
そして、ステップＳ５において、制御モデルＭ２の切替条件ａ２を満足しないのであれば、制御モデルを“Ｍ３”に切替え（ステップＳ７）、制御モデルＭ３のパラメータに従ってカメラワークを制御する。制御モードＭ３では、図６中の制御モデルＭ３の制御パラメータに示すように、センサカメラの出力、及びスロープに沿って、すなわち、被写体の３次元位置の計測情報ＰＤ及び被写体移動コースのモデル式に基づいて被写体１の自動追尾を制御するとともに、視野の大きさが徐々に大きくなるようにズーム操作を制御する。この制御は、切替条件ａ３を満足する期間、すなわち、被写体１の３次元位置がスロープ表面近傍に位置し、領域２ｃのスロープ終了地点の面（垂直の平面）ｔ０まで（ｆ（ｘ，ｙ，ｚ）≦０かつｔ＜ｇ（ｘ，ｙ，ｚ）＜ｔ０）の期間（着地滑走中の期間）、継続される（ステップＳ８，Ｓ９）。そして、ステップＳ８において、制御モデルＭ３の切替条件ａ３を満足しないのであれば、切替制御の動作を終了する。その後、例えば所定時間経過後、センサカメラの出力を用いずに初期動作位置（スタート地点）に撮影用カメラ２００を向けて待機状態とし、スタート信号の入力により上記動作を繰り返す。
【００３１】
次に、図２〜図４を参照してシステム全体の動作例を説明する。
図４において、センサカメラ１０１，１０２で撮影された映像信号はそれぞれ３次元位置計測装置３００に入力される。なお、センサカメラ１０１，１０２の計測範囲の切換制御の方法については後述する。ここでは便宜上、センサカメラ１０１，１０２をセンサカメラ１００として説明する。図３において、３次元位置計測装置３００内の被写体認識部３１０は、映像信号ＶＤ１ａ（又はＶＤ１ｂ）をデジタル化した１フレーム分の２次元座標系の画像データから撮影対象の被写体１を認識する。被写体１の認識は、例えば画像データの各画素の色度と、被写体認識データとして予め設定されている複数色のそれぞれの閾値（色度の範囲：下限の閾値〜上限の閾値）とを比較し、閾値内を“１”，範囲外を“０”として画素単位に２値化する。その際、２次元座標系（Ｘ，Ｙ座標系）にて連続する当該色の部分を抽出して計数し、計数値を面積Ｓとする。そして当該色の部分が複数存在する場合には、例えば、面積Ｓの大きい部分を撮影対象の被写体１と認識する。但し、設定されている色で被写体１を必ず特定できるような撮影条件では大きさによる認識処理は必要ないため、色だけで認識すれば良い。
【００３２】
３次元座標計測部３２０では、被写体認識部３１０で求めた面積Ｓから、抽出部分の重心位置を演算して被写体１の中心位置Ｃ（ｘ，ｙ）とする。この中心位置は、２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂからそれぞれ演算する。続いて、算出した２つの中心位置Ｃ１（ｘ，ｙ），Ｃ２（ｘ，ｙ）と、センサカメラ１００及び撮影用カメラ２００の位置情報とから、被写体１の３次元空間内の位置（撮影用カメラ２００の視点を原点とした被写体１の３次元座標）を三角測量の原理で算出し、算出した３次元位置情報Ｃ（ｘ，ｙ，ｚ）と被写体１の大きさを示す情報（上記の面積Ｓ）を計測情報ＰＤとして出力する。この計測情報ＰＤは、データ解析装置５００内の動き解析部５１０に入力される。
【００３３】
動き解析部５１０では、３次元位置計測装置３００からの計測情報ＰＤにより被写体１の動きを解析し、解析情報を動き予測部５２０に送出する。例えば、今回の計測情報ＰＤｔｎ（３次元座標情報）と前回の計測情報ＰＤｔ（ｎ−１）により、前回の計測時点を起点とする動きベクトルを求め、求めた動きベクトルの情報（時刻，方位角，距離，速度等）を解析情報として送出する。動き予測部５２０では、動き解析部５１０からの解析情報に基づいて被写体１の次の瞬間の動きを予測する。
【００３４】
ここで、被写体の次の瞬間の動き予測する方法について第１及び第２の例を示して説明する。なお、計測間隔と動きベクトルの解析間隔とは必ずしも等しくないが、ここでは、等しいものする。先ず、第１の例として、直近の２つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ−１）を基に予測する方法について説明する。図９（Ａ）に示すように、被写体の前回（ｔ１時点）の計測位置がＰ１（ｘ，ｙ，ｚ）で、今回（ｔ２時点）の計測位置がＰ２（ｘ，ｙ，ｚ）とした場合、Ｐ１（ｘ，ｙ，ｚ）とＰ２（ｘ，ｙ，ｚ）から方位と速度Ｖとを求め（本例では動き解析部５１０にて算出）、同一方向に同一速度で動くものと予測して、Ｐ２→ＦＰの動きベクトルを求める。ここで、ＦＰ（ｘ，ｙ，ｚ）は、ｔ２−ｔ１時間経過したｔ３時点での次の移動位置である。
【００３５】
続いて、第２の例として、直近の３つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ−１），ＰＤｔ（ｎ−２）を基に予測する方法について説明する。図９（Ｂ）に示すように、被写体の前前回（ｔ１時点）の計測位置がＰ１（ｘ，ｙ，ｚ），前回（ｔ２時点）の計測位置がＰ２（ｘ，ｙ，ｚ），今回（ｔ３時点）の計測位置がＰ３（ｘ，ｙ，ｚ）であったとする。この場合、各時点ｔ１〜ｔ３の座標から動きベクトルＰ１→Ｐ２，Ｐ２→Ｐ３を求める。そして、求めた２つの動きベクトルからＰ３→ＦＰの動きベクトルを求める。この方法では、方位角の変化及び加速度を考慮して予測することになる。計測間隔が極めて短い場合には前者の方法で充分である。なお、予測に用いる計測情報の量を多くして更に先の動きを予測するようにしても良い。以上のようにして求めた被写体の動きの予測情報は、カメラワーク制御部５３０に入力される。
【００３６】
カメラワーク制御部５３０では、画面内の被写体位置情報動き予測部５２０からの予測情報（被写体速度Ｖ等）、速度補正量検出部５４０からの速度補正情報（補正速度ΔＶ）に基づいて、撮影用カメラ２００の方向，移動量及び移動速度を決定する。その際、被写体の３次元座標位置や速度等の切替条件に従ってカメラワークの制御モードを自動的に切替え、当該制御モードの制御パラメータに従ってズーム操作等のカメラワークを決定する。そして、パン，チルトの速度指令（Ｖ＋ΔＶ）を生成すると共に、撮影用カメラ２００のズーム，フォーカス，アイリスを調整するための速度指令を生成し、駆動制御データＶｃｏｍとして出力し、駆動制御部４００を介して撮影用カメラ２００を駆動制御する。
【００３７】
以上のように、対象の３次元座標位置や対象の速度等により制御モードをダイナミックに切替え、当該制御モードの制御パラメータに従ってカメラワークを制御することで、撮影中の状況の変化等に応じた最適なカメラワークによる撮影を可能としている。また、被写体の次の瞬間の動きを予測して次の動作位置へと撮影用カメラ２００の駆動制御を行なうことにより、従来の自動撮影システムに見られる映像の動きのぎこちなさは解消されることになる。また、撮影用カメラ２００を複数設置し、撮影用カメラ２００を切り換えながら撮影する構成とした場合、被写体の動きの予測情報を利用することにより、各視野領域の境界をまたがって移動する被写体を連続的に追尾して撮影することが可能となる。また、計測範囲を分割して各センサカメラ１００を配置する構成では、３次元位置計測装置３００で被写体の動きを予測し、計測範囲を切り換えながら計測処理を行なうことで、計測範囲をまたがって移動する被写体の計測を連続的に行なうことができる。さらに、従来のシステムと比較して被写体位置の計測間隔を大きくとることができるので、情報処理量が減り、制御系の処理負荷が軽減される。
【００３８】
【実施例】
以下に、データ解析装置５００内の速度補正量検出部５４０の構成例の第１及び第２の実施例を、制御系の全体構成図を用いて説明する。なお、図１０及び図１１の構成例では、図３のデータ解析装置５００内の動き解析部５１０及び動き予測部５２０の機能を３次元位置計測装置３００側に備えた場合の構成を例としている。また、データ解析装置５００内のカメラワーク分析／制御機能を有する速度補正量検出部５４０とカメラワーク制御部５３０とは、一体的なデータ処理構成であるため、図１０及び図１１の回路構成例では両者をカメラワーク分析／制御部５５０として新たに符号を付している。
【００３９】
図１０は、本発明における制御系の構成の第１の実施例を示すブロック図であり、本発明に係わる主要部の回路構成を示している。第１の実施例では、カメラ角度／画角検出センサ２３０，２３１からの検出情報ＳＤ及び３次元位置計測装置３００からの計測情報ＰＤに基づいて、撮影方向の速度補正量ΔＶを検出する方式としている。カメラワーク分析／制御部５５０では、図１２に示すように、撮影用カメラ２００の視点Ｐｅを原点としたときの視座標系（ｘｅ，ｙｅ，ｚｅ）における方位角（φ，ψ）及び画角θを、それぞれ方位角検出センサ２３０と画角検出センサ２３１からの検出情報ＳＤにより検出する。カメラワーク分析／制御部５５０内の演算回路５５７では、検出情報を座標変換回路５５４に送出すると共に、現在の撮影用カメラ２００の視線での視野スクリーン内（＝撮影画面内）における被写体１のサイズＳ，及び被写体最適位置までのズレ量Δｌを演算してマイコン５５１に送出する。
【００４０】
座標変換回路５５４では、３次元位置計測装置３００からの計測情報ＰＤを入力し、３次元座標系での被写体の位置（ｘ，ｙ，ｚ）を２次元座標系での被写体の位置（ｘ，ｙ）に変換して動きベクトル検出回路５５２に送出する。動きベクトル検出回路５５２では、座標変換回路５５４からの被写体の（ｘ，ｙ）座標から、被写体の現在の動きベクトル（位置（ｘ，ｙ），速度Ｖｓ，方向ａ）を検出してマイコン５５１に送出する。マイコン５５１では、動きベクトル検出回路５５２及び演算回路５５７からの検出情報を受け、被写体最適位置までのズレ量Δｌ／画角補正量Δθを演算回路５５３を介してＲＯＭテーブル１３に書込むと共に、被写体１の速度Ｖｓ等の情報をＲＯＭテーブル１３に書込む。ＲＯＭテーブル１３には、画面内の目標位置まで方位角（パン，チルト角度偏差）の大きさ等に応じた速度補正量ΔＶが予め設定されており、知的制御信号発生器５５８では、３次元位置計測装置３００からの被写体の速度Ｖ（図１２中の予測した動きベクトルでの被写体速度）を、ＲＯＭテーブル１３から読み出した速度補正量ΔＶにより補正して速度指令Ｖｃｏｍを出力し、撮影用カメラ２００の駆動制御を行なう。
【００４１】
図１１は、本発明における制御系の構成の第２の実施例を示すブロック図であり、第２の実施例では、撮影用カメラ２００からの撮影画像ＶＤ２に基づいて上記の速度補正量ΔＶを検出する方式としており、第１の実施例での方式と比較すると、撮影用カメラ２００の画面内に被写体が存在することが前提となる点，及び画像処理の負荷が増加する点で難点があるが、カメラ角度／画角検出センサ２３０，２３１が必要ない点，及び３次元／２次元座標変換が必要ない点で利点がある。
【００４２】
以下、図１３を参照して図１１のカメラワーク分析／制御部５５０の動作例を説明する。カメラワーク分析／制御部５５０内の被写体抽出回路５５５では、撮影用カメラ２００からの撮影画像ＶＤ２から被写体部分を抽出し、画面内の被写体のサイズ（面積を示す計数値）Ｓを求めてマイコン５５１に送出すると共に、画面内での被写体の位置（ｘ，ｙ）を求めて動きベクトル検出回路５５２及び位置比較器５５６に送出する。動きベクトル検出回路５５２では、被写体の現在の動きベクトル（位置（ｘ，ｙ），速度Ｖｓ，方向ａ）を検出してマイコン５５１に送出する。一方、位置比較器５５６では、画面内での被写体の現在位置（ｘ，ｙ）と、ＲＯＭテーブル１２から読み出した画面内での被写体の最適位置（ｘ０，ｙ０）とを比較し、画面内でのズレ量Δｌをマイコン５５１に送出する。本例では、この画角の補正量Δθについては、マイコン５５１でＲＯＭテーブル１２に書込んだ被写体サイズＳとＲＯＭテーブル１２内に設定されている基準サイズとを位置比較器５５６で比較して求めるようにしている。なお、その他の動作は第１の実施例と同様であるため、説明を省略する。
【００４３】
なお、上述した実施の形態においては、被写体の動きの解析機能をデータ解析装置５００に設ける場合を例として説明したが、実施例のように３次元位置計測装置３００側に設ける構成としても良い。また、無人撮影の場合を例として説明したが、当然のことながら、遠隔操作によりカメラマンが撮影用カメラ２００を操作することも可能であり、その場合には操作情報の入力が優先処理される。また、制御モデルは、対象となる撮影空間領域の分割領域部に対応して設定されている場合を例として説明したが、時間帯に対応して複数の制御モデルを設定しておき、現在の時間に応じて制御モードを自動的に切替え、当該時間帯に対応する制御モデルのパラメータに従って撮影用カメラのカメラワークを制御するようにしても良い。
【００４４】
【発明の効果】
以上に説明したように、本発明の自動撮影カメラシステムによれば、センサカメラの広角画像から撮影対象の被写体を認識してその３次元位置を逐次計測し、計測情報から解析した被写体の動きに応じて撮影用カメラを駆動制御するようにしているので、広範囲の３次元空間内を移動する対象を自動追尾して無人で撮影することができる。そのため、カメラマンが撮影できないような位置（例えば、木の上，コンサート会場のハイポジション，災害現場等）からでも、迫力のある映像を自動的に撮影することができるようになり、一流カメラマンを越えるカメラワークを実現することができる。さらに、対象の３次元座標位置や対象の速度等により制御モードを自動的に切替え、当該制御モードの制御パラメータに従ってカメラワークを制御するようにしているので、撮影中の状況の変化等に応じた最適なカメラワークで撮影することができるようになる。また、被写体の次の瞬間の動きを予測して撮影用カメラを駆動制御するようにしているので、撮影映像内の被写体の不自然な動きを無くすことができる。
【図面の簡単な説明】
【図１】本発明の自動撮影カメラシステムの概略の構成例を示すブロック図である。
【図２】図１の撮影用カメラ２００と駆動制御部４００の構成例を示すブロック図である。
【図３】図１の３次元位置計測装置３００とデータ解析装置５００の構成例を示すブロック図である。
【図４】本発明に用いるセンサカメラと撮影用カメラの配置構成の一例を示す図である。
【図５】本発明におけるカメラワークの制御モードの切替方法を説明するための図であれる。
【図６】本発明に用いる制御パラメータの具体例を示す図である。
【図７】本発明おける制御モデルの切替え方法の一例を説明するための図である。
【図８】本発明における切替え制御の動作例を説明するためのフローチャートである。
【図９】本発明における被写体の動きの予測方法の具体例を説明するための図である。
【図１０】本発明における制御系のハードウェア構成の第１の実施例を示すブロック図である。
【図１１】本発明における制御系のハードウェア構成の第２の実施例を示すブロック図である。
【図１２】図１０のカメラワーク分析／制御部５５０の動作例を説明するための図である。
【図１３】図１１のカメラワーク分析／制御部５５０の動作例を説明するための図である。
【図１４】従来のカメラシステムにおける被写体の自動追尾の方法の例を説明するための図である。
【図１５】従来のカメラシステムにおける被写体の自動追尾の方法の例を説明するための図である。
【符号の説明】
１ 被写体
１００ センサカメラ
２００ 撮影用カメラ
２１０ 駆動機構部（雲台）
２１１ パン軸
２１２ チルト軸
２１３，２１４，２１５ 撮影用カメラ制御モータ
２２０ 撮像部
３００ ３次元位置計測装置
３１０ 被写体認識部
３２０ ３次元座標計測部
４００ 駆動制御部
４０１ データベース
４１０ 制御ＣＰＵ
４２０ モータドライバ
５００ データ解析装置
５１０ 動き解析部
５２０ 動き予測部
５３０ カメラワーク制御部
５４０ 速度補正量検出部
【発明の属する技術分野】
本発明は、テレビカメラを使用して撮影した画像から対象の３次元位置を計測し、その対象を自動追尾して無人で撮影することができる自動撮影カメラシステムに関する。
【０００２】
【従来の技術】
従来、カメラ操作者が直接テレビジョンカメラを操作せず、被写体を自動追尾して撮影することができるようにしたカメラシステムでは、水平，垂直方向に回動可能で外部からの制御信号により制御可能な撮影用カメラを用い、被写体の動きに合わせて撮影用カメラを駆動制御するようにしている。被写体を認識する方法としては、例えば、被写体（あるいは被写体と共に移動する物体）に予め検知マークを付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色など特定の色を被写体として認識する方法が採られている。そして、認識した被写体が画面の枠内の所定位置に位置するように撮影用カメラを駆動制御することで、被写体を追尾して撮影するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述のような追尾方法の場合、次の例に示すように、画面上での被写体の動きは“ぎこちない動き”となる。例えば図１４に示すように被写体１がｔ１時点からｔ３時点まで同図のような軌跡で移動したとする。その場合、図１５（Ａ）に示すように、先ずｔ１時点では、画面ＶＤ（ｔ１）上の目標位置に被写体１が位置するように撮影用カメラの向きを補正する。その後、次のｔ２時点までは同図（Ｂ）のように被写体１が画面ＶＤ（ｔ１〜ｔ２）上に表示される。次のｔ２時点では、再度、同図（Ｃ）のように画面ＶＤ（ｔ２）上の目標位置に被写体１が位置するように撮影用カメラの向きを補正する。同様に、図１５（Ｄ）のように被写体が動いた場合も、目標位置とのずれ量を補正する。すなわち、被写体の位置が所定位置からずれたら、そのずれ量を補正するという動作を繰り返すため、認識間隔の大きさに応じてぎこちない動きが増大する。また、円滑なカメラワークを実現するには被写体の認識間隔を小さくすれば良いが、そのための情報処理量が増えるため、制御装置の処理負荷が増大することになる。
【０００４】
また、上述のような１台の撮影用カメラで被写体を自動追尾するためには、カメラの画枠内に被写体が存在しないと機能しないため、目的とする被写体がカメラの画枠内に入ってきた時に、はじめて自動制御によるカメラ操作が開始されるようになっていた。そのため、カメラが被写体を捕らえるまでは手動でカメラ操作を行なわなければならず、また、被写体の移動速度に追いつけずに画枠内からはずれてしまった場合、自動追尾不能になるという問題があった。
【０００５】
一方、広い視野領域で撮影し、その領域の一部を拡大して撮影できるようにしたカメラシステムとして、広角画像撮影用とその画像の一部をなす画像撮影用の２個のテレビジョンカメラを備え、前者の無人カメラを用いて広い視野を撮影し、カメラ操作者がその撮影画像を見ながら、後者の撮影用カメラを遠隔操作（例えばパン，チルト，ズーム）等により操作して、目的とする被写体を撮影するようにしたカメラシステムが実現されている。このカメラシステムでは、無人カメラによる撮影画像をモニターするときのカメラ操作者の視線の動きを検出し、その動きを撮影用カメラの操作信号に変換してカメラ制御に反映する機能を備えることで、直接カメラを操作せずに撮影するようにしている（特開平７−２４０８６８号公報参照）。しかしながら、このような撮影方法では、広い視野領域で被写体を捕らえることができるという利点はあるが、カメラ操作者が間接的に操作する必要があり、自動追尾による無人での撮影を行なうことができなかった。
【０００６】
さらに、対象を自動追尾して無人で撮影する従来の自動撮影カメラシステムにおいては、画面内の被写体の位置や大きさ等が変化しない単調な映像が多く、一流カメラマンが直接操作しているような臨場感の高いカメラワークを実現することができなかった。
【０００７】
本発明は上述のような事情から成されたものであり、本発明の目的は、３次元空間内を移動する対象を自動追尾して撮影することができると共に、撮影中の状況の変化等に応じた最適なカメラワークで撮影することができる自動撮影カメラシステムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、自動撮影カメラシステムに関するものであり、本発明の上記目的は、（１）カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、前記カメラワーク制御部が、前記被写体の３次元空間内の位置に応じて前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御することによって達成される。
【０００９】
さらに、（２）カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、前記カメラワーク制御部が、前記被写体の速度に応じて前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すること、（３）カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、撮影空間領域を複数の撮影空間領域部に分割すると共に、当該撮影空間領域部での制御モード及び各撮影空間領域部の切替条件を予め設定しておき、前記カメラワーク制御部が前記切替条件に従って前記撮影空間領域部を切替えることで前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御することによってそれぞれ、より効果的に達成される。
【００１０】
【発明の実施の形態】
本発明では、カメラ操作者の眼に相当するセンサカメラにより撮影した広角映像の中から撮影すべき被写体を自動認識すると共に、３次元空間内での被写体の位置と動きを計測し、被写体の動きに応じて撮影用カメラを駆動制御することで、被写体の自動撮影を行なうようにしている。また、カメラワークの制御モードを複数持ち、対象の３次元座標位置や対象の速度等により制御モードをダイナミックに切替え、当該制御モードでのカメラワークで制御することで、撮影中の状況の変化等に応じた最適なカメラワークによる撮影を可能としている。
【００１１】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図１は本発明の自動撮影カメラシステムの概略構成を示しており、３次元空間を移動する被写体を捕らえるための２台のカメラ１００（以下、「センサカメラ」と呼ぶ）と１台の撮影用カメラ２００を備えたシステムの例を示している。センサカメラ１００は、カメラ操作者の両眼に相当するカメラであり、同図のように撮影対象の被写体１を含む広角映像を撮影する。このセンサカメラ１００は、被写体の３次元位置（３次元座標）を三角測量の原理で求めるために２台用いる。例えば、センサカメラ１００の視野領域を越えて移動する被写体１を追尾して撮影する場合には、複数のセンサカメラ１００が使用され、その場合には撮影範囲（計測範囲）が分割されてそれぞれ所定の位置に２台ずつ配置される。撮影用カメラ２００は、外部からの制御信号によりカメラのパン，チルト，ズーム，フォーカス等の調整が可能な駆動機構部（雲台）２１０と撮像部２２０とが一体的に構成されたカメラであり、パン軸及びチルト軸の回動制御により真下を除くほぼ全域の空間が撮影できるようになっている。
【００１２】
３次元位置計測装置３００は、センサカメラ１００の撮影された広角画像ＶＤ１ａ（ＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を認識（例えば被写体１の色情報により認識）すると共に、被写体１の現在位置を逐次計測する装置であり、撮影用カメラ２００の視点を原点とした三次元空間内での被写体１の現在位置（３次元座標情報），被写体１の大きさを示す情報（画像抽出部分の面積情報）等を計測情報ＰＤとして出力する。この計測情報ＰＤは入出力インタフェースを介してデータ解析装置５００に入力される。
【００１３】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤを基に被写体１の動きを解析し、被写体１の動きに応じて撮影用カメラ２００のカメラワークを制御する装置であり、駆動制御部４００を介して駆動信号ＭＳを送出し、撮影用カメラ２００のカメラワークを制御する。すなわち、データ解析装置５００では、３次元位置計測装置３００の計測情報ＰＤに基づいて被写体１の現在位置を認識する共に、被写体１の動き（各時点の位置，方位角，加速度等）を解析して次の瞬間の動きを予測し、この予測情報と現時点の撮影用カメラ２００の向きを示す情報等に基づいて撮影用カメラ２００のパン，チルト角度偏差及びズーム等の調整量を演算し、駆動制御データ（速度指令）Ｖｃｏｍを出力して被写体１の次の動作位置へと撮影用カメラ２００を駆動制御することで、被写体１を自動追尾して撮影するようにしている。
【００１４】
また、データ解析装置５００は、カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替える機能を備えており、状況に応じた最適なカメラワークで撮影することができるようにしている。例えば、被写体の３次元空間内の位置に応じて視野の大きさを変化させたり、被写体の速度に応じて画面内の被写体位置を変動させたり、時間帯に応じてアイリスの調整量を切替えたりというように、カメラワークの制御モードをダイナミックに切替えて撮影することができるようにしている。また、運動競技や自動車競技等、被写体が移動するコースが予め決まっている場合には、カメラワークの制御モードが異なる撮影区域（例えば、スキーのジャンプ競技のスタート地点→ジャンプ地点→着地地点等）ごとにカメラワークの制御パラメータをそれぞれ設定しておき、撮影空間内の被写体の位置に応じて制御パラメータを自動的に切替えることで、撮影区域に応じた最適なカメラワークで撮影することができるようにしている。
【００１５】
次に、各装置の構成例を示してより詳細に説明する。先ず、撮影用カメラと駆動制御部の構成について説明する。図２は、図１の撮影用カメラ２００と駆動制御部４００の構成例を示しており、撮影用カメラ２００は、モータ２１３，２１４の駆動によるパン軸２１１及びチルト軸２１２の回動により撮像部２２０の向き（水平及び垂直方向）が調整され、各モータ２１５の駆動により撮像部２２０のズーム，フォーカス，アイリスが調整されるようになっている。本例では、モータ２１５にはステップモータを使用し、モータ２１３，２１４には、高トルクを発生するダイレクトドライブモータを使用している。
【００１６】
駆動制御部４００は、雲台のモータ２１３〜２１５を駆動する制御ＣＰＵ４１０，モータドライバ４２０等から構成され、上位制御部（図１の構成例ではデータ解析装置５００）からの駆動制御データ（速度指令）Ｖｃｏｍに従って撮影用カメラ２００の駆動制御を行なう。すなわち、駆動制御部４００は、上位制御部からの駆動制御データ（速度指令）Ｖｃｏｍ及びデータベース４０１のパラメータＰＤＤ（各モータの駆動制御用パラメータ）を基に各モータ２１３〜２１５の駆動信号ＭＳ１〜ＭＳ３を制御ＣＰＵ４１０によって生成／出力し、モータドライバ４２０を介してサーボ制御による撮影用カメラ２００の制御を行なう。
【００１７】
次に、３次元位置計測装置とデータ解析装置の構成について説明する。図３は、図１の３次元位置計測装置３００とデータ解析装置５００の主要部の構成例をブロック図で示している。図３において、３次元位置計測装置３００は、センサカメラ１００で撮影された広角画像ＶＤ１ａ（又はＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を認識する被写体認識部３１０と、被写体１の３次元空間内の現在位置（３次元座標）を計測する３次元座標計測部３２０とから構成される。３次元位置計測装置３００の計測情報ＰＤは、データ解析装置５００内の動き解析部５１０に入力される。
【００１８】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤにより被写体１の動きを解析し、被写体１の現時点までの直近の動きベクトルを求める動き解析部５１０と、動き解析部５１０で求めた動きベクトルを基に被写体１の次の動きを予測し、次の動きベクトルを求めて被写体速度Ｖ等の予測情報を送出する動き予測部５２０と、カメラ角度／画角検出センサからの検出情報ＳＤ （あるいは撮影用カメラ２００からの撮影画像ＶＤ２）に基づいて撮影画面内の被写体最適位置までの撮影用カメラ２００の方位角（パン，チルト角度偏差）及び画角（ズーム）調整量を検出し、駆動信号の補正量を求めて速度補正情報（補正速度ΔＶ）を送出する速度補正量検出部５４０と、動き予測部５２０からの予測情報，及び速度補正量検出部５４０からの速度補正情報等に基づいてカメラワークの分析及び決定を行ない、駆動制御データ（速度指令）Ｖｃｏｍを出力して撮影用カメラ２００のカメラワークを制御するカメラワーク制御部５３０とから構成される。
【００１９】
ここで、データ解析装置５００内のカメラワーク制御部５３０は、３次元空間内の被写体位置，被写体の速度等によって撮影用カメラ２００のカメラワークの制御モードをダイナミックに切替える制御モード切替手段を具備しており、各制御モードに対する制御パラメータに従って、当該制御モードでのカメラワークを制御するようになっている。データ解析装置５００は、他に、動き解析部５１０で解析した被写体動作の解析情報を記録する図示しない解析情報記録手段と、解析情報を撮影画像と共にあるいは単独でモニタ表示する図示しない解析情報表示手段とを具備している。なお、速度補正量検出部５４０の構成の詳細については、カメラ角度／画角検出センサからの検出情報ＳＤに基づいて速度補正量を検出する方式と、撮影画像ＶＤ２に基づいて速度補正量を検出する方式とで構成が異なるため、後述の実施例の項で具体的な構成例を示して説明する。
【００２０】
ここで、カメラワークの制御モードの切替方法について、図５（Ａ）〜（Ｃ）を参照して説明する。図５（Ａ）に示すように、カメラワークの制御モードは、制御形態Ｗ１がｉ種類の制御モード（Ｃ１（１）〜Ｃ１（ｉ）），制御形態Ｗ２がｋ種類の制御モード（Ｃ２（１）〜Ｃ２（ｋ））というように、カメラワークの制御形態（例えば、自動追尾の制御，画面内の被写体位置の制御，ズーミングワークの制御等の各形態）毎に複数ある。カメラワーク制御部５３０では、被写体の３次元位置，被写体の速度，現在の時間帯等を切替要素として、現在の制御モードを他の制御モードに切替えるようにしている。また、図５（Ｂ）に示すように、制御形態Ｗ１は制御モードＣ１（１），制御形態Ｗ２は制御モードＣ２ （７）というように、カメラワークの制御パターン毎に制御モデル（Ｍ１，Ｍ２，〜）を予め用意しておき、制御モデル（Ｍ１，Ｍ２，〜）を切替えることで、各制御形態（Ｗ１，Ｗ２，〜）の制御モードを切替えるようにしている。この切替え制御は、図５（Ｃ）に示すように、制御モデルの切替形態（１，２，〜）に対応して予め設定されている切替条件（ａ１，ａ２，〜）に従って行われる。
【００２１】
上述のような構成において、具体例を示してデータ解析装置５００内のカメラワーク制御部５３０における制御モードの切替制御の動作例、及びシステム全体の動作例についてそれぞれ説明する。
【００２２】
図４は、センサカメラ１００と撮影用カメラ２００の配置構成の一例を示しており、同図に示すようなスキーのジャンプ競技を撮影する場合、被写体である選手１が移動する領域は、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の領域部２ａ，ジャンプしてから着地地点までの領域部２ｂ，及び着地地点から静止するまでのスロープの領域部２ｃであり、それぞれの移動領域部が撮影領域部（３次元空間領域）となる。本発明では全領域を自動撮影の対象とすることができるが、図４では便宜上、ジャンプ中の空間領域部２ｂの一部を自動撮影の対象とし、センサカメラ１００の視野領域を２つの計測範囲１及び２に分割し、センサカメラ１０１（１０１Ａ，１０１Ｂ）で計測範囲１の３次元計測を担当し、センサカメラ１０２（１０２Ａ，１０２Ｂ）で計測範囲２の３次元計測を担当するようにした場合の配置構成の例を示している。
【００２３】
ここで、センサカメラ１０１とセンサカメラ１０２は、それぞれ１台でも被写体の３次元位置（３次元座標）を求めることが可能だが、その場合、例えば２点間を移動したときの被写体１の移動量及び大きさの変化量の検出値に基づいて被写体１の位置を示す３次元座標を算出することになり、計測時点ごとに３次元座標を求めることができず、リアルタイムに計測情報を提供できないという欠点がある。そのため、上記の点や計測装置の処理負荷の点では、本例のように１計測範囲に２台のセンサカメラを用いる形態の方が好ましい。
【００２４】
図６は、上記のスキーのジャンプ競技を撮影する場合の制御パラメータの具体例を示している。以下、図４の全領域（２ａ〜２ｃ）を自動撮影の対象とするものとして説明する。図６の例では、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の撮影空間領域２ａにおけるカメラワークの制御モデルを “Ｍ１”，ジャンプ地点から着地地点までの撮影空間領域２ｂにおけるカメラワークの制御モデルを“Ｍ２”，着地地点から静止するまでのスロープの撮影空間領域部領域２ｃにおけるカメラワークの制御モデルを“Ｍ３”とし、それぞれ、追尾制御方法に関する制御形態Ｗ１，画面内の被写体位置に関する制御形態Ｗ２，及び視野の大きさ（ズーム調整量）関する制御形態Ｗ２における各制御モードの制御パラメータが制御モデル毎に設定されている。例えば、追尾の制御方法に関する制御形態Ｗ１の制御モードとしては、センサカメラの出力、すなわち被写体の３次元位置の計測情報に基づいて追尾する制御モードＣ１（１），被写体の移動コースのモデル式に基づいて追尾する制御モードＣ１（２），及び両者を組合わせた情報に基づいて追尾する制御モードＣ１（３）があり、図６の例では、制御形態Ｗ１における制御モデルＭ１の制御パラメータとしては上記の制御モードＣ１（２）の制御パラメータ（助走路のモデル式）が設定されている。
【００２５】
これらの制御モデルＭ１〜Ｍ３の切替えは、図７に示すように、各制御モデルＭ１〜Ｍ３に対応して予め設定されている切替条件ａ１〜ａ３に従って行われる。例えば、領域２ｂと領域２ｃは、ジャンプの飛距離によって着地地点が変動するため、被写体１の最下端の３次元位置と被写体直下のスロープ表面位置との距離を示す関数ｆ（ｘ，ｙ，ｚ）によって制御モデルを切替えるようになっている。すなわち、この場合には、撮影中の状況の変化（被写体の移動軌跡の変化）に応じて撮影空間領域が変動し、それに応じてカメラワークの制御モードを自動的に切替えるようにしている。
【００２６】
ここで、上記の制御モデルを例として、データ解析装置５００内のカメラワーク制御部５３０における制御モードの切替制御の動作例を、図８のフローチャートに従って説明する。
【００２７】
自動追尾の動作は、遠隔制御等による外部からのスタート信号、或いは、ジャンプの助走スタート時点で自動的に発生するスタート信号により開始される。このスタート信号はシャッタタイミング信号であり、シャッタタイミング信号の入力により、カメラワーク制御部５３０では、先ず、制御モデルを“Ｍ１”とする（ステップＳ１）。そして、制御モデルＭ１の制御パラメータに従って、助走路に沿って追尾するように撮影用カメラ２００を駆動制御する。
【００２８】
すなわち、制御モデルＭ１の場合にはセンサカメラの出力は用いず、予め登録されているスタート地点の位置に撮影用カメラ２００を向けて被写体である選手を捕らえておく。そして、スタート信号の入力を境にセンサカメラの出力を用い、被写体１の３次元位置情報及び助走路の道筋を示すモデル式（例えば３次元座標と時間から成るモデル式）に基づいて撮影用カメラ２００のパン，チルト操作を制御する。その際、撮影用カメラ２００の画面内の被写体位置が画面中央に位置し、かつ視野の大きさが基準値（一定値）Ｌ１となるようにズーム操作を制御する。そして、図７中の制御モデルＭ１の切替条件ａ１を満足する期間、すなわち、ｘ，ｙ，ｚ座標系で表わした被写体１の３次元位置から助走路上の被写体位置をｇ（ｘ，ｙ，ｚ）として求め、被写体１が領域２ａと領域２ｂとの境界面ｔよりスタート地点側の空間に位置（ｇ（ｘ，ｙ，ｚ）＜ｔ）する期間は、制御モデルＭ１の制御パラメータに従ってカメラワークを制御する（ステップＳ２，Ｓ３）。
【００２９】
そして、ステップＳ２において、制御モデルＭ１の切替条件ａ１を満足しないのであれば、制御モデルを“Ｍ２”に切替え（ステップＳ４）、制御モデルＭ２の制御パラメータに従ってカメラワークを制御する。制御モデルＭ２では、図６中の制御モデルＭ２の制御パラメータに示すように、センサカメラの出力、すなわち、センサカメラの撮影画像により被写体１を認識し、その３次元位置の計測情報に基づいて被写体１の自動追尾を制御する。その際、撮影用カメラ２００の画面内の被写体位置が、画面中央を基準として被写体１の速度のｋ倍遅れた位置に位置し、かつ視野の大きさが基準値（一定値）Ｌ２となるようにズーム操作を制御する。この制御は、切替条件ａ２を満足する期間、すなわち、被写体１の３次元位置が被写体直下のスロープ表面位置より上部に位置（ｇ（ｘ，ｙ，ｚ）＞ｔかつｆ（ｘ，ｙ，ｚ）＞０）する期間（ジャンプ中の期間）、継続される（ステップＳ５，Ｓ６）。
【００３０】
そして、ステップＳ５において、制御モデルＭ２の切替条件ａ２を満足しないのであれば、制御モデルを“Ｍ３”に切替え（ステップＳ７）、制御モデルＭ３のパラメータに従ってカメラワークを制御する。制御モードＭ３では、図６中の制御モデルＭ３の制御パラメータに示すように、センサカメラの出力、及びスロープに沿って、すなわち、被写体の３次元位置の計測情報ＰＤ及び被写体移動コースのモデル式に基づいて被写体１の自動追尾を制御するとともに、視野の大きさが徐々に大きくなるようにズーム操作を制御する。この制御は、切替条件ａ３を満足する期間、すなわち、被写体１の３次元位置がスロープ表面近傍に位置し、領域２ｃのスロープ終了地点の面（垂直の平面）ｔ０まで（ｆ（ｘ，ｙ，ｚ）≦０かつｔ＜ｇ（ｘ，ｙ，ｚ）＜ｔ０）の期間（着地滑走中の期間）、継続される（ステップＳ８，Ｓ９）。そして、ステップＳ８において、制御モデルＭ３の切替条件ａ３を満足しないのであれば、切替制御の動作を終了する。その後、例えば所定時間経過後、センサカメラの出力を用いずに初期動作位置（スタート地点）に撮影用カメラ２００を向けて待機状態とし、スタート信号の入力により上記動作を繰り返す。
【００３１】
次に、図２〜図４を参照してシステム全体の動作例を説明する。
図４において、センサカメラ１０１，１０２で撮影された映像信号はそれぞれ３次元位置計測装置３００に入力される。なお、センサカメラ１０１，１０２の計測範囲の切換制御の方法については後述する。ここでは便宜上、センサカメラ１０１，１０２をセンサカメラ１００として説明する。図３において、３次元位置計測装置３００内の被写体認識部３１０は、映像信号ＶＤ１ａ（又はＶＤ１ｂ）をデジタル化した１フレーム分の２次元座標系の画像データから撮影対象の被写体１を認識する。被写体１の認識は、例えば画像データの各画素の色度と、被写体認識データとして予め設定されている複数色のそれぞれの閾値（色度の範囲：下限の閾値〜上限の閾値）とを比較し、閾値内を“１”，範囲外を“０”として画素単位に２値化する。その際、２次元座標系（Ｘ，Ｙ座標系）にて連続する当該色の部分を抽出して計数し、計数値を面積Ｓとする。そして当該色の部分が複数存在する場合には、例えば、面積Ｓの大きい部分を撮影対象の被写体１と認識する。但し、設定されている色で被写体１を必ず特定できるような撮影条件では大きさによる認識処理は必要ないため、色だけで認識すれば良い。
【００３２】
３次元座標計測部３２０では、被写体認識部３１０で求めた面積Ｓから、抽出部分の重心位置を演算して被写体１の中心位置Ｃ（ｘ，ｙ）とする。この中心位置は、２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂからそれぞれ演算する。続いて、算出した２つの中心位置Ｃ１（ｘ，ｙ），Ｃ２（ｘ，ｙ）と、センサカメラ１００及び撮影用カメラ２００の位置情報とから、被写体１の３次元空間内の位置（撮影用カメラ２００の視点を原点とした被写体１の３次元座標）を三角測量の原理で算出し、算出した３次元位置情報Ｃ（ｘ，ｙ，ｚ）と被写体１の大きさを示す情報（上記の面積Ｓ）を計測情報ＰＤとして出力する。この計測情報ＰＤは、データ解析装置５００内の動き解析部５１０に入力される。
【００３３】
動き解析部５１０では、３次元位置計測装置３００からの計測情報ＰＤにより被写体１の動きを解析し、解析情報を動き予測部５２０に送出する。例えば、今回の計測情報ＰＤｔｎ（３次元座標情報）と前回の計測情報ＰＤｔ（ｎ−１）により、前回の計測時点を起点とする動きベクトルを求め、求めた動きベクトルの情報（時刻，方位角，距離，速度等）を解析情報として送出する。動き予測部５２０では、動き解析部５１０からの解析情報に基づいて被写体１の次の瞬間の動きを予測する。
【００３４】
ここで、被写体の次の瞬間の動き予測する方法について第１及び第２の例を示して説明する。なお、計測間隔と動きベクトルの解析間隔とは必ずしも等しくないが、ここでは、等しいものする。先ず、第１の例として、直近の２つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ−１）を基に予測する方法について説明する。図９（Ａ）に示すように、被写体の前回（ｔ１時点）の計測位置がＰ１（ｘ，ｙ，ｚ）で、今回（ｔ２時点）の計測位置がＰ２（ｘ，ｙ，ｚ）とした場合、Ｐ１（ｘ，ｙ，ｚ）とＰ２（ｘ，ｙ，ｚ）から方位と速度Ｖとを求め（本例では動き解析部５１０にて算出）、同一方向に同一速度で動くものと予測して、Ｐ２→ＦＰの動きベクトルを求める。ここで、ＦＰ（ｘ，ｙ，ｚ）は、ｔ２−ｔ１時間経過したｔ３時点での次の移動位置である。
【００３５】
続いて、第２の例として、直近の３つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ−１），ＰＤｔ（ｎ−２）を基に予測する方法について説明する。図９（Ｂ）に示すように、被写体の前前回（ｔ１時点）の計測位置がＰ１（ｘ，ｙ，ｚ），前回（ｔ２時点）の計測位置がＰ２（ｘ，ｙ，ｚ），今回（ｔ３時点）の計測位置がＰ３（ｘ，ｙ，ｚ）であったとする。この場合、各時点ｔ１〜ｔ３の座標から動きベクトルＰ１→Ｐ２，Ｐ２→Ｐ３を求める。そして、求めた２つの動きベクトルからＰ３→ＦＰの動きベクトルを求める。この方法では、方位角の変化及び加速度を考慮して予測することになる。計測間隔が極めて短い場合には前者の方法で充分である。なお、予測に用いる計測情報の量を多くして更に先の動きを予測するようにしても良い。以上のようにして求めた被写体の動きの予測情報は、カメラワーク制御部５３０に入力される。
【００３６】
カメラワーク制御部５３０では、画面内の被写体位置情報動き予測部５２０からの予測情報（被写体速度Ｖ等）、速度補正量検出部５４０からの速度補正情報（補正速度ΔＶ）に基づいて、撮影用カメラ２００の方向，移動量及び移動速度を決定する。その際、被写体の３次元座標位置や速度等の切替条件に従ってカメラワークの制御モードを自動的に切替え、当該制御モードの制御パラメータに従ってズーム操作等のカメラワークを決定する。そして、パン，チルトの速度指令（Ｖ＋ΔＶ）を生成すると共に、撮影用カメラ２００のズーム，フォーカス，アイリスを調整するための速度指令を生成し、駆動制御データＶｃｏｍとして出力し、駆動制御部４００を介して撮影用カメラ２００を駆動制御する。
【００３７】
以上のように、対象の３次元座標位置や対象の速度等により制御モードをダイナミックに切替え、当該制御モードの制御パラメータに従ってカメラワークを制御することで、撮影中の状況の変化等に応じた最適なカメラワークによる撮影を可能としている。また、被写体の次の瞬間の動きを予測して次の動作位置へと撮影用カメラ２００の駆動制御を行なうことにより、従来の自動撮影システムに見られる映像の動きのぎこちなさは解消されることになる。また、撮影用カメラ２００を複数設置し、撮影用カメラ２００を切り換えながら撮影する構成とした場合、被写体の動きの予測情報を利用することにより、各視野領域の境界をまたがって移動する被写体を連続的に追尾して撮影することが可能となる。また、計測範囲を分割して各センサカメラ１００を配置する構成では、３次元位置計測装置３００で被写体の動きを予測し、計測範囲を切り換えながら計測処理を行なうことで、計測範囲をまたがって移動する被写体の計測を連続的に行なうことができる。さらに、従来のシステムと比較して被写体位置の計測間隔を大きくとることができるので、情報処理量が減り、制御系の処理負荷が軽減される。
【００３８】
【実施例】
以下に、データ解析装置５００内の速度補正量検出部５４０の構成例の第１及び第２の実施例を、制御系の全体構成図を用いて説明する。なお、図１０及び図１１の構成例では、図３のデータ解析装置５００内の動き解析部５１０及び動き予測部５２０の機能を３次元位置計測装置３００側に備えた場合の構成を例としている。また、データ解析装置５００内のカメラワーク分析／制御機能を有する速度補正量検出部５４０とカメラワーク制御部５３０とは、一体的なデータ処理構成であるため、図１０及び図１１の回路構成例では両者をカメラワーク分析／制御部５５０として新たに符号を付している。
【００３９】
図１０は、本発明における制御系の構成の第１の実施例を示すブロック図であり、本発明に係わる主要部の回路構成を示している。第１の実施例では、カメラ角度／画角検出センサ２３０，２３１からの検出情報ＳＤ及び３次元位置計測装置３００からの計測情報ＰＤに基づいて、撮影方向の速度補正量ΔＶを検出する方式としている。カメラワーク分析／制御部５５０では、図１２に示すように、撮影用カメラ２００の視点Ｐｅを原点としたときの視座標系（ｘｅ，ｙｅ，ｚｅ）における方位角（φ，ψ）及び画角θを、それぞれ方位角検出センサ２３０と画角検出センサ２３１からの検出情報ＳＤにより検出する。カメラワーク分析／制御部５５０内の演算回路５５７では、検出情報を座標変換回路５５４に送出すると共に、現在の撮影用カメラ２００の視線での視野スクリーン内（＝撮影画面内）における被写体１のサイズＳ，及び被写体最適位置までのズレ量Δｌを演算してマイコン５５１に送出する。
【００４０】
座標変換回路５５４では、３次元位置計測装置３００からの計測情報ＰＤを入力し、３次元座標系での被写体の位置（ｘ，ｙ，ｚ）を２次元座標系での被写体の位置（ｘ，ｙ）に変換して動きベクトル検出回路５５２に送出する。動きベクトル検出回路５５２では、座標変換回路５５４からの被写体の（ｘ，ｙ）座標から、被写体の現在の動きベクトル（位置（ｘ，ｙ），速度Ｖｓ，方向ａ）を検出してマイコン５５１に送出する。マイコン５５１では、動きベクトル検出回路５５２及び演算回路５５７からの検出情報を受け、被写体最適位置までのズレ量Δｌ／画角補正量Δθを演算回路５５３を介してＲＯＭテーブル１３に書込むと共に、被写体１の速度Ｖｓ等の情報をＲＯＭテーブル１３に書込む。ＲＯＭテーブル１３には、画面内の目標位置まで方位角（パン，チルト角度偏差）の大きさ等に応じた速度補正量ΔＶが予め設定されており、知的制御信号発生器５５８では、３次元位置計測装置３００からの被写体の速度Ｖ（図１２中の予測した動きベクトルでの被写体速度）を、ＲＯＭテーブル１３から読み出した速度補正量ΔＶにより補正して速度指令Ｖｃｏｍを出力し、撮影用カメラ２００の駆動制御を行なう。
【００４１】
図１１は、本発明における制御系の構成の第２の実施例を示すブロック図であり、第２の実施例では、撮影用カメラ２００からの撮影画像ＶＤ２に基づいて上記の速度補正量ΔＶを検出する方式としており、第１の実施例での方式と比較すると、撮影用カメラ２００の画面内に被写体が存在することが前提となる点，及び画像処理の負荷が増加する点で難点があるが、カメラ角度／画角検出センサ２３０，２３１が必要ない点，及び３次元／２次元座標変換が必要ない点で利点がある。
【００４２】
以下、図１３を参照して図１１のカメラワーク分析／制御部５５０の動作例を説明する。カメラワーク分析／制御部５５０内の被写体抽出回路５５５では、撮影用カメラ２００からの撮影画像ＶＤ２から被写体部分を抽出し、画面内の被写体のサイズ（面積を示す計数値）Ｓを求めてマイコン５５１に送出すると共に、画面内での被写体の位置（ｘ，ｙ）を求めて動きベクトル検出回路５５２及び位置比較器５５６に送出する。動きベクトル検出回路５５２では、被写体の現在の動きベクトル（位置（ｘ，ｙ），速度Ｖｓ，方向ａ）を検出してマイコン５５１に送出する。一方、位置比較器５５６では、画面内での被写体の現在位置（ｘ，ｙ）と、ＲＯＭテーブル１２から読み出した画面内での被写体の最適位置（ｘ０，ｙ０）とを比較し、画面内でのズレ量Δｌをマイコン５５１に送出する。本例では、この画角の補正量Δθについては、マイコン５５１でＲＯＭテーブル１２に書込んだ被写体サイズＳとＲＯＭテーブル１２内に設定されている基準サイズとを位置比較器５５６で比較して求めるようにしている。なお、その他の動作は第１の実施例と同様であるため、説明を省略する。
【００４３】
なお、上述した実施の形態においては、被写体の動きの解析機能をデータ解析装置５００に設ける場合を例として説明したが、実施例のように３次元位置計測装置３００側に設ける構成としても良い。また、無人撮影の場合を例として説明したが、当然のことながら、遠隔操作によりカメラマンが撮影用カメラ２００を操作することも可能であり、その場合には操作情報の入力が優先処理される。また、制御モデルは、対象となる撮影空間領域の分割領域部に対応して設定されている場合を例として説明したが、時間帯に対応して複数の制御モデルを設定しておき、現在の時間に応じて制御モードを自動的に切替え、当該時間帯に対応する制御モデルのパラメータに従って撮影用カメラのカメラワークを制御するようにしても良い。
【００４４】
【発明の効果】
以上に説明したように、本発明の自動撮影カメラシステムによれば、センサカメラの広角画像から撮影対象の被写体を認識してその３次元位置を逐次計測し、計測情報から解析した被写体の動きに応じて撮影用カメラを駆動制御するようにしているので、広範囲の３次元空間内を移動する対象を自動追尾して無人で撮影することができる。そのため、カメラマンが撮影できないような位置（例えば、木の上，コンサート会場のハイポジション，災害現場等）からでも、迫力のある映像を自動的に撮影することができるようになり、一流カメラマンを越えるカメラワークを実現することができる。さらに、対象の３次元座標位置や対象の速度等により制御モードを自動的に切替え、当該制御モードの制御パラメータに従ってカメラワークを制御するようにしているので、撮影中の状況の変化等に応じた最適なカメラワークで撮影することができるようになる。また、被写体の次の瞬間の動きを予測して撮影用カメラを駆動制御するようにしているので、撮影映像内の被写体の不自然な動きを無くすことができる。
【図面の簡単な説明】
【図１】本発明の自動撮影カメラシステムの概略の構成例を示すブロック図である。
【図２】図１の撮影用カメラ２００と駆動制御部４００の構成例を示すブロック図である。
【図３】図１の３次元位置計測装置３００とデータ解析装置５００の構成例を示すブロック図である。
【図４】本発明に用いるセンサカメラと撮影用カメラの配置構成の一例を示す図である。
【図５】本発明におけるカメラワークの制御モードの切替方法を説明するための図であれる。
【図６】本発明に用いる制御パラメータの具体例を示す図である。
【図７】本発明おける制御モデルの切替え方法の一例を説明するための図である。
【図８】本発明における切替え制御の動作例を説明するためのフローチャートである。
【図９】本発明における被写体の動きの予測方法の具体例を説明するための図である。
【図１０】本発明における制御系のハードウェア構成の第１の実施例を示すブロック図である。
【図１１】本発明における制御系のハードウェア構成の第２の実施例を示すブロック図である。
【図１２】図１０のカメラワーク分析／制御部５５０の動作例を説明するための図である。
【図１３】図１１のカメラワーク分析／制御部５５０の動作例を説明するための図である。
【図１４】従来のカメラシステムにおける被写体の自動追尾の方法の例を説明するための図である。
【図１５】従来のカメラシステムにおける被写体の自動追尾の方法の例を説明するための図である。
【符号の説明】
１ 被写体
１００ センサカメラ
２００ 撮影用カメラ
２１０ 駆動機構部（雲台）
２１１ パン軸
２１２ チルト軸
２１３，２１４，２１５ 撮影用カメラ制御モータ
２２０ 撮像部
３００ ３次元位置計測装置
３１０ 被写体認識部
３２０ ３次元座標計測部
４００ 駆動制御部
４０１ データベース
４１０ 制御ＣＰＵ
４２０ モータドライバ
５００ データ解析装置
５１０ 動き解析部
５２０ 動き予測部
５３０ カメラワーク制御部
５４０ 速度補正量検出部
Claims (3)
- カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、
前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、
前記カメラワーク制御部が、前記被写体の３次元空間内の位置に応じて前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するようになっていることを特徴とする自動撮影カメラシステム。 - カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、
前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、
前記カメラワーク制御部が、前記被写体の速度に応じて前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するようになっていることを特徴とする自動撮影カメラシステム。 - カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識すると共に該被写体の３次元空間内の現在位置を逐次計測する３次元位置計測部と、前記３次元位置計測部の計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記撮影用カメラのカメラワークの制御モードを複数持ち、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御すると共に前記動き解析部で解析した被写体の動きに応じて前記撮影用カメラを駆動制御するカメラワーク制御部とを備え、
前記動き解析部で解析した被写体の動きの情報が、前記３次元位置計測部の現時点までの複数の計測情報に基づいて求めた前記被写体の動きの予測情報であり、
撮影空間領域を複数の撮影空間領域部に分割すると共に、当該撮影空間領域部での制御モード及び各撮影空間領域部の切替条件を予め設定しておき、前記カメラワーク制御部が前記切替条件に従って前記撮影空間領域部を切替えることで前記制御モードを自動的に切替え、当該制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するようになっていることを特徴とする自動撮影カメラシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15313296A JP3615868B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15313296A JP3615868B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09322052A JPH09322052A (ja) | 1997-12-12 |
| JP3615868B2 true JP3615868B2 (ja) | 2005-02-02 |
Family
ID=15555700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15313296A Expired - Fee Related JP3615868B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3615868B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11949984B2 (en) | 2021-03-12 | 2024-04-02 | Samsung Electronics Co., Ltd. | Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6791603B2 (en) * | 2002-12-03 | 2004-09-14 | Sensormatic Electronics Corporation | Event driven video tracking system |
| US7917332B2 (en) | 2007-11-12 | 2011-03-29 | Bae Systems Plc | Sensor control |
| JP5783157B2 (ja) * | 2012-10-31 | 2015-09-24 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| US10664705B2 (en) | 2014-09-26 | 2020-05-26 | Nec Corporation | Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium |
| JP6488647B2 (ja) * | 2014-09-26 | 2019-03-27 | 日本電気株式会社 | 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体 |
| JP6776202B2 (ja) * | 2017-07-28 | 2020-10-28 | クラリオン株式会社 | 車載カメラのキャリブレーション装置及び方法 |
| CN110673609A (zh) * | 2019-10-10 | 2020-01-10 | 北京小马慧行科技有限公司 | 车辆行驶的控制方法、装置及系统 |
| WO2021200185A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| JP6858387B1 (ja) * | 2020-11-19 | 2021-04-14 | 株式会社Ｑｏｎｃｅｐｔ | 軌道算出装置、軌道算出方法、軌道算出プログラム |
-
1996
- 1996-05-24 JP JP15313296A patent/JP3615868B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11949984B2 (en) | 2021-03-12 | 2024-04-02 | Samsung Electronics Co., Ltd. | Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09322052A (ja) | 1997-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7548269B2 (en) | System for autofocusing a moving object | |
| JP4699040B2 (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
| US9684056B2 (en) | Automatic object tracking camera | |
| JP5809538B2 (ja) | 自動追尾カメラシステム | |
| US20050264679A1 (en) | Autofocus system | |
| WO2007088856A1 (ja) | 自動追尾装置及び自動追尾方法 | |
| KR20190013759A (ko) | 연산 처리 장치 및 연산 처리 방법 | |
| JP2006229321A (ja) | 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム | |
| US20130314547A1 (en) | Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same | |
| US20040179729A1 (en) | Measurement system | |
| JP3615868B2 (ja) | 自動撮影カメラシステム | |
| CN102016710B (zh) | 摄像装置和用于控制摄像装置的方法 | |
| US20060083506A1 (en) | Auto focus system | |
| EP1286196B1 (en) | Lens driving method for imaging device, imaging device and camera system | |
| JP3615867B2 (ja) | 自動撮影カメラシステム | |
| JP5858741B2 (ja) | 自動追尾カメラシステム | |
| JP2006058431A (ja) | オートフォーカスシステム | |
| JP4403483B2 (ja) | 自動追尾装置 | |
| JP5317607B2 (ja) | 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法 | |
| JP3549332B2 (ja) | 自動撮影カメラシステム | |
| JPH10294890A (ja) | 自動／手動撮影カメラシステム | |
| JPH09322053A (ja) | 自動撮影カメラシステムにおける被写体の撮影方法。 | |
| JP4189534B2 (ja) | 自動追尾装置 | |
| JP4725693B2 (ja) | 自動追尾装置 | |
| JP3388833B2 (ja) | 移動物体の計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041102 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |