JP3549332B2 - Automatic shooting camera system - Google Patents

Automatic shooting camera system Download PDF

Info

Publication number
JP3549332B2
JP3549332B2 JP15313396A JP15313396A JP3549332B2 JP 3549332 B2 JP3549332 B2 JP 3549332B2 JP 15313396 A JP15313396 A JP 15313396A JP 15313396 A JP15313396 A JP 15313396A JP 3549332 B2 JP3549332 B2 JP 3549332B2
Authority
JP
Japan
Prior art keywords
reliability
control mode
camera
information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15313396A
Other languages
Japanese (ja)
Other versions
JPH09322048A (en
Inventor
大一郎 加藤
光穗 山田
一雄 阿部
秋男 石川
茂純 桑島
尊人 鈴木
亨 中村
裕之 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP15313396A priority Critical patent/JP3549332B2/en
Publication of JPH09322048A publication Critical patent/JPH09322048A/en
Application granted granted Critical
Publication of JP3549332B2 publication Critical patent/JP3549332B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビカメラを使用して撮影した画像から対象の３次元位置を計測し、その対象を自動追尾して無人で撮影することができる自動撮影カメラシステムに関する。
【０００２】
【従来の技術】
従来、カメラ操作者が直接テレビジョンカメラを操作せず、被写体を自動追尾して撮影することができるようにしたカメラシステムでは、水平，垂直方向に回動可能で外部からの制御信号により制御可能な撮影用カメラを用い、被写体の動きに合わせて撮影用カメラを駆動制御するようにしている。被写体を認識する方法としては、例えば、被写体（あるいは被写体と共に移動する物体）に予め検知マークを付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色など特定の色を被写体として認識する方法が採られている。そして、認識した被写体が画面の枠内の所定位置に位置するように撮影用カメラを駆動制御することで、被写体を追尾して撮影するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述のような追尾方法の場合、次の例に示すように、画面上での被写体の動きは“ぎこちない動き”となる。例えば図１６に示すように被写体１がｔ１時点からｔ３時点まで同図のような軌跡で移動したとする。その場合、図１７（Ａ）に示すように、先ずｔ１時点では、画面ＶＤ（ｔ１）上の目標位置に被写体１が位置するように撮影用カメラの向きを補正する。その後、次のｔ２時点までは同図（Ｂ）のように被写体１が画面ＶＤ（ｔ１〜ｔ２）上に表示される。次のｔ２時点では、再度、同図（Ｃ）のように画面ＶＤ（ｔ２）上の目標位置に被写体１が位置するように撮影用カメラの向きを補正する。同様に、図１７（Ｄ）のように被写体が動いた場合も、目標位置とのずれ量を補正する。すなわち、被写体の位置が所定位置からずれたら、そのずれ量を補正するという動作を繰り返すため、認識間隔の大きさに応じてぎこちない動きが増大する。また、円滑なカメラワークを実現するには被写体の認識間隔を小さくすれば良いが、そのための情報処理量が増えるため、制御装置の処理負荷が増大することになる。
【０００４】
また、上述のような１台の撮影用カメラで被写体を自動追尾するためには、カメラの画枠内に被写体が存在しないと機能しないため、目的とする被写体がカメラの画枠内に入ってきた時に、はじめて自動制御によるカメラ操作が開始されるようになっていた。そのため、カメラが被写体を捕らえるまでは手動でカメラ操作を行なわなければならず、また、被写体の移動速度に追いつけずに画枠内からはずれてしまった場合、自動追尾不能になるという問題があった。
【０００５】
一方、広い視野領域で撮影し、その領域の一部を拡大して撮影できるようにしたカメラシステムとして、広角画像撮影用とその画像の一部をなす画像撮影用の２個のテレビジョンカメラを備え、前者の無人カメラを用いて広い視野を撮影し、カメラ操作者がその撮影画像を見ながら、後者の撮影用カメラを遠隔操作（例えばパン，チルト，ズーム）等により操作して、目的とする被写体を撮影するようにしたカメラシステムが実現されている。このカメラシステムでは、無人カメラによる撮影画像をモニターするときのカメラ操作者の視線の動きを検出し、その動きを撮影用カメラの操作信号に変換してカメラ制御に反映する機能を備えることで、直接カメラを操作せずに撮影するようにしている（特開平７−２４０８６８号公報参照）。しかしながら、このような撮影方法では、広い視野領域で被写体を捕らえることができるという利点はあるが、カメラ操作者が間接的に操作する必要があり、自動追尾による無人での撮影を行なうことができなかった。
【０００６】
さらに、対象を自動追尾して無人で撮影する従来の自動撮影カメラシステムにおいては、画面内の被写体の位置や大きさ等が変化しない単調な映像が多く、一流カメラマンが直接操作しているような臨場感の高いカメラワークを実現することができなかった。
【０００７】
本発明は上述のような事情から成されたものであり、本発明の目的は、３次元空間内を移動する対象を自動追尾して撮影することができると共に、天候の悪化やセンサカメラ（撮像手段）の故障等により自動追尾の対象を検出できない事態が生じた場合においても、自動追尾による無人での撮影の継続が可能な自動撮影カメラシステムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、対象の自動追尾による無人での撮影が可能な自動撮影カメラシステムに関するものであり、本発明の上記目的は、カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の３次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を算出するための信頼度情報を作成して前記計測情報と共に送出する３次元位置計測部と、前記３次元位置計測部からの計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記３次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの制御形態毎に複数の制御モードを持ち、前記信頼度算出部で算出した信頼度に応じた制御モードに切替え、切替え後の前記制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、前記３次元位置計測部からの前記信頼度情報が、前記センサカメラの障害を示す第１の情報又は前記認識した被写体の大きさを示す第２の情報であって、前記信頼度算出部では、計測情報の信頼度情報が前記第１の情報である場合、当該計測情報の信頼度を“０”として算出し、また、計測情報の信頼度情報が前記第２の情報である場合、被写体の大きさに応じて信頼度を算出するようにすることによって達成される。
【０００９】
さらに、前記信頼度が閾値を越えていない場合或いは前記計測情報の入力が無い場合で且つ前記撮影用カメラの視野内に前記被写体が含まれるときには前記撮影用カメラの撮影画像内の静止体又は移動体の中から前記撮影対象の被写体を認識し、該被写体の画面内の現在位置を計測した計測情報を前記３次元位置計測部からの計測情報とする計測情報作成部を備えること、前記制御形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第１の制御モードで制御し、前記信頼度が閾値を越えていない場合には、現時点までの複数の計測情報から求めた前記被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値より低い間は前記第２の制御モードによって制御するようにすること、前記制御形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えていない期間が許容期間を越えていない場合、或いは、前記信頼度が閾値を越えていない期間が許容期間を越え且つ移動コースのモデル式がない場合、現在の制御モードを現時点までの複数の計測情報から求めた被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値より低い間は前記第２の制御モードによって制御するようになっており、前記信頼度が閾値を越えていない期間が許容期間を越え、且つ移動コースのモデル式がある場合には、現在の制御モードを、前記被写体の動きを予測するための前記移動コースのモデル式に基づいて、自動追尾を制御する前記自動追尾の制御形態の第３の制御モードに切替え、前記信頼度が閾値より低い間は前記第３の制御モードによって制御するようにすること、カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の３次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を算出するための信頼度情報を作成して前記計測情報と共に送出する３次元位置計測部と、前記３次元位置計測部からの計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記３次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの制御形態毎に複数の制御モードを持ち、前記信頼度算出部で算出した信頼度に応じた制御モードに切替え、切替え後の前記制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、前記３次元位置計測部からの前記信頼度情報が、前記センサカメラの障害を示す第１の情報又は前記認識した被写体の大きさを示す第２の情報であって、前記信頼度算出部では、計測情報の信頼度情報が前記第１の情報である場合、当該計測情報の信頼度を“０”として算出し、また、計測情報の信頼度情報が前記第２の情報である場合、被写体の大きさに応じて信頼度を算出するようになっており、前記制御形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第１の制御モードで制御するようになっており、前記信頼度が閾値を越えていない期間が許容期間を越えていない場合、或いは、前記信頼度が閾値を越えていない期間が許容期間を越え且つ移動コースのモデル式がない場合、現在の制御モードを現時点までの複数の計測情報から求めた被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値より低い間は前記第２の制御モードによって制御するようになっており、一方、前記信頼度が閾値を越えていない期間が許容期間を越え、且つ移動コースのモデル式がある場合、現在の制御モードを前記被写体の動きを予測するための前記移動コースのモデル式に基づいて自動追尾を制御する前記自動追尾の制御形態の第３の制御モードに切替え、前記信頼度が閾値より低い間は前記第３の制御モードによって制御するようにすること、によってそれぞれ、より効果的に達成される。
【００１０】
【発明の実施の形態】
本発明では、カメラ操作者の眼に相当するセンサカメラにより撮影した広角映像の中から撮影すべき被写体を自動認識すると共に、３次元空間内での被写体の位置と動きを計測し、被写体の動きに応じて撮影用カメラを駆動制御することで、被写体の自動撮影を行なうようにしている。また、天候等により被写体が検出できない事態やセンサカメラの故障等の事態が生じた場合においても、被写体の動きを予測して追尾する等の制御により、無人での自動追尾による撮影を継続できるようにしている。
【００１１】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図１は本発明の自動撮影カメラシステムの概略構成を示しており、３次元空間を移動する被写体を捕らえるための２台のカメラ１００（以下、「センサカメラ」と呼ぶ）と１台の撮影用カメラ２００を備えたシステムの例を示している。センサカメラ１００は、カメラ操作者の両眼に相当するカメラであり、同図のように撮影対象の被写体１を含む広角映像を撮影する。このセンサカメラ１００は、被写体の３次元位置（３次元座標）を三角測量の原理で求めるために２台用いる。例えば、センサカメラ１００の視野領域を越えて移動する被写体１を追尾して撮影する場合には、複数のセンサカメラ１００が使用され、その場合には撮影範囲（計測範囲）が分割されてそれぞれ所定の位置に２台ずつ配置される。撮影用カメラ２００は、外部からの制御信号によりカメラのパン，チルト，ズーム，フォーカス等の調整が可能な駆動機構部（雲台）２１０と撮像部２２０とが一体的に構成されたカメラであり、パン軸及びチルト軸の回動制御により真下を除くほぼ全域の空間が撮影できるようになっている。
【００１２】
３次元位置計測装置３００は、センサカメラ１００で撮影された広角画像ＶＤ１ａ（ＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を認識（例えば被写体１の色情報により認識）すると共に、被写体１の現在位置を逐次計測する装置であり、撮影用カメラ２００の視点を原点とした三次元空間内での被写体１の現在位置（３次元座標情報）等を計測情報ＰＤとして出力する。その際、当該計測情報の信頼度を示す信頼度情報（認識した被写体の面積情報など）を含めて計測情報ＰＤとして（あるいは別の通信手段で信頼度情報単独で）出力するようになっている。この計測情報ＰＤは入出力インタフェースを介してデータ解析装置５００に入力される。
【００１３】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤを基に被写体１の動きを解析し、被写体１の動きに応じて撮影用カメラ２００のカメラワークを制御する装置であり、駆動制御部４００を介して駆動信号ＭＳを送出し、撮影用カメラ２００のカメラワークを制御する。すなわち、データ解析装置５００では、３次元位置計測装置３００の計測情報ＰＤに基づいて被写体１の現在位置を認識する共に、被写体１の動き（各時点の位置，方位角，加速度等）を解析して次の瞬間の動きを予測し、この予測情報と現時点の撮影用カメラ２００の向きを示す情報等に基づいて撮影用カメラ２００のパン，チルト角度偏差及びズーム等の調整量を演算し、駆動制御データ（速度指令）Ｖｃｏｍを出力して被写体１の次の動作位置へと撮影用カメラ２００を駆動制御することで、被写体１を自動追尾して撮影するようにしている。
【００１４】
また、データ解析装置５００は、カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替える機能を備えており、状況に応じた最適なカメラワークで撮影することができるようにしている。例えば、被写体の３次元空間内の位置に応じて視野の大きさを変化させたり、被写体の速度に応じて画面内の被写体位置を変動させたり、時間帯に応じてアイリスの調整量を切替えたりというように、カメラワークの各制御形態での制御モードをダイナミックに切替えて撮影することができるようにしている。さらに、天候の悪化やセンサカメラ１００の故障等により、自動追尾の対象を検出できない事態が生じた場合、自動追尾の制御モードを他の制御モード（移動コースのモデル式等による自動追尾の制御モード）に切替えることで、無人での自動追尾による撮影を継続できるようにしている。この切替えは、３次元位置計測装置３００からの信頼度情報に基づいて行なわれる。例えば、センサカメラ１００が２台ともに障害であれば、被写体１をセンサカメラで認識できないため、計測情報の信頼度としては“０”となり、上記の他の制御モードへの切替えが行われる。
【００１５】
次に、各装置の構成例を示してより詳細に説明する。先ず、撮影用カメラと駆動制御部の構成について説明する。図２は、図１の撮影用カメラ２００と駆動制御部４００の構成例を示しており、撮影用カメラ２００は、モータ２１３，２１４の駆動によるパン軸２１１及びチルト軸２１２の回動により撮像部２２０の向き（水平及び垂直方向）が調整され、各モータ２１５の駆動により撮像部２２０のズーム，フォーカス，アイリスが調整されるようになっている。本例では、モータ２１５にはステップモータを使用し、モータ２１３，２１４には、高トルクを発生するダイレクトドライブモータを使用している。
【００１６】
駆動制御部４００は、雲台のモータ２１３〜２１５を駆動する制御ＣＰＵ４１０，モータドライバ４２０等から構成され、上位制御部（図１の構成例ではデータ解析装置５００）からの駆動制御データ（速度指令）Ｖｃｏｍに従って撮影用カメラ２００の駆動制御を行なう。すなわち、駆動制御部４００は、上位制御部からの駆動制御データ（速度指令）Ｖｃｏｍ及びデータベース４０１のパラメータＰＤＤ（各モータの駆動制御用パラメータ）を基に各モータ２１３〜２１５の駆動信号ＭＳ１〜ＭＳ３を制御ＣＰＵ４１０によって生成／出力し、モータドライバ４２０を介してサーボ制御による撮影用カメラ２００の制御を行なう。
【００１７】
次に、３次元位置計測装置とデータ解析装置の構成について説明する。図３は、図１の３次元位置計測装置３００とデータ解析装置５００の主要部の構成例をブロック図で示している。図３において、３次元位置計測装置３００は、センサカメラ１００で撮影された広角画像ＶＤ１ａ（又はＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を認識する被写体認識部３１０と、被写体１の３次元空間内の現在位置（３次元座標）を計測する３次元座標計測部３２０と、当該計測情報の信頼度を示す信頼度情報を作成する信頼度情報作成部３３０とから構成される。３次元位置計測装置３００の計測情報ＰＤは、データ解析装置５００内の動き解析部５１０に入力される。
【００１８】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤにより被写体１の動きを解析し、被写体１の現時点までの直近の動きベクトルを求める動き解析部５１０と、動き解析部５１０で求めた動きベクトルを基に被写体１の次の動きを予測し、次の動きベクトルを求めて被写体速度Ｖ等の予測情報を送出する動き予測部５２０と、３次元位置計測部３００からの計測情報ＰＤに含まれる信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部５２５と、カメラ角度／画角検出センサからの検出情報ＳＤ（あるいは撮影用カメラ２００からの撮影画像ＶＤ２）に基づいて撮影画面内の被写体最適位置までの撮影用カメラ２００の方位角（パン，チルト角度偏差）及び画角（ズーム）調整量を検出し、駆動信号の補正量を求めて速度補正情報（補正速度ΔＶ）を送出する速度補正量検出部５４０と、動き予測部５２０からの予測情報，及び速度補正量検出部５４０からの速度補正情報等に基づいてカメラワークの分析及び決定を行ない、駆動制御データ（速度指令）Ｖｃｏｍを出力して撮影用カメラ２００のカメラワークを制御するカメラワーク制御部５３０とから構成される。
【００１９】
ここで、データ解析装置５００内のカメラワーク制御部５３０は、３次元空間内の被写体位置，被写体の速度等によって撮影用カメラ２００のカメラワークの制御モードをダイナミックに切替える制御モード切替手段を具備しており、各制御モードに対する制御パラメータに従って、当該制御モードでのカメラワークを制御するようになっている。データ解析装置５００は、他に、動き解析部５１０で解析した被写体動作の解析情報を記録する図示しない解析情報記録手段と、解析情報を撮影画像と共にあるいは単独でモニタ表示する図示しない解析情報表示手段とを具備している。なお、速度補正量検出部５４０の構成の詳細については、カメラ角度／画角検出センサからの検出情報ＳＤに基づいて速度補正量を検出する方式と、撮影画像ＶＤ２に基づいて速度補正量を検出する方式とで構成が異なるため、後述の実施例の項で具体的な構成例を示して説明する。
【００２０】
ここで、カメラワークの制御モードの切替方法について、図５（Ａ）〜（Ｃ）を参照して説明する。図５（Ａ）に示すように、カメラワークの制御モードは、制御形態Ｗ１がｉ種類の制御モード（Ｃ１（１）〜Ｃ１（ｉ）），制御形態Ｗ２がｋ種類の制御モード（Ｃ２（１）〜Ｃ２（ｋ））というように、カメラワークの制御形態（例えば、自動追尾の制御，画面内の被写体位置の制御，ズーミングワークの制御等の各形態）毎に複数ある。カメラワーク制御部５３０では、被写体の３次元位置，計測値の信頼度，被写体の速度，現在の時間帯等を切替要素として、現在の制御モードを他の制御モードに切替えるようにしている。また、図５（Ｂ）に示すように、制御形態Ｗ１は制御モードＣ１（１），制御形態Ｗ２は制御モードＣ２（７）というように、カメラワークの制御パターン毎に制御モデル（Ｍ１，Ｍ２，〜）を予め用意しておき、制御モデル（Ｍ１，Ｍ２，〜）を切替えることで、各制御形態（Ｗ１，Ｗ２，〜）の制御モードを切替えるようにしている。この切替え制御は、図５（Ｃ）に示すように、制御モデルの切替形態 （１，２，〜）に対応して予め設定されている切替条件（ａ１，ａ２，〜）に従って行われる。
【００２１】
上述のような構成において、具体例を示してデータ解析装置５００内のカメラワーク制御部５３０における制御モードの切替制御の動作例、及びシステム全体の動作例についてそれぞれ説明する。
【００２２】
図４は、センサカメラ１００と撮影用カメラ２００の配置構成の一例を示しており、同図に示すようなスキーのジャンプ競技を撮影する場合、被写体である選手１が移動する領域は、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の領域部２ａ，ジャンプしてから着地地点までの領域部２ｂ，及び着地地点から静止するまでのスロープの領域部２ｃであり、それぞれの移動領域部が撮影領域部（３次元空間領域）となる。本発明では全領域を自動撮影の対象とすることができるが、図４では便宜上、ジャンプ中の空間領域部２ｂの一部を自動撮影の対象とし、センサカメラ１００の視野領域を２つの計測範囲１及び２に分割し、センサカメラ１０１（１０１Ａ，１０１Ｂ）で計測範囲１の３次元計測を担当し、センサカメラ１０２（１０２Ａ，１０２Ｂ）で計測範囲２の３次元計測を担当するようにした場合の配置構成の例を示している。
【００２３】
ここで、センサカメラ１０１とセンサカメラ１０２は、それぞれ１台でも被写体の３次元位置（３次元座標）を求めることが可能だが、その場合、例えば２点間を移動したときの被写体１の移動量及び大きさの変化量の検出値に基づいて被写体１の位置を示す３次元座標を算出することになり、計測時点ごとに３次元座標を求めることができず、リアルタイムに計測情報を提供できないという欠点がある。そのため、上記の点や計測装置の処理負荷の点では、本例のように１計測範囲に２台のセンサカメラを用いる形態の方が好ましい。そこで、本発明では、通常は、２台のセンサカメラを用いて３次元座標を計測し、センサカメラの障害等により１台のセンサカメラの映像入力が使用できない時は、１台のセンサカメラの映像により３次元座標を算出する手法に切替えて計測を継続するようにしている。
【００２４】
図６は、上記のスキーのジャンプ競技を撮影する場合の制御パラメータの第１の具体例を示している。図６に示した制御パラメータは、３次元位置計測装置３００からの計測情報（被写体の３次元位置の計測値）の信頼度が高い場合、すなわち、通常のカメラワーク制御に用いる制御パラメータの例を示している。なお、信頼度が低下したときに用いる制御パラメータの例については後述する。以下、図４の全領域（２ａ〜２ｃ）を自動撮影の対象とするものとして説明する。図６の例では、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の撮影空間領域２ａにおけるカメラワークの制御モデルを“Ｍ１”，ジャンプ地点から着地地点までの撮影空間領域２ｂにおけるカメラワークの制御モデルを“Ｍ２”，着地地点から静止するまでのスロープの撮影空間領域部領域２ｃにおけるカメラワークの制御モデルを“Ｍ３”とし、それぞれ、追尾制御方法に関する制御形態Ｗ１，画面内の被写体位置に関する制御形態Ｗ２，及び視野の大きさ（ズーム調整量）関する制御形態Ｗ２における各制御モードの制御パラメータが制御モデル毎に設定されている。例えば、追尾の制御方法に関する制御形態Ｗ１の制御モードとしては、センサカメラの出力、すなわち被写体の３次元位置の計測情報に基づいて追尾する制御モードＣ１（１），被写体の移動コースのモデル式に基づいて追尾する制御モードＣ１（２），及び両者を組合わせた情報に基づいて追尾する制御モードＣ１（３）等があり、図６の例では、制御形態Ｗ１における制御モデルＭ１の制御パラメータとしては上記の制御モードＣ１（２）の制御パラメータ（助走路のモデル式）が設定されている。
【００２５】
これらの制御モデルＭ１〜Ｍ３の切替えは、図７に示すように、各制御モデルＭ１〜Ｍ３に対応して予め設定されている切替条件ａ１〜ａ３に従って行われる。例えば、領域２ｂと領域２ｃは、ジャンプの飛距離によって着地地点が変動するため、被写体１の最下端の３次元位置と被写体直下のスロープ表面位置との距離を示す関数ｆ（ｘ，ｙ，ｚ）によって制御モデルを切替えるようになっている。すなわち、この場合には、撮影中の状況の変化（被写体の移動軌跡の変化）に応じて撮影空間領域が変動し、それに応じてカメラワークの制御モードを自動的に切替えるようにしている。
【００２６】
ここで、上記の制御モデルを例として、データ解析装置５００内のカメラワーク制御部５３０における制御モードの切替制御の第１の動作例を、図８のフローチャートに従って説明する。なお、計測情報の信頼度が低下したときのカメラワークの制御モードの切替制御については後述し、ここでは、通常時のカメラワークの制御について説明する。
【００２７】
自動追尾の動作は、遠隔制御等による外部からのスタート信号、或いは、ジャンプの助走スタート時点で自動的に発生するスタート信号により開始される。このスタート信号はシャッタタイミング信号であり、シャッタタイミング信号の入力により、カメラワーク制御部５３０では、先ず、制御モデルを“Ｍ１”とする（ステップＳ１）。そして、制御モデルＭ１の制御パラメータに従って、助走路に沿って追尾するように撮影用カメラ２００を駆動制御する。
【００２８】
すなわち、制御モデルＭ１の場合にはセンサカメラの出力は用いず、予め登録されているスタート地点の位置に撮影用カメラ２００を向けて被写体である選手を捕らえておく。そして、スタート信号の入力を境にセンサカメラの出力を用い、被写体１の３次元位置情報及び助走路の道筋を示すモデル式（例えば３次元座標と時間から成るモデル式）に基づいて撮影用カメラ２００のパン，チルト操作を制御する。その際、撮影用カメラ２００の画面内の被写体位置が画面中央に位置し、かつ視野の大きさが基準値（一定値）Ｌ１となるようにズーム操作を制御する。そして、図７中の制御モデルＭ１の切替条件ａ１を満足する期間、すなわち、ｘ，ｙ，ｚ座標系で表わした被写体１の３次元位置から助走路上の被写体位置をｇ（ｘ，ｙ，ｚ）として求め、被写体１が領域２ａと領域２ｂとの境界面ｔよりスタート地点側の空間に位置（ｇ（ｘ，ｙ，ｚ）＜ｔ）する期間は、制御モデルＭ１の制御パラメータに従ってカメラワークを制御する（ステップＳ２，Ｓ３）。
【００２９】
そして、ステップＳ２において、制御モデルＭ１の切替条件ａ１を満足しないのであれば、制御モデルを“Ｍ２”に切替え（ステップＳ４）、制御モデルＭ２の制御パラメータに従ってカメラワークを制御する。制御モデルＭ２では、図６中の制御モデルＭ２の制御パラメータに示すように、センサカメラの出力、すなわち、センサカメラの撮影画像により被写体１を認識し、その３次元位置の計測情報に基づいて被写体１の自動追尾を制御する。その際、撮影用カメラ２００の画面内の被写体位置が、画面中央を基準として被写体１の速度のｋ倍遅れた位置に位置し、かつ視野の大きさが基準値（一定値）Ｌ２となるようにズーム操作を制御する。この制御は、切替条件ａ２を満足する期間、すなわち、被写体１の３次元位置が被写体直下のスロープ表面位置より上部に位置（ｇ（ｘ，ｙ，ｚ）＞ｔかつｆ（ｘ，ｙ，ｚ）＞０）する期間（ジャンプ中の期間）、継続される（ステップＳ５，Ｓ６）。
【００３０】
そして、ステップＳ５において、制御モデルＭ２の切替条件ａ２を満足しないのであれば、制御モデルを“Ｍ３”に切替え（ステップＳ７）、制御モデルＭ３のパラメータに従ってカメラワークを制御する。制御モードＭ３では、図６中の制御モデルＭ３の制御パラメータに示すように、センサカメラの出力、及びスロープに沿って、すなわち、被写体の３次元位置の計測情報ＰＤ及び被写体移動コースのモデル式に基づいて被写体１の自動追尾を制御するとともに、視野の大きさが徐々に大きくなるようにズーム操作を制御する。この制御は、切替条件ａ３を満足する期間、すなわち、被写体１の３次元位置がスロープ表面近傍に位置し、領域２ｃのスロープ終了地点の面（垂直の平面）ｔ０まで（ｆ（ｘ，ｙ，ｚ）≦０かつｔ＜ｇ（ｘ，ｙ，ｚ）＜ｔ０）の期間（着地滑走中の期間）、継続される（ステップＳ８，Ｓ９）。そして、ステップＳ８において、制御モデルＭ３の切替条件ａ３を満足しないのであれば、切替制御の動作を終了する。その後、例えば所定時間経過後、センサカメラの出力を用いずに初期動作位置（スタート地点）に撮影用カメラ２００を向けて待機状態とし、スタート信号の入力により上記動作を繰り返す。
【００３１】
次に、計測情報の信頼度が低下したときのカメラワークの制御について説明する。図９（Ａ）及び（Ｂ）は、上記のスキーのジャンプ競技を撮影する場合の制御パラメータの第２の具体例を示している。この制御パラメータは、計測情報の信頼度が低下したときに用いる制御パラメータの例を示しており、同図（Ｂ）に示すように、自動追尾の制御形態Ｗ１は、Ｃ１（１）〜Ｃ１（７）に示すように、移動コースのモデル式に基づいて自動追尾の制御を行なう制御モード，動きの予測情報に基づいて自動追尾の制御を行なう制御モード，撮影用カメラの画像から被写体位置を求めて自動追尾の制御を行なう制御モード等、複数の制御モードがある。例えば、同図（Ｂ）に示すように、制御モデルＭ１では、信頼度が低下した場合にはＣ１（１）の制御モードからＣ１（５）の制御モードに切替わり、移動コースのモデル式、及びその時点（低下する直前）の被写体の位置の計測情報，移動コースでの経過時間に基づいて被写体の動きを予測し、自動追尾を制御するようになっている。また、画面内の被写体位置の制御形態Ｗ２は、例えばＣ２ （１）の制御モードから他の制御モードに切替わり、さらに、ズーミングワークの制御形態Ｗ３は、例えばＣ３（１）の制御モードから他の制御モードに切替わるようになっている。
【００３２】
次に、図３のブロック図を参照して、計測情報の信頼度が低下したときの制御モードの切替制御の動作例を図１０のフローチャートに従って説明する。なお、各制御形態での制御モードの切替えは切替条件に従って行われるが、個々の説明は省略し、ここでは、システム全体の制御モードの切替制御の動作例について説明する。
【００３３】
３次元位置計測装置３００では、センサカメラ１００の入力ＶＤ１ａ及び／又は入力ＶＤ１ｂがあるか否かを判定し（ステップＳ１１）、ある場合にはセンサカメラ１００の入力映像に基づいて被写体の認識，３次元座標の計測を行なう （ステップＳ１２）。一方、センサカメラ１００の入力ＶＤ１ａ及びＶＤ１ｂがない場合には、ステップＳ１３に移行する。ステップＳ１３では、例えば、センサカメラ１００の入力がある場合には被写体の面積情報を信頼度情報とし、入力がない場合には、センサカメラの障害を示す情報を信頼度情報とし、計測情報ＰＤを出力する（ステップＳ１３）。
【００３４】
３次元位置計測装置３００からの計測情報ＰＤを受けたデータ解析装置５００では、計測情報ＰＤに含まれる信頼度情報に基づいて被写体認識度等の信頼度を算出する（ステップＳ２１，Ｓ２２）。そして、信頼度と閾値とを比較し（ステップＳ２３）、信頼度が閾値以上、すなわち計測情報の信頼度が高いと判断した場合は、制御モードを通常モードＮとし（Ｓ２４）、被写体の３次元座標の計測値に基づいてカメラワークを制御する（ステップＳ２５）。一方、ステップＳ２３において信頼度が閾値未満であれば、ステップＳ２６に移行し、信頼度の低下期間を計数する。そして、信頼度の低下期間（例えば、連続して信頼度が低下した期間、不連続な低下期間部の和）と設定値Ｔとを比較し（ステップＳ２６）、設定値Ｔを越えていれば、モデル式があるか否かをチェックし（ステップＳ２７）、モデル式がある場合には制御モードを自動モードＡ１とし、モデル式に基づいてカメラワークを制御する（ステップＳ２８，Ｓ２９）。一方、ステップＳ２６において信頼度の低下期間が設定値Ｔ以下の場合は、制御モードを自動モードＡ２とし（ステップＳ３０）、動きの予測情報に基づいてカメラワークの制御を行なう。すなわち低下期間が短ければ、その間は、それまでの計測値から被写体の動きを予測して追尾する。また、ステップＳ２７でモデル式がない場合も自動モードＡ２とし、信頼度が回復するまでの間（信頼度が閾値以上となるまでの間）は、それまでの計測値から被写体の動きを予測して追尾する（ステップＳ３１）。
【００３５】
そして、上記の動作を繰り返し、信頼度に応じて当該制御モードを自動的に切替え、切替え後の制御モードの制御パラメータに従って撮影用カメラのカメラワークを制御する動作を継続する。なお、低下期間が設定値Ｔを越えている場合、撮影用カメラの画像に基づいて被写体を追尾する制御モードに切替えるようにしても良い。この場合、システムの主要部をハードウェア回路で構成する場合は、後述の第２の実施例における構成（制御系の全体構成）とすれば実現することができる。
【００３６】
次に、図２〜図４を参照してシステム全体の動作例を説明する。
図４において、センサカメラ１０１，１０２で撮影された映像信号はそれぞれ３次元位置計測装置３００に入力される。なお、センサカメラ１０１，１０２の計測範囲の切換制御の方法については後述する。ここでは便宜上、センサカメラ１０１，１０２をセンサカメラ１００として説明する。図３において、３次元位置計測装置３００内の被写体認識部３１０は、映像信号ＶＤ１ａ（又はＶＤ１ｂ）をデジタル化した１フレーム分の２次元座標系の画像データから撮影対象の被写体１を認識する。被写体１の認識は、例えば画像データの各画素の色度と、被写体認識データとして予め設定されている複数色のそれぞれの閾値（色度の範囲：下限の閾値〜上限の閾値）とを比較し、閾値内を“１”，範囲外を“０”として画素単位に２値化する。その際、２次元座標系（Ｘ，Ｙ座標系）にて連続する当該色の画素を抽出して計数し、計数値を面積Ｓとする。そして当該色の部分が複数存在する場合には、例えば、面積Ｓの最も大きい部分を撮影対象の被写体１と認識する。但し、設定されている色で被写体１を必ず特定できるような撮影条件では大きさによる認識処理は必要ないため、色だけで認識すれば良い。被写体認識部３１０は、算出した被写体１の面積Ｓを信頼度情報作成部３３０へ送出する。ここで、被写体認識部３１０では、センサカメラ１００の入力ＶＤ１ａ及びＶＤ１ｂがない場合には、センサカメラの障害を示す情報を信頼度情報作成部３３０へ送出する。
【００３７】
３次元座標計測部３２０では、被写体認識部３１０で求めた面積Ｓから、抽出部分の重心位置を演算して被写体１の中心位置Ｃ（ｘ，ｙ）とする。この中心位置は、２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂからそれぞれ演算する。続いて、算出した２つの中心位置Ｃ１（ｘ，ｙ），Ｃ２（ｘ，ｙ）と、センサカメラ１００及び撮影用カメラ２００の位置情報とから、被写体１の３次元空間内の位置（撮影用カメラ２００の視点を原点とした被写体１の３次元座標）を三角測量の原理で算出し、算出した３次元位置情報Ｃ（ｘ，ｙ，ｚ）を信頼度作成情報部３３０へ送出する。なお、３次元座標計測部３２０では、一方のセンサカメラ１００からの入力（ＶＤ１ａ又はＶＤ１ｂ）がない場合は、１台のセンサカメラ１００の映像により３次元座標を算出する手法に切替えて計測する。
【００３８】
信頼度情報作成部３３０では、被写体１の大きさを示す情報（上記の面積Ｓ）を信頼度情報として計測情報（３次元位置情報）に付加し、計測情報ＰＤとして出力する。一方、被写体認識部３１０からセンサカメラの障害を示す情報を受けた場合には、信頼度情報作成部３３０は、センサカメラの障害情報を信頼度情報とし、計測情報（３次元位置情報は計測不能のため信頼度情報のみ）ＰＤを出力する。この計測情報ＰＤは、データ解析装置５００内の動き解析部５１０及び信頼度算出部５２５に入力される。
【００３９】
信頼度算出部５２５は、計測情報ＰＤに含まれる信頼度情報に基づいて３次元座標の計測情報の信頼度を算出する。例えば、センサカメラの障害（計測不能）であれば信頼度を“０”とし、被写体の面積が基準面積以下であれば、その割合に応じて信頼度を決定する。また、被写体を認識する際の認識度（色の場合は許容範囲等）に応じて信頼度を決定するようにしても良い。信頼度算出部５２５では、算出した信頼度をカメラワーク制御部５３０に送出する（切替制御テーブル（図示せず）に書込む）。
【００４０】
動き解析部５１０では、３次元位置計測装置３００からの計測情報ＰＤにより被写体１の動きを解析し、解析情報を動き予測部５２０に送出する。例えば、今回の計測情報ＰＤｔｎ（３次元座標情報）と前回の計測情報ＰＤｔ（ｎ−１）により、前回の計測時点を起点とする動きベクトルを求め、求めた動きベクトルの情報（時刻，方位角，距離，速度等）を解析情報として送出する。動き予測部５２０では、動き解析部５１０からの解析情報に基づいて被写体１の次の瞬間の動きを予測する。
【００４１】
ここで、被写体の次の瞬間の動き予測する方法について第１及び第２の例を示して説明する。なお、計測間隔と動きベクトルの解析間隔とは必ずしも等しくないが、ここでは、等しいものする。先ず、第１の例として、直近の２つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ−１）を基に予測する方法について説明する。図１１ （Ａ）に示すように、被写体の前回（ｔ１時点）の計測位置がＰ１（ｘ，ｙ，ｚ）で、今回（ｔ２時点）の計測位置がＰ２（ｘ，ｙ，ｚ）とした場合、Ｐ１（ｘ，ｙ，ｚ）とＰ２（ｘ，ｙ，ｚ）から方位と速度Ｖとを求め（本例では動き解析部５１０にて算出）、同一方向に同一速度で動くものと予測して、Ｐ２→ＦＰの動きベクトルを求める。ここで、ＦＰ（ｘ，ｙ，ｚ）は、ｔ２−ｔ１時間経過したｔ３時点での次の移動位置である。
【００４２】
続いて、第２の例として、直近の３つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ−１），ＰＤｔ（ｎ−２）を基に予測する方法について説明する。図１１（Ｂ）に示すように、被写体の前前回（ｔ１時点）の計測位置がＰ１（ｘ，ｙ，ｚ），前回（ｔ２時点）の計測位置がＰ２（ｘ，ｙ，ｚ），今回（ｔ３時点）の計測位置がＰ３（ｘ，ｙ，ｚ）であったとする。この場合、各時点ｔ１〜ｔ３の座標から動きベクトルＰ１→Ｐ２，Ｐ２→Ｐ３を求める。そして、求めた２つの動きベクトルからＰ３→ＦＰの動きベクトルを求める。この方法では、方位角の変化及び加速度を考慮して予測することになる。計測間隔が極めて短い場合には前者の方法で充分である。なお、予測に用いる計測情報の量を多くして更に先の動きを予測するようにしても良い。また、予測情報を計測情報に置換える制御モードを設け、永続的な予測を行なうようにしても良い。以上のようにして求めた被写体の動きの予測情報は、カメラワーク制御部５３０に入力される。
【００４３】
カメラワーク制御部５３０では、画面内の被写体位置情報動き予測部５２０からの予測情報（被写体速度Ｖ等）、速度補正量検出部５４０からの速度補正情報（補正速度ΔＶ）に基づいて、撮影用カメラ２００の方向，移動量及び移動速度を決定する。その際、信頼度算出部５２５で求めた信頼度や、被写体の３次元座標位置や速度等の切替条件に従ってカメラワークの制御モードを自動的に切替え、当該制御モードの制御パラメータに従ってズーム操作等のカメラワークを決定する。そして、パン，チルトの速度指令（Ｖ＋ΔＶ）を生成すると共に、撮影用カメラ２００のズーム，フォーカス，アイリスを調整するための速度指令を生成し、駆動制御データＶｃｏｍとして出力し、駆動制御部４００を介して撮影用カメラ２００を駆動制御する。
【００４４】
以上のように、対象の３次元座標位置や対象の速度等により制御モードをダイナミックに切替え、当該制御モードの制御パラメータに従ってカメラワークを制御することで、撮影中の状況の変化等に応じた最適なカメラワークによる撮影を可能としている。そして、天候等により被写体が検出できない事態やセンサカメラの故障等の事態が生じた場合においても、計測情報の信頼度により制御モードをダイナミックに切替え、モデル式等により被写体の動きを予測して追尾制御を行なうことで、無人での自動追尾による撮影を継続できるようにしている。また、被写体の次の瞬間の動きを予測して次の動作位置へと撮影用カメラ２００の駆動制御を行なうことにより、従来の自動撮影システムに見られる映像の動きのぎこちなさは解消されることになる。
【００４５】
また、撮影用カメラ２００を複数設置し、撮影用カメラ２００を切り換えながら撮影する構成とした場合、被写体の動きの予測情報を利用することにより、各視野領域の境界をまたがって移動する被写体を連続的に追尾して撮影することが可能となる。また、計測範囲を分割して各センサカメラ１００を配置する構成では、３次元位置計測装置３００で被写体の動きを予測し、計測範囲を切り換えながら計測処理を行なうことで、計測範囲をまたがって移動する被写体の計測を連続的に行なうことができる。さらに、従来のシステムと比較して被写体位置の計測間隔を大きくとることができるので、情報処理量が減り、制御系の処理負荷が軽減される。
【００４６】
【実施例】
以下に、データ解析装置５００内の速度補正量検出部５４０の構成例の第１及び第２の実施例を、制御系の全体構成図を用いて説明する。なお、図１２及び図１３の構成例では、図３のデータ解析装置５００内の動き解析部５１０及び動き予測部５２０の機能を３次元位置計測装置３００側に備えた場合の構成を例としている。また、データ解析装置５００内のカメラワーク分析／制御機能を有する速度補正量検出部５４０とカメラワーク制御部５３０とは、一体的なデータ処理構成であるため、図１２及び図１３の回路構成例では両者をカメラワーク分析／制御部５５０として新たに符号を付している。
【００４７】
図１２は、本発明における制御系の構成の第１の実施例を示すブロック図であり、本発明に係わる主要部の回路構成を示している。第１の実施例では、カメラ角度／画角検出センサ２３０，２３１からの検出情報ＳＤ及び３次元位置計測装置３００からの計測情報ＰＤに基づいて、撮影方向の速度補正量ΔＶを検出する方式としている。カメラワーク分析／制御部５５０では、図１４に示すように、撮影用カメラ２００の視点Ｐｅを原点としたときの視座標系（ｘｅ，ｙｅ，ｚｅ）における方位角（φ，ψ）及び画角θを、それぞれ方位角検出センサ２３０と画角検出センサ２３１からの検出情報ＳＤにより検出する。カメラワーク分析／制御部５５０内の演算回路５５７では、検出情報を座標変換回路５５４に送出すると共に、現在の撮影用カメラ２００の視線での視野スクリーン内（＝撮影画面内）における被写体１のサイズＳ，及び被写体最適位置までのズレ量Δｌを演算してマイコン５５１に送出する。
【００４８】
座標変換回路５５４では、３次元位置計測装置３００からの計測情報ＰＤを入力し、３次元座標系での被写体の位置（ｘ，ｙ，ｚ）を２次元座標系での被写体の位置（ｘ，ｙ）に変換して動きベクトル検出回路５５２に送出する。動きベクトル検出回路５５２では、座標変換回路５５４からの被写体の（ｘ，ｙ）座標から、被写体の現在の動きベクトル（位置（ｘ，ｙ），速度Ｖｓ，方向ａ）を検出してマイコン５５１に送出する。マイコン５５１では、動きベクトル検出回路５５２及び演算回路５５７からの検出情報を受け、被写体最適位置までのズレ量Δｌ／画角補正量Δθを演算回路５５３を介してＲＯＭテーブル１３に書込むと共に、被写体１の速度Ｖｓ等の情報をＲＯＭテーブル１３に書込む。ＲＯＭテーブル１３には、画面内の目標位置まで方位角（パン，チルト角度偏差）の大きさ等に応じた速度補正量ΔＶが予め設定されており、知的制御信号発生器５５８では、３次元位置計測装置３００からの被写体の速度Ｖ（図１４中の予測した動きベクトルでの被写体速度）を、ＲＯＭテーブル１３から読み出した速度補正量ΔＶにより補正して速度指令Ｖｃｏｍを出力し、撮影用カメラ２００の駆動制御を行なう。
【００４９】
図１３は、本発明における制御系の構成の第２の実施例を示すブロック図であり、第２の実施例では、撮影用カメラ２００からの撮影画像ＶＤ２に基づいて上記の速度補正量ΔＶを検出する方式としており、第１の実施例での方式と比較すると、撮影用カメラ２００の画面内に被写体が存在することが前提となる点，及び画像処理の負荷が増加する点で難点があるが、カメラ角度／画角検出センサ２３０，２３１が必要ない点，及び３次元／２次元座標変換が必要ない点で利点がある。
【００５０】
以下、図１５を参照して図１３のカメラワーク分析／制御部５５０の動作例を説明する。カメラワーク分析／制御部５５０内の被写体抽出回路５５５では、撮影用カメラ２００からの撮影画像ＶＤ２から被写体部分を抽出し、画面内の被写体のサイズ（面積を示す計数値）Ｓを求めてマイコン５５１に送出すると共に、画面内での被写体の位置（ｘ，ｙ）を求めて動きベクトル検出回路５５２及び位置比較器５５６に送出する。動きベクトル検出回路５５２では、被写体の現在の動きベクトル（位置（ｘ，ｙ），速度Ｖｓ，方向ａ）を検出してマイコン５５１に送出する。一方、位置比較器５５６では、画面内での被写体の現在位置（ｘ，ｙ）と、ＲＯＭテーブル１２から読み出した画面内での被写体の最適位置（ｘ０，ｙ０）とを比較し、画面内でのズレ量Δｌをマイコン５５１に送出する。本例では、この画角の補正量Δθについては、マイコン５５１でＲＯＭテーブル１２に書込んだ被写体サイズＳとＲＯＭテーブル１２内に設定されている基準サイズとを位置比較器５５６で比較して求めるようにしている。なお、その他の動作は第１の実施例と同様であるため、説明を省略する。
【００５１】
なお、上述した実施の形態においては、被写体の動きの解析機能をデータ解析装置５００に設ける場合を例として説明したが、実施例のように３次元位置計測装置３００側に設ける構成としても良い。また、無人撮影の場合を例として説明したが、当然のことながら、遠隔操作によりカメラマンが撮影用カメラ２００を操作することも可能であり、その場合には操作情報の入力が優先処理される。また、制御モデルは、対象となる撮影空間領域の分割領域部に対応して設定されている場合を例として説明したが、時間帯に対応して複数の制御モデルを設定しておき、現在の時間に応じて制御モードを自動的に切替え、当該時間帯に対応する制御モデルのパラメータに従って撮影用カメラのカメラワークを制御するようにしても良い。
【００５２】
【発明の効果】
以上に説明したように、本発明の自動撮影カメラシステムによれば、センサカメラの広角画像から撮影対象の被写体を認識してその３次元位置を逐次計測し、計測情報から解析した被写体の動きに応じて撮影用カメラを駆動制御するようにしているので、広範囲の３次元空間内を移動する対象を自動追尾して無人で撮影することができる。そのため、カメラマンが撮影できないような位置（例えば、木の上，コンサート会場のハイポジション，災害現場等）からでも、迫力のある映像を自動的に撮影することができるようになり、一流カメラマンを越えるカメラワークを実現することができる。また、計測情報の信頼度により制御モードをダイナミックに切替え、モデル式等により被写体の動きを予測して追尾制御を行なうことで、天候の悪化やセンサカメラの故障等により自動追尾の対象を検出できない事態が生じた場合においても、無人での自動追尾による撮影を継続して行なうことができる。また、被写体の次の瞬間の動きを予測して撮影用カメラを駆動制御するようにしているので、撮影映像内の被写体の不自然な動きを無くすことができる。
【図面の簡単な説明】
【図１】本発明の自動撮影カメラシステムの概略の構成例を示すブロック図である。
【図２】図１の撮影用カメラ２００と駆動制御部４００の構成例を示すブロック図である。
【図３】図１の３次元位置計測装置３００とデータ解析装置５００の構成例を示すブロック図である。
【図４】本発明に用いるセンサカメラと撮影用カメラの配置構成の一例を示す図である。
【図５】本発明におけるカメラワークの制御モードの切替方法を説明するための図であれる。
【図６】本発明に用いる制御パラメータの第１の具体例を示す図である。
【図７】本発明おける制御モデルの切替え方法の一例を説明するための図である。
【図８】本発明における切替え制御の第１の動作例を説明するためのフローチャートである。
【図９】本発明に用いる制御パラメータの第２の具体例を示す図である。
【図１０】本発明における切替え制御の第２の動作例を説明するためのフローチャートである。
【図１１】本発明における被写体の動きの予測方法の具体例を説明するための図である。
【図１２】本発明における制御系のハードウェア構成の第１の実施例を示すブロック図である。
【図１３】本発明における制御系のハードウェア構成の第２の実施例を示すブロック図である。
【図１４】図１２のカメラワーク分析／制御部５５０の動作例を説明するための図である。
【図１５】図１３のカメラワーク分析／制御部５５０の動作例を説明するための図である。
【図１６】従来のカメラシステムにおける被写体の自動追尾の方法の例を説明するための図である。
【図１７】従来のカメラシステムにおける被写体の自動追尾の方法の例を説明するための図である。
【符号の説明】
１ 被写体
１００ センサカメラ
２００ 撮影用カメラ
２１０ 駆動機構部（雲台）
２１１ パン軸
２１２ チルト軸
２１３，２１４，２１５ 撮影用カメラ制御モータ
２２０ 撮像部
３００ ３次元位置計測装置
３１０ 被写体認識部
３２０ ３次元座標計測部
３３０ 信頼度情報作成部
４００ 駆動制御部
４０１ データベース
４１０ 制御ＣＰＵ
４２０ モータドライバ
５００ データ解析装置
５１０ 動き解析部
５２０ 動き予測部
５２５ 信頼度算出部
５３０ カメラワーク制御部
５４０ 速度補正量検出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an automatic photographing camera system capable of measuring a three-dimensional position of an object from an image photographed using a television camera, automatically tracking the object, and photographing the object unattended.
[0002]
[Prior art]
Conventionally, a camera system that allows a camera operator to automatically track and shoot a subject without directly operating the television camera can be rotated horizontally and vertically, and can be controlled by an external control signal. The driving of the photographing camera is controlled in accordance with the movement of the subject using a simple photographing camera. As a method of recognizing a subject, for example, a detection mark is previously attached to a subject (or an object that moves with the subject), a captured image is processed to recognize the detection mark, or a specific color such as red is applied to the subject. Has been adopted. Then, by controlling the driving of the photographing camera so that the recognized subject is located at a predetermined position within the frame of the screen, the subject is tracked and photographed.
[0003]
[Problems to be solved by the invention]
However, in the case of the tracking method as described above, the movement of the subject on the screen is “awkward movement” as shown in the following example. For example, assume that the subject 1 has moved along the locus as shown in FIG. 16 from the time t1 to the time t3 as shown in FIG. In this case, as shown in FIG. 17A, first, at the time point t1, the direction of the photographing camera is corrected so that the subject 1 is located at the target position on the screen VD (t1). Thereafter, the subject 1 is displayed on the screen VD (t1 to t2) as shown in FIG. At the next time point t2, the direction of the photographing camera is corrected again so that the subject 1 is located at the target position on the screen VD (t2) as shown in FIG. Similarly, even when the subject moves as shown in FIG. 17D, the amount of deviation from the target position is corrected. In other words, if the position of the subject is shifted from the predetermined position, the operation of correcting the shift amount is repeated, so that the awkward movement increases according to the size of the recognition interval. In order to realize smooth camera work, it is only necessary to reduce the recognition interval of the subject. However, since the amount of information processing for that purpose increases, the processing load on the control device increases.
[0004]
In addition, in order to automatically track a subject with a single photographing camera as described above, the function does not function unless the subject is present in the camera's image frame. At that time, camera operation by automatic control was started for the first time. Therefore, there is a problem in that the camera must be manually operated until the camera captures the subject, and if the subject moves out of the image frame without keeping up with the moving speed of the subject, automatic tracking cannot be performed. .
[0005]
On the other hand, as a camera system capable of shooting in a wide field of view and enlarging a part of the area, two television cameras, one for shooting a wide-angle image and the other for shooting an image forming a part of the image, are provided. With the former unmanned camera, a wide field of view is photographed, and the camera operator operates the latter photographing camera by remote control (for example, pan, tilt, zoom) while viewing the photographed image, and 2. Description of the Related Art A camera system that captures an image of a subject is realized. This camera system has a function of detecting a movement of the line of sight of a camera operator when monitoring an image captured by an unmanned camera, converting the movement into an operation signal of a camera for photography, and reflecting the movement in camera control, An image is taken without directly operating the camera (see Japanese Patent Application Laid-Open No. 7-240868). However, such a shooting method has an advantage that a subject can be captured in a wide visual field area, but requires indirect operation by a camera operator, and can perform unmanned shooting by automatic tracking. Did not.
[0006]
Furthermore, in a conventional automatic shooting camera system that automatically tracks an object and shoots unattended, there are many monotonous images in which the position, size, etc. of the subject in the screen do not change, so that a leading cameraman directly operates. It was not possible to achieve highly realistic camera work.
[0007]
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and an object of the present invention is to automatically track an object moving in a three-dimensional space and shoot an image. It is an object of the present invention to provide an automatic photographing camera system capable of continuing unattended photographing by automatic tracking even in a case where a target of automatic tracking cannot be detected due to a failure of (Means).
[0008]
[Means for Solving the Problems]
The present invention relates to an automatic photographing camera system capable of unmanned photographing by automatic tracking of an object, and the object of the present invention is to provide a sensor camera for photographing a wide-angle image corresponding to the field of view of a camera operator. , A camera for shooting that can control the camera operation including the shooting direction by an external control signal , Recognizing a subject to be photographed from a stationary body or a moving body in a wide-angle image captured by the sensor camera, sequentially measuring the current position of the subject in a three-dimensional space, and measuring the reliability of the measurement information. To calculate A three-dimensional position measurement unit that creates reliability information and sends it together with the measurement information; , A motion analysis unit that analyzes a motion of the subject in a three-dimensional space based on measurement information from the three-dimensional position measurement unit; , A reliability calculation unit that calculates the reliability of the measurement information based on the reliability information from the three-dimensional position measurement unit; , Of the camera work of the shooting camera control For each form plural Control mode Have According to the reliability calculated by the reliability calculator, Was Control mode To Switching, after switching Said A camera work control unit that controls camera work of the photographing camera according to a control parameter of a control mode. The reliability information from the three-dimensional position measurement unit is the first information indicating a failure of the sensor camera or the second information indicating the size of the recognized subject, and the reliability calculation unit If the reliability information of the measurement information is the first information, the reliability of the measurement information is calculated as “0”, and if the reliability information of the measurement information is the second information, Calculate reliability according to the size of Is achieved by:
[0009]
further, When the reliability does not exceed a threshold value or when the measurement information is not input and the subject is included in the field of view of the photographing camera, a static or moving object in the photographed image of the photographing camera is A measurement information creation unit that recognizes the subject to be photographed from inside and sets measurement information obtained by measuring a current position of the subject in a screen as measurement information from the three-dimensional position measurement unit thing The control mode includes an automatic tracking control mode, and when the reliability exceeds a threshold, the automatic tracking control mode for controlling automatic tracking in accordance with the movement of the subject analyzed by the motion analysis unit. Control in the first control mode, and if the reliability does not exceed the threshold, the automatic tracking that controls automatic tracking based on prediction information of the movement of the subject obtained from a plurality of measurement information up to the present time. The control mode is switched to a second control mode of the tracking control mode, and control is performed by the second control mode while the reliability is lower than a threshold value. thing The control mode includes a control mode of automatic tracking, and the period in which the reliability does not exceed the threshold does not exceed the allowable period, or the period in which the reliability does not exceed the threshold exceeds the allowable period and If there is no model equation of the moving course, the second control mode of the automatic tracking control mode in which the current control mode is controlled based on the prediction information of the movement of the subject obtained from the plurality of measurement information up to the present time. And the control is performed by the second control mode while the reliability is lower than the threshold. The period in which the reliability does not exceed the threshold exceeds the allowable period, and the model formula of the moving course is In some cases, the current control mode is controlled by a third control of the automatic tracking control mode for controlling automatic tracking based on a model formula of the moving course for predicting the movement of the subject. Switching mode, the while reliability is lower than the threshold value so as to control by the third control mode thing A sensor camera that shoots a wide-angle image corresponding to the field of view of the camera operator, a shooting camera that can control camera operation including a shooting direction by an external control signal, and a wide-angle image shot by the sensor camera. The object to be imaged is recognized from among the stationary or moving objects, and the current position of the object in the three-dimensional space is sequentially measured, and reliability information for calculating the reliability of the measurement information is created. A three-dimensional position measuring unit for transmitting the subject in the three-dimensional space based on the measurement information from the three-dimensional position measuring unit; and a three-dimensional position measuring unit. A reliability calculating unit that calculates the reliability of the measurement information based on the reliability information from the control unit, and a plurality of control modes for each control mode of the camera work of the photographing camera. And a camera work control unit for controlling the camera work of the photographing camera in accordance with the control parameters of the control mode after the switching, and the reliability from the three-dimensional position measurement unit. The information is first information indicating a failure of the sensor camera or second information indicating a size of the recognized subject, and in the reliability calculation unit, the reliability information of the measurement information is the first information. If the information is information, the reliability of the measurement information is calculated as “0”. If the reliability information of the measurement information is the second information, the reliability is calculated according to the size of the subject. The control form includes a control form of automatic tracking, and when the reliability exceeds a threshold value, the automatic control for controlling automatic tracking according to the motion of the subject analyzed by the motion analysis unit. Additional In the first control mode of the control mode, the period in which the reliability does not exceed the threshold does not exceed the allowable period, or the period in which the reliability does not exceed the threshold is If the model exceeds the allowable period and there is no model formula for the moving course, the control mode of the automatic tracking is such that the current control mode controls the automatic tracking based on the prediction information of the movement of the subject obtained from the plurality of measurement information up to the present time. Switching to a second control mode, while the reliability is lower than a threshold, control is performed by the second control mode, while a period in which the reliability does not exceed a threshold exceeds an allowable period, And if there is a model formula of the moving course, the control mode of the automatic tracking that controls the automatic tracking based on the model formula of the moving course for predicting the movement of the subject in the current control mode The third control mode is switched to the third control mode, and the control is performed by the third control mode while the reliability is lower than a threshold value. That , Respectively, are more effectively achieved.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
According to the present invention, a subject to be photographed is automatically recognized from a wide-angle image photographed by a sensor camera corresponding to an eye of a camera operator, and the position and movement of the subject in a three-dimensional space are measured. The driving of the photographing camera is controlled in accordance with the condition (1) to automatically photograph the subject. In addition, even in the event that the subject cannot be detected due to the weather or the like, or a situation such as a failure of the sensor camera occurs, by performing control such as predicting and tracking the movement of the subject, it is possible to continue shooting by unmanned automatic tracking. I have to.
[0011]
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 shows a schematic configuration of an automatic photographing camera system of the present invention, in which two cameras 100 (hereinafter, referred to as “sensor cameras”) for capturing a subject moving in a three-dimensional space and one photographing camera are used. 1 shows an example of a system including a camera 200. The sensor camera 100 is a camera corresponding to both eyes of the camera operator, and captures a wide-angle image including the subject 1 to be captured as shown in FIG. Two sensor cameras 100 are used to determine the three-dimensional position (three-dimensional coordinates) of the subject based on the principle of triangulation. For example, when tracking and photographing the subject 1 moving beyond the field of view of the sensor camera 100, a plurality of sensor cameras 100 are used. In this case, the photographing range (measurement range) is divided and each is divided into a predetermined range. Are arranged two at a time. The photographing camera 200 is a camera in which a driving mechanism (pan head) 210 and an imaging unit 220 that can adjust the pan, tilt, zoom, focus, and the like of the camera by an external control signal are integrally formed. By controlling the rotation of the pan axis and the tilt axis, it is possible to take an image of almost the entire space except immediately below.
[0012]
The three-dimensional position measuring device 300 recognizes the subject 1 to be photographed from among a stationary body or a moving body in the wide-angle image VD1a (VD1b) captured by the sensor camera 100 (for example, recognizes the subject 1 based on color information of the subject 1). Is a device that sequentially measures the current position of the subject 1 and outputs, as measurement information PD, the current position (three-dimensional coordinate information) of the subject 1 in a three-dimensional space whose origin is the viewpoint of the imaging camera 200. At this time, the measurement information is output as measurement information PD (or reliability information alone by another communication means) including reliability information indicating the reliability of the measurement information (such as area information of the recognized subject). . This measurement information PD is input to the data analysis device 500 via the input / output interface.
[0013]
The data analysis device 500 is a device that analyzes the movement of the subject 1 based on the measurement information PD from the three-dimensional position measurement device 300 and controls the camera work of the photographing camera 200 according to the movement of the subject 1. The driving signal MS is transmitted via the control unit 400 to control the camera work of the camera 200 for photographing. That is, the data analysis device 500 recognizes the current position of the subject 1 based on the measurement information PD of the three-dimensional position measurement device 300, and analyzes the movement (position, azimuth, acceleration, etc. at each time point) of the subject 1. The movement at the next moment is predicted, and the amount of adjustment such as the pan / tilt angle deviation and the zoom of the photographing camera 200 is calculated based on the prediction information and the information indicating the direction of the photographing camera 200 at the present time. By outputting the control data (speed command) Vcom and controlling the driving of the photographing camera 200 to the next operation position of the subject 1, the subject 1 is automatically tracked and photographed.
[0014]
In addition, the data analysis device 500 has a plurality of camera work control modes, and has a function of dynamically switching each control mode according to a change in the situation during shooting, and performs shooting with an optimum camera work according to the situation. Have to be able to. For example, the size of the field of view is changed according to the position of the subject in the three-dimensional space, the position of the subject in the screen is changed according to the speed of the subject, or the iris adjustment amount is switched according to the time zone. As described above, the control mode in each control mode of the camera work can be dynamically switched so that the photographing can be performed. Further, when a situation in which an object to be automatically tracked cannot be detected occurs due to deterioration of the weather, a failure of the sensor camera 100, or the like, the control mode of the automatic tracking is changed to another control mode (the control mode of the automatic tracking by a model formula of a moving course or the like). ), The photographing by the unmanned automatic tracking can be continued. This switching is performed based on the reliability information from the three-dimensional position measuring device 300. For example, if both of the sensor cameras 100 are obstacles, the subject 1 cannot be recognized by the sensor camera, so that the reliability of the measurement information is “0”, and switching to the other control mode is performed.
[0015]
Next, an example of the configuration of each device will be described in more detail. First, the configurations of the photographing camera and the drive control unit will be described. FIG. 2 shows a configuration example of the photographing camera 200 and the drive control unit 400 in FIG. 1. The photographing camera 200 is configured to rotate the pan shaft 211 and the tilt shaft 212 by driving the motors 213 and 214, and the imaging unit The orientation (horizontal and vertical directions) of the 220 is adjusted, and the zoom, focus, and iris of the imaging unit 220 are adjusted by driving each motor 215. In this example, a step motor is used as the motor 215, and a direct drive motor that generates high torque is used as the motors 213 and 214.
[0016]
The drive control unit 400 includes a control CPU 410 that drives the motors 213 to 215 of the camera platform, a motor driver 420, and the like. Drive control data (speed command) from a higher-level control unit (the data analysis device 500 in the configuration example of FIG. 1) is provided. ) Drive control of the photographing camera 200 is performed according to Vcom. That is, the drive control unit 400 drives the drive signals MS1 to MS3 of the motors 213 to 215 based on the drive control data (speed command) Vcom from the host control unit and the parameter PDD (drive control parameter of each motor) of the database 401. Is generated / output by the control CPU 410, and the photographing camera 200 is controlled by the servo control via the motor driver 420.
[0017]
Next, the configurations of the three-dimensional position measurement device and the data analysis device will be described. FIG. 3 is a block diagram showing a configuration example of a main part of the three-dimensional position measurement device 300 and the data analysis device 500 in FIG. In FIG. 3, a three-dimensional position measurement device 300 includes a subject recognition unit 310 that recognizes a subject 1 to be photographed from a stationary body or a moving body in a wide-angle image VD1a (or VD1b) captured by the sensor camera 100; The three-dimensional coordinate measuring unit 320 measures the current position (three-dimensional coordinates) of the subject 1 in the three-dimensional space, and a reliability information creating unit 330 that creates reliability information indicating the reliability of the measurement information. You. The measurement information PD of the three-dimensional position measurement device 300 is input to the motion analysis unit 510 in the data analysis device 500.
[0018]
The data analysis device 500 analyzes the motion of the subject 1 based on the measurement information PD from the three-dimensional position measurement device 300, and obtains a motion analysis unit 510 that obtains the most recent motion vector of the subject 1 up to the present time. A motion prediction unit 520 that predicts the next motion of the subject 1 based on the obtained motion vector, obtains the next motion vector, and sends out prediction information such as the subject speed V, and measurement information PD from the three-dimensional position measurement unit 300. And the reliability calculation unit 525 that calculates the reliability of the measurement information based on the reliability information included in the detection information SD from the camera angle / view angle detection sensor (or the captured image VD2 from the imaging camera 200). The azimuth (pan / tilt angle deviation) and the angle of view (zoom) adjustment of the camera 200 up to the optimum position of the subject in the shooting screen are detected based on the detected drive signal. A speed correction amount detection unit 540 that calculates the amount and sends the speed correction information (correction speed ΔV); a camera work based on prediction information from the motion prediction unit 520 and speed correction information from the speed correction amount detection unit 540; And a camera work control unit 530 that outputs drive control data (speed command) Vcom to control the camera work of the photographing camera 200.
[0019]
Here, the camera work control unit 530 in the data analysis device 500 includes a control mode switching unit that dynamically switches the control mode of the camera work of the photographing camera 200 according to the position of the subject in the three-dimensional space, the speed of the subject, and the like. In accordance with the control parameters for each control mode, the camera work in the control mode is controlled. The data analysis device 500 further includes an analysis information recording unit (not shown) for recording analysis information of the subject motion analyzed by the motion analysis unit 510, and an analysis information display unit (not shown) for displaying the analysis information together with the captured image or independently on a monitor. Is provided. The details of the configuration of the speed correction amount detection unit 540 include a method of detecting the speed correction amount based on the detection information SD from the camera angle / view angle detection sensor and a method of detecting the speed correction amount based on the captured image VD2. Since the configuration differs depending on the method used, a specific configuration example will be shown and described in the section of the embodiment below.
[0020]
Here, a method of switching the control mode of the camera work will be described with reference to FIGS. As shown in FIG. 5A, the control modes of the camera work are i control modes (C1 (1) to C1 (i)) in the control mode W1, and k control modes (C2 (C2 ()) in the control mode W2. 1) to C2 (k)), there are a plurality of camera work control modes (for example, control of automatic tracking, control of a subject position in a screen, control of zooming work, etc.). The camera work control unit 530 switches the current control mode to another control mode using the three-dimensional position of the subject, the reliability of the measured value, the speed of the subject, the current time zone, and the like as switching elements. As shown in FIG. 5B, the control mode W1 is a control mode C1 (1), and the control mode W2 is a control mode C2 (7). ,... Are prepared in advance, and the control modes (W1, W2,...) Are switched by switching the control models (M1, M2,...). This switching control is performed according to the switching conditions (a1, a2,...) Set in advance corresponding to the control model switching mode (1, 2,...), As shown in FIG.
[0021]
In the above-described configuration, an operation example of control mode switching control in the camera work control unit 530 in the data analysis device 500 and an operation example of the entire system will be described with specific examples.
[0022]
FIG. 4 shows an example of an arrangement configuration of the sensor camera 100 and the photographing camera 200. When photographing a ski jumping competition as shown in FIG. , An area 2a of the approach road to the jump point at the tip of the jumping platform, an area 2b from the jump to the landing point, and an area 2c of the slope from the landing point to the stop, and the respective moving area parts. Is an imaging region (three-dimensional space region). In the present invention, the entire area can be set as an object of automatic shooting. However, in FIG. 4, for convenience, a part of the space area 2 b during jumping is set as an object of automatic shooting, and the visual field area of the sensor camera 100 is divided into two measurement ranges. When the sensor camera 101 (101A, 101B) is responsible for three-dimensional measurement of the measurement range 1 and the sensor camera 102 (102A, 102B) is responsible for three-dimensional measurement of the measurement range 2 2 shows an example of the arrangement configuration.
[0023]
Here, each of the sensor camera 101 and the sensor camera 102 can determine the three-dimensional position (three-dimensional coordinates) of the subject, but in this case, for example, the movement amount of the subject 1 when moving between two points And the three-dimensional coordinates indicating the position of the subject 1 are calculated based on the detected value of the amount of change in the size, the three-dimensional coordinates cannot be obtained at each measurement time point, and measurement information cannot be provided in real time. There are drawbacks. Therefore, in terms of the above point and the processing load of the measuring device, it is preferable to use two sensor cameras in one measurement range as in this example. Therefore, in the present invention, three-dimensional coordinates are usually measured using two sensor cameras, and when the image input of one sensor camera cannot be used due to a failure of the sensor camera or the like, one sensor camera cannot be used. The measurement is continued by switching to a method of calculating three-dimensional coordinates based on an image.
[0024]
FIG. 6 shows a first specific example of the control parameters in the case of photographing the above-mentioned ski jumping competition. The control parameter shown in FIG. 6 is an example of a case where the reliability of the measurement information (measured value of the three-dimensional position of the subject) from the three-dimensional position measuring device 300 is high, that is, an example of the control parameter used for normal camera work control. Is shown. An example of a control parameter used when the reliability decreases will be described later. Hereinafter, a description will be given assuming that all the regions (2a to 2c) in FIG. In the example of FIG. 6, the control model of the camera work in the shooting space area 2a of the approach road from the start point to the jump point at the tip of the jumping platform is "M1", and the camera work in the shooting space area 2b from the jump point to the landing point. Is a control model of “M2”, a control model of camera work in a shooting space area portion area 2c of a slope from a landing point to a standstill is “M3”, and a control form W1 relating to a tracking control method and a subject position in a screen, respectively. The control parameters of each control mode in the control mode W2 regarding the control mode W2 and the control mode W2 regarding the size of the field of view (the zoom adjustment amount) are set for each control model. For example, the control mode of the control mode W1 relating to the tracking control method includes a control mode C1 (1) in which tracking is performed based on the output of the sensor camera, that is, measurement information of the three-dimensional position of the subject, and a model formula of a moving course of the subject. There are a control mode C1 (2) for tracking based on the information and a control mode C1 (3) for tracking based on information obtained by combining the two. In the example of FIG. 6, as the control parameters of the control model M1 in the control mode W1, Is set with the control parameters (model formula of the approach road) of the control mode C1 (2).
[0025]
The switching of the control models M1 to M3 is performed according to switching conditions a1 to a3 set in advance corresponding to the control models M1 to M3, as shown in FIG. For example, in the area 2b and the area 2c, since the landing point varies depending on the flight distance of the jump, a function f (x, y, z) indicating the distance between the three-dimensional position at the lowermost end of the subject 1 and the slope surface position immediately below the subject. ), The control model is switched. That is, in this case, the shooting space area changes according to a change in the situation during shooting (change in the movement locus of the subject), and the control mode of the camera work is automatically switched accordingly.
[0026]
Here, a first operation example of control mode switching control in the camera work control unit 530 in the data analysis device 500 will be described with reference to the flowchart of FIG. 8 using the above control model as an example. The switching control of the control mode of the camera work when the reliability of the measurement information is reduced will be described later, and here, the control of the camera work in a normal state will be described.
[0027]
The automatic tracking operation is started by a start signal from the outside by remote control or the like, or a start signal automatically generated at the time of starting the start of the jump. The start signal is a shutter timing signal. In response to the input of the shutter timing signal, the camera work controller 530 first sets the control model to “M1” (step S1). Then, according to the control parameters of the control model M1, the drive of the photographing camera 200 is controlled so as to track along the approach road.
[0028]
That is, in the case of the control model M1, the output of the sensor camera is not used, and the player as the subject is captured by directing the photographing camera 200 to the position of the start point registered in advance. Then, using the output of the sensor camera with the input of the start signal as a boundary, the photographing camera is based on the three-dimensional position information of the subject 1 and a model formula (for example, a model formula consisting of three-dimensional coordinates and time) indicating the path of the approach road. 200 pan / tilt operations are controlled. At that time, the zoom operation is controlled so that the subject position in the screen of the photographing camera 200 is located at the center of the screen, and the size of the field of view becomes the reference value (constant value) L1. Then, a period during which the switching condition a1 of the control model M1 in FIG. 7 is satisfied, that is, a subject position on the approach road from the three-dimensional position of the subject 1 expressed in the x, y, z coordinate system is represented by g (x, y, z). ), The period in which the subject 1 is positioned (g (x, y, z) <t) in the space on the start point side from the boundary surface t between the region 2a and the region 2b according to the control parameters of the control model M1. Is controlled (steps S2 and S3).
[0029]
If the switching condition a1 of the control model M1 is not satisfied in step S2, the control model is switched to “M2” (step S4), and the camera work is controlled according to the control parameters of the control model M2. In the control model M2, as shown by the control parameters of the control model M2 in FIG. 6, the subject 1 is recognized based on the output of the sensor camera, that is, the captured image of the sensor camera, and the subject is recognized based on the measurement information of the three-dimensional position. 1 to control automatic tracking. At this time, the subject position in the screen of the photographing camera 200 is located at a position delayed by k times the speed of the subject 1 with respect to the center of the screen, and the size of the field of view becomes the reference value (constant value) L2. To control the zoom operation. This control is performed during a period in which the switching condition a2 is satisfied, that is, when the three-dimensional position of the subject 1 is higher than the slope surface position immediately below the subject (g (x, y, z)> t and f (x, y, z). )> 0) is continued (a period during a jump) (steps S5 and S6).
[0030]
If the switching condition a2 of the control model M2 is not satisfied in step S5, the control model is switched to "M3" (step S7), and the camera work is controlled according to the parameters of the control model M3. In the control mode M3, as shown by the control parameters of the control model M3 in FIG. 6, along with the output of the sensor camera and the slope, that is, the measurement information PD of the three-dimensional position of the subject and the model formula of the subject moving course In addition to controlling the automatic tracking of the subject 1 on the basis of this, the zoom operation is controlled so that the size of the field of view gradually increases. This control is performed during a period in which the switching condition a3 is satisfied, that is, the three-dimensional position of the subject 1 is located near the slope surface and the slope end point plane (vertical plane) t0 (f (x, y, z) ≦ 0 and t <g (x, y, z) <t0) (the period during the landing slide) is continued (steps S8 and S9). Then, in step S8, if the switching condition a3 of the control model M3 is not satisfied, the operation of the switching control ends. Thereafter, for example, after a lapse of a predetermined time, the camera 200 for shooting is turned to the initial operation position (start point) without using the output of the sensor camera to be in a standby state, and the above operation is repeated by input of a start signal.
[0031]
Next, control of camera work when the reliability of measurement information decreases will be described. FIGS. 9A and 9B show a second specific example of the control parameters in the case of shooting the above-mentioned ski jumping competition. This control parameter shows an example of a control parameter used when the reliability of the measurement information is reduced. As shown in FIG. 3B, the control form W1 of the automatic tracking includes C1 (1) to C1 ( As shown in 7), a control mode for controlling the automatic tracking based on the model formula of the moving course, a control mode for controlling the automatic tracking based on the prediction information of the movement, and the object position is obtained from the image of the photographing camera. There are a plurality of control modes such as a control mode for performing automatic tracking control. For example, as shown in FIG. 7B, in the control model M1, when the reliability decreases, the control mode is switched from the control mode of C1 (1) to the control mode of C1 (5), and the model equation of the moving course is expressed as follows. The movement of the subject is predicted based on the measurement information of the position of the subject at that time (immediately before the drop) and the elapsed time in the moving course, and the automatic tracking is controlled. The control mode W2 of the subject position in the screen is switched from the control mode of C2 (1) to another control mode, for example, and the control mode W3 of the zooming work is switched from the control mode of C3 (1) to another control mode. Control mode.
[0032]
Next, with reference to the block diagram of FIG. 3, an operation example of the control mode switching control when the reliability of the measurement information decreases will be described with reference to the flowchart of FIG. The switching of the control mode in each control mode is performed in accordance with the switching condition, but the description thereof is omitted, and an operation example of the control mode switching control of the entire system will be described.
[0033]
The three-dimensional position measuring device 300 determines whether or not there is an input VD1a and / or an input VD1b of the sensor camera 100 (step S11). The dimensional coordinates are measured (step S12). On the other hand, when there is no input VD1a and VD1b of the sensor camera 100, the process proceeds to step S13. In step S13, for example, when there is an input from the sensor camera 100, the area information of the subject is used as reliability information. When there is no input, information indicating a failure of the sensor camera is used as reliability information. Output (Step S13).
[0034]
The data analysis device 500 that has received the measurement information PD from the three-dimensional position measurement device 300 calculates the reliability such as the degree of object recognition based on the reliability information included in the measurement information PD (steps S21 and S22). Then, the reliability is compared with the threshold (step S23). If the reliability is determined to be equal to or greater than the threshold, that is, the reliability of the measurement information is determined to be high, the control mode is set to the normal mode N (S24), and the three-dimensional The camera work is controlled based on the measured coordinates (step S25). On the other hand, if the reliability is less than the threshold in step S23, the process proceeds to step S26, and a period during which the reliability decreases is counted. Then, the reliability reduction period (for example, a period in which the reliability continuously decreases, the sum of discontinuous reduction period portions) is compared with the set value T (step S26). It is checked whether or not there is a model formula (step S27). If there is a model formula, the control mode is set to the automatic mode A1, and the camera work is controlled based on the model formula (steps S28 and S29). On the other hand, when the reliability reduction period is equal to or less than the set value T in step S26, the control mode is set to the automatic mode A2 (step S30), and the camera work is controlled based on the motion prediction information. That is, if the decline period is short, the movement of the subject is predicted and tracked from the measured values during that period. Also, if there is no model formula in step S27, the mode is set to the automatic mode A2, and until the reliability is restored (until the reliability becomes equal to or more than the threshold), the motion of the subject is predicted from the measured values up to that time. Tracking (step S31).
[0035]
Then, the above operation is repeated, the control mode is automatically switched according to the reliability, and the operation of controlling the camera work of the photographing camera is continued according to the control parameter of the control mode after the switching. Note that when the reduction period exceeds the set value T, the control mode may be switched to a control mode for tracking the subject based on the image of the photographing camera. In this case, when a main part of the system is configured by a hardware circuit, it can be realized by adopting a configuration (an entire configuration of a control system) in a second embodiment described later.
[0036]
Next, an example of the operation of the entire system will be described with reference to FIGS.
In FIG. 4, video signals captured by the sensor cameras 101 and 102 are input to the three-dimensional position measuring device 300, respectively. The method for controlling the switching of the measurement range of the sensor cameras 101 and 102 will be described later. Here, the sensor cameras 101 and 102 will be described as the sensor camera 100 for convenience. In FIG. 3, the subject recognition unit 310 in the three-dimensional position measuring device 300 recognizes the subject 1 to be photographed from one frame of two-dimensional coordinate system image data obtained by digitizing the video signal VD1a (or VD1b). Recognition of the subject 1 is performed, for example, by comparing the chromaticity of each pixel of the image data with a threshold (a range of chromaticity: a lower threshold to an upper threshold) of a plurality of colors preset as subject recognition data. The threshold value is set to "1", and the outside value is set to "0", and is binarized in pixel units. At that time, pixels of the color of interest that are continuous in a two-dimensional coordinate system (X, Y coordinate system) are extracted and counted, and the counted value is defined as an area S. When there are a plurality of portions of the color, for example, the portion having the largest area S is recognized as the subject 1 to be photographed. However, under shooting conditions in which the subject 1 can always be identified by the set color, recognition processing based on the size is not necessary, and therefore, recognition may be performed only by color. The subject recognition unit 310 sends the calculated area S of the subject 1 to the reliability information creation unit 330. Here, when there is no input VD1a and VD1b of the sensor camera 100, the object recognition unit 310 sends information indicating a failure of the sensor camera to the reliability information creation unit 330.
[0037]
The three-dimensional coordinate measuring unit 320 calculates the center of gravity position of the extracted portion from the area S obtained by the subject recognizing unit 310, and sets the center position C (x, y) of the subject 1. The center position is calculated from the image data VD1a and VD1b of the two sensor cameras 100, respectively. Subsequently, the position of the subject 1 in the three-dimensional space (for photographing) is determined from the two calculated center positions C1 (x, y) and C2 (x, y) and the position information of the sensor camera 100 and the photographing camera 200. The three-dimensional coordinates of the subject 1 with the viewpoint of the camera 200 as the origin are calculated based on the principle of triangulation, and the calculated three-dimensional position information C (x, y, z) is sent to the reliability creation information unit 330. When there is no input (VD1a or VD1b) from one of the sensor cameras 100, the three-dimensional coordinate measurement unit 320 switches to a method of calculating three-dimensional coordinates based on an image of one sensor camera 100 and performs measurement.
[0038]
The reliability information creation unit 330 adds information indicating the size of the subject 1 (the above-described area S) to the measurement information (three-dimensional position information) as reliability information, and outputs the result as measurement information PD. On the other hand, when the information indicating failure of the sensor camera is received from the subject recognition unit 310, the reliability information creation unit 330 uses the failure information of the sensor camera as reliability information and measures the measurement information (three-dimensional position information cannot be measured). Therefore, only the reliability information is output). This measurement information PD is input to the motion analysis unit 510 and the reliability calculation unit 525 in the data analysis device 500.
[0039]
The reliability calculation unit 525 calculates the reliability of the measurement information of the three-dimensional coordinates based on the reliability information included in the measurement information PD. For example, if the sensor camera is faulty (measurement is impossible), the reliability is set to “0”. If the area of the subject is equal to or smaller than the reference area, the reliability is determined according to the ratio. Alternatively, the reliability may be determined according to the recognition degree (for color, an allowable range or the like in the case of color) when recognizing the subject. The reliability calculation unit 525 sends the calculated reliability to the camera work control unit 530 (writes it to a switching control table (not shown)).
[0040]
The motion analysis unit 510 analyzes the motion of the subject 1 based on the measurement information PD from the three-dimensional position measurement device 300, and sends the analysis information to the motion prediction unit 520. For example, based on the current measurement information PDtn (three-dimensional coordinate information) and the previous measurement information PDt (n-1), a motion vector starting from the previous measurement time point is obtained, and information (time, azimuth angle) of the obtained motion vector is obtained. , Distance, speed, etc.) as analysis information. The motion prediction unit 520 predicts the next instantaneous motion of the subject 1 based on the analysis information from the motion analysis unit 510.
[0041]
Here, a method of predicting the motion of the subject at the next moment will be described with reference to first and second examples. Note that the measurement interval and the analysis interval of the motion vector are not necessarily equal, but are equal here. First, as a first example, a prediction method based on the two most recent measurement information PDtn and PDt (n-1) will be described. As shown in FIG. 11A, the measurement position of the subject at the previous time (time t1) is P1 (x, y, z), and the measurement position of the current time (time t2) is P2 (x, y, z). In this case, the azimuth and the speed V are obtained from P1 (x, y, z) and P2 (x, y, z) (calculated by the motion analysis unit 510 in this example), and are predicted to move at the same speed in the same direction. Then, a motion vector of P2 → FP is obtained. Here, FP (x, y, z) is the next movement position at the time point t3 when the time period t2−t1 has elapsed.
[0042]
Subsequently, as a second example, a method of performing prediction based on the three most recent measurement information PDtn, PDt (n-1), and PDt (n-2) will be described. As shown in FIG. 11B, the measurement position of the subject before and immediately before (time t1) is P1 (x, y, z), the measurement position of the previous time (time t2) is P2 (x, y, z), and this time. Assume that the measurement position at (time t3) is P3 (x, y, z). In this case, the motion vectors P1 → P2, P2 → P3 are obtained from the coordinates of each time point t1 to t3. Then, a motion vector of P3 → FP is obtained from the obtained two motion vectors. In this method, the prediction is performed in consideration of the change in the azimuth and the acceleration. When the measurement interval is extremely short, the former method is sufficient. Note that the amount of the measurement information used for the prediction may be increased to predict the further movement. Further, a control mode for replacing the prediction information with the measurement information may be provided so that a permanent prediction is performed. The motion prediction information of the subject obtained as described above is input to the camera work control unit 530.
[0043]
The camera work control unit 530 uses the subject position information in the screen, the prediction information (movement speed V, etc.) from the motion prediction unit 520, and the speed correction information (correction speed ΔV) from the speed correction amount detection unit 540 to perform shooting. The direction, the moving amount, and the moving speed of the camera 200 are determined. At this time, the control mode of the camera work is automatically switched according to the reliability obtained by the reliability calculation unit 525 and the switching conditions such as the three-dimensional coordinate position and the speed of the subject, and the zoom operation and the like are performed according to the control parameters of the control mode. Determine camera work. Then, while generating a pan / tilt speed command (V + ΔV), a speed command for adjusting the zoom, focus, and iris of the photographing camera 200 is generated and output as drive control data Vcom. The camera 200 is driven and controlled via the camera.
[0044]
As described above, the control mode is dynamically switched according to the three-dimensional coordinate position of the target, the speed of the target, and the like, and the camera work is controlled in accordance with the control parameters of the control mode. It enables shooting with great camera work. Then, even in the event that the subject cannot be detected due to the weather or the like, the sensor camera fails, etc., the control mode is dynamically switched based on the reliability of the measurement information, and the motion of the subject is predicted and tracked by a model formula or the like. By performing the control, it is possible to continue the photographing by the unmanned automatic tracking. In addition, by controlling the drive of the photographing camera 200 to the next operation position by predicting the movement of the subject at the next moment, the awkward movement of the video seen in the conventional automatic photographing system is eliminated. become.
[0045]
When a plurality of photographing cameras 200 are installed and the photographing is performed while switching the photographing cameras 200, the subject moving over the boundary of each field of view can be continuously used by using the prediction information of the movement of the subject. It becomes possible to track and photograph. In the configuration in which the measurement range is divided and the sensor cameras 100 are arranged, the movement of the subject is predicted by the three-dimensional position measurement device 300, and the measurement process is performed while switching the measurement range, so that the movement is performed across the measurement range. The measurement of the subject to be performed can be continuously performed. Further, since the measurement interval of the subject position can be increased as compared with the conventional system, the amount of information processing is reduced, and the processing load on the control system is reduced.
[0046]
【Example】
Hereinafter, first and second embodiments of a configuration example of the speed correction amount detection unit 540 in the data analysis device 500 will be described with reference to an overall configuration diagram of a control system. Note that the configuration examples in FIGS. 12 and 13 are examples in which the functions of the motion analysis unit 510 and the motion prediction unit 520 in the data analysis device 500 in FIG. 3 are provided on the three-dimensional position measurement device 300 side. . In addition, since the speed correction amount detection unit 540 having the camerawork analysis / control function and the camerawork control unit 530 in the data analysis device 500 have an integrated data processing configuration, the circuit configuration examples in FIGS. In the figure, both are newly assigned reference numerals as the camerawork analysis / control unit 550.
[0047]
FIG. 12 is a block diagram showing a first embodiment of the configuration of the control system according to the present invention, and shows a circuit configuration of a main part according to the present invention. In the first embodiment, a method for detecting the speed correction amount ΔV in the shooting direction based on the detection information SD from the camera angle / view angle detection sensors 230 and 231 and the measurement information PD from the three-dimensional position measurement device 300 is adopted. I have. As shown in FIG. 14, the camera work analysis / control unit 550 sets the azimuth (φ, ψ) and the angle of view in the visual coordinate system (xe, ye, ze) with the viewpoint Pe of the photographing camera 200 as the origin. θ is detected by the detection information SD from the azimuth angle detection sensor 230 and the angle-of-view detection sensor 231, respectively. The arithmetic circuit 557 in the camera work analysis / control unit 550 sends the detection information to the coordinate conversion circuit 554, and at the same time, the size of the subject 1 in the visual field screen (= in the photographing screen) with the current line of sight of the photographing camera 200. S and the shift amount Δl to the optimum position of the subject are calculated and sent to the microcomputer 551.
[0048]
The coordinate conversion circuit 554 receives the measurement information PD from the three-dimensional position measuring device 300 and converts the position (x, y, z) of the subject in the three-dimensional coordinate system into the position (x, y, z) of the subject in the two-dimensional coordinate system. y) and sends it to the motion vector detection circuit 552. The motion vector detection circuit 552 detects the current motion vector (position (x, y), velocity Vs, direction a) of the subject from the (x, y) coordinates of the subject from the coordinate conversion circuit 554, and sends it to the microcomputer 551. Send out. The microcomputer 551 receives the detection information from the motion vector detection circuit 552 and the calculation circuit 557, and writes the shift amount Δl / angle of view correction Δθ up to the optimal position of the subject into the ROM table 13 via the calculation circuit 553, The information, such as the speed Vs, is written into the ROM table 13. A speed correction amount ΔV according to the magnitude of the azimuth angle (pan / tilt angle deviation) is set in advance in the ROM table 13 to a target position in the screen. The speed V of the subject (the subject speed at the predicted motion vector in FIG. 14) from the position measuring device 300 is corrected by the speed correction amount ΔV read from the ROM table 13 to output a speed command Vcom, and the camera for photographing is output. 200 is controlled.
[0049]
FIG. 13 is a block diagram showing a second embodiment of the configuration of the control system according to the present invention. In the second embodiment, the above-mentioned speed correction amount ΔV is calculated based on a photographed image VD2 from the photographing camera 200. Compared to the method in the first embodiment, there are disadvantages in that it is assumed that a subject is present in the screen of the photographing camera 200 and that the load of image processing increases. However, there is an advantage in that the camera angle / view angle detection sensors 230 and 231 are not required, and that three-dimensional / two-dimensional coordinate conversion is not required.
[0050]
Hereinafter, an operation example of the camera work analysis / control unit 550 of FIG. 13 will be described with reference to FIG. A subject extraction circuit 555 in the camera work analysis / control unit 550 extracts a subject portion from the photographed image VD2 from the photographing camera 200, obtains the size (count value indicating the area) S of the subject on the screen, and calculates the microcomputer 551. And the position (x, y) of the subject in the screen is obtained and sent to the motion vector detection circuit 552 and the position comparator 556. The motion vector detection circuit 552 detects the current motion vector (position (x, y), speed Vs, direction a) of the subject and sends it to the microcomputer 551. On the other hand, in the position comparator 556, the current position (x, y) of the subject on the screen and the optimal position (x 0 , Y 0 ) Is sent to the microcomputer 551. In this example, the correction amount Δθ of the angle of view is obtained by comparing the subject size S written in the ROM table 12 by the microcomputer 551 with the reference size set in the ROM table 12 by the position comparator 556. Like that. Note that the other operations are the same as those of the first embodiment, and a description thereof will be omitted.
[0051]
In the above-described embodiment, the case where the analysis function of the movement of the subject is provided in the data analysis device 500 is described as an example. However, the configuration may be provided in the three-dimensional position measurement device 300 as in the embodiment. In addition, although the case of unmanned shooting has been described as an example, it is a matter of course that the cameraman can operate the shooting camera 200 by remote control, and in that case, the input of the operation information is prioritized. Although the control model has been described as an example in which the control model is set corresponding to the divided area portion of the target imaging space area, a plurality of control models are set corresponding to the time zones and the current control model is set. The control mode may be automatically switched according to the time, and the camera work of the photographing camera may be controlled according to the parameters of the control model corresponding to the time zone.
[0052]
【The invention's effect】
As described above, according to the automatic photographing camera system of the present invention, the object to be photographed is recognized from the wide-angle image of the sensor camera, the three-dimensional position thereof is sequentially measured, and the movement of the object analyzed from the measurement information is used. Since the driving of the photographing camera is controlled accordingly, it is possible to automatically track an object moving in a wide three-dimensional space and photograph an unmanned person. For this reason, powerful images can be automatically taken even from locations where photographers cannot photograph (for example, on a tree, at a high position in a concert hall, at a disaster site, etc.), surpassing top photographers. Camera work can be realized. In addition, the control mode is dynamically switched based on the reliability of the measurement information, and the tracking control is performed by predicting the movement of the subject using a model formula or the like, so that an object to be automatically tracked cannot be detected due to deterioration of the weather or a malfunction of the sensor camera. Even when a situation arises, it is possible to continuously perform unattended automatic tracking shooting. In addition, since the drive of the photographing camera is controlled by predicting the movement of the subject at the next moment, unnatural movement of the subject in the photographed video can be eliminated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration example of an automatic photographing camera system of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a photographing camera 200 and a drive control unit 400 in FIG.
FIG. 3 is a block diagram showing a configuration example of a three-dimensional position measurement device 300 and a data analysis device 500 of FIG.
FIG. 4 is a diagram showing an example of an arrangement configuration of a sensor camera and a photographing camera used in the present invention.
FIG. 5 is a diagram for explaining a method of switching a control mode of camera work according to the present invention.
FIG. 6 is a diagram showing a first specific example of control parameters used in the present invention.
FIG. 7 is a diagram illustrating an example of a control model switching method according to the present invention.
FIG. 8 is a flowchart for explaining a first operation example of switching control in the present invention.
FIG. 9 is a diagram showing a second specific example of the control parameters used in the present invention.
FIG. 10 is a flowchart illustrating a second operation example of the switching control according to the present invention.
FIG. 11 is a diagram illustrating a specific example of a method for predicting the movement of a subject according to the present invention.
FIG. 12 is a block diagram showing a first embodiment of a hardware configuration of a control system according to the present invention.
FIG. 13 is a block diagram showing a second embodiment of the hardware configuration of the control system according to the present invention.
14 is a diagram for explaining an operation example of the camera work analysis / control unit 550 in FIG.
15 is a diagram for explaining an operation example of the camera work analysis / control unit 550 in FIG.
FIG. 16 is a diagram for explaining an example of a method of automatically tracking a subject in a conventional camera system.
FIG. 17 is a diagram for explaining an example of a method of automatically tracking a subject in a conventional camera system.
[Explanation of symbols]
1 subject
100 sensor camera
200 Camera for shooting
210 Drive mechanism (head)
211 Pan axis
212 Tilt axis
213,214,215 Camera control motor for shooting
220 Imaging unit
300 3D position measuring device
310 Subject Recognition Unit
320 3D coordinate measuring unit
330 Reliability Information Creation Unit
400 Drive control unit
401 Database
410 control CPU
420 motor driver
500 data analyzer
510 Motion analysis unit
520 Motion prediction unit
525 Reliability Calculation Unit
530 Camera work control unit
540 Speed correction amount detector

Claims (5)

カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の３次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を算出するための信頼度情報を作成して前記計測情報と共に送出する３次元位置計測部と、前記３次元位置計測部からの計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記３次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの制御形態毎に複数の制御モードを持ち、前記信頼度算出部で算出した信頼度に応じた制御モードに切替え、切替え後の前記制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、
前記３次元位置計測部からの前記信頼度情報が、前記センサカメラの障害を示す第１の情報又は前記認識した被写体の大きさを示す第２の情報であって、
前記信頼度算出部では、計測情報の信頼度情報が前記第１の情報である場合、当該計測情報の信頼度を“０”として算出し、また、計測情報の信頼度情報が前記第２の情報である場合、被写体の大きさに応じて信頼度を算出するようにしたことを特徴とする自動撮影カメラシステム。A sensor camera that shoots a wide-angle image corresponding to the field of view of the camera operator, a shooting camera capable of controlling camera operations including a shooting direction by an external control signal, and a camera in a wide-angle image shot by the sensor camera. Recognizing a subject to be photographed from a stationary body or a moving body, sequentially measuring the current position of the subject in a three-dimensional space, and creating reliability information for calculating the reliability of the measurement information. a three-dimensional position measuring unit for sending together with the measurement information, and the motion analyzer for analyzing motion in three-dimensional space of the object based on the measurement information from the three-dimensional position measuring unit, from the three-dimensional position measuring unit of the based on the reliability information reliability calculating unit for calculating the reliability of the measurement information, Chi lifting a plurality of control modes for each control mode of the camera work of the photographing camera, calculated by the reliability calculation unit Switched to the control mode in accordance with the reliability, and a camera work control unit that controls the camera work of the photographic camera according to the control parameter of the control mode after switching,
The reliability information from the three-dimensional position measurement unit is first information indicating a failure of the sensor camera or second information indicating the size of the recognized subject,
When the reliability information of the measurement information is the first information, the reliability calculation unit calculates the reliability of the measurement information as “0”, and calculates the reliability information of the measurement information as the second information. If the information is information, the reliability is calculated according to the size of the subject . 前記信頼度が閾値を越えていない場合或いは前記計測情報の入力が無い場合で且つ前記撮影用カメラの視野内に前記被写体が含まれるときには前記撮影用カメラの撮影画像内の静止体又は移動体の中から前記撮影対象の被写体を認識し、該被写体の画面内の現在位置を計測した計測情報を前記３次元位置計測部からの計測情報とする計測情報作成部を備えた請求項１に記載の自動撮影カメラシステム。When the reliability does not exceed the threshold or when there is no input of the measurement information and the subject is included in the field of view of the photographing camera, a static or moving object in the photographed image of the photographing camera is The measurement information creation unit according to claim 1, further comprising: a measurement information generation unit that recognizes the subject to be photographed from the inside, and uses measurement information obtained by measuring a current position of the subject in a screen as measurement information from the three-dimensional position measurement unit. Automatic shooting camera system. 前記制御形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第１の制御モードで制御し、前記信頼度が閾値を越えていない場合には、現時点までの複数の計測情報から求めた前記被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値より低い間は前記第２の制御モードによって制御するようにした請求項１又は請求項２に記載の自動撮影カメラシステム。 The control mode includes an automatic tracking control mode, and when the reliability exceeds a threshold, the automatic tracking control mode for controlling automatic tracking in accordance with the motion of the subject analyzed by the motion analysis unit. Controlling in the first control mode, and when the reliability does not exceed a threshold, controlling the automatic tracking based on prediction information of the movement of the subject obtained from a plurality of pieces of measurement information up to the present time. 3. The automatic photographing camera system according to claim 1 , wherein the control mode is switched to a second control mode, and the control is performed by the second control mode while the reliability is lower than a threshold . 4. 前記制御形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えていない期間が許容期間を越えていない場合、或いは、前記信頼度が閾値を越えていない期間が許容期間を越え且つ移動コースのモデル式がない場合、現在の制御モードを現時点までの複数の計測情報から求めた被写体の動きの予測情報に基づいて、自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値より低い間は前記第２の制御モードによって制御し、
前記信頼度が閾値を越えていない期間が許容期間を越え、且つ移動コースのモデル式がある場合には、現在の制御モードを、前記被写体の動きを予測するための前記移動コースのモデル式に基づいて、自動追尾を制御する前記自動追尾の制御形態の第３の制御モードに切替え、前記信頼度が閾値より低い間は、前記第３の制御モードによって制御するようにした請求項１又は請求項２に記載の自動撮影カメラシステム。 When the control mode includes a control mode of automatic tracking, and the period in which the reliability does not exceed the threshold does not exceed the allowable period, or the period in which the reliability does not exceed the threshold exceeds the allowable period and moves. If there is no course model formula, a second control mode of the automatic tracking control mode for controlling the automatic tracking based on the prediction information of the movement of the subject obtained from the plurality of measurement information up to the present time in the current control mode. , While the reliability is lower than the threshold value, the control is performed by the second control mode,
If the period in which the reliability does not exceed the threshold exceeds the allowable period and there is a moving course model formula, the current control mode is changed to the moving course model formula for predicting the movement of the subject. The control is switched to a third control mode of the automatic tracking control mode for controlling the automatic tracking based on the first control mode, and the control is performed by the third control mode while the reliability is lower than a threshold value. Item 3. An automatic photographing camera system according to Item 2 . カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の３次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を算出するための信頼度情報を作成して前記計測情報と共に送出する３次元位置計測部と、前記３次元位置計測部からの計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記３次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの制御形態毎に複数の制御モードを持ち、前記信頼度算出部で算出した信頼度に応じた制御モードに切替え、切 替え後の前記制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、
前記３次元位置計測部からの前記信頼度情報が、前記センサカメラの障害を示す第１の情報又は前記認識した被写体の大きさを示す第２の情報であって、
前記信頼度算出部では、計測情報の信頼度情報が前記第１の情報である場合、当該計測情報の信頼度を“０”として算出し、また、計測情報の信頼度情報が前記第２の情報である場合、被写体の大きさに応じて信頼度を算出するようになっており、
前記制御形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第１の制御モードで制御するようになっており、
前記信頼度が閾値を越えていない期間が許容期間を越えていない場合、或いは、前記信頼度が閾値を越えていない期間が許容期間を越え且つ移動コースのモデル式がない場合、現在の制御モードを現時点までの複数の計測情報から求めた被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値より低い間は前記第２の制御モードによって制御するようになっており、
一方、前記信頼度が閾値を越えていない期間が許容期間を越え、且つ移動コースのモデル式がある場合、現在の制御モードを前記被写体の動きを予測するための前記移動コースのモデル式に基づいて自動追尾を制御する前記自動追尾の制御形態の第３の制御モードに切替え、前記信頼度が閾値より低い間は前記第３の制御モードによって制御するようになっていることを特徴とする自動撮影カメラシステム。 A sensor camera that shoots a wide-angle image corresponding to the field of view of the camera operator, a shooting camera capable of controlling camera operations including a shooting direction by an external control signal, and a camera in a wide-angle image shot by the sensor camera. Recognizing a subject to be photographed from a stationary body or a moving body, sequentially measuring the current position of the subject in a three-dimensional space, and creating reliability information for calculating the reliability of the measurement information. A three-dimensional position measurement unit that transmits the measurement information together with the three-dimensional position measurement unit; a motion analysis unit that analyzes a movement of the subject in a three-dimensional space based on the measurement information from the three-dimensional position measurement unit; A reliability calculation unit that calculates the reliability of the measurement information based on the reliability information of the camera, and a plurality of control modes for each control mode of the camera work of the photographing camera. Reliability switched to the control mode in response to, and a camera work control unit that controls the camera work of the photographic camera according to the control parameter of the control mode after switching it,
The reliability information from the three-dimensional position measurement unit is first information indicating a failure of the sensor camera or second information indicating the size of the recognized subject,
When the reliability information of the measurement information is the first information, the reliability calculation unit calculates the reliability of the measurement information as “0”, and calculates the reliability information of the measurement information as the second information. If it is information, the reliability is calculated according to the size of the subject,
The control mode includes an automatic tracking control mode, and when the reliability exceeds a threshold, the automatic tracking control mode for controlling automatic tracking in accordance with the motion of the subject analyzed by the motion analysis unit. It is controlled in the first control mode,
If the period in which the reliability does not exceed the threshold does not exceed the allowable period, or if the period in which the reliability does not exceed the threshold exceeds the allowable period and there is no model of the traveling course, the current control mode Is switched to a second control mode of the control mode of the automatic tracking based on the prediction information of the movement of the subject obtained from the plurality of measurement information up to the present time, while the reliability is lower than a threshold, It is controlled by a second control mode,
On the other hand, when the period in which the reliability does not exceed the threshold exceeds the allowable period and there is a model formula of the moving course, the current control mode is determined based on the model formula of the moving course for predicting the movement of the subject. Switching to a third control mode of the automatic tracking control mode in which the automatic tracking is controlled by the automatic control, and while the reliability is lower than a threshold value, the control is performed by the third control mode. Shooting camera system.
JP15313396A 1996-05-24 1996-05-24 Automatic shooting camera system Expired - Fee Related JP3549332B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15313396A JP3549332B2 (en) 1996-05-24 1996-05-24 Automatic shooting camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15313396A JP3549332B2 (en) 1996-05-24 1996-05-24 Automatic shooting camera system

Publications (2)

Publication Number Publication Date
JPH09322048A JPH09322048A (en) 1997-12-12
JP3549332B2 true JP3549332B2 (en) 2004-08-04

Family

ID=15555726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15313396A Expired - Fee Related JP3549332B2 (en) 1996-05-24 1996-05-24 Automatic shooting camera system

Country Status (1)

Country Link
JP (1) JP3549332B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301569B2 (en) 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
JP5143883B2 (en) * 2010-11-12 2013-02-13 株式会社コナミデジタルエンタテインメント Image processing apparatus, image processing program, and image processing method
CN106506956A (en) * 2016-11-17 2017-03-15 歌尔股份有限公司 Based on the track up method of unmanned plane, track up apparatus and system
WO2020014909A1 (en) * 2018-07-18 2020-01-23 深圳市大疆创新科技有限公司 Photographing method and device and unmanned aerial vehicle
CN109447597B (en) * 2018-12-27 2022-04-12 深圳市沃特沃德信息有限公司 Method and device for attendance checking by multiple persons and face recognition system
CN114902278A (en) 2019-12-25 2022-08-12 京瓷株式会社 Information processing device, sensing device, moving object, information processing method, and information processing system

Also Published As

Publication number Publication date
JPH09322048A (en) 1997-12-12

Similar Documents

Publication Publication Date Title
US10165157B2 (en) Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording
JP5809538B2 (en) Automatic tracking camera system
US8170277B2 (en) Automatic tracking apparatus and automatic tracking method
JP4699040B2 (en) Automatic tracking control device, automatic tracking control method, program, and automatic tracking system
US7256817B2 (en) Following device
KR20190013759A (en) Arithmetic processing device and arithmetic processing method
JP2006229321A (en) Apparatus and method for automatic image tracking method, and program
JP6574645B2 (en) Control device for controlling imaging apparatus, control method for imaging apparatus, and program
US20040179729A1 (en) Measurement system
JP3615868B2 (en) Automatic camera system
JP2001358984A (en) Moving picture processing camera
JP3615867B2 (en) Automatic camera system
JP5317607B2 (en) Automatic tracking camera control device, automatic tracking camera system, and automatic tracking camera control method
JP3549332B2 (en) Automatic shooting camera system
JP4293236B2 (en) Imaging apparatus and imaging method
JPH1169288A (en) Image processor
JP2009100454A (en) Moving object tracking control device
JP5858741B2 (en) Automatic tracking camera system
JPH10294890A (en) Automatic/manual photographic camera system
JPH09322053A (en) Image pickup method for object in automatic image pickup camera system
JP4189534B2 (en) Automatic tracking device
JP2002135766A (en) Automatic tracking device
JP4723817B2 (en) Imaging device with moving mechanism
JP4407530B2 (en) Motion detection device
JP2002171438A (en) Automatic tracking device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040420

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110430

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120430

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120430

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees