JP5809538B2

JP5809538B2 - 自動追尾カメラシステム

Info

Publication number: JP5809538B2
Application number: JP2011249929A
Authority: JP
Inventors: 裕司 ▲高▼嶋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-15
Filing date: 2011-11-15
Publication date: 2015-11-11
Anticipated expiration: 2031-11-15
Also published as: US20130120586A1; JP2013106266A; US9041814B2

Description

本発明は、撮影された映像から画像認識により追尾対象を認識し、自動で追尾する自動追尾カメラシステムに関するものである。

カメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられた電動雲台カメラは、遠隔地から雲台制御、カメラ制御が可能なようにケーブル又は無線を介して操作器が接続されている。操作者はモニタ画面に表示される映像を見ながら、この操作器を操作してカメラや電動雲台を制御している。
また、近年、雲台カメラに画像認識技術を搭載して、被写体を自動追尾する自動追尾カメラシステムが提案されている。

従来この様なシステムにおいては、自動追尾を行う前に追尾対象を画面のどの位置に表示するかをあらかじめ設定する必要がある。設定方法として特許文献１ではオペレータが操作器から画面上に追尾被写体の位置を設定し、自動追尾時にはその位置に被写体を画面内において相対的に停止するように雲台を制御することが開示されている。また、特許文献２では撮影画面内の特定の位置に到達した後、特定の位置に停止するように回動させることが開示されている。

特開平８−７４２９６号公報特開２００３−６０９７２号公報

しかしながら、上述の特許文献１に開示された従来技術では、自動追尾時に、追尾対象を表示する場所として設定された画面内の位置と、該画面内における実際の被写体の位置が離れていた場合、即座に追尾被写体を即座に設定位置で表示するようにパン・チルト装置を駆動制御するため、大きな映像変化が生じてしまう。また、特許文献２に開示された従来技術では、画面内で予め設定した位置に追尾対象が到達するまで自動追尾制御を行わないため大きな映像変化は生じないが、該設置位置まで追尾対象を移動させるような制御を有さないため、所定の設定位置を追尾対象が通過しない場合は自動追尾を開始できないという課題がある。

そこで、本発明の目的は、追尾対象が撮影映像内に入ってきた際に追尾対象の位置が画面内で予め設定した追尾位置と異なる場合であっても、追尾対象を所定位置（追尾位置）で撮影するためにカメラを回動して撮影画像に大きな変化を生じさせて違和感のある映像を提供することなく、違和感の少ない映像で、追尾対象を画面内の所定の追尾位置で追尾することを可能にした自動追尾カメラシステムを提供することである。

上記目的を達成するために、本発明の自動追尾カメラシステムは、レンズ装置と撮像装置を含む撮影部と、前記撮影部をパン方向及びチルト方向に回動させる回動手段と、前記撮影部によって撮影された撮影映像から追尾対象を検出する追尾対象検出手段と、前記追尾対象の移動ベクトルを検出する移動ベクトル検出手段と、前記撮影映像内での前記追尾対象を捕捉する位置である捕捉位置を設定する捕捉位置設定手段と、前記回動手段の駆動を制御する制御手段と、を有し、前記制御手段は、前記追尾対象検出手段によって撮影映像内に追尾対象を検出した後、前記捕捉位置に前記追尾対象を捕捉するよう前記回動手段を制御する捕捉モードと、前記捕捉モードでの制御により前記追尾対象を前記捕捉位置に捕捉した後、前記追尾対象を前記捕捉位置に捕捉し続けるように前記回動手段を制御する維持モードと、で切替え可能であって、前記移動ベクトルを前記パン方向及び前記チルト方向に分解し、大きさが大きい方を主移動ベクトルとするとき、前記制御手段は、前記捕捉モードにおいて、前記撮影部を前記主移動ベクトルの向きの反対方向には回動させない、ことを特徴とする。

本発明に係る自動追尾カメラシステムによれば、追尾対象が撮影映像内に入ってきた際に追尾対象の位置が画面内で予め設定した追尾位置と異なる場合であっても、追尾対象を所定位置（追尾位置）で撮影するためにカメラを回動して撮影画像に大きな変化を生じさせて違和感のある映像を提供することなく、違和感の少ない映像で、追尾対象を画面内の所定の追尾位置で追尾することを可能とする。

実施例１の構成図である。追尾対象と追尾位置を示したモニタ画面である。追尾対象の移動ベクトルと追尾位置を示した図である。実施例１における追尾の状態を示した説明図である。実施例１における、（ａ）パン方向の回動速度、（ｂ）チルト方向の回動速度、の時間変化を示した図である。実施例２における追尾の状態を示した説明図である。実施例２における、（ａ）パン方向の回動速度、（ｂ）チルト方向の回動速度、の時間変化を示した図である。

以下、本発明の自動追尾カメラシステムの好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は実施例１の自動追尾カメラシステムの構成図である。カメラ雲台３にはカメラ雲台を操作するための操作部５とカメラの映像を確認するためのモニタ６が接続されている。カメラ雲台３には、ズーム、フォーカス機能等を有するレンズ装置とレンズ装置からの被写体光を撮像する撮像装置とを含む撮影部１が構成されている。操作者の操作に基づいて、操作部５からカメラ雲台３内のCPU４に指令信号が伝達される。CPU４は、パン・チルト回動に関する指令信号を、回動手段としてのP/T駆動部２に出力してカメラ雲台３（撮影部１）をパン方向及びチルト方向に回動し、カメラ機能に関する指令信号を撮影部１に出力してズームやフォーカス等のカメラ機能の調整が可能としている。

撮影部１から出力される映像信号は、CPU４の画像処理部８に入力され、入力映像信号がアナログ信号の場合、画像処理部８でデジタル信号に変換される。画像処理部８で、画像のコントラスト、色相、彩度等が調整された処理信号は、追尾対象を検出する、追尾対象検出手段としての追尾対象検出部９に入力される。

追尾対象検出部９では、画像処理部８からの出力映像信号に追尾対象が含まれている場合、テンプレートマッチング法等による認識技術で追尾対象の認識及び追尾対象の画面上の位置の検出が行われる。追尾対象検出部９の出力は、追尾対象の移動方向及び移動速度（移動ベクトル）、すなわち、パン方向及びチルト方向の移動速度、を検出する、移動ベクトル検出手段としての移動ベクトル検出部１０に入力される。追尾対象検出部９の追尾対象の検出情報、及び、移動ベクトル検出部１０で検出された追尾対象の移動ベクトルの情報は、制御手段としての制御演算部１１に入力される。

また、撮影映像内での追尾対象を捕捉する位置である捕捉位置を設定する、捕捉位置設定手段としての捕捉位置設定部１２においては、モニタ６の画面上のどの位置に追尾対象を固定して表示させながら追尾するかを示す図２のような追尾マークMpが設定され、追尾対象Ｓを含んだ撮影映像と合成された映像信号が、画像出力部７に入力される。ここで、「追尾対象を捕捉する」とは、追尾対象を撮影映像（撮影画面）内で設定された所定の位置（所定の領域内）で撮影することを指す。画像出力部７は、モニタ６の映像入力フォーマットに対応したSDI、DVI、VGA、NTSC等の映像信号に変換した映像信号をモニタ６に出力する。図２の例では、モニタ６上に常時、追尾マークMpが表示されているが、設定時のみ追尾マークMpを表示するようにしてもよい。

次に図３を例に制御演算部１１の追尾動作について説明をする。図３は追尾被写体Ｓが撮影画面内に進入してきた時の状態、及び、捕捉位置設定部１２により追尾マークMpが設定され、モニタ６に表示されている映像に加え、追尾被写体Ｓの画面上の移動ベクトルを示した図である。

追尾被写体Ｓが画面に進入してきた時に、追尾対象検出部９では追尾対象か否かが判断され、追尾対象であった場合は追尾被写体Ｓの画面上の位置が検出され、移動ベクトル検出部１０で画面の速度ベクトルV及び速度ベクトルVのパン・チルト方向に対応する各速度成分Vx、Vyが検出される。制御演算部１１では追尾対象検出部９で検出された追尾被写体Ｓの位置と、移動ベクトル検出部１０で求められたパン・チルトの各速度成分（パン方向・チルト方向の移動ベクトル）Vx、Vyと、捕捉位置設定部１２により設定された追尾マークMpの位置（捕捉位置）と、撮影部１の画角情報と、に基づき、P/T駆動部２を回動制御する回動方向及び回動速度を決定し、追尾被写体Ｓを画面内の追尾マークMpの位置に表示するようにP/T駆動部２に駆動信号を出力する制御（以後、捕捉モードでの制御と呼ぶ）を行う。

図４は、追尾被写体Ｓを追尾マークMpの位置で捕捉するようにチルトのみを上方向に回動した時の回動制御前のモニタ６ａ（図４（ａ））と回動制御中のモニタ６（図４（ｂ））の映像に加え、追尾被写体Ｓの画面上の移動ベクトルを示した図である。図４の例では、追尾被写体Ｓを設定された追尾マークMpの位置に表示させるため、追尾被写体Ｓのチルト方向の速度成分と反対の方向（図では上方向）に速度Vtで回動させている。追尾被写体Ｓは画面上をパン方向の速度成分Vxで画面左方向に進み、また、チルト方向の速度成分VyとP/T駆動部２の回動速度Vtとの和の速度で画面内をチルト方向（図４においては、画面下方向）に進みながら、追尾マークMpに進入するような映像となる。

この時のパン・チルト駆動の回動速度の経時変化は図５のようになる。図５において期間P1は追尾被写体Ｓを画面内の追尾マークMpの位置で捕捉するように制御している期間である。期間P2は、P/T駆動部２を捕捉モードで制御することによって追尾マークMpの位置で追尾被写体Ｓを表示させた後、追尾被写体Ｓを追尾マークMpに相対的に停止して表示し続けるように制御（以後、維持モードでの制御と呼ぶ）している期間である。

制御演算部１１は、捕捉モードでの制御によって追尾マークMpに追尾被写体Ｓが到達した後は、維持モードでの制御に切替えて、撮影部１の画角を考慮して、追尾被写体Ｓのパン・チルトの速度成分（パン方向・チルト方向の移動ベクトル）と同じ速度Vx,Vyで同じ向きとなるようにP/T駆動部２を回動させる。結果的に追尾マークMpの位置に追尾被写体Ｓが相対的に停止した追尾映像を得ることができる。

本実施例ではチルト方向のみを回動させ追尾マークMpに進入させるように制御したが、追尾被写体Ｓの進行方向及び速度に応じてパン方向のみまたはパン・チルトの両方を各速度に応じ回動させ追尾マークMpに進入させるよう制御しても構わない。

また、図５（ｂ）に示した例では、捕捉モードでのP/T駆動部２のチルト方向の回動駆動の制御において、時間t0から時間t1にかけて徐々に回動速度を減速する制御をしていた。これは、追尾被写体を追尾マークMpの位置に捉えて維持モードに移るときに、P/T駆動部２による急激な駆動方向の反転を防止するため、及び、撮影映像を滑らかに変化させるためである。しかし、本発明はこれに限定されることはなく、捕捉モード中の回動速度は、一定であってもよく、または、任意の変化をさせてもよい。

以下、本発明の自動追尾カメラシステムの第２の実施例による制御演算部１１の追尾動作について説明をする。本実施例の自動追尾カメラシステムの構成は図１と同一であり、追尾被写体Ｓの認識及び速度検出の方法についても第１の実施例と同様である。

図６は、追尾被写体Ｓを追尾マークMpの位置で捕捉するようにパンのみを左方向に回動制御した時の回動制御前のモニタ６ａ（図６（ａ））と回動制御中のモニタ６（図６（ｂ））の映像に加え、追尾被写体Ｓの画面上の移動ベクトルを示した図である。本実施例は、追尾被写体を追尾マークMpの位置で捕捉するように回動制御する期間P1（図７）（捕捉モードでの制御中の期間）と、追尾マークMpに追尾被写体Ｓが到達した後に追尾マークMpに相対的に停止するように回動制御する期間P2（図７）（維持モードでの制御中の期間）の、相互間において、パン及びチルトそれぞれの回動方向が反転しないように、制御演算部１１捕捉モード中のパン及びチルト方向の回動制御を行う。具体的には、移動ベクトル検出部１０で検出された追尾被写体Ｓのパン・チルトの各速度方向と、追尾マークMpに進入させるように回動制御する期間P1においてパン・チルトそれぞれの方向について回動方向が一致するように回動制御をおこなう。

図７の例においては、追尾被写体Ｓのパン方向の速度成分と同一の方向（図では左方向）に速度Vpでパン方向に回動させることにより、追尾被写体Ｓは、パン方向の速度成分Vxからパン方向の回動速度Vpを減じた速度で画面上を左方向に進む。また、チルト方向については、チルト方向の速度成分Vyで下方向に進みながら、追尾マークMpに進入するような映像となる。追尾マークMpに追尾被写体Ｓが到達した後は追尾被写体Ｓのパン・チルトの速度成分（パン方向・チルト方向の移動ベクトル）と同じ速度Vx,Vyで同じ向きにP/T駆動部２を回動させる。結果的に追尾マークMpの位置に追尾被写体Ｓが相対的に停止した追尾映像を出力することができる。

追尾被写体Ｓが追尾マークMpに進入する方向は第１の実施例と同一であるが、追尾被写体Ｓが追尾マークMpに進入するように制御する期間P1は第１の実施例と比較すると長くなる。しかし、捕捉モードから維持モードに制御方法が変わる時に、パン及びチルトのそれぞれの回動方向が反転しないため、維持モードに移行する前後での追尾被写体Ｓの背景の映像は同一方向へ流れる映像となり、その変化量が少ない滑らかな追尾映像とすることができる。
また、移動ベクトル検出部で得られた移動ベクトルを、パン方向及びチルト方向に分解し、大きさが大きい方を主移動ベクトルとするとき、制御手段である制御演算部１１は、捕捉モードにおいて、撮影部を主移動ベクトルの向きの反対方向には回動させないように制御してもよい。すなわち、パン及びチルトの両方向に対してではなく、主移動ベクトルに対応するパン及びチルトのいずれかの方向に対して回動方向を反転させないように制御することによって、追尾対象を撮影映像内の捕捉位置で捕捉した段階で、少なくとも動作の大きい方の回動方向を反転させる操作を回避し、違和感の少ない追尾映像を提供することができる。

また、図７（ａ）に示した例では、捕捉モードでのP/T駆動部２のパン方向の回動駆動の制御において、時間t0から時間t1にかけて徐々に回動速度を増速し、維持モードに移行するときには、移動ベクトル検出部１０で得られた追尾対象のパン方向の速度成分となるような制御をしている。これは、追尾被写体を追尾マークMpの位置に捉えて維持モードに移行するときに、撮影映像をより滑らかに変化させるためである。しかし、本発明は捕捉モード中の回動速度についてはこれに限定されることはなく、一定であってもよく、または、任意の変化をさせてもよい。

なお、本発明は、追尾被写体Ｓを追尾マークMpの位置に捉えるタイミングは、パン方向とチルト方向において同時であることに限定されることはない。パン方向とチルト方向において、異なるタイミングで追尾被写体Ｓを追尾マークMpの位置（パン方向とチルト方向の位置）に捉えるようにしてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１撮影部
２ P/T駆動部（回動手段）
３カメラ雲台
９追尾対象検出部（追尾対象検出手段）
１０移動ベクトル検出部（移動ベクトル検出手段）
１１制御演算部（制御手段）
１２捕捉位置設定部（捕捉位置設定手段）

Claims

レンズ装置と撮像装置を含む撮影部と、
前記撮影部をパン方向及びチルト方向に回動させる回動手段と、
前記撮影部によって撮影された撮影映像から追尾対象を検出する追尾対象検出手段と、
前記追尾対象の移動ベクトルを検出する移動ベクトル検出手段と、
前記撮影映像内での前記追尾対象を捕捉する位置である捕捉位置を設定する捕捉位置設定手段と、
前記回動手段の駆動を制御する制御手段と、
を有し、
前記制御手段は、前記追尾対象検出手段によって撮影映像内に追尾対象を検出した後、前記捕捉位置に前記追尾対象を捕捉するよう前記回動手段を制御する捕捉モードと、前記捕捉モードでの制御により前記追尾対象を前記捕捉位置に捕捉した後、前記追尾対象を前記捕捉位置に捕捉し続けるように前記回動手段を制御する維持モードと、で切替え可能であって、
前記移動ベクトルを前記パン方向及び前記チルト方向に分解し、大きさが大きい方を主移動ベクトルとするとき、前記制御手段は、前記捕捉モードにおいて、前記撮影部を前記主移動ベクトルの向きの反対方向には回動させない、
ことを特徴とする自動追尾カメラシステム。
前記制御手段は、前記捕捉モードにおいては、追尾対象検出手段によって検出された撮影映像内の追尾対象の位置と、前記移動ベクトル検出手段によって検出された前記移動ベクトルと、前記撮影部の画角と、に基づいて、前記捕捉位置に前記追尾対象を捕捉するよう前記回動手段を制御する、ことを特徴とする請求項１に記載の自動追尾カメラシステム。
前記制御手段は、前記維持モードにおいては、前記移動ベクトル検出手段によって検出された前記移動ベクトルと、前記撮影部の画角と、に基づいて、前記捕捉位置に前記追尾対象を捕捉するよう前記回動手段を制御する、ことを特徴とする請求項１又は２に記載の自動追尾カメラシステム。
前記制御手段は、前記捕捉モードにおいて、前記撮影部をパン及びチルト方向の一方において回動するように回動手段を制御する、ことを特徴とする請求項１乃至３のいずれか１項に記載の自動追尾カメラシステム。
前記制御手段は、パン方向及びチルト方向のそれぞれにおいて、該捕捉モードでの回動方向と前記維持モードでの回動方向が反転しないように、前記回動手段の回動を制御する、ことを特徴とする請求項１乃至４のいずれか１項に記載の自動追尾カメラシステム。